Я вроде бы разобрался, проблема в том, что по умолчанию WP используется PHP mail() function для отправки писем, без какой-либо авторизации.
Попробуй заменить адрес (скорее всего, тоже используете gmail) на какой-либо другой не gmail и письма будут приходить.
Если нужен именно gmail (как в моем случае), тогда нужно поставить WP-Mail-SMTP и настроить "Send all WordPress emails via SMTP."