Disculpad demora en contestar, estos días están siendo algo "complicados" y antes de contestar quería hacer todas las pruebas indicadas aquí para poder dar respuesta correcta.
Parto de la base que principalmente, por este hilo, hago las pruebas dónde con servidor VPS (aunque también las hice en un shared).
AbaddonOrmuz escribió: 24 Mar 2020, 21:29Qué método de autenticación usas para cada puerto? Alguna vez necesité incluir el protocolo (ssl:// para 465), aunque era phpBB 3.1.x, creo.
En cualquier caso, el puerto 587 es el recomendado, el 465 ya casi no esta en uso, y según leí solo sigue en uso por compatibilidad con sistemas un poco antiguos.
Aunque si puedes conectarte al puerto 465 con otros sistemas y únicamente con phpBB no, algo debe andar mal. Podrías reportarlo en https://tracker.phpbb.com/
No caí en cuenta de ello pues en la propia configuración indican de no añadir ssl:// o tls:// a no ser que sea especificado.
He añadido, tal como indicas, ssl:// al nombre del servidor de mail, y efectivamente, entonces si, funcionó sin problemas por puerto 465.
Son pruebas realizadas, como comento, en un VPS (contratado no hace mucho, actualizado Centos y WHM a última versión) y con instalación limpia de 0 de phpbb 3.3.0
Probé desactivando el firewall del servidor, sin el ssl:// delante también me fallaba, y como indiqué anteriormente, en ese VPS tengo otro foro de otra plataforma dónde lo tengo configurado por puerto 465 el envio de mail, y como servidor de mail, solo el nombre de servidor de mail, por ello que me extrañaba que phpbb no pudiese enviar (o mejor dicho, algo no me iba bien) enviar por 465.
Sobre el puerto 587, ese, sin problemas, cuando indicas que es el recomendado, siempre pensé que el 465 era más recomendado debido a que es el SSL TLS, y el 587 a priori, va sin protocolo de seguridad, pero he estado leyendo, y puede ir con seguridad si usamos STARTTLS.
Creo tengo que ponerme un poco "al día" con puertos de salida
Desde hace tiempo, mucho tiempo, venía usando el 465 por (o pensando) era el seguro, pero como dices y como he leído, 587 va también con seguridad si así se configura, lo que no sabía es que el 465 ya casi no esta en uso 
No se si reportarlo o no como indicas, lo comentado, por 465 puedo (en el mismo VPS) con otro sistema de foro y bajo mi cliente de correo (Thunderbird), en phpbb no podía pero he visto que añadiendo ssl:// (o tls://) entonces si se envia por 465 sin problemas.
picaron escribió: 24 Mar 2020, 21:43Hola @wonder, la gestión para envío de emails en phpBB se puede configurar desde el PCA con estas dos opciones:
Configuracion General
Configuracion SMTP
Con la Configuración General no se puede definir ningún puerto desde phpBB ya que la gestión de envío de los emails se realiza a través de los mecanismos establecidos por PHP desde el propio servidor y con las limitaciones y configuración propias que tenga establecidas el hosting contratado para tal efecto en el servidor de correo.
Personalmente, recomiendo el uso de esta opción a todo el que tiene la gestión de la maquina/servidor como root, como parece que es tu caso, ya que las limitaciones del servidor de correo las establece uno mismo.
(Este es mi caso con las maquinas que administro).
Con la Configuracion SMTP la gestión de envío de emails no la realiza directamente phpBB, limitándose a hacer uso de la cuenta de email de la que se facilitan los datos. La configuración de esta cuenta debe de ser correcta ya que el envío de los correos se realiza desde el propio servidor de correo de la cuenta configurada.
Evidentemente y como comenta @AbaddonOrmuz, si el problema es que has configurado tu servidor de correo con el puerto 465 y utilizas la Configuración General, deberías de reportarlo en Area51 de phpBB.
Saludos.
Hola picaron,
Más que configurar mi servidor de correo con el puerto 465, no lo tengo "especificado" como tal, simplemente, envia desde webmail, TB y/o el otro sistema de foro por 465 bien (y por 587), como comento con anterioridad, lo que me "llamaba atención" o pensé que algo mal tenía configurado o similar, era que, configurando phpbb en el mismo server email por puerto 465, este no fuese enviado.
Este hilo realmente me sirve de ayuda/aprendizaje en algunos aspectos, siempre pensé que, aunque seamos root de un server, era mejor configurarlo por SMTP pero aconsejas usar configuración general (no SMTP).
Voy al otro post y ahí completo.
picaron escribió: 24 Mar 2020, 21:56A ver, podrías realizar la siguiente prueba configurando las siguientes opciones desde el PCA, dando por sentado que tu servidor de correo este configurado en el puerto 465:
SMTP settings:
Use SMTP server for email: Yes
SMTP server address and protocol: tls://your.mail.domain.com (Si falla, prueba con el protocolo ssl://)
SMTP server port: 465
Authentication method for SMTP: login
SMTP username: your email address
SMTP password: your email password
Verify SSL certificate: Yes
Verify SMTP peer name: Yes
Allow self-signed SSL certificates: No (En caso de tener SSL, la opción seria yes)

Y tal vez este ejemplo de como configurar una cuenta de Gmail mediante SMTP te pueda ayudar.
Como indico al inicio del hilo, en el VPS con la configuración que indicas funciona perfectamente.
Todos los campos así los tenía anteriormente, pero en SMTP server address, le tenía puesto: mymail.comain.com
Sin añadir el protocolo tls:// o ssl://, ya que como dije, en el propio campo de configuración se aconseja no insertar a menos que el servidor de correo así lo indique.
Como no he tenido que añadirlo ni en la otra plataforma de foro que uso (en cliente TB se entiende que no porque ya lo añade en caso necesario de modo automático) no lo añadía.
Efectivamente, añadiendo tls:// o ssl:// funciona por puerto 465 perfectamente.
Tanto en el VPS como en el shared (al shared le hice más pruebas y resultados pero para el caso sin irrelevantes puesto que, como es shared, esta "limitado" a lo que el hosting tiene).
En el VPS hice esas pruebas, y lo dicho, funciona siempre y cuando le añada ssl:// o tls://
Para mi conclusión (y aprendizaje) queda que, mejor configuración general, y en caso de usar puerto 465 (aunque mejor usar 587) se debe añadir ssl:// o tls:// al servidor de email.
Cuando tuve los problemas del mail (pero eso es en otro hilo que quedó cerrado porque migraron el server, que era shared, y todo quedó solventado) intenté configurar una gmail para salir del paso, la url que indicas, mucho mejor especificado que la que encontré yo, también de phpbb, pero que no me funcionó.
Y no me alargo más que creo ya hay mucho para leer 
Agradecido, y si sirven estas pruebas/resultados para algo, me alegro por ello.
Como comenté, si creéis oportuno que lo reporte, lo hago.
Un saludo y espero estéis todos bien por la situación que estamos viviendo ahora todos...