Recordad que para pedir soporte alguno, debéis facilitar los datos de soporte oportunos por favor, mirad aquí y leer las Normas generales del foro, esto nos servirá de ayuda para dar el mejor soporte..

Gracias.

La Administración de phpBB España.

Carpeta Files vs Adjuntos reales

Foros de soporte phpBB 3.2


Avatar de Usuario
carlosys
Observador/a
Mensajes: 17
Registrado: 12 Abr 2006, 08:47
Género:
Edad: 53

Carpeta Files vs Adjuntos reales

#1

Mensaje por carlosys »

Buenos días
Estoy planteando la actualización del foro a la versión 3,3 pero con la última migración las pasé "canutas" ya que venía de una versión muy antigua. :(

En la anterior actualización, tuve muchos problemas por el tamaño del foro y sobre todo por la "mega" carpeta files que ocupa 30Gb con casi 140.000 adjuntos.
Verdaderamente, creo que muchos de esos adjuntos corresponden a archivos de hilos borrados, pero no aparecen en el apartado huérfanos y dado el volumen de la carpeta, cualquier invento que intento hacer para verificar o chequear se queda pillado.
Alguien le ha sucedido algo similar? Existe alguna rutina o "script" SQL con el que pueda chequear que cada adjunto está relacionado en un hilo y en caso contrario eliminarlo?

Finalmente, y de cara a la futura actualización, la versión 3.3 sigue gestionando una única carpeta para todos los adjuntos o ya genera subcarpetas para clasificar los adjuntos?

Muchas gracias :)

Saludos



URL: foromodelismonaval.es
Estilo usuado: SE Square left sobre Prosilver
Extensiones instaladas: Add USer - Background Forum - cBB BlockGets - Google translator - VigLink - PayPal Donation - User Details - PHP Media Embed Plugin
Versión de phpBB: 3.3.0
Versión de PHP: 7.2.28
Servidor: Contabo VPS
Si es una actualización desde otra versión: Migrado de 3.0.12 y cambiado de servidor



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
AbaddonOrmuz
Moderador
Mensajes: 1045
Registrado: 14 Ene 2017, 22:18
Género:

Carpeta Files vs Adjuntos reales

#2

Mensaje por AbaddonOrmuz »

carlosys escribió:
17 Mar 2020, 08:52

En la anterior actualización, tuve muchos problemas por el tamaño del foro y sobre todo por la "mega" carpeta files que ocupa 30Gb con casi 140.000 adjuntos.

Problemas en qué sentido? Porque cuando se actualiza esa carpeta (junto con otras) se ignora, ni siquiera se toca.

O te refieres a hacer una copia de seguridad?

Yo creo copias de seguridad en formato zstd, los tiempos de compresión y descompresión son mejores que con xz, y en tamaño final son similares.

carlosys escribió:
17 Mar 2020, 08:52

Verdaderamente, creo que muchos de esos adjuntos corresponden a archivos de hilos borrados, pero no aparecen en el apartado huérfanos

Los adjuntos huérfanos no funcionan como crees.

Un adjunto se considera huérfano si el usuario subió el archivo pero no envió el mensaje, y no creo que haya verificaciones si el post se eliminó.

carlosys escribió:
17 Mar 2020, 08:52

Existe alguna rutina o "script" SQL con el que pueda chequear que cada adjunto está relacionado en un hilo y en caso contrario eliminarlo?

Seguramente sea posible ¿Qué has intentado?

carlosys escribió:
17 Mar 2020, 08:52

la versión 3.3 sigue gestionando una única carpeta para todos los adjuntos o ya genera subcarpetas para clasificar los adjuntos?

No estoy seguro pero me parece que sí.

Algunas de mis extensiones:
Imagen Imgur | :chart_with_upwards_trend: SEO Metadata | Imagen Markdown | :lock: Auto-lock Topics | :mermaid: Mermaid Diagrams
:trophy: Checa todas mi extensiones aprobadas :trophy:

:penguin: Usuario de Arch Linux :penguin:



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
carlosys
Observador/a
Mensajes: 17
Registrado: 12 Abr 2006, 08:47
Género:
Edad: 53

Carpeta Files vs Adjuntos reales

#3

Mensaje por carlosys »

carlosys escribió:
17 Mar 2020, 08:52

carlosys escribió: ↑
17 Marzo 2020, 09:52

Código: Seleccionar todo

En la anterior actualización, tuve muchos problemas por el tamaño del foro y sobre todo por la "mega" carpeta files que ocupa 30Gb con casi 140.000 adjuntos.

Problemas en qué sentido? Porque cuando se actualiza esa carpeta (junto con otras) se ignora, ni siquiera se toca.

O te refieres a hacer una copia de seguridad?

Yo creo copias de seguridad en formato zstd, los tiempos de compresión y descompresión son mejores que con xz, y en tamaño final son similares.

Los problemas fueron muchos. Primero que el anterior mantenedor no había hecho ninguna actualización en años, limpieza de base de datos, adjuntos huerfanos por casi 5 Gb, etc, etc..
Poner eso en orden para intentar hacer la actualiación fue tedioso pero al final se pudo hacer coincidiendo además con un cambio de servidor. Mover en remoto lo que en aquel momento eran casi 58Gb fue duro en tiempo.
Tomo nota de la compresión zstd. :clap: :clap:

carlosys escribió: ↑
17 Marzo 2020, 09:52

Código: Seleccionar todo

Verdaderamente, creo que muchos de esos adjuntos corresponden a archivos de hilos borrados, pero no aparecen en el apartado huérfanos

Los adjuntos huérfanos no funcionan como crees.

Un adjunto se considera huérfano si el usuario subió el archivo pero no envió el mensaje, y no creo que haya verificaciones si el post se eliminó.

Hola Correcto. Los archivos adjuntos son archivos que no quedan asociados a ningún post. A lo que me refería es a que probablemente la carpeta files tiene muchos archivos "perdidos" que no están asociados a ningún hilo.
En el momento de la migración saque un listado de todos los adjuntos y mire de compararlo con las tablas de los post a nivel de número no de relación imagen vs hilo y había bastante diferencia.
No me extrañaría que el anterior mantenedor, por error hubiese metido allí archivos de otro sitio. Es a eso a lo que me referia.

Código: Seleccionar todo

carlosys escribió: ↑
17 Marzo 2020, 09:52

Existe alguna rutina o "script" SQL con el que pueda chequear que cada adjunto está relacionado en un hilo y en caso contrario eliminarlo?

Seguramente sea posible ¿Qué has intentado?

Lo comentado anteriormente, solo una comparativa numérica de archivos de la carpeta files vs attachments de los hilos

carlosys escribió: ↑
17 Marzo 2020, 09:52

Código: Seleccionar todo

la versión 3.3 sigue gestionando una única carpeta para todos los adjuntos o ya genera subcarpetas para clasificar los adjuntos?

No estoy seguro pero me parece que sí.

Ok. No problem. Lo ideal es que pudiese gestionar los archivos por carpetas de 1000 o 2000 archivos. Tener una carpeta de este tamaño, consume mucha RAM cuando accedes a ella. De la otra forma, sería más liviano.

Muchas gracias por la ayuda.
Voy a mirar de actualizar y después me pondré con el tema de la carpeta files para ver si se puede "sanear" si es el caso. Con lo que sea os voy comentando.

Saludos

URL: foromodelismonaval.es
Estilo usuado: SE Square left sobre Prosilver
Extensiones instaladas: Add USer - Background Forum - cBB BlockGets - Google translator - VigLink - PayPal Donation - User Details - PHP Media Embed Plugin
Versión de phpBB: 3.3.0
Versión de PHP: 7.2.28
Servidor: Contabo VPS
Si es una actualización desde otra versión: Migrado de 3.0.12 y cambiado de servidor



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
carlosys
Observador/a
Mensajes: 17
Registrado: 12 Abr 2006, 08:47
Género:
Edad: 53

Carpeta Files vs Adjuntos reales

#4

Mensaje por carlosys »

Hola
Solo añadir que la actualización ha ido perfecta y sin problemas.
Solo he tenido que desinstalar una extensión no compatible (nationalflags)

Captura de pantalla 2020-03-19 a las 11.09.33.png

Ahora seguiremos investigando para ver si consigo hacer algo para chequear los archivos de files con los hilos.

Saludos y gracias

URL: foromodelismonaval.es
Estilo usuado: SE Square left sobre Prosilver
Extensiones instaladas: Add USer - Background Forum - cBB BlockGets - Google translator - VigLink - PayPal Donation - User Details - PHP Media Embed Plugin
Versión de phpBB: 3.3.0
Versión de PHP: 7.2.28
Servidor: Contabo VPS
Si es una actualización desde otra versión: Migrado de 3.0.12 y cambiado de servidor



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
carlosys
Observador/a
Mensajes: 17
Registrado: 12 Abr 2006, 08:47
Género:
Edad: 53

Carpeta Files vs Adjuntos reales

#5

Mensaje por carlosys »

Hola
Ya me he puesto con la verificación del tema de la relación de archivos del directorio Files con lo que realmente o aparentemente está en el foro.
A ver si no os aburro mucho con la explicación y las dudas que se derivan del resultado. :(

En primer lugar, he generado un listado con todos los nombres de los archivos que tiene la carpeta FILES:

Código: Seleccionar todo

ls /var/www/xxxxx/xxxxxx/httpdocs/files/ > listado.txt

Con dicho listado, obtengo en "papel" nombre y apellidos del contenido de los archivos del directorio files (269.507 archivos)
Aquí ya encuentro como os comenté en el origen del hilo la primera incongruencia ya que las estadísticas actualizadas del foro indican que hay 136.999 archivos adjuntos. :?: frente a los 269507 que realmente tiene el directorio FILES.

El siguiente paso consiste sacar un CSV de la tabla _attachments para ver en el campo "physical_filename" como trata la tabla los adjuntos.
Dicho backup lo genero en CVS para poder hacer luego una sencilla comparativa en excel.

El resultado de dicha comparativa es que:

  • Salvo alguna pequeña excepción (10-12), todos los archivos relacionados en el campo physical_filename de la tabla attachments existen en la carpeta FILES. Es decir, aprox. 136.999 archivos

  • La mayoría de los archivos que tiene la carpeta FILES que no están relacionados en la tabla attachments comienzan con Thumb_XXXX . 132.604 archivos

  • Los archivos Thumb_XXX tienen relación con los adjuntos de la tabla attachments, por lo que entiendo que efectivamente son las miniaturas. :sweat:

Si es adecuado mi planteamiento, en contenido de la carpeta FILES sería correcto o bastante fiel a la realidad del contenido del foro a excepción de algún que otro "archivo perdido".

Ya me confirmaréis.

Gracias

URL: foromodelismonaval.es
Estilo usuado: SE Square left sobre Prosilver
Extensiones instaladas: Add USer - Background Forum - cBB BlockGets - Google translator - VigLink - PayPal Donation - User Details - PHP Media Embed Plugin
Versión de phpBB: 3.3.0
Versión de PHP: 7.2.28
Servidor: Contabo VPS
Si es una actualización desde otra versión: Migrado de 3.0.12 y cambiado de servidor



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
AbaddonOrmuz
Moderador
Mensajes: 1045
Registrado: 14 Ene 2017, 22:18
Género:

Carpeta Files vs Adjuntos reales

#6

Mensaje por AbaddonOrmuz »

Yo haría algo similar a lo que comentas, salvo que también usaría la columna _attachments.post_msg_id, porque con ella puedes consultar si ese ID existe en la tabla _posts, aunque también comprobaría si realmente esta ausente de la base de datos o si fue borrado temporalmente (soft-deleted), esto con la columna _posts.post_delete_time

Las comprobaciones las haría de la siguiente forma:

  • Si el ID del mensaje (_attachments.post_msg_id) que tiene adjuntos no existe en la tabla de los mensajes (_posts.post_id), marco el adjunto para su eliminación
  • Luego, si existe pero esta borrado temporalmente, verifico la razón (_posts.post_delete_reason) y lo marco para su eliminación de ser el caso
  • Para los adjuntos marcados para su eliminación, compruebo que ese archivo (_attachments.physical_filename) exista dentro del directorio files/
  • Finalmente verifico si el archivo en cuestión realmente existe, y de ser así lo muevo a otro directorio fuera de la raíz del foro

Ésto último podrías ignorarlo y eliminar directamente el archivo, aunque yo lo guardaría en caso de que haya eliminado alguno por equivocación.

Veo que usas un VPS, así que podrías eliminar las miniaturas, más tarde podrías crear las que pasaron los filtros anteriores, desde la línea de comandos:

Eliminar miniaturas

Código: Seleccionar todo

php bin/phpbbcli.php thumbnail:delete --safe-mode

Crear miniaturas faltantes

Código: Seleccionar todo

php bin/phpbbcli.php thumbnail:generate --safe-mode

**Re-crear miniaturas*

Código: Seleccionar todo

php bin/phpbbcli.php thumbnail:recreate --safe-mode

Más información:

Código: Seleccionar todo

php bin/phpbbcli.php list --safe-mode

Algunas de mis extensiones:
Imagen Imgur | :chart_with_upwards_trend: SEO Metadata | Imagen Markdown | :lock: Auto-lock Topics | :mermaid: Mermaid Diagrams
:trophy: Checa todas mi extensiones aprobadas :trophy:

:penguin: Usuario de Arch Linux :penguin:



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
Avatar de Usuario
carlosys
Observador/a
Mensajes: 17
Registrado: 12 Abr 2006, 08:47
Género:
Edad: 53

Carpeta Files vs Adjuntos reales

#7

Mensaje por carlosys »

Hola
Muchas gracias por la info. La analizo con calma. :clap: :clap:
Interesante la info que me pasas de aplicación phpbbcli :rock: habrá que estudiar a fondo toda su potencia!!!
Vamos a ello.

MUCHAS GRACIAS!!!

URL: foromodelismonaval.es
Estilo usuado: SE Square left sobre Prosilver
Extensiones instaladas: Add USer - Background Forum - cBB BlockGets - Google translator - VigLink - PayPal Donation - User Details - PHP Media Embed Plugin
Versión de phpBB: 3.3.0
Versión de PHP: 7.2.28
Servidor: Contabo VPS
Si es una actualización desde otra versión: Migrado de 3.0.12 y cambiado de servidor



Enlace:
BBCode:
HTML:

Ocultar enlaces al mensaje
Mostrar enlaces al mensaje
  • Temas similares
    Respuestas
    Vistas
    Último mensaje

Volver a “🔎 Foros de Soporte 3.2”