Nivel De Carga Excesivo En El Servidor Debido A PhpBB

[alfonso]

URL: www.esrecfotografia.org
URL foros: www.esrecfotografia.org/f_erf
Plantilla(s) usuada(s): la estándar
MODs instalados: ninguno
Version de phpBB: 2.0.14
Servidor: Sitio de pago. Plan profesional linux= 600 Mb espacio / 4Gb transferencia / mysql / php.
Si es una actualizacion desde otra version: creo que no
Si es una conversion desde otro tipo de Foro: no
Especificar lo mejor posible el problema, copiando y pegando el error de tu sitio

Hola a todos,

He recibido un preocupante mensaje que anexo al final, de la empresa de alojamiento web donde tengo la página.
Por lo visto la bd que produce el alto nivel de carga es la de los foros phpBB. Sin embargo, la analizo y veo que la base de datos no es demasiado grande, con unos 1500 usuarios registrados.
El tráfico que soporta la web son unos 10Gb/mes y la base de datos problemática debe ocupar unos 30 Mb, como mucho, sobre los 600Mb contratados. La web completa (bd's, páginas e imágenes) ocupa unos
150 Mb. Los foros phpBB se relacionan con el resto de la página únicamente en que comparten usuarios.

Me gustaría saber si os ha pasado lo mismo alguna vez y si habéis podido solucionarlo de alguna manera. Además también me gustaría saber vuestra opinión sobre si creeis que es lógico que este parámetro no esté recogido en el contrato ni te digan como se calcula.

No tengo experiencia como webmaster por lo que tampoco sé como abordar las soluciones que me proponen. Además phpBB es un paquete estándar por lo que ponerme a optimizar consultas sql me parece un poco "heavy".

Un cordial saludo,
Alfonso


MENSAJE:


Estimado/a xxxxx:


Te escribimos este email para avisarte de que hemos detectado un consumo excesivo de recursos del sistema, ejercido por tus bases de datos del dominio xxx.XXXXXX.xxx.
Tus bases de datos han ocasionado una carga en el sistema Mysql de 1,11 puntos en un análisis realizado durante 11 horas. Lo máximo permitido por XXXXXXXX es un factor de 0,7. El nivel de carga se calcula
según el número y tipo de consultas, conexiones a base de datos y el tamaño de sus tablas.

Para que puedas comprobar el consumo SQL procedente de tu hosting, hemos comprimido un log que puedes descargarte mediante FTP en la raíz de tu Hosting. Es recomendable que elimines el log del servidor una vez descargado.

Comprueba si te es posible reducir el consumo Mysql. Abajo te indicamos algunos consejos que podrían serte de ayuda. En caso contrario, puedes optar por la contratación de un servidor dedicado para soportar la carga de tu web.

Trataremos de mantener tu web disponible durante 15 días más (siempre y cuando nuestros sistemas puedan sostener estos niveles de carga), con el fin de que tomes la decisión que mejor se adapte a tus necesidades.

En caso de que no te resulte posible reducir el consumo a unos mínimos permisibles ni desees solicitar un plan dedicado, nos veremos obligados a rescindir el presente contrato según las cláusulas relativas a "Recursos del sistema" del hosting (cláusula 3.2.5). XXXXXXXX te devolverá el importe de hosting no consumido hasta la fecha del servicio de hosting.

Consejos para reducir el consumo Mysql:

Reducir el tamaño de la base de datos en la medida de lo posible. En muchos casos, altos niveles de carga están causados por no rotar logs, o guardar indefinidamente mensajes en foros web sin que sean rotados.
Lo primero es que compruebes desde el administrador Mysql de tu panel de control qué tablas dentro de la base de datos son las que más espacio ocupan y ver si es posible liberarlas.

Si en tu web dispones de un foro con varios miles de mensajes, es conveniente purgar regularmente los elementos más antiguos para reducir el nivel de carga.

Optimiza tus consultas mysql, limita el número de consultas a realizar por cada visita en la medida de lo posible.

Recuerda revisar el log que hemos dejado en tu hosting con el fin de que puedas estudiar el origen
de la cantidad de consultas que se generan en pocos segundos.

Por último, no es recomendable el uso de tablas temporales debido a la carga que generan en caso de que estuvieran siendo utilizadas.

[KasLimon]

Consejos para reducir el consumo Mysql:

Reducir el tamaño de la base de datos en la medida de lo posible. En muchos casos, altos niveles de carga están causados por no rotar logs, o guardar indefinidamente mensajes en foros web sin que sean rotados.
Lo primero es que compruebes desde el administrador Mysql de tu panel de control qué tablas dentro de la base de datos son las que más espacio ocupan y ver si es posible liberarlas.

Si en tu web dispones de un foro con varios miles de mensajes, es conveniente purgar regularmente los elementos más antiguos para reducir el nivel de carga

Optimiza tus consultas mysql, limita el número de consultas a realizar por cada visita en la medida de lo posible.

Recuerda revisar el log que hemos dejado en tu hosting con el fin de que puedas estudiar el origen
de la cantidad de consultas que se generan en pocos segundos.[/quoteicy]

Hola, creo que más bien te deberias fijar en las líneas que he citado ahi arriba y más en la que está resaltada en negrita, porque en tu foro tenías 18912 mensajes cuando entré yo y además están repartidos en pocos foros... La verdad es k no se muy bien como solucionarlo pero a lo mejor te venia bien una purga...

Aunk yo tambien te aconsejaria actualizar a 2.0.21, porque te estás quedando atrás (aunk no se si tiene mucho k ver...)

Saludos

[alfonso]

Hola,

Consejos para reducir el consumo Mysql:

Reducir el tamaño de la base de datos en la medida de lo posible. En muchos casos, altos niveles de carga están causados por no rotar logs, o guardar indefinidamente mensajes en foros web sin que sean rotados.
Lo primero es que compruebes desde el administrador Mysql de tu panel de control qué tablas dentro de la base de datos son las que más espacio ocupan y ver si es posible liberarlas.

Si en tu web dispones de un foro con varios miles de mensajes, es conveniente purgar regularmente los elementos más antiguos para reducir el nivel de carga

Optimiza tus consultas mysql, limita el número de consultas a realizar por cada visita en la medida de lo posible.

Recuerda revisar el log que hemos dejado en tu hosting con el fin de que puedas estudiar el origen
de la cantidad de consultas que se generan en pocos segundos.

Hola, creo que más bien te deberias fijar en las líneas que he citado ahi arriba y más en la que está resaltada en negrita, porque en tu foro tenías 18912 mensajes cuando entré yo y además están repartidos en pocos foros... La verdad es k no se muy bien como solucionarlo pero a lo mejor te venia bien una purga...

Aunk yo tambien te aconsejaria actualizar a 2.0.21, porque te estás quedando atrás (aunk no se si tiene mucho k ver...)

Saludos[/quoteicy]

Gracias por la respuesta. Por lo que comentas, me parece entender que separando mensajes en diferentes temas reduciría el nivel de carga. Preferiría esa opción a purgar mensajes antiguos, ya que por la naturaleza de la web, esto sería un poco "peliagudo".

Además, una cosa que no acabo de entender demasiado es el hecho de que si estamos pagando 600 Mb y solo ocupamos 150 Mb, nos veamos obligados a reducir el tamaño de la bd...

Un cordial saludo,
Alfonso

[KasLimon]

No me has entendido muy bien...

A lo k yo me referia es k tienes muchos temas en el foro acumulados en el mismo foro y si no me equivoco la base de datos al abrir el foro en cuestion tiene que consultar todos los temas que hay en el... Por ejemplo en el foro La Galería vemos 2223 temas que tiene que cargar la base de datos cada vez que un usuario abre el foro... Además, por lo menos de cada foro tiene que cargar si id, su título, su nº de respuestas, la id de su creador, el nombre de su creador, el número de visitas...
Lo que quiero decir es que estás sobrecargando la base de datos cada vez que abres un foro. No estaría de más que me pusieses una url a la páagina del servidor que utilizas para ver las condiciones de contratacion y esas cosas...

Un saludo

[Nazcar]

no es problema de tamaño de la BBDD,si no de las consultas realizadas.Lo que te pasa a ti es lo que suele aquejar a todos los CMS.Para que te hagas una idea de todas las consultas que realiza phpbb en cada carga de pagina pongamos en el index.hay un minimo de 40 consultas al mysql,contando por ejemplo que no todos los users entren automaticamente logueados,eso nos dejaria 40 consultas como invitado y 40 como user registrado.Luego entrando dentro de un foro cuenta con 4 consultas al mysql por cada foro,y dentro de cada foro cuenta almenos 6 consultas por cada post,entramos a los post
eso nos da 3 consultas por post.A todo eso como en el index cuenta por 2 en cada usuario.Con lo cual el consumo de cpu y de ram del mysql se dispara.
Ha mucha gente eso les ha costado ir de hosting en hosting hasta encontrar a uno que no pusiera queja alguna.No todos los hosting tiene un nivel de tolerancia tan bajo a los CMS,tambien he de decir que no todos los hosting permiten que se alojen CMS en sus maquinas justamente por eso ,y por problemas de seguridad que muchos de ellos llevan consigo.Una manera de solucionarlo seria dejar conexiones permanentes al mysql,pero eso a parte de ser una locura y que no todos los users de tu foro podrian usarlo al tener un limite de conexiones al mysql.

Por lo tanto bienvenido al mundo de los cms,y mi consejo es que cambies de hosting.Por otro lado antes de todo eso actualiza la version del phpbb.Con versiones actuales se ha optimizado mucho las llamadas al mysql.

[alfonso]

Hola Nazcar,

Tal y como me recomiendas, voy a intentar actualizar la versión phpBB y empezar a informarme sobre otros hostings. ¿Sabes alguno que sea amigable con los CMS?

Un cordial saludo,
Alfonso

[Nazcar]

Pasate por el foro de hosting hay algunos buenos

[alfonso]

Hola,

He recibido el siguiente mensaje:

"Hola Alfonso!

Durante los últimos días, el consumo MySQL no ha sobrepasado el límite establecido. Por ello, la incidencia queda cerrada. Seguiremos pendientes de la evolución de la base de datos, y en caso necesario nos pondríamos nuevamente en contacto contigo. Gracias por tu colaboración!

Cualquier duda, remítela a: xxxxxx@xxxxxx.com

Saludos! "

Quería agradeceros a todos las respuestas recibidas ya que me han ayudado a solucionar el problema. Las medidas correctoras que he tomado son:

1. Optimización de la página principal (no la del foro).
1.1 Hacía consultas a la BD con sentencias SELECT * FROM por lo que recuperaba campos muy largos que no eran necesarios. Teniendo en cuenta que la página recibe en media unas 1000 visitas diarias, esto supone un importante ahorro de carga de la BD y de transferencia de MBs.
1.2 Reducción de 8 mensajes a 5 del número de últimos mensajes del foro que se muestran en la página de entrada.

2. Optimización del foro
2.1. Actualización a la versión 2.0.21 de phpBB
2.2. Pasados todos los antiguos mensajes del foro más visitado ("La Galería") a otra categoría llamada "Archivo" con foros ordenados por meses (p.ej. "La Galería Junio-Diciembre 2005"). Estos foros solo los pueden consultar los usuarios registrados. De momento no los podéis ver ya que no están accesibles. Esto reduce el número de mensajes del foro por lo que creo que reduce la carga de la bd.

Esta última acción se hace muy pesada ya que la única forma de mover los mensajes que he encontrado es seleccionarlos uno por uno y moverlos a otro foro. Y claro, cuando hay que mover 4.000 mensajes... ¿Sabéis alguna otra forma de hacerlo? Lo haría con un UPDATE directo a la BD pero me da miedo no actualizar alguna tabla no evidente y que afecte a la consistencia de la BD.

Gracias de nuevo a todos y un cordial saludo,
Alfonso

[elchuecodel88]

otra cosa que te recomiendo , es limitar las busquedas, ya que si revisas enla base de datos, la tabla que es pesa es la de la busqueda, podrias limitar el tiempo entre busqueda y busqueda


PD: si quieres un servidor pago, puedes utilizar inforhosting, que es en el que esta web esta alojado (y proxmamente la mia xD)

( el host es de Silverp ) lo vas a ver por el foro dando vueltas..

Saludos !!

[alfonso]

otra cosa que te recomiendo , es limitar las busquedas, ya que si revisas enla base de datos, la tabla que es pesa es la de la busqueda, podrias limitar el tiempo entre busqueda y busqueda


PD: si quieres un servidor pago, puedes utilizar inforhosting, que es en el que esta web esta alojado (y proxmamente la mia xD)

( el host es de Silverp ) lo vas a ver por el foro dando vueltas..

Saludos !! Hola,

Buscando por la red, encontré scripts php para reducir el tamaño de esa tabla, pero, después de hacerlo, el nivel de carga descendió pero no lo suficiente. Por eso necesitaba más estrategias para reducirlo...

Otra cosa que me he olvidado de decir que hice fue reducir el número de posts que aparecen en cada página al ver un tema.

Gracias por la recomendación sobre el servidor, le echaré un vistazo a las condiciones. Esta web es totalmente sin ánimo de lucro, sin publicidad y se mantiene gracias a las donaciones de los usuarios. Por ello siempre andamos justillos de dinero... )

Un cordial saludo,
Alfonso

[Nazcar]

Off Topic:

phpbb-es no esta alojada en inforhosting,si lo estan algunas que mantiene the kuka,yo mismo y otros miembros de esta web