Pregunta sobre un archivo en concreto del foro

[sacky]

Versión de phpBB: 3.0.2
Tipo de phpBB: phpBB estandar, (tambien llamado Vanilla) phpBB2 o phpBB3
MODs Instalados: Si
Tu conocimiento: Conocimiento básico
Enlace del Foro: http://bleachhforos.com

¿Qué recuerdas haber hecho en el foro antes de aparecer este error?
No, esto me ocurre casi desde el principio

¿Qué has realizado para intentar resolver el problema?
Nada

Descripción y Mensaje
Hola, últimamente he tenido algunos problemas con la transferencia mensual del foro, que se acerca bastante al límite que me impone mi servidor.

Para intentar solucionar este problema, me dirigí a mi servidor, que tiene una herramienta para ver las páginas que son más visitadas dentro de mi foro y ahí vi algo que me extrañó.

La página que es la más visitada con diferencia es la siguiente:

bleachhforos.com/download/file.php

Además con bastante diferencia con la segunda que es:

bleachhforos.com/viewtopic.php

No entiendo porque la primera página es tan visitada, ya que en mi foro no están permitidos los adjuntos y esa dirección parece que sea para descargar algo. Si os fijáis, tiene más visitas que el viewtopic.php, que en teoria tendría que ser la más visitada.


Mi pregunta es si es normal que el file.php sea tan visitado (puede ser que tenga otra función que yo no sepa), o a mi foro le pasa algo extraño.

Saludos y gracias!

[HuanManwe]

En la web oficial hablan de que quizá sea buena idea tocar el robots.txt para evitar que los BOTS, como el de Google, sobrecargue el servidor. Lo abres y pones dentro:

Código: Seleccionar todo

User-Agent: *
Disallow: /adm/
Disallow: /posting.php
Disallow: /ucp
Disallow: /mcp
Disallow: /report
Disallow: /search
Disallow: /viewonline
Disallow: /includes/
Disallow: /cache/
Disallow: /download
Disallow: /files

Prueba, a ver si eso ayuda a rebajar el nivel de transferencia. ¿Tienes archivos adjuntos en descarga en tu foro? ¿Es muy visitado?

Aunque ahora que me fijo tienes el googleads instalado, así que no sé si sería la mejor configuración. No sé si podría interferir con tu publicidad. Quizá solo deberías impedir que los BOTS toquen o puedan ver ciertos ficheros, como el file.php

[sacky]

Hola.
Pues adjuntos en el foro no tengo ni uno, están desabilitados, por eso me extrañaba todo esto.

Luego, de visitas, pues ni muchas ni muy pocas, hay una media de 6000 páginas vistas por día.

Respecto a lo que e comentas de impedir que los bots pasen por el file.php ¿Cómo podría hacer esto?

Saludos y gracias por tu respuesta.

[HuanManwe]

Léete este interesante artículo. Creo que te será de mucha ayuda para reducir el tráfico en tus foros por parte de los robots de búsqueda.
En el caso concreto que preguntas creo que deberías tener un archivo llamado robots.txt en el directorio raiz de tu servidor, con este contenido:

Código: Seleccionar todo

User-Agent: *
Crawl-delay: 30
Disallow: /adm/
Disallow: /posting.php
Disallow: /files.php
Disallow: /includes/
Disallow: /cache/
Disallow: /download
Disallow: /files

Pruébalo, y si no tienes problemas para ver y usar todas las partes y funcionalidades de tu foro entonces fíjate en cómo evoluciona el nivel de transferencia. Por si hubiera que retocar la configuración.

[sacky]

Muchas gracias!

Lo probaré a ver que tale va.

Saludos!

[sacky]

Hola.

He podido comprobar que el archivo...

http:/bleachhforos.com/download/file.php

ha tenido un descenso en páginas vistas, pero sigue siendo el más visto de todos los archivos de mi foro.

Quizá sirva para otra cosa que yo no se, pero no teniendo ni un adjunto en todo el foro, me sigue extrañando que vaya el primero.

Subí al servidor el archivo con el código que me pusiste.

A partir de ahora... puedo hacer alguna otra cosa para reducir el número de vistas de este archivo? Es que este mes voy algo justo de transferencia y tengo la sensación de que superaré el límite una semana antes de que se acabe y, por lo tanto, tendré que cerrarlo.

Saludos y gracias!

[sacky]

Me he olvidado de una cosa, pero no veo donde está el botón editar, así que escribo un nuevo mensaje.

Me he fijado que, mirando en la lista de proveedores de internet de mis visitantes, el primero con mucha diferencia es: googlebot.com.

Esto tiene relación con los bots de google? Porque si es así, debe ser el causante de la mayoría de tráfico de mi web.

[mitch]

Correcto tu mismo te has dado respuesta...

con el robots.txt bien puesto debería ser suficiente.

Hmmm... en tu foro, tienes permitida la subida de imagenes, o de avatares a tu servidor? si fuese así, sería útil bloquear tambien esas carpetas desde el robots.txt. Revisa este enlace: http://www.adseok.com/tips-seo/evitar-g ... -imagenes/" onclick="window.open(this.href);return false; se comentan opciones interesantes sobre como bloquear a googlebot para que revise las imagenes de nuestra web... aplicando cosas en robots.txt y agregando Meta-Tags (estas las agregas en el overall_header.html de tu estilo, recuerda limpiar cache).

[sacky]

Muchas gracias, probaré lo que me has dicho ya que si que tengo permitida la subida de avatares a mi servidor. A ver si hay suerte y con esto cambia algo la cosa, ya que al paso que voy, a día 20 de este mes supero ya el límite de transferencia.

Saludoss!

[sacky]

Pues nada, he vuelto a revisar las estadísticas hoy, y el googlebot sigue consumiendome el 50% de ancho de banda diario del foro.

Os pego el código que tengo puesto en el robots.txt a ver si le encontrais algun fallo o es necesario añadirle algo más.

Código: Seleccionar todo

User-Agent: *
Crawl-delay: 30
Disallow: /adm/
Disallow: /posting.php
Disallow: /files.php
Disallow: /includes/
Disallow: /cache/
Disallow: /download/
Disallow: /files
Disallow: /images/
Disallow: /*.gif
Disallow: /*.png
Disallow: /*.jpg

Por otra parte... ¿hay alguna manera de hacer que en lugar de que se pase cada día, el robot se pase una vez a la semana o algo así?

Saludos y gracias!