Consumo de Google en transferencia.

[casimedicos]

pon el idioma en ingles a ver si va a ser problema de traduccion

yo por eso en mi perfil de administrador tengo el foro en ingles

porque las traducciones a veces fallan

y sino...........
evidentemente te faltan archivossssssssssssssss

[Morph]

Ya lo puse en ingles ahora te pongo mas o menos lo que pone.
Configuracion :: Foro :: la primera linea pone "Auto-Enlace de cada palabra clave por mensaje" Las siguientes pone

Intervalo entre envíos (Flood)
Cantidad de segundos que un usuario debe esperar antes de poder hacer otro envío

Intervalo de Flood en la búsqueda
Numero de segundos que debe esperar un usuario entre las peticiones de búsqueda

Temas por página

Respuestas por página

Respuestas necesarias para ser considerado Popular

Estilo por defecto ETC

Mira el tuyo y dime que te pone y despues de que linea es el SITEMAPS o si en español saldra con otro nombre y no lo se ver. Saludos

[casimedicos]

[Morph]

casimedicos, OK OK joer yo lo buscaba a modo de enlace a la izquierda y esta como titulo "Opciones del Mapa del Sitio" Vale gracias siento mi torpeza jeje

Pero en esas configuraciones que es lo que tendria que tocar para alterar el consumo de Google las busquedas que las tenia en 250 y las deje en 200. Gracias

[casimedicos]

mira unos enlaces utiles
Información sobre Google para webmasters
http://books.google.com/webmasters/bot.html
¿Por qué Googlebot no obedece a mi archivo robots.txt?

Para ahorrar ancho de banda, Googlebot sólo descarga el archivo robots.txt una vez al día o cuando hemos recogido un número importante de páginas del servidor. Por lo tanto, es posible que a Googlebot le lleve un tiempo ponerse al corriente de los cambios en su archivo robots.txt. Además, Googlebot se encuentra distribuido en varias máquinas, cada una de las cuales mantiene un registro propio de su archivo robots.txt.

Siempre sugerimos que se compruebe si la sintaxis es correcta, comparándolo con el estándar en http://www.robotstxt.org/wc/exclusion.html#robotstxt. Una fuente habitual de problemas es que el archivo robots.txt no está ubicado en el directorio principal del servidor (por ejemplo, www.mihost.com/robots.txt); situar el archivo en un subdirectorio no tendrá ningún efecto.

Igualmente, existe una pequeña diferencia entre la manera en que Googlebot utiliza el archivo robots.txt y la manera en que se debería utilizar según el estándar robots.txt (sin olvidar la distinción entre "debería" y "debe"). El estándar indica que deberíamos utilizar la primera regla aplicable, pero Googlebot obedece a la más larga (es decir, la más específica). Esta práctica que resulta más intuitiva hace coincidir lo que las personas hacen en realidad con lo que esperan que hagamos. Por ejemplo, tenga en cuenta el siguiente archivo robots.txt:
User-Agent: *
Allow: /
Disallow: /cgi-bin

Es evidente que la intención del webmaster es permitir que los robots rastreen todo excepto el directorio /cgi-bin. En consecuencia, es lo que en Google hacemos.

Para obtener más información al respecto, por favor, consulte la página Preguntas más frecuentes sobre robots. Si continúa habiendo un problema, por favor, comuníquenoslo.

http://www.robotstxt.org/wc/faq.html

http://desarrollo.blogalia.com/historias/4764
http://google.dirson.com/post/1103/

http://www.maxglaser.net/crawl-caching- ... -bigdaddy/


http://www.maxglaser.net/category/noticias/page/2/


en ingles
: Spammed by Google - or Google used almost all my bandwith in 10 days!
http://forum.mamboserver.com/archive/in ... 58771.html
Sorry to "spam" so much here, but I'm working through solutions. I just found the following link that explains how to adjust googlebot for searching Events Calendars.

http://mamboforge.net/forum/forum.php?t ... rum_id=296

It addresses selective crawling without going to all the no-event days. This should cut down on a huge google hit on my site. May apply to others with similar event calendars.

August 30th, 2005, 12:48
Hi,
I run a design and hosting service and several of our clients have suddenly been inundated with google bots in the last week and these are sites that have been indexed for a couple of years with no problem. One of the sites usually draws 1.2Gigs per month but lost 20Gigs in 4 days to one bot.
We had to deny the IP of that bot.

I'm guessing google has changed it's software as I'm seeing more and more reports on this.

http://forums.indiegamer.com/showthread.php?t=7882

http://www.michaelklouda.com/Articles/5 ... -bandwidth

http://forums.digitalpoint.com/showthread.php?t=43552

http://forums.digitalpoint.com/showthread.php?t=26192
http://warpedvisions.org/2005/08/26/mic ... bandwidth/

parece mas bien un FALLO de google...........................¿¿o no ?? porque algunos mensajes son del 2005 del verano, y la mayoria de estos 2 meses
a quejarse en masa en la primera direccion toca o no??................
y sino que nos paguen el servidor ellos¿??

[annamon]

!Muy buena info Casimedicos! Voy a leerla bien, porque me interesa mucho el tema

Morph, desde Google Sitemap, en Velocidad de rastreo, puedes configurarlo para que la velocidad de rastreo sea 'mas lenta' y consuma menos ancho de banda. Esto esta en 'Diagnostico->Herramientas->Velocidad de Rastreo'

Aqui podrias configurarlo en 'Mas lento' o 'Lo mas lento'. Segun la descripcion de google, esto provocaria 'Si bien un rastreo más lento reducirá el tráfico de Googlebot en su servidor, no podremos rastrear tantas páginas de su sitio web'

[Morph]

casimedicos, En cuanto tenga un rato miro la info que me dejaste, la verdad si que tendrian que pagar ellos el hosting por que este mes se me comera 3 GB fijo, haber si con el robots.txt que puse se arregla esto un poco. Saludos

[annamon]

Te me has adelantado jeje, estaba editando el mensaje... Arriba te he puesto una cosa que quizas te sea util.

[Morph]

annamon, Ok gracias por ese dato, lo mirare. Saludos

[casimedicos]

!Muy buena info Casimedicos! Voy a leerla bien, porque me interesa mucho el tema

Morph, desde Google Sitemap, en Velocidad de rastreo, puedes configurarlo para que la velocidad de rastreo sea 'mas lenta' y consuma menos ancho de banda. Esto esta en 'Diagnostico->Herramientas->Velocidad de Rastreo'

Aqui podrias configurarlo en 'Mas lento' o 'Lo mas lento'. Segun la descripcion de google, esto provocaria 'Si bien un rastreo más lento reducirá el tráfico de Googlebot en su servidor, no podremos rastrear tantas páginas de su sitio web' pues a mi no me aparece lo de velocidad de rastreo

[annamon]

Ummm, cierto, pone que de momento solo esta en pruebas con algunos webmasters... Mira, te adjunto un pantallazo para que veas como es. Parece que esta en fase... !alfa! y que pronto se implantara para todos los usuarios.

[casimedicos]

pues entonces me temo que tendre que esperar

y supongo que habran recibido muchas quejas por su bot gloton.. y por eso estan desarrollando estas medidas

porque muy normal no es ....
gracias por la informacion
lo que si poned un robots.txt en el caso del xs, la ultima version al menos en sus parches lo trae

y bloqueadle el calendar o calendar scheduler que ahora no recuerdo y es de lo que mas consume porque rastrea dia a dia, vamos una animalada

[Morph]

casimedicos, A mi tampoco me aparece la velocidad de rastreo, aun que me da que lo mas importante es lo de los metatag eso de poner 7days seguro que hace que se consuma menos tranferencia Saludos

[Morph]

Hola: Despues de unos dias de probar lo del robots.txt Parece que algunos robots los a frenado ya que en mis estadisticas me sale al lado de las entradas de los robots un signo + con un numero, que segun lei parece que es las veces que frena la entrada al bobot.
Pero GOOGLE es imparable, o yo no se como hacerlo, entiendo que es bueno para mi page ya que es posicionamiento. Pero 3GB de tarnsferencia en 28 dias en una animalada, hay hostings de pago que el total de la trnsferencia es esa. En mi caso tengo bastante pero bamos si sigue asi se la traga en 5 meses.
Por otro lado a mi el posicionamiento no se que quereis que os diga, como que buff. Esto interesara a una page como esta que tiene 2000 entradas diarias o casi, pero a mi me entran 250 de promedio, se registran el 2% y como mucho el 1% quizas repita. No quiero cerrar todo el acceso a google pero es que vamos ya le regalaba yo a mas de uno el 80% de las veces que entra en mi page, hay quien se queja por que no lo visita google y yo es el contrario, lo que quiero es que venga pero que no se trague 3.5 GB en un mes.

Pues no se si alguien puede pasarme un enlace, si puede ser en castellano de como frenar este apetito de google, le estaria muy agradecido, no se que consuma 1 Gb es una burrada pero ya me daria por satisfecho. Saludos

[mitch]

Morph, intenta aplicar el evitar los hotlinks a imagenes desde sitios externos a tu web... he visto por ejemplo que tienes imagenes de muestra de tus estilos en la web de xoom, acá y otras webs, y segun recuerdo, estaban enlazadas desde tu espacio web. Claro, 20 personas que vean una imagen no es mucho, pero si son 300 personas por cada web, y además la imagen es de un tamaño considerable (capturas de pantalla por ejemplo), suma KBs al fin y al cabo.

Eso, y en un principio creo que las reestricciones en robots.txt es suficiente, aunque he leido de que no siempre se comen esas reglas... si quieres parar eso ya, pues banea derechamente las ips asociadas a google desde el cpanel o algo :/