¿Debo bloquear los bots de mi sitio y por qué?

12

Mis registros están llenos de visitantes de bots, a menudo de Europa del Este y China. Los bots se identifican como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, etc. ¿Debo bloquear estos bots de mi sitio y por qué?

¿Cuáles tienen un propósito legítimo en aumentar el tráfico a mi sitio? Muchos de ellos son SEO.

Tengo que decir que veo menos tráfico, ya que los robots han llegado en grandes cantidades.

No sería demasiado difícil bloquearlos, ya que todos admiten en su Agente de usuario que son bots.

seo web-crawlers user-agent Frank E
fuente

Respuestas:

7

Puede bloquear bots, pero depende de lo que desee para su sitio web.

Puede bloquear los robots de los motores de búsqueda si no desea ver su sitio web indexado en un motor de búsqueda en particular.
Ejemplo: Yandex es un motor de búsqueda ruso. Puede bloquear su bot si su negocio no está dirigido a Rusia.

Puede bloquear los robots de SEO si no desea utilizar su solución de análisis web.
Ejemplo: Ahrefs es una solución de análisis web. Puede bloquear su bot si no utiliza esta solución de análisis web.

Motivo para bloquear bots:

  • menos robots van a su sitio web y se atribuye más ancho de banda a los visitantes reales
  • estar a salvo de los robots de malware
  • tamaño de los registros

Motivo para no bloquear los bots:

  • Los robots como los motores de búsqueda pueden aumentar su tráfico al indexar su sitio web.

Puede obtener más información sobre los robots leyendo las Preguntas frecuentes de robotstxt.org .

Si desea determinar varios robots para bloquear, puede inspirarse en este sitio web robots.txt .

Tenga cuidado, algunos bots pueden ignorar robots.txt , más información aquí .

Conclusión : puede buscar en la función de robots de Internet para determinar si bloquearlos puede ser útil.

Zistoloen
fuente
Gracias. Por cierto, también estoy recibiendo visitas de Linode. La UA dice que es un script de Python. ¿Debo sospechar?
Frank E
Si yo fuera tú, no bloquearía a Linode. No sé qué es exactamente por el alojamiento.
Zistoloen
¿Qué hay de IPStrada? Los veo aparecer de vez en cuando. Nunca se registran para obtener una cuenta.
Frank E
Como Linode Los robots escanean Internet incluso si usted o ellos nunca se registran para obtener una cuenta. Pero no te preocupes, no es gran cosa.
Zistoloen
4

Si bien intentar bloquear bots puede ayudar a liberar recursos y limpiar sus registros, es importante tener en cuenta que robots.txt e incluso usar la metaetiqueta en las páginas noindex en realidad no detiene a los bots que visitan su sitio. Todavía pueden rastrear su sitio ocasionalmente para ver si se ha eliminado la denegación de los robots. Muchos bots ni siquiera usan un agente de usuario y usarán un agente de usuario estándar. Los bots a los que me refiero son típicamente robots de recolección SEO que escanean los vínculos de retroceso y no los generales que encuentras en los motores de búsqueda.

En lugar de bloquear los bots, solo debe tener en cuenta estos bots cuando cuente sus visitantes, después de un tiempo de monitorear activamente su sitio, establecerá una cifra aproximada de los bots. La mayoría de las personas se preocupan por visitas únicas y esto excluye a los bots ya que están regresando constantemente. En la actualidad, hay muchos servidores, alojamiento compartido que pueden manejar estos bots, por lo que, aparte de las páginas que no desea indexar, no veo ninguna razón por la que bloquear estos tipos de bots. Por supuesto, también tiene bots dañinos, pero estos ciertamente no usarán el agente de usuario;).

Personalmente, creo que bloquear robots es una pérdida de tiempo, ya que no utilizan tantos recursos en absoluto, los robots SEO pueden ayudar, ya que enumeran su sitio en las páginas PR0, lo que, por supuesto, aumenta su PageRank y está automatizado para que no sea castigado por ellos.

Problema de registros

Debe usar un visor de registro adecuado que le permita filtrar ciertas solicitudes, esto lo hace más fácil al revisar sus registros. Los buenos espectadores pueden filtrar muchas cosas, como las visitas normales, los 404 y demás.

Simon Hayter
fuente
1
¿Por qué los robots de SEO escanean en busca de backlinks? ¿Es solo porque eso es algo que usan los consultores de SEO? ¿O hay algún propósito más siniestro?
Frank E
2
Hola Frank, escanean los vínculos de retroceso y los registran para que los webmasters puedan ver quién los vincula. Es un gran dinero para las empresas de SEO registrar vínculos de retroceso y cobrar a los webmasters para descubrir quién se vincula a ellos, cuándo se creó el vínculo, si se eliminó, si sigue o no sigue, qué texto de anclaje usan, etc. Google, Bing no proporciona esta información, por lo que es un servicio deseado y valioso para la mayoría de los webmasters que desean ver su red de enlaces.
Simon Hayter
Tampoco vale la pena que muchas de las vulnerabilidades que las personas buscan se recopilan mediante el uso de motores de búsqueda y no tener un escaneo de bots en cada sitio. Por ejemplo, si un módulo / complemento está desactualizado y hay un exploit conocido, las personas usarán Google para localizar estos sitios para explotarlos. Bloquear robots no asegurará su servidor: P
Simon Hayter
@bybe Por 'vulablites', ¿quieres decir 'vulnerabilidades'?
DaveP
@DaveP absolutamente;) thx - corregido.
Simon Hayter