Un programa de computadora que accede a páginas web para diversos fines (para raspar contenido, proporcionar a los motores de búsqueda información sobre su sitio, etc.)
Los registros de un sitio web que administro muestran una solicitud de un archivo inexistente por parte de Bingbot. Los detalles de la solicitud son Ruta: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (compatible; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Dirección IP:...
En un servidor web ahora tengo que administrar, noté que el archivo robots.txt está vacío. Me preguntaba si hay una diferencia entre un archivo robots.txt vacío y ningún archivo. ¿Los rastreadores se comportan de manera diferente en estos dos casos? Entonces, ¿es seguro eliminar un archivo...
Como webmaster a cargo de un sitio pequeño que tiene un foro, recibo regularmente quejas de los usuarios de que tanto el motor de búsqueda interno como las búsquedas externas (como cuando se usa Google) están totalmente contaminadas por las firmas de mis usuarios (están usando mucho tiempo). firmas...
Tuvimos algunos problemas serios con la araña (increíblemente) mal escrita de Yahoo en el pasado , y como resultado los bloqueamos. Marco Arment de Tumblr también compartió sus frustraciones con nosotros el 31/08/2009, lo que fue un factor en nuestro bloqueo. [Yahoo's Spider] nos ha estado...
Esta pregunta se migró de Stack Overflow porque se puede responder en Webmasters Stack Exchange. Migrado hace 9 años . ¿La araña de Google sabe cómo representar JavaScript, o solo
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema para Webmasters Stack Exchange. Cerrado hace 6 años . Tengo un sitio heredado bastante...
Mucho se ha hecho de la frecuencia de arrastre de la araña Baidu. Es cierto: "Baiduspider se arrastra como un loco". He experimentado este fenómeno en los sitios con los que trabajo. En al menos una instancia, descubrí que Baiduspider se arrastra a aproximadamente la misma frecuencia que...
Hay Ask bot, que establece este encabezado: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando esto, tengo las siguientes preguntas: Si estoy escribiendo un rastreador web llamado Goofy, ¿qué agente de usuario debo usar? ¿Cuál es la diferencia si pongo Mozilla/2.0o...
Tengo un subdirectorio que me gustaría ocultar de los rastreadores web del motor de búsqueda. Una forma de hacerlo es usar a robots.txten el directorio raíz del servidor (la forma estándar). Sin embargo, cualquier persona que conozca la URL del sitio web y tenga algún conocimiento básico de la web...
Cada vez que creo un sitio web receptivo, generalmente creo 2 menús: 1 oculto y utilizado para dispositivos móviles y el otro como el menú principal, luego oculto para mostrar el menú móvil. Siempre que se trata de SEO y arañas que navegan por el sitio web, ¿me critican por tener menús duplicados?...
La mayoría de mis visitas son de arañas baidu. No creo que ayude en absoluto a los motores de búsqueda, así que estoy pensando en cómo bloquearlos. ¿Podría hacerse esto a través de iptables? Estoy usando nginx como mi servidor
Recuerdo un sitio cerrado debido al mal uso y me pregunto si los bots tienen una parte de él. Si el bot está PUBLICANDO algo en mi sitio, ¿de qué maneras puedo combatirlo? Estaba pensando en configurar algunas cookies y cambiar las cookies a través de JavaScript + marca de tiempo y firmar (por lo...
Recientemente registré un nuevo dominio, lo apunté a mi servidor existente y configuré una página mínima que decía "prueba" y nada más. ¡Acabo de descubrir esta noche que la página ya está indexada en Google! No hay enlaces al sitio (ni siquiera le he dicho a nadie sobre el dominio ya que aún no...
Cuando reviso mi registro de Apache, puedo ver que Baidu ha estado rastreando mi sitio web 10 veces al día durante las últimas 2 semanas. No es que me importe mucho, pero tengo mucha curiosidad acerca de por qué está haciendo esto. Es un sitio web realmente pequeño de una sola página con pocos...
Mis registros están llenos de visitantes de bots, a menudo de Europa del Este y China. Los bots se identifican como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, etc. ¿Debo bloquear estos bots de mi sitio y por qué? ¿Cuáles tienen un propósito legítimo en aumentar el tráfico a mi sitio? Muchos...
¡Vi que Google tenía una buena propuesta / estándar para hacer que las aplicaciones de Ajax sean rastreables, a través de #! (hash bang) http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Mis preguntas son: ¿Están actualmente utilizando esta "propuesta"...
Mi sitio web cuenta las visitas de visitantes en ciertas páginas. Me di cuenta de que Google y otros Bots están "haciendo clic" en mi sitio como locos y algunas de las páginas obtienen conteos de visitas poco realistas (en comparación con los producidos por humanos). Solicito las mejores prácticas...
Tengo un sitio que actualmente recibe entre 7,000 y 10,000 visitas por día. Comenzando alrededor de la 1 AM el 7/1/12, noté que el CTR estaba aumentando dramáticamente. Estos clics se acreditarán y luego se des-acreditarán poco después. Entonces, obviamente fueron clics fraudulentos. Al día...
Este es mi robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Pero las Herramientas para webmasters de Google me dicen que los robots están bloqueando el acceso al mapa del sitio: Encontramos un error al intentar acceder a...
Después de haber escrito una serie de bots, y visto las enormes cantidades de bots aleatorios que rastrean un sitio, me pregunto como webmaster, ¿qué bots realmente vale la pena dejar en un sitio? Mi primer pensamiento es que permitir que los bots ingresen al sitio puede atraer tráfico real. ¿Hay...