Un campo de encabezado http que identifica el navegador y el sistema operativo.
Tuvimos algunos problemas serios con la araña (increíblemente) mal escrita de Yahoo en el pasado , y como resultado los bloqueamos. Marco Arment de Tumblr también compartió sus frustraciones con nosotros el 31/08/2009, lo que fue un factor en nuestro bloqueo. [Yahoo's Spider] nos ha estado...
Hay Ask bot, que establece este encabezado: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando esto, tengo las siguientes preguntas: Si estoy escribiendo un rastreador web llamado Goofy, ¿qué agente de usuario debo usar? ¿Cuál es la diferencia si pongo Mozilla/2.0o...
¿Cómo debo interpretar un agente de usuario vacío? Tengo un código de análisis personalizado y ese código tiene que analizar solo el tráfico humano. Tengo una lista de trabajo de agentes de usuario que denotan tráfico humano y tráfico de bot, pero el agente de usuario vacío está demostrando ser...
Mis registros están llenos de visitantes de bots, a menudo de Europa del Este y China. Los bots se identifican como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, etc. ¿Debo bloquear estos bots de mi sitio y por qué? ¿Cuáles tienen un propósito legítimo en aumentar el tráfico a mi sitio? Muchos...
¿El agente de usuario en algún navegador normal contiene 'bot' o 'rastreo'? Verifico el agente de usuario en mi sitio para ver si proviene de un bot o no. Si es así, puedo hacer algunas pequeñas optimizaciones ya que no inician sesión. (No cambio el contenido en absoluto) Después de agregar...
Ejecuté un pequeño rastreador web y tuve que decidir qué agente de usuario usar para él. Las listas de agentes de rastreadores y Wikipedia sugieren el siguiente formato: examplebot/1.2 (+http://www.example.com/bot.html) Sin embargo, algunos bots omiten el signo más delante de la URL. Y me...
¿Pueden los agentes de usuario aparecer juntos, seguidos de sus reglas comunes como en un robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask...
Las entradas de registro de acceso de Apache en mi sitio suelen ser como esta: 207.46.13.174 - - [31 / Oct / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (compatible; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 para...
Tengo un sitio que, por razones regulatorias, no puede indexarse o buscarse automáticamente. Esto significa que debemos mantener alejados a todos los robots y evitar que recorran el sitio. Obviamente hemos tenido un archivo robots.txt que no permite nada desde el principio. Sin embargo, observar...
Tengo una codificación especial que solo funciona para navegadores HTML5 (material de geolocalización simple). Quiero redirigir a los usuarios de iPhone y Android a la versión m.example.com de mi sitio web. ¿Cómo es la mejor manera de hacer esto?
¿Qué se usa para detectar el teléfono móvil del visitante, hasta el modelo si es posible? Actualmente mantenemos nuestra propia base de datos, pero realmente se está quedando atrás debido a la falta de mano de obra para mantenerla, por lo que decidimos probar una solución de terceros. Estos son...
(Pregunta de recompensa en la parte inferior) Tengo un problema con un cliente que accede a nuestro sitio, y la causa raíz es que al WAF (Firewall de aplicaciones web) no le gusta su cadena de User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0;