Hay Ask bot, que establece este encabezado:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Considerando esto, tengo las siguientes preguntas:
- Si estoy escribiendo un rastreador web llamado Goofy, ¿qué agente de usuario debo usar?
- ¿Cuál es la diferencia si pongo
Mozilla/2.0
oMozilla/5.0
?
Cualquier otra sugerencia sobre cómo debo formatear mi agente de usuario para cumplir con los estándares actuales es más que bienvenida.
fuente
Mozilla / 2.0 y Mozilla / 5.0 son referencias al navegador Mozilla. Se ha vuelto en gran medida sin sentido, con muchos rastreadores que lo usan, pero debería decirle al sitio que trate a su rastreador como lo haría cualquier usuario aleatorio que navegue con un navegador normal.
Sin embargo, es una buena etiqueta incluir una URL que enlace a una página sobre quién es usted y por qué está rastreando en la siguiente sección. Ask Jeeves puede salirse con la suya solo con el nombre, pero debe incluir una URL.
P.ej
Esto permitirá a los administradores web descubrir por qué estás rastreando su sitio y también contactarte si hay un problema con el comportamiento de tu rastreador.
fuente
Creo que los siguientes enlaces pueden ayudar:
fuente