Tenemos una página de localización de tiendas en el sitio de nuestros clientes. El usuario final ingresa su código postal y un radio de búsqueda y mostramos los resultados en un mapa de Google.
Recientemente comenzamos a notar que el sitio estaba alcanzando el límite de búsqueda de mapas gratis (aproximadamente 25,000 por 24 horas) sin un aumento notable en el tráfico general. Encendí algunos registros adicionales para tratar de encontrar cuál era el problema.
Resulta que Googlebot está empujando a través de miles de búsquedas en este mapa. Esta es una pequeña muestra:
2017-07-09 23: 56: 22,719 [7] INFORMACIÓN ShopLanding - [Hilo 41] Google Maps: buscado G23 recibió OK de 66.249.66.221 2017-07-09 23: 56: 35,469 [7] INFORMACIÓN ShopLanding - [Hilo 10] Google Maps: CA6 buscado recibió OK de 66.249.66.221 2017-07-09 23: 57: 24,563 [7] INFORMACIÓN ShopLanding - [Hilo 48] Google Maps: buscado BN14 recibió OK de 66.249.66.223 2017-07-09 23: 58: 00,970 [7] INFORMACIÓN ShopLanding - [Hilo 42] Google Maps: buscado CB4 recibido OK de 66.249.66.221 2017-07-09 23: 58: 13,064 [7] INFORMACIÓN ShopLanding - [Tema 54] Google Maps: buscado DY9 recibió OK de 66.249.66.221 2017-07-09 23: 59: 18,722 [7] INFORMACIÓN ShopLanding - [Hilo 59] Google Maps: buscado TS3 recibido OK de 66.249.66.223 2017-07-09 23: 59: 53,223 [7] INFORMACIÓN ShopLanding - [Hilo 49] Google Maps: buscado S45 recibió OK de 66.249.66.221
¿Hay alguna manera de evitar que Google envíe tantas solicitudes? Esto está comiendo una proporción significativa de la asignación gratuita. Las búsquedas legítimas parecen tener menos de 200 por día.
EDITAR
El sitio está construido en C # ASP.NET. La búsqueda de la tienda está utilizando POST, la URL no cambia al enviar. Puedo publicar una muestra de registros de IIS mañana por la mañana para confirmar este comportamiento.
fuente
POST
solicitudes para AJAX, aunque comprobaré los registros de IIS.Respuestas:
Para evitar que googlebot busque a través de googlemaps, coloque un archivo llamado
robots.txt
en la raíz de su dominio. por ejemplo, https://www.wikipedia.org/robots.txtMuestra de robots.txt:
Donde / search-store / es la página que envía la solicitud a google maps.
Si resulta ser algo más que Googlebot, puede intentar deshabilitar todo el rastreo a esta página con:
Tenga en cuenta que no dejará de comportarse mal los scripts que ignoran robots.txt.
fuente