La API de Google Web Search ha quedado en desuso y reemplazada por la API de búsqueda personalizada (consulte http://code.google.com/apis/websearch/ ).
Quería buscar en toda la web, pero parece que con la nueva API solo se pueden buscar sitios personalizados.
¿Hay alguna forma de buscar en toda la web mediante programación? Pude consultar la antigua API usando JSON desde un programa Java.
Respuestas:
Podrías enviarlos como lo hace un navegador y luego analizar el html, eso es lo que siempre he hecho, incluso para cosas como Youtube.
fuente
Sí, Google Custom Search ahora ha sustituido a la antigua API de búsqueda, pero se puede seguir utilizando Google Custom Search para buscar en toda la web , aunque los pasos no son evidentes a partir de la configuración de búsqueda personalizado.
Para crear un motor de búsqueda personalizado de Google que busque en toda la web:
Ahora su motor de búsqueda personalizado buscará en toda la web.
Precios
Fuente: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
fuente
La Búsqueda personalizada de Google (como se recomienda en las respuestas mejor calificadas) funciona bien, pero es muy costosa, en comparación con sus competidores (a continuación) o en comparación con otras API de Google. Tiene un pequeño nivel gratuito (100 consultas / día) y un precio muy alto de $ 5 por 1000 consultas.
Ofrecen la opción de actualizar a Site Search, que tiene precios ligeramente mejores, pero está destinado a buscar un sitio (el suyo), por lo que es realmente algo bastante diferente, no una actualización.
Las principales alternativas parecen ser:
Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Que tiene un nivel gratuito de 5000q / mes, y precios que comienzan en 5 consultas por centavo, y sin límite estricto.
ACTUALIZACIÓN: a finales de 2016, esta API se cerró a favor de su contraparte de Azure "API de búsqueda de servicios cognitivos Bing":
https://azure.microsoft.com/en-us/services/cognitive-services/search/
Vea aquí una tabla de precios, que comienza en US $ 3 / m para 1,000 transacciones. A menos que me falte algo, es bastante caro.
ACTUALIZACIÓN DE LA API DE BOSS Search de Yahoo : se suspendió el 31 de marzo de 2016. http://developer.yahoo.com/boss/search/
Con precios que comienzan en alrededor de 12 consultas / centavo para búsquedas web completas.
Y algunos que no he escuchado antes:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.commoncrawl.org/
http://www.entireweb.com/search_api/implementation/
[descontinuado - como se señala a continuación]
Hay un poco de discusión sobre algunos de estos en esta publicación SO .
[se cerró por estar fuera de tema y ahora se ha ido]
fuente
Aquí hay una opción en la parte inferior del Panel de control de búsqueda personalizada: "Sitios para buscar" , puede elegir "Buscar en toda la web pero enfatizar los sitios incluidos"
fuente
Faroo tiene una API de búsqueda web gratuita
fuente
Acabo de encontrar esto desde Common Crawl.
http://www.commoncrawl.org/
¡Puede ser la respuesta que todos estamos buscando!
fuente
Hay una nota en la parte superior de los documentos :
La política de desaprobación dice que continuarán ejecutando la API durante 3 años. Entonces, si ya tiene una aplicación que usa la API anterior, no tiene que apresurarse a cambiar las cosas todavía. Si está escribiendo una nueva aplicación, use la API de búsqueda personalizada . Vea mi respuesta aquí para saber cómo hacer esto en Python, pero la idea es la misma para cualquier idioma.
fuente
Hay una API Java gratuita llamada JFreeWebSearch que utiliza el ya mencionado Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
fuente
Puede crear un motor de búsqueda personalizado "en todas partes" directamente desde la página de inicio de Búsqueda personalizada de Google ( http://www.google.com/cse/ ). Simplemente debe hacer clic en "avanzado", al agregar un nuevo motor. Allí puede proporcionar el tipo de sitio Schema.org. ' Cosa ' es el tipo más genérico, que cubre toda la web.
fuente
Gigablast ofrece una API de búsqueda web barata: http://www.gigablast.com/searchfeed.html
fuente