¿Cuáles son las alternativas ahora que la API de búsqueda web de Google ha quedado en desuso? [cerrado]

322

La API de Google Web Search ha quedado en desuso y reemplazada por la API de búsqueda personalizada (consulte http://code.google.com/apis/websearch/ ).

Quería buscar en toda la web, pero parece que con la nueva API solo se pueden buscar sitios personalizados.

¿Hay alguna forma de buscar en toda la web mediante programación? Pude consultar la antigua API usando JSON desde un programa Java.

Dan
fuente
3
OK, he investigado mucho sobre esto y parece que la única solución es Yahoo Boss
Dan
La API de búsqueda personalizada no es lo que la mayoría de la gente está buscando: - / ¡ Eche un vistazo a searchapi.io !
Stan Smulders
He hecho POC en varias API de búsqueda que proporcionan muchas características y muy fáciles de implementar en una fracción de minutos. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) son las API que también he implementado y probado. También podría proporcionar una respuesta detallada, pero esta pregunta está cerrada.
Ashish Kumar
2
La mejor solución es utilizar un servicio de terceros como SerpApi
Hartator

Respuestas:

32

Podrías enviarlos como lo hace un navegador y luego analizar el html, eso es lo que siempre he hecho, incluso para cosas como Youtube.

Zimm3r
fuente
64
Me han dicho que los términos de servicio de Google prohíben las arañas ...
Steven A. Lowe
52
Del TOS : "Usted acuerda específicamente no acceder (o intentar acceder) a ninguno de los Servicios a través de ningún medio automatizado (incluido el uso de scripts o rastreadores web) ..."
ændrük
18
"Violar los términos de servicio con un proveedor de servicios" nunca es un buen consejo. Analizar páginas web es algo que se rompe de un día para otro sin previo aviso, este es un consejo horrible, esa es la razón por la que se votó negativamente más de lo que se votó.
WhyNotHugo
143
Sí, rompe los términos del servicio, pero personalmente no me preocuparía por eso. Google puede manejar un poco de raspado, después de todo, han hecho una fortuna rascando los sitios de otras personas.
jimbo2087
106
Vamos gente. No seas tan ingenuo. Google no puede forzar ese ToS en tu garganta. Para violar un ToS, primero debe aceptarlo (por escrito o haciendo clic en un botón como 'Sí, acepto los términos'). Piense en esto: pongo un ToS en mi página web que cada persona que visita esa página tiene que darme $ 10000. ¿Puedo imponer este ToS a mis visitantes? Tendré que hacerlo de inmediato.
Migrate2Lazarus ve mi perfil el
482

Sí, Google Custom Search ahora ha sustituido a la antigua API de búsqueda, pero se puede seguir utilizando Google Custom Search para buscar en toda la web , aunque los pasos no son evidentes a partir de la configuración de búsqueda personalizado.

Para crear un motor de búsqueda personalizado de Google que busque en toda la web:

  1. Desde la página de inicio de Búsqueda personalizada de Google ( http://www.google.com/cse/ ), haga clic en Crear un motor de búsqueda personalizado.
  2. Escriba un nombre y una descripción para su motor de búsqueda.
  3. En Definir su motor de búsqueda, en el cuadro Sitios para buscar, ingrese al menos una URL válida (por ahora, simplemente ingrese www.anyurl.com para pasar esta pantalla. Más sobre esto más adelante).
  4. Seleccione la edición CSE que desee y acepte los Términos de servicio, luego haga clic en Siguiente. Seleccione la opción de diseño que desee y luego haga clic en Siguiente.
  5. Haga clic en cualquiera de los enlaces en la sección Pasos siguientes para navegar a su Panel de control.
  6. En el menú de la izquierda, en Panel de control, haga clic en Conceptos básicos.
  7. En la sección Preferencias de búsqueda, seleccione Buscar en toda la web pero haga hincapié en los sitios incluidos.
  8. Haz clic en Guardar cambios.
  9. En el menú de la izquierda, en Panel de control, haga clic en Sitios.
  10. Elimine el sitio que ingresó durante el proceso de configuración inicial.

Ahora su motor de búsqueda personalizado buscará en toda la web.

Precios

  • La Búsqueda personalizada de Google te ofrece 100 consultas por día de forma gratuita.
  • Después de eso, paga $ 5 por 1000 consultas.
  • Hay un máximo de 10,000 consultas por día.

Fuente: https://developers.google.com/custom-search/json-api/v1/overview#Pricing


  • La calidad de búsqueda es mucho más baja que la búsqueda normal de Google (sin sinónimos, "inteligencia", etc.)
  • Parece que Google incluso planea cerrar este servicio por completo.
Bangkokian
fuente
26
Gracias por esto. ¡Esperemos que este sea un procedimiento válido y no una laguna a la espera de ser tapado por Google!
Mazatec
99
¡Gracias! Esta es posiblemente la única respuesta en Internet que abordó mi pregunta. Es alucinante por qué Google finalizaría el soporte directo de API para su servicio principal.
spamguy
77
pero como usarlo con json?
nawara
61
ADVERTENCIA: desarrollamos usando la versión gratuita, pero para actualizar a la versión paga (para hacer más de 100 búsquedas), Google te obliga a desactivar la "búsqueda en toda la web pero enfatizar los sitios incluidos"
Bryan Larsen
55
"El 1 de abril de 2017, Google suspenderá las ventas de Google Site Search. Todas las compras y renovaciones nuevas deben realizarse antes de esta fecha. El producto se cerrará por completo antes del 1 de abril de 2018".
Gajus
55

La Búsqueda personalizada de Google (como se recomienda en las respuestas mejor calificadas) funciona bien, pero es muy costosa, en comparación con sus competidores (a continuación) o en comparación con otras API de Google. Tiene un pequeño nivel gratuito (100 consultas / día) y un precio muy alto de $ 5 por 1000 consultas.

Ofrecen la opción de actualizar a Site Search, que tiene precios ligeramente mejores, pero está destinado a buscar un sitio (el suyo), por lo que es realmente algo bastante diferente, no una actualización.

Las principales alternativas parecen ser:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Que tiene un nivel gratuito de 5000q / mes, y precios que comienzan en 5 consultas por centavo, y sin límite estricto.

ACTUALIZACIÓN: a finales de 2016, esta API se cerró a favor de su contraparte de Azure "API de búsqueda de servicios cognitivos Bing":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Vea aquí una tabla de precios, que comienza en US $ 3 / m para 1,000 transacciones. A menos que me falte algo, es bastante caro.


ACTUALIZACIÓN DE LA API DE BOSS Search de Yahoo : se suspendió el 31 de marzo de 2016. http://developer.yahoo.com/boss/search/
Con precios que comienzan en alrededor de 12 consultas / centavo para búsquedas web completas.

Y algunos que no he escuchado antes:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[descontinuado - como se señala a continuación]

Hay un poco de discusión sobre algunos de estos en esta publicación SO .
[se cerró por estar fuera de tema y ahora se ha ido]

Tom
fuente
2
La versión 5 de Bing Search API ahora permite hasta 1,000 transacciones por mes en todas las API de Bing Search (Web, imágenes, video, búsqueda de noticias): microsoft.com/cognitive-services/en-us/pricing . Puse algunas muestras - mvark.blogspot.in/2016/06/…
mvark
wholeweb.com ha descontinuado el servicio como se ve aquí wholeweb.com/services
Wessam El Mahdy
el 15 de diciembre de 2016, la API de Bing Web Search se moverá bajo Servicios Cognitivos por Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), que requieren una verificación de teléfono + tarjeta de crédito para una suscripción (incluso uno gratis).
gilad mayani
De Bing API: "DataMarket y Data Services se están retirando y dejarán de aceptar nuevos pedidos después del 31/12/2016. Las suscripciones existentes se retirarán y cancelarán a partir del 31/03/2017. Comuníquese con su proveedor de servicios para obtener opciones si usted querer continuar el servicio ".
Dmitri Zaitsev
Gracias por señalar el cambio. He actualizado la respuesta en consecuencia.
Tom
27

Aquí hay una opción en la parte inferior del Panel de control de búsqueda personalizada: "Sitios para buscar" , puede elegir "Buscar en toda la web pero enfatizar los sitios incluidos"

Panel de control de búsqueda personalizada: sitios para buscar

Colmillo Yishu
fuente
1
¿Sigue funcionando para ti?
Dejell
Sí, todavía funciona.
55
Google te obliga a desactivar esa opción cuando actualizas a la búsqueda paga. Y gratis tiene un límite de 100 búsquedas.
Bryan Larsen
1
@Yishu, ¿por qué la página https://support.google.com/customsearch/answer/141877?hl=es dice " No puede configurar Google Site Search para buscar en toda la web "?
Pacerier
@Pacerier, no tengo idea al respecto. Tal vez la política ha cambiado?
Yishu Fang
14

Faroo tiene una API de búsqueda web gratuita

Jack
fuente
Sus resultados parecen limitados pero un buen punto de partida.
afro360
@ Jack, no he oído hablar de esto antes. ¿De dónde obtienen sus resultados de búsqueda?
Pacerier
77
El posible factor decisivo para Faroo es que su clave API está restringida a la dirección IP que especifique durante el registro.
Excepción no capturada el
66
¿Estos muchachos siguen operativos? Solicité claves API y no escuché nada.
Paul Whelan
5

Acabo de encontrar esto desde Common Crawl.

http://www.commoncrawl.org/

¡Puede ser la respuesta que todos estamos buscando!

Dan
fuente
3
Tiene un índice limitado, actualizado aproximadamente una vez al año. Y finalmente es bastante costoso, ya que tienes que conectarte a Amazon S3.
Guillaume Lebourgeois
@GuillaumeLebourgeois, caro? No creo que sea verdad. Es una organización sin fines de lucro. Los 102 TB de datos completos se pueden descargar gratis.
Pacerier
El costo es para conectarse a AWS donde puede acceder a esto. Si eres un estudiante, eres elegible para su nivel gratuito, pero aún podría haber costos de transferencia, etc. y si no está en el nivel gratuito, hay costos de funcionamiento.
tripleee
Parece que el rastreo común se actualiza mensualmente ahora
Jack Tuck el
4

Hay una nota en la parte superior de los documentos :

Nota: La API de Google Web Search ha quedado en desuso oficialmente a partir del 1 de noviembre de 2010. Continuará funcionando según nuestra política de desaprobación , pero la cantidad de solicitudes que puede hacer por día será limitada. Por lo tanto, lo alentamos a pasar a la nueva API de búsqueda personalizada .

La política de desaprobación dice que continuarán ejecutando la API durante 3 años. Entonces, si ya tiene una aplicación que usa la API anterior, no tiene que apresurarse a cambiar las cosas todavía. Si está escribiendo una nueva aplicación, use la API de búsqueda personalizada . Vea mi respuesta aquí para saber cómo hacer esto en Python, pero la idea es la misma para cualquier idioma.

moinudin
fuente
8
Y no es gratis ... "$ 5 por 1000 consultas" ... ¡mucho no es gratis!
UpTheCreek
1
Esta respuesta ahora es obsoleta ya que han pasado los tres años y ha pasado el 29/09/2014.
nanofarad
CustomeSearchAPI no está en todos los sitios web - es para los sitios web de los usuarios
Dejell
1

Puede crear un motor de búsqueda personalizado "en todas partes" directamente desde la página de inicio de Búsqueda personalizada de Google ( http://www.google.com/cse/ ). Simplemente debe hacer clic en "avanzado", al agregar un nuevo motor. Allí puede proporcionar el tipo de sitio Schema.org. ' Cosa ' es el tipo más genérico, que cubre toda la web.

Testlnord
fuente
No lo entendí. ¿Funciona para ti?
Dejell