¿La araña de Google representa JavaScript?

¿La araña de Google sabe cómo representar JavaScript, o solo HTML?

Aparentemente, algunos, según Matt Cutts :

"Durante un tiempo, estuvimos escaneando dentro de JavaScript, y estábamos buscando enlaces. Google se ha vuelto más inteligente acerca de JavaScript y puede ejecutar algunos JavaScript. No diría que ejecutamos todos los JavaScript, por lo que hay algunas condiciones en las que no no ejecute JavaScript. Ciertamente hay algunas cosas comunes y conocidas de JavaScript como Google Analytics, que ni siquiera querría ejecutar porque no querría intentar generar visitas fantasmas de Googlebot a su Google Analytics ".

Google ahora procesa oficialmente JavaScript.

Para resolver este problema, decidimos intentar entender las páginas ejecutando JavaScript. Es difícil hacerlo a la escala de la web actual, pero decidimos que vale la pena. Hemos estado mejorando gradualmente cómo hacemos esto por algún tiempo. En los últimos meses, nuestro sistema de indexación ha estado representando un número sustancial de páginas web más como el navegador de un usuario promedio con JavaScript activado.

• A veces, las cosas no salen perfectamente durante el renderizado, lo que puede afectar negativamente los resultados de búsqueda de su sitio. Aquí hay algunos problemas potenciales y, cuando sea posible, cómo puede ayudar a evitar que ocurran:
• Si los recursos como JavaScript o CSS en archivos separados están bloqueados (por ejemplo, con robots.txt) para que Googlebot no pueda recuperarlos, nuestros sistemas de indexación no podrán ver su sitio como un usuario promedio. Recomendamos permitir que Googlebot recupere JavaScript y CSS para que su contenido pueda indexarse ​​mejor. Esto es especialmente importante para los sitios web móviles, donde los recursos externos como CSS y JavaScript ayudan a nuestros algoritmos a comprender que las páginas están optimizadas para dispositivos móviles. Si su servidor web no puede manejar el volumen de solicitudes de rastreo de recursos, puede tener un impacto negativo en nuestra capacidad para procesar sus páginas. Si desea asegurarse de que Google pueda procesar sus páginas, asegúrese de que sus servidores puedan manejar las solicitudes de rastreo de recursos.
• Siempre es una buena idea que su sitio se degrade con gracia. Esto ayudará a los usuarios a disfrutar de su contenido incluso si su navegador no tiene implementaciones de JavaScript compatibles. También ayudará a los visitantes con JavaScript desactivado o desactivado, así como a los motores de búsqueda que aún no pueden ejecutar JavaScript.
• A veces, JavaScript puede ser demasiado complejo o arcano para que lo ejecutemos, en cuyo caso no podemos renderizar la página de manera completa y precisa.
• Algunos JavaScript eliminan contenido de la página en lugar de agregarlo, lo que nos impide indexar el contenido.

Como resultado de esto, han dejado de usar su estándar Ajax rastreable :

En 2009, hicimos una propuesta para hacer que las páginas AJAX sean rastreables. En aquel entonces, nuestros sistemas no podían representar y comprender páginas que usan JavaScript para presentar contenido a los usuarios. Debido a que "los rastreadores ... [no] pudieron ver ningún contenido ... creado dinámicamente", propusimos un conjunto de prácticas que los webmasters pueden seguir para garantizar que sus aplicaciones basadas en AJAX sean indexadas por los motores de búsqueda.

Los tiempos han cambiado. Hoy en día, siempre y cuando no esté bloqueando que Googlebot rastree sus archivos JavaScript o CSS, generalmente podemos renderizar y comprender sus páginas web como navegadores modernos. Para reflejar esta mejora, recientemente actualizamos nuestras Directrices técnicas para webmasters para recomendar no permitir que Googlebot rastree los archivos CSS o JS de su sitio.

Dado que los supuestos para nuestra propuesta de 2009 ya no son válidos, recomendamos seguir los principios de mejora progresiva. Por ejemplo, puede usar el API de historial pushState () para garantizar la accesibilidad a una gama más amplia de navegadores (y nuestros sistemas).

Lo hace, en parte, como revela una búsqueda rápida en Google:
http://blogs.forbes.com/velocity/2010/06/25/google-isnt-just-reading-your-links-its-now-running-your- código/

Aún así, Google es relativamente silencioso sobre lo que el bot entiende exactamente.

Sí, Google ha mejorado mucho en la ejecución y comprensión de sus scripts. Sin embargo, Google recomienda que todo se degrade con gracia o que en su lugar use una mejora progresiva para que sin JavaScript el sitio web todavía funcione. Hay opciones para solucionar esto con servicios como Prerender.io , sin embargo, esto utiliza el esquema de rastreo AJAX que Google recientemente desaprobó .

Sí, Google puede representar JavaScript, pero sigue siendo la mejor solución para tener una versión renderizada del lado del servidor para obtener el mejor rendimiento / clasificación de búsqueda ( fuente ). Fuente. Vea más sobre los marcos de trabajo de Google y JavaScript .