¿Cómo manejan sus registros de acceso los sitios grandes como StackOverflow?

8

Me pregunto cómo los sitios grandes como StackOverflow manejan sus registros de acceso. Una escritura en el disco en cada solicitud parece un poco poco económica, pero ¿es Google Analytics tan confiable para usarla como su único recurso de información?

google-analytics analytics traffic logging apache-log-files Stephen Ostermiller
fuente
Puede configurar Apache para iniciar sesión en una base de datos. Me imagino que IIS es lo mismo.
Lèse majesté

Respuestas:

2

En un sistema * nix, podría usar syslog-ng para almacenar mensajes de registro en un servidor de registro dedicado para sus clústeres con equilibrio de carga y luego usar una solución de análisis de registro como Splunk para controlar todo, en cuanto a los sitios de StackExchange ejecutar realmente, puede ser una buena pregunta para StackOverflow Meta .

danlefree
fuente
¿Alguien ha preguntado todavía qué utiliza el intercambio de pila?
theonlygusti
2

Hay mucha información que contienen los registros del servidor web que nunca estará disponible para Google Analytics, dos cosas que puedo pensar:

  • Errores como 404, etc.
  • Acceso a archivos multimedia, como imágenes, etc. (incluidos sitios web externos que enlazan con sus imágenes)
  • Direcciones IP, aunque una respuesta a otra pregunta señaló que se puede configurar como una variable de usuario
  • URL de referencia de longitud completa, por ejemplo, Google envía enlaces de búsqueda de productos, búsqueda web, etc. cada búsqueda tiene palabras clave, pero Google Analytics no muestra las otras variables como &source=products, etc.

Debe haber más cosas que no puedo pensar en este momento.

Y también están los registros de errores; debe ser importante para que un sitio web funcione sin problemas, en mi opinión. No es algo que ignorarías.

Evgeny
fuente
Eso es correcto, pero ¿cómo almacenan sus registros? El archivo o la base de datos sugeridos por Lèse majesté me parecen pesados.
En realidad, cuando comprime este tipo de datos repetitivos ... se comprime muy bien. Así que imagino que puedes almacenarlo como archivos de texto comprimido y eliminarlos después de un tiempo ... solo tu rotación básica.
Evgeny el
0

Realmente no miro estos registros y termino eliminándolos mensualmente. Solo los miro para solucionar problemas. En cuanto a la aplicación de monitoreo, use Google Analytics, CrazyEgg y otros hacen un gran trabajo.

Antes de que existieran tales servicios, estos registros eran muy valiosos. Ahora, son buenas herramientas para desarrolladores, pero no conozco a ninguno de mis colegas o amigos que archiven activamente estos registros o los analicen en busca de datos.

Franco
fuente