ELK Stack (Logstash, Elasticsearch y Kibana) con servidor remoto syslog concurrente?

8

Estoy creando un servicio de analizador de registros para comenzar a monitorear principalmente nuestros firewalls pfSense, hipervisores XenServer, servidores FreeBSD / Linux y servidores Windows.

Hay mucha documentación en Internet sobre la pila de ELK y cómo hacer que funcione bien. Pero me gustaría usarlo de una manera diferente, pero no sé si es una buena solución o solo una pérdida de tiempo / espacio en disco.

Ya tengo una máquina FreeBSD 10.2 que actúa como un servidor syslog remoto, y mi idea es simplemente concentrar todos los registros en esta máquina y luego el servidor syslog reenvía los registros logstash-forwarderal servidor ELK.

Para mí está claro que este enfoque aumentará los requisitos de disco para esta configuración, pero por otro lado solo tendré una máquina con el logstash-forwarderdemonio instalado, lo que me parece bueno.

Pero hablando de problemas. El logstashanalizador coincide [host]con el nombre de host del servidor que envía los mensajes de registro, y en este enfoque solo se muestra en el "servidor" en ELK, el servidor remoto de syslog.

Soy consciente de que puedo personalizar la configuración en los logstasharchivos de configuración, pero no sé (y no tengo la experiencia para saber) si esto es solo una configuración simple en los analizadores, si comprometerá todo el ELK experiencia.

Al final solo quiero algunos consejos sobre mi arquitectura de registro y si funcionará, o si debo ir sin otra opción.

Gracias por adelantado,

Vinícius Ferrão
fuente
Estoy seguro de que lo que quiere hacer es posible, pero los detalles sobre el formato en el que está iniciando sesión en el servidor central de Syslog, la velocidad de registro, etc., serían excelentes. Además, hacer una pregunta específica obtendrá respuestas mucho mejores que simplemente decir "Estoy perdido, por favor ayuda".
GregL
¿Has considerado graylog? Puede usar la entrada de syslog graylog para ingerir syslog en elasticsearch. Desde allí puede usar Kibana y graylog tiene un extractor syslog / pfsense disponible.
davey
Logstash también tiene una entrada de syslog ...
GregL

Respuestas:

3

Si. Es posible cambiar el hostcampo en la salida de logstash con rubyfiltro sin mucha molestia.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Aquí asumí que en los registros del servidor syslog, el campo host es el cuarto campo donde el espacio en blanco es el separador.

7171u
fuente