Esta publicación ya tiene respuestas, pero estoy agregando mi punto de vista con algunas imágenes de la Guía definitiva de Kafka
Antes de responder cada pregunta, agreguemos una descripción general de los componentes del productor:
1. Cuando un productor produce un mensaje: especificará el tema al que desea enviar el mensaje, ¿es así? ¿Le importan las particiones?
El productor decidirá la partición de destino para colocar cualquier mensaje, dependiendo de:
- ID de partición, si se especifica dentro del mensaje
- clave% num particiones , si no se menciona ninguna identificación de partición
- Round robin si ni la identificación de la partición ni la clave del mensaje están disponibles en el mensaje, lo que significa que solo está disponible el valor
2. Cuando se ejecuta un suscriptor: ¿especifica su ID de grupo para que pueda formar parte de un grupo de consumidores del mismo tema o de varios temas en los que este grupo de consumidores está interesado?
Siempre debe configurar group.id a menos que esté utilizando la API de asignación simple y no necesite almacenar compensaciones en Kafka. No será parte de ningún grupo. fuente
3. ¿Cada grupo de consumidores tiene una partición correspondiente en el corredor o cada consumidor tiene una?
En un grupo de consumidores, cada partición será procesada por un solo consumidor . Estos son los posibles escenarios.
- El número de consumidores es menor que el número de particiones de tema, luego se pueden asignar múltiples particiones a uno de los consumidores del grupo
- Número de consumidores igual que número de particiones de tema, luego la asignación de particiones y consumidores puede ser como a continuación,
- El número de consumidores es mayor que el número de particiones temáticas, entonces la partición y el mapeo del consumidor pueden ser como se ve a continuación, No es efectivo, verifique el Consumidor 5
4. Como las particiones creadas por el corredor, por lo tanto, no es una preocupación para los consumidores?
El consumidor debe estar al tanto el número de particiones, como se discutió en la pregunta 3.
5. Dado que esta es una cola con un desplazamiento para cada partición, ¿es responsabilidad del consumidor especificar qué mensajes quiere leer? ¿Necesita salvar su estado?
Kafka (para ser el Coordinador de grupo específico ) se encarga del estado de compensación produciendo un mensaje a un tema interno __consumer_offsets , este comportamiento también se puede configurar en el manual estableciendo enable.auto.commiten false. En ese casoconsumer.commitSync() y consumer.commitAsync()puede ser útil para la gestión de desplazamiento.
Más sobre el coordinador de grupo :
- Es uno de los corredores elegidos en el clúster desde el lado del servidor Kafka.
- Los consumidores interactúan con el Coordinador de grupo para confirmar compromisos y solicitar solicitudes.
- El consumidor envía latidos periódicos al Coordinador del grupo.
6. ¿Qué sucede cuando un mensaje se elimina de la cola? - Por ejemplo: la retención fue de 3 horas, luego pasa el tiempo, ¿cómo se maneja el desplazamiento en ambos lados?
Si algún consumidor comienza después del período de retención, los mensajes se consumirán según la auto.offset.resetconfiguración que podría ser latest/earliest. técnicamente es latest(comience a procesar mensajes nuevos) porque todos los mensajes expiraron en ese momento y la retención es una configuración de nivel de tema.
Tomemos esos en orden :)
Por defecto, al productor no le importa la partición. Tiene la opción de usar un particionador personalizado para tener un mejor control, pero es totalmente opcional.
Sí, los consumidores se unen (o crean si están solos) a un grupo de consumidores para compartir la carga. No dos consumidores en el mismo grupo recibirán el mismo mensaje.
Ninguno. A todos los consumidores en un grupo de consumidores se les asigna un conjunto de particiones, bajo dos condiciones: no hay dos consumidores en el mismo grupo que tengan una partición en común, y al grupo de consumidores en su conjunto se le asigna cada partición existente.
No lo son, pero puede ver en 3 que es totalmente inútil tener más consumidores que las particiones existentes, por lo que es su nivel de paralelismo máximo para el consumo.
Sí, los consumidores guardan un desplazamiento por tema por partición. Esto es totalmente manejado por Kafka, no te preocupes por eso.
Si un consumidor alguna vez solicita una compensación no disponible para una partición en los intermediarios (por ejemplo, debido a la eliminación), ingresa en un modo de error y finalmente se restablece para esta partición al mensaje más reciente o al más antiguo disponible (dependiendo de el valor de configuración auto.offset.reset) y continúe trabajando.
fuente
Kafka usa el tema concepción del que viene a poner orden en el flujo de mensajes.
Para equilibrar la carga, un tema puede dividirse en múltiples particiones y replicarse entre los corredores.
Las particiones son secuencias de mensajes ordenadas e inmutables que se agregan continuamente, es decir, un registro de confirmación.
Los mensajes en la partición tienen un número de identificación secuencial que identifica de manera única cada mensaje dentro de la partición.
Las particiones permiten que el registro de un tema escale más allá de un tamaño que se ajuste a un único servidor (un intermediario) y actúe como la unidad de paralelismo.
Las particiones de un tema se distribuyen entre los intermediarios en el clúster de Kafka, donde cada intermediario maneja los datos y las solicitudes de una parte de las particiones.
Cada partición se replica en un número configurable de intermediarios para garantizar la tolerancia a fallas.
Bien explicado en este artículo: http://codeflex.co/what-is-apache-kafka/
fuente