Apache Kafka es una plataforma de transmisión distribuida diseñada para almacenar y procesar transmisiones de datos de alto rendimiento.
Me pidieron que evaluara RabbitMQ en lugar de Kafka, pero me resultó difícil encontrar una razón por la que está haciendo algo mejor que Kafka. ¿Alguien sabe si es realmente mejor en rendimiento, durabilidad, latencia o facilidad de
Aunque me he encontrado con Kafka antes, recientemente me di cuenta de que Kafka quizás podría usarse como (la base de) un CQRS , tienda de eventos . Uno de los puntos principales que admite Kafka: Captura / almacenamiento de eventos, todo HA, por supuesto. Pub / sub arquitectura Capacidad para...
¿Hay alguna manera de purgar el tema en kafka? Introduje un mensaje que era demasiado grande en un tema de mensaje kafka en mi máquina local, ahora recibo un error: kafka.common.InvalidMessageSizeException: invalid message size Aumentar el fetch.sizeno es ideal aquí, porque en realidad no...
Estoy empezando a aprender Kafka para propósitos de soluciones empresariales. Durante mis lecturas, me vinieron a la mente algunas preguntas: Cuando un productor produce un mensaje, especificará el tema al que desea enviar el mensaje, ¿es así? ¿Le importan las particiones? Cuando se está...
Estoy tratando de usar Kafka. Todas las configuraciones se realizan correctamente, pero cuando trato de generar un mensaje desde la consola sigo recibiendo el siguiente error WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE}
Soy relativamente nuevo en Kafka. He experimentado un poco con él, pero algunas cosas no me quedan claras con respecto a la compensación del consumidor. Por lo que he entendido hasta ahora, cuando un consumidor comienza, el desplazamiento desde el que comenzará a leer está determinado por la...
Una de las primeras cosas en las que pienso cuando uso un nuevo servicio (como un almacén de datos que no es RDBMS o una cola de mensajes) es: "¿Cómo debo estructurar mis datos?". He leído y visto algunos materiales introductorios. En particular, tome, por ejemplo, Kafka: un sistema de mensajería...
En Kafka, me gustaría usar solo un único corredor, un solo tema y una única partición que tenga un productor y múltiples consumidores (cada consumidor obtiene su propia copia de los datos del corredor). Dado esto, no quiero la sobrecarga de usar Zookeeper; ¿No puedo usar solo el corredor solamente?...
Envío String-messages a Kafka V. 0.8 con la API de Java Producer. Si el tamaño del mensaje es de aproximadamente 15 MB, obtengo un archivo MessageSizeTooLargeException. Intenté establecerlo message.max.bytesen 40 MB, pero todavía obtengo la excepción. Los pequeños mensajes funcionaron sin...
¿Cómo encontrar la versión kafka en linux? ¿Hay alguna forma de encontrar la versión de kafka instalada además de mencionar la versión mientras la
Apache Kafka: sistema de mensajería distribuida Apache Storm: procesamiento de mensajes en tiempo real ¿Cómo podemos utilizar ambas tecnologías en una canalización de datos en tiempo real para procesar datos de eventos? En términos de canalización de datos en tiempo real, me parece que ambos...
Recientemente comencé a aprender Kafka y termino con estas preguntas. ¿Cuál es la diferencia entre Consumer y Stream? Para mí, si alguna herramienta / aplicación consume mensajes de Kafka es un consumidor en el mundo Kafka. ¿En qué se diferencia Stream ya que también consume o produce...
Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 10 meses . Mejora esta
Necesito eliminar el tema testen Apache Kafka 0.8.1.1. Como se expresa en la documentación aquí , he ejecutado: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Sin embargo, esto da como resultado el siguiente mensaje: Command must include exactly one action: --list,...
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Actualmente, estoy enviando mensajes sin ninguna clave como parte de los mensajes con clave, ¿seguirá...
Estoy usando apache kafka para enviar mensajes. Implementé el productor y el consumidor en Java. ¿Cómo podemos obtener la cantidad de mensajes en un tema?
¿Hay alguna forma de eliminar todos los datos de un tema o eliminar el tema antes de cada ejecución? ¿Puedo modificar el archivo KafkaConfig.scala para cambiar la logRetentionHourspropiedad? ¿Hay alguna forma de que los mensajes se eliminen tan pronto como el consumidor los lea? Estoy usando...
Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 2 meses . Mejora esta
Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 1 año . Mejora esta pregunta...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 días . Fui a una...