He estado leyendo sobre arquitecturas escalables recientemente. En ese contexto, dos palabras que siguen apareciendo con respecto a las bases de datos son particiones y particiones . Busqué descripciones pero aún así terminé confundido. ¿Podrían los expertos de stackoverflow ayudarme a entender lo...
Cerrado. Esta pregunta no cumple con las pautas de desbordamiento de pila . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Stack Overflow. Cerrado hace 5 años . Mejora...
En Kafka, me gustaría usar solo un único corredor, un solo tema y una única partición que tenga un productor y múltiples consumidores (cada consumidor obtiene su propia copia de los datos del corredor). Dado esto, no quiero la sobrecarga de usar Zookeeper; ¿No puedo usar solo el corredor solamente?...
Empecé a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Scala, pero no veo cómo hacerlo. Una de las tablas de datos con las que estoy trabajando contiene una lista de transacciones, por cuenta, silimar para el siguiente ejemplo. Account...
Leí la documentación de HashPartitioner. Desafortunadamente, no se explicó mucho excepto las llamadas a la API. Supongo que HashPartitionerparticiona el conjunto distribuido en función del hash de las claves. Por ejemplo, si mis datos son como (1,1), (1,2), (1,3), (2,1), (2,2),...