MapReduce es un algoritmo para procesar grandes conjuntos de datos sobre ciertos tipos de problemas distribuibles utilizando una gran cantidad de nodos.
Sé cómo "transformar" un Java simple Listde Y-> Z, es decir: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Ahora me gustaría hacer básicamente lo mismo con un mapa, es decir: INPUT: { "key1" -> "41", // "41" and...
Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión
Relacionado con mi pregunta CouchDB . ¿Alguien puede explicar MapReduce en términos que un numbnuts podría
¿Qué escenarios justificarían el uso del algoritmo " Mapear y reducir "? ¿Existe una implementación .NET de este algoritmo?
En muchas situaciones de la vida real en las que aplica MapReduce, los algoritmos finales terminan siendo varios pasos de MapReduce. es decir, Mapa1, Reducir1, Mapa2, Reducir2, etc. Entonces tiene la salida de la última reducción que se necesita como entrada para el siguiente mapa. Los datos...
De acuerdo con la Hadoop - The Definitive Guide Los registros lógicos que define FileInputFormats no suelen encajar perfectamente en los bloques HDFS. Por ejemplo, los registros lógicos de TextInputFormat son líneas, que cruzarán los límites de HDFS la mayoría de las veces. Esto no influye en el...
En la programación de Map Reduce, la fase de reducción tiene como sub-partes barajar, ordenar y reducir. La clasificación es un asunto costoso. ¿Cuál es el propósito de la fase de orden aleatorio y ordenado en el reductor en la programación de Map
Uno de los principales ejemplos que se utiliza para demostrar el poder de MapReduce es el punto de referencia Terasort . Tengo problemas para comprender los conceptos básicos del algoritmo de clasificación que se utiliza en el entorno MapReduce. Para mí, clasificar simplemente implica determinar...
Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 4 años . Mejora esta...
¿Existe alguna dependencia entre Spark y Hadoop ? Si no es así, ¿hay alguna función que me pierda cuando ejecuto Spark sin Hadoop ?
En Hadoop v1, he asignado cada 7 ranuras de mapeador y reductor con un tamaño de 1GB, mis mapeadores y reductores funcionan bien. Mi máquina tiene memoria 8G, procesador 8. Ahora con YARN, cuando ejecuto la misma aplicación en la misma máquina, obtengo un error de contenedor. Por defecto, tengo...
Escucho mucho sobre map / reduce, especialmente en el contexto del sistema de cómputo masivamente paralelo de Google. ¿Qué es exactamente?
En Hadoop, ¿cuándo comienzan las tareas de reducción? ¿Comienzan después de que se completa un cierto porcentaje (umbral) de mapeadores? Si es así, ¿se fija este umbral? ¿Qué tipo de umbral se utiliza normalmente?
Por ahora, tengo un trabajo de Hadoop que crea contadores con un nombre bastante grande. Por ejemplo, la siguiente: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Este contador se trunca en la...