Preguntas etiquetadas con hadoop

Conozco du -shlos sistemas de archivos comunes de Linux. ¿Pero cómo hacer eso con

Estoy planeando usar uno de los formatos de archivo hadoop para mi proyecto relacionado con hadoop. Yo entiendo de parquet es eficaz para la consulta y Avro basada en la columna para barrido completo o cuando necesitamos todos los datos de las columnas! Antes de continuar y elegir uno de los...

¿Existe alguna dependencia entre Spark y Hadoop ? Si no es así, ¿hay alguna función que me pierda cuando ejecuto Spark sin Hadoop ?

¿Cómo puedo encontrar qué versión de Hive estoy usando desde el símbolo del sistema? A continuación se muestran los detalles. Estoy usando Putty para conectarme a la tabla de colmena y acceder a los registros de las tablas. Entonces, lo que hice fue abrir Putty y en el nombre de host escribí...

Estoy realizando algunas pruebas en los formatos de almacenamiento disponibles con Hive y usando Parquet y ORC como opciones principales. Incluí ORC una vez con compresión predeterminada y una vez con Snappy. He leído muchos documentos que afirman que Parquet es mejor en complejidad de tiempo /...

Mientras instalaba hadoop en mi máquina local, recibí el siguiente error ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost...

En Hadoop v1, he asignado cada 7 ranuras de mapeador y reductor con un tamaño de 1GB, mis mapeadores y reductores funcionan bien. Mi máquina tiene memoria 8G, procesador 8. Ahora con YARN, cuando ejecuto la misma aplicación en la misma máquina, obtengo un error de contenedor. Por defecto, tengo...

Tal como está actualmente, esta pregunta no se ajusta bien a nuestro formato de preguntas y respuestas. Esperamos que las respuestas estén respaldadas por hechos, referencias o experiencia, pero es probable que esta pregunta solicite debate, argumentos, encuestas o una discusión...

nos gustaría poner los resultados de una consulta de Hive en un archivo CSV. Pensé que el comando debería verse así: insert overwrite directory '/home/output.csv' select books from table; Cuando lo ejecuto, dice que se completó correctamente, pero nunca puedo encontrar el archivo. ¿Cómo...

En Hadoop, ¿cuándo comienzan las tareas de reducción? ¿Comienzan después de que se completa un cierto porcentaje (umbral) de mapeadores? Si es así, ¿se fija este umbral? ¿Qué tipo de umbral se utiliza normalmente?

Por ahora, tengo un trabajo de Hadoop que crea contadores con un nombre bastante grande. Por ejemplo, la siguiente: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Este contador se trunca en la...