Hadoop es un proyecto de código abierto de Apache que proporciona software para computación distribuida confiable y escalable. El núcleo consta de un sistema de archivos distribuido (HDFS) y un administrador de recursos (YARN). Varios otros proyectos de código abierto, como Apache Hive, utilizan Apache Hadoop como capa de persistencia.
Actualmente estoy configurando hadoop en un servidor que ejecuta CentOs . Cuando ejecuto start-dfs.sho stop-dfs.sh, aparece el siguiente error: WARN util.NativeCodeLoader: no se puede cargar la biblioteca nativa-hadoop para su plataforma ... usando clases incorporadas-java donde...
Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 4 años .
Estoy tratando de entender la relación entre la cantidad de núcleos y la cantidad de ejecutores cuando se ejecuta un trabajo de Spark en YARN. El entorno de prueba es el siguiente: Número de nodos de datos: 3 Especificaciones de la máquina del nodo de datos: CPU: Core i7-4790 (# de núcleos: 4,...
¿Cuáles son los beneficios de usar Hadoop o HBase o Hive ? Según tengo entendido, HBase evita el uso de map-reduce y tiene un almacenamiento orientado a columnas sobre HDFS. Hive es una interfaz tipo sql para Hadoop y HBase . También me gustaría saber cómo se compara Hive con Pig...
Instalé Spark usando la guía AWS EC2 y puedo iniciar bien el programa usando el bin/pyspark script para llegar al indicador de chispa y también puedo hacer el inicio rápido exitosamente. Sin embargo, no puedo por mi vida descubrir cómo detener todo el INFOregistro detallado después de cada...
Me gustaría leer un CSV en chispa y convertirlo como DataFrame y almacenarlo en HDFS con df.registerTempTable("table_name") Yo he tratado: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Error que obtuve: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a...
Las características del parquet Apache son: Autodescriptivo Formato de columnas Independiente del idioma En comparación con Avro, Sequence Files, RC File, etc. Quiero una visión general de los formatos. Ya he leído: cómo funciona Impala con los formatos de archivo Hadoop , ofrece algunas ideas...
Cómo copiar archivos de HDFS al sistema de archivos local. No hay una ubicación física de un archivo debajo del archivo, ni siquiera el directorio. ¿Cómo puedo moverlos a mi local para más validaciones? Me prueban a través de
Esta es una pregunta ingenua, pero soy nuevo en el paradigma NoSQL y no sé mucho al respecto. Entonces, si alguien puede ayudarme a comprender claramente la diferencia entre HBase y Hadoop, o si da algunos consejos que podrían ayudarme a comprender la diferencia. Hasta ahora, hice un poco de...
Sé que ambos se realizan en una columna de la tabla, pero cómo es diferente cada
En muchas situaciones de la vida real en las que aplica MapReduce, los algoritmos finales terminan siendo varios pasos de MapReduce. es decir, Mapa1, Reducir1, Mapa2, Reducir2, etc. Entonces tiene la salida de la última reducción que se necesita como entrada para el siguiente mapa. Los datos...
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. no puedo crear nada en hdfs yo hice root# bin/hadoop fs -safemode leave Pero mostrando safemode: Unknown command ¿Cuál es el...
De acuerdo con la Hadoop - The Definitive Guide Los registros lógicos que define FileInputFormats no suelen encajar perfectamente en los bloques HDFS. Por ejemplo, los registros lógicos de TextInputFormat son líneas, que cruzarán los límites de HDFS la mayoría de las veces. Esto no influye en el...
En la programación de Map Reduce, la fase de reducción tiene como sub-partes barajar, ordenar y reducir. La clasificación es un asunto costoso. ¿Cuál es el propósito de la fase de orden aleatorio y ordenado en el reductor en la programación de Map
¿Alguien puede decirme la diferencia entre la tabla externa y las tablas internas de Hive? Sé que la diferencia surge cuando se cae la mesa. No entiendo lo que quiere decir con los datos y los metadatos se eliminan en las tablas internas y solo los metadatos se eliminan en las tablas externas....
Uno de los principales ejemplos que se utiliza para demostrar el poder de MapReduce es el punto de referencia Terasort . Tengo problemas para comprender los conceptos básicos del algoritmo de clasificación que se utiliza en el entorno MapReduce. Para mí, clasificar simplemente implica determinar...
¿Se supone que son iguales? pero, ¿por qué los hadoop fscomandos " " muestran el hdfs filesmientras que los hdfs dfscomandos " " muestran los archivos locales? aquí está la información de la versión de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git:
Recibo el siguiente error al iniciar namenode para la última versión de hadoop-2.2. No encontré el archivo exe de winutils en la carpeta bin hadoop. Intenté debajo de los comandos $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell...
Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 4 años . Mejora esta...
Estoy tratando de ejecutar un simple NaiveBayesClassiferusando hadoop, obteniendo este error Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at