Estoy tratando de ejecutar un simple NaiveBayesClassiferusando hadoop, obteniendo este error

Exception in thread "main" java.io.IOException: No FileSystem for scheme: file
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
    at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100)

Codigo:

    Configuration configuration = new Configuration();
    NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in this line..

modelPathestá apuntando al NaiveBayes.binarchivo, y el objeto de configuración está imprimiendo -Configuration: core-default.xml, core-site.xml

Creo que es por frascos, ¿alguna idea?

Este es un caso típico en el que el maven-assemblycomplemento rompe cosas.

¿Por qué nos pasó esto?

Cada uno de los diferentes JAR ( hadoop-commonspara LocalFileSystem, hadoop-hdfspara DistributedFileSystem) contiene un archivo diferente llamado org.apache.hadoop.fs.FileSystemen su META-INFO/servicesdirectorio. Este archivo enumera los nombres de clase canónicos de las implementaciones del sistema de archivos que desean declarar (esto se denomina Interfaz de proveedor de servicios implementada a través de java.util.ServiceLoader, consulte org.apache.hadoop.FileSystem#loadFileSystems).

Cuando lo usamos maven-assembly-plugin, fusiona todos nuestros JAR en uno y todos se META-INFO/services/org.apache.hadoop.fs.FileSystemsobrescriben entre sí. Solo queda uno de estos archivos (el último que se agregó). En este caso, la FileSystemlista de hadoop-commonssobrescribe la lista de hadoop-hdfs, por DistributedFileSystemlo que ya no se declaró.

Como lo arreglamos

Después de cargar la configuración de Hadoop, pero justo antes de hacer algo FileSystemrelacionado, llamamos a esto:

    hadoopConfig.set("fs.hdfs.impl", 
        org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()
    );
    hadoopConfig.set("fs.file.impl",
        org.apache.hadoop.fs.LocalFileSystem.class.getName()
    );

Actualización: la solución correcta

Me ha llamado la atención krookedkingque hay una forma basada en la configuración de hacer que el maven-assemblyuso sea una versión combinada de todas las FileSystemdeclaraciones de servicios, consulte su respuesta a continuación.

Para aquellos que usan el complemento de sombra, siguiendo el consejo de david_p, puede fusionar los servicios en el frasco sombreado agregando ServicesResourceTransformer a la configuración del complemento:

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>2.3</version>
    <executions>
      <execution>
        <phase>package</phase>
        <goals>
          <goal>shade</goal>
        </goals>
        <configuration>
          <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          </transformers>
        </configuration>
      </execution>
    </executions>
  </plugin>

Esto fusionará todos los servicios org.apache.hadoop.fs.FileSystem en un archivo

Para el registro, esto todavía está sucediendo en hadoop 2.4.0. Muy frustrante...

Pude seguir las instrucciones en este enlace: http://grokbase.com/t/cloudera/scm-users/1288xszz7r/no-filesystem-for-scheme-hdfs

Agregué lo siguiente a mi core-site.xml y funcionó:

<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>

gracias david_p, scala

conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName);
conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName);

o

<property>
 <name>fs.hdfs.impl</name>
 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>

Me tomó años entenderlo con Spark 2.0.2, pero aquí está mi granito de arena:

val sparkBuilder = SparkSession.builder
.appName("app_name")
.master("local")
// Various Params
.getOrCreate()

val hadoopConfig: Configuration = sparkBuilder.sparkContext.hadoopConfiguration

hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)

hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

Y las partes relevantes de mi build.sbt:

scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

¡Espero que esto pueda ayudar!

Para maven, simplemente agregue la dependencia de maven para hadoop-hdfs (consulte el enlace a continuación) para resolver el problema.

http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.7.1

Suponiendo que está utilizando la distribución mvn y cloudera de hadoop. Estoy usando cdh4.6 y agregar estas dependencias funcionó para mí. Creo que debería verificar las versiones de las dependencias de hadoop y mvn.

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

no olvide agregar el repositorio mvn de cloudera.

<repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

Utilizo el ensamblaje sbt para empaquetar mi proyecto. También me encuentro con este problema. Mi solución está aquí. Paso 1: agregue META-INF mergestrategy en su build.sbt

case PathList("META-INF", "MANIFEST.MF") => MergeStrategy.discard
case PathList("META-INF", ps @ _*) => MergeStrategy.first

Paso 2: agregue hadoop-hdfs lib a build.sbt

"org.apache.hadoop" % "hadoop-hdfs" % "2.4.0"

Paso 3: sbt clean; montaje sbt

Espero que la información anterior pueda ayudarte.

Supongo que construye una muestra usando maven.

Verifique el contenido del JAR que está intentando ejecutar. Especialmente META-INFO/servicesdirectorio, archivo org.apache.hadoop.fs.FileSystem. Debería haber una lista de clases de implementación de filsystem. La línea de verificación org.apache.hadoop.hdfs.DistributedFileSystemestá presente en la lista para HDFS y org.apache.hadoop.fs.LocalFileSystempara el esquema de archivo local.

Si este es el caso, debe anular el recurso referido durante la compilación.

Otra posibilidad es que simplemente no la tenga hadoop-hdfs.jaren su classpath, pero esto tiene una probabilidad baja. Por lo general, si tiene la hadoop-clientdependencia correcta, no es una opción.

Otra posible causa (aunque la pregunta de OP en sí misma no sufre de esto) es si crea una instancia de configuración que no carga los valores predeterminados:

Configuration config = new Configuration(false);

Si no carga los valores predeterminados, no obtendrá la configuración predeterminada para cosas como las FileSystemimplementaciones que conducen a errores idénticos como este al intentar acceder a HDFS. Cambiar al constructor sin parámetros de pasar truea cargar valores predeterminados puede resolver esto.

Además, si está agregando ubicaciones de configuración personalizadas (por ejemplo, en el sistema de archivos) al Configurationobjeto, tenga cuidado con la sobrecarga addResource()que usa. Por ejemplo, si usa addResource(String)Hadoop asume que la cadena es un recurso de ruta de clase, si necesita especificar un archivo local, intente lo siguiente:

File configFile = new File("example/config.xml");
config.addResource(new Path("file://" + configFile.getAbsolutePath()));

Me tomó algún tiempo encontrar la solución a partir de las respuestas dadas, debido a mi falta de experiencia. Esto es lo que se me ocurrió, si alguien más necesita ayuda desde el principio:

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object MyObject {
  def main(args: Array[String]): Unit = {

    val mySparkConf = new SparkConf().setAppName("SparkApp").setMaster("local[*]").set("spark.executor.memory","5g");
    val sc = new SparkContext(mySparkConf)

    val conf = sc.hadoopConfiguration

    conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

Estoy usando Spark 2.1

Y tengo esta parte en mi build.sbt

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://nameNode:9000");
FileSystem fs = FileSystem.get(conf);

set fs.defaultFS funciona para mí! Hadoop-2.8.1

Para SBT, use debajo de mergeStrategy en build.sbt

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) => {
    case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLines
    case s => old(s)
  }
}

Utilice este complemento

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.5</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>

                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <shadedClassifierName>allinone</shadedClassifierName>
                            <artifactSet>
                                <includes>
                                    <include>*:*</include>
                                </includes>
                            </artifactSet>
                            <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                </transformer>
                                <transformer 
                                implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

Si está utilizando sbt :

//hadoop
lazy val HADOOP_VERSION = "2.8.0"

lazy val dependenceList = Seq(

//hadoop
//The order is important: "hadoop-hdfs" and then "hadoop-common"
"org.apache.hadoop" % "hadoop-hdfs" % HADOOP_VERSION

,"org.apache.hadoop" % "hadoop-common" % HADOOP_VERSION
)

Me enfrenté al mismo problema. Encontré dos soluciones: (1) Editar el archivo jar manualmente:

Abra el archivo jar con WinRar (o herramientas similares). Vaya a Meta-info> servicios y edite "org.apache.hadoop.fs.FileSystem" agregando:

org.apache.hadoop.fs.LocalFileSystem

(2) Cambiar el orden de mis dependencias de la siguiente manera

<dependencies>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.1</version>
</dependency>



</dependencies>

Esto no está relacionado con Flink, pero también encontré este problema en Flink.

Para las personas que usan Flink, deben descargar Hadoop incluido y ponerlo en su interior /opt/flink/lib.

También me encontré con un problema similar. Se agregaron core-site.xml y hdfs-site.xml como recursos de conf (objeto)

Configuration conf = new Configuration(true);    
conf.addResource(new Path("<path to>/core-site.xml"));
conf.addResource(new Path("<path to>/hdfs-site.xml"));

También conflictos de versiones editadas en pom.xml. (por ejemplo, si la versión configurada de hadoop es 2.8.1, pero en el archivo pom.xml, las dependencias tienen la versión 2.7.1, luego cámbiela a 2.8.1) Ejecute la instalación de Maven nuevamente.

Este error me solucionó.