java - logo - Cascading examples failed to compile?

apache hbase download

Question

En shell, escribí gradle cleanJar en el directorio Impatient / part1. El resultado está abajo. El error es " archivo de clase para org.apache.hadoop.mapred.JobConf no encontrado ". ¿Por qué no compiló?

:clean UP-TO-DATE
:compileJava
Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.pom
Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.pom
Download http://conjars.org/repo/riffle/riffle/0.1-dev/riffle-0.1-dev.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.6.1/slf4j-api-1.6.1.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-parent/1.6.1/slf4j-parent-1.6.1.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.pom
Download http://conjars.org/repo/thirdparty/jgrapht-jdk1.6/0.8.1/jgrapht-jdk1.6-0.8.1.pom
Download http://repo1.maven.org/maven2/org/codehaus/janino/janino/2.5.16/janino-2.5.16.pom
Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.jar
Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.jar
Download http://conjars.org/repo/riffle/riffle/0.1-dev/riffle-0.1-dev.jar
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.6.1/slf4j-api-1.6.1.jar
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.jar
Download http://conjars.org/repo/thirdparty/jgrapht-jdk1.6/0.8.1/jgrapht-jdk1.6-0.8.1.jar
Download http://repo1.maven.org/maven2/org/codehaus/janino/janino/2.5.16/janino-2.5.16.jar
/home/is_admin/lab/cascading/Impatient/part1/src/main/java/impatient/Main.java:50: error: cannot access JobConf
    Tap inTap = new Hfs( new TextDelimited( true, "/t" ), inPath );
                ^
  class file for org.apache.hadoop.mapred.JobConf not found
1 error
:compileJava FAILED

FAILURE: Build failed with an exception.

* What went wrong:
Execution failed for task '':compileJava''.
> Compilation failed; see the compiler error output for details.

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.

BUILD FAILED

Total time: 22.599 secs

Answer 1

Agregue hadoop-core-1.xyjar de la distribución de hadoop a la ruta.

Esto funcionó para mí en el ejemplo de CoPA. Agregué a eclipse ruta de compilación.

Agregue esto a las dependencias de gradle {} sección

compilar (grupo: ''org.apache.hadoop'', nombre: ''hadoop-core'', versión: ''1.2.0'')

Answer 2

Gracias Lalit, Agregar la línea de abajo hizo el truco para mí sin tener que cambiar ninguna versión de Java.

compilar (grupo: ''org.apache.hadoop'', nombre: ''hadoop-core'', versión: ''1.2.0'')

Alternativamente, incluso puedo agregar el jar de hadoop-core en la ruta de clase y mencionar eso en la ruta gradle

Answer 3

Hoy tuve el mismo problema al probar el tutorial Cascading for the Impapat . He resuelto agregar lo siguiente a mi build.gradle en la sección de dependencies :

compile ''org.apache.hadoop:hadoop-client:2.3.0''

Quería usar Hadoop 2.3.0, pero supongo que puedes elegir tu propia versión de Hadoop.

PD : para usar el primer paquete hadoop-mapred , debes agregar lo siguiente:

compile ''org.apache.hadoop:hadoop-mapred:0.22.0''

Puede encontrar todos los repos que pueda necesitar para Hadoop here .

Answer 4

Parece que no se encuentra la clase, comprueba las bibliotecas en las entradas de la ruta de compilación.

Answer 5

intenta usar Java 6, gradle tiene algunos problemas conocidos con java 7