hadoop - Cerdo en modo gruñido

cygwin apache-pig

Question

He instalado cygwin, hadoop y pig en windows. La configuración parece correcta, ya que puedo ejecutar scripts porcinos en modo por lotes e incrustado.

Cuando intento ejecutar Pig en modo gruñido, sucede algo extraño. Dejame explicar. Intento ejecutar un comando simple como

grunt> A = load ''passwd'' using PigStorage('':''); 

Cuando presiono Enter, no pasa nada. El cursor pasa a la siguiente línea y el mensaje grunt> ya no aparece. Parece que estoy escribiendo en un editor de texto.

¿Alguna vez te ha pasado algo similar? ¿Tienes alguna idea de cómo puedo resolver esto?

Answer 1

El comportamiento es consistente con lo que estás observando. Tomaré el tutorial de cerdo, por ejemplo.

El siguiente comando no genera actividad por parte de pig .

raw = LOAD ''excite.log'' USING PigStorage(''/t'') AS (user, time, query);

Pero si invoca un comando que da como resultado el uso de datos de la variable en raw usando algún mapa, reduzca eso cuando verá alguna acción en su shell ronco. Algo parecido a un segundo comando que se menciona allí.

clean1 = FILTER raw BY org.apache.pig.tutorial.NonURLDetector(query);

De manera similar, su comando no dará lugar a ninguna acción, debe usar los datos de la variable A que da como resultado el comando map-reduce para ver alguna acción en el shell de grunt:

grunt> A = load ''passwd'' using PigStorage('':''); 

Answer 2

Pig solo procesará los comandos cuando use un comando que crea salida, es decir DUMP (a la consola) o STORE , también puede usar el comando DESCRIBE para obtener la estructura de un alias y EXPLAIN para ver el mapa / reducir el plan

así que básicamente DUMP A; le dará todos los registros en A

Answer 3

Intenta ejecutar en la ventana de comandos de Windows.

C: / FAST / JDK64 / 1.6.0.31/bin/java -Xmx1000m -Dpig.log.dir = C: / cygwin / home / $ NOMBRE DE USUARIO $ / nubes / cerdo / registros -Dpig.log.file = pig.log - Dpig.home.dir = C: / cygwin / home / $ NOMBRE DE USUARIO $ / nubes / cerdo / -classpath C: / cygwin / home / $ NOMBRE DE USUARIO $ / nubes / cerdo / conf; C; C: /FAST/JDK64/1.6 .0.31 / lib / tools.jar; C: /cygwin/home/$USERNAME$/nubes/pig/lib/jython-standalone-2.5.3.jar; C: / cygwin / home / $ NOMBRE DE USUARIO $ / nubes / cerdo /conf;C:/cygwin/home/$USERNAME$/nubes/hadoop/conf;C:/cygwin/home/$USERNAME$/nubes/pig/pig-0.11.1.jar org.apache.pig.Main - x local

Reemplace $USERNAME$ con su identificación de usuario en consecuencia ..

Modifique la ruta de clases y la ruta de configuración en consecuencia.

Funciona bien tanto en modo local como en modo de reducción de mapa.

Answer 4

La concha de cerdo cuelga en cygwin. Pero el script de cerdo se ejecutó exitosamente desde el archivo de script de cerdo.

Como a continuación:

$pig ./user/input.txt  

Para el modo local:

pig -x local ./user/input.txt