example - Streaming de hadoop de Python: establecer un nombre de trabajo

python mapreduce

Question

• Tengo un trabajo que se ejecuta en mi clúster utilizando hadoop-streaming
• Tengo que comenzar un nuevo trabajo para el cual quiero agregar un nombre de trabajo, ¿cómo puedo pasar esa opción en línea de comando o archivo para configurar un nombre de trabajo?
• En Java, puedes hacer esto diciendo

JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");

¿Cómo puedo hacer eso con hadoop-streaming?

Answer 1

Configure la propiedad usando la notación -D key = value:

-D mapred.job.name=''My Job''

Puede enumerar un montón de opciones llamando al -info jar con solo el argumento -info