hadoop - tutorial - mapreduce python

identificador de identidad en la nueva API de Hadoop

Question

Pasé casi un día, pero no pude averiguar cómo usar IdentityReducer en la nueva API de Hadoop. Todas las referencias o clases que puedo encontrar están con la antigua API. Y, obviamente, mezclar la antigua clase idetntitreducer de API en el nuevo código base de API no va bien. Cualquier ayuda será apreciada.

Answer 1

Echar un vistazo :

http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html

Es para la versión estable de Hadoop.

Answer 2

Transmisión de Hadoop - Hadoop 1.0.2

De acuerdo con this , el comando es

-x org.apache.hadoop.mapred.lib.IdentityX

donde x = asignador o reductor y X = asignador o reductor respectivamente.

Me he probado y funciona.

Answer 3

Principalmente porque en el nuevo API Mapper y Reducer son clases en lugar de interfaces, son el nuevo reemplazo de IdentityMapper / Reducer.

Así que solo tienes que usar Mapper.class y Reducer.class para obtener la identidad.