map - google - Hadoop: la clave y el valor están separados por tabulaciones en el archivo de salida. ¿cómo hacerlo separados por punto y coma?

mapreduce google

Question

Creo que el título ya está explicando mi pregunta. me gustaría cambiar

key (tab space) value

dentro

key;value

en todos los archivos de salida, los reductores se generan a partir de la salida de los mapeadores.

No pude encontrar una buena documentación sobre esto usando Google. ¿Alguien puede dar una fracción de código sobre cómo lograr esto?

Answer 1

Establezca la propiedad de configuración mapred.textoutputformat.separator en ";"

Answer 2

puede usar la propiedad "KEY_VALUE_SEPERATOR" de "KeyValueLineRecordReader" para especificar un separador de su elección.

Answer 3

A falta de una mejor documentación, esto es lo que he recopilado:

    setTextOutputFormatSeparator(final Job job, final String separator){
            final Configuration conf = job.getConfiguration(); //ensure accurate config ref

            conf.set("mapred.textoutputformat.separator", separator); //Prior to Hadoop 2 (YARN)
            conf.set("mapreduce.textoutputformat.separator", separator);  //Hadoop v2+ (YARN)
            conf.set("mapreduce.output.textoutputformat.separator", separator);
            conf.set("mapreduce.output.key.field.separator", separator);
            conf.set("mapred.textoutputformat.separatorText", separator); // ?
    }