java - que - mapreduce la diferencia en el conteo

mongodb español

Question

Intento escribir un programa que muestre las diferencias entre recuentos en 2 columnas. Entonces mis datos se ven así:

2,1
2,3
1,2
3,1
4,2

Quiero contar las ocurrencias de clave en col1 y las ocurrencias de claves en col2 y tomar la diferencia. La salida debería verse así:

1,-1
2,0
3,0
4,1

¿se puede hacer esto en un procedimiento mapreduce (mapper, reducer)?

Answer 1

En el mapeador de cada línea, creará dos claves, una para col1 y otra para col2, donde los valores se cuentan de cada columna, así:

2,1 -> 2: {1, 0} y 1: {0, 1}

2,3 -> 2: {1, 0} y 3: {0, 1}

1,2 -> 1: {1, 0} y 2: {0, 1}

3,1 -> 3: {1, 0} y 1: {0, 1}

4,2 -> 4: {1, 0} y 2: {0, 1}

Luego en el reductor obtendrá estos resultados donde cada línea es la combinación de clave y valores para cada llamada de reduce :

1 -> {0, 1}, {1, 0}, {0, 1} (agregarlos producirá -1)

2 -> {1, 0}, 2: {1, 0}, 2: {0, 1}, 2: {0, 1} (agregarlos producirá 0)

3 -> {0, 1}, {1, 0} (agregarlos producirá 0)

4 -> {1, 0} (agregarlos producirá 1)

Actualizar:

Aquí está el ejemplo de Hadoop (no está probado y puede requerir algunos ajustes para que funcione):

public class TheMapper extends Mapper<LongWritable, Text, Text, ArrayPrimitiveWritable>{
protected void map(LongWritable offset, Text value, Context context)
throws IOException, InterruptedException {
StringTokenizer tok = new StringTokenizer( value.toString(), "," );
Text col1 = new Text( tok.nextToken() );
context.write( col1, toArray(1, 0) );
Text col2 = new Text( tok.nextToken() );
context.write( col2, toArray(0, 1) );
}
private ArrayPrimitiveWritable toArray(int v1, int v2){
return new ArrayPrimitiveWritable( new int[]{i1, i2} );
}
}
public class TheReducer extends Reducer<Text, ArrayPrimitiveWritable, Text, Text> {
public void reduce(Text key, Iterable<ArrayPrimitiveWritable> values, Context context)
throws IOException, InterruptedException {
Iterator<ArrayPrimitiveWritable> i = values.iterator();
int count = 0;
while ( i.hasNext() ){
int[] counts = (int[])i.next().get();
count += counts[0];
count -= counts[1];
}
context.write( key, new Text("" + count) );
}
}