hadoop - spark - pig script

seleccione conteo distinto usando cerdo latino

Question

Necesito ayuda con este script de cerdo. Solo estoy obteniendo un solo registro. Estoy seleccionando 2 columnas y haciendo un conteo (distinto) en otro mientras también uso una cláusula where like para encontrar una descripción particular (desc).

Aquí está mi sql con cerdo, estoy tratando de codificar.

 /*
    For example in sql:
    select domain, count(distinct(segment)) as segment_cnt
    from table
    where desc=''ABC123''
    group by domain
    order by segment_count desc;
    */

    A = LOAD ''myoutputfile'' USING PigStorage(''/u0005'')
            AS (
                domain:chararray,
                segment:chararray,
                desc:chararray
                );
B = filter A by (desc==''ABC123'');
C = foreach B generate domain, segment;
D = DISTINCT C;
E = group D all;
F = foreach E generate group, COUNT(D) as segment_cnt;
G = order F by segment_cnt DESC;

Answer 1

Puede definir mejor esto como una macro:

DEFINE DISTINCT_COUNT(A, c) RETURNS dist {
  temp = FOREACH $A GENERATE $c;                                                                                                                                                      
  dist = DISTINCT temp;                                                                                                                                                               
  groupAll = GROUP dist ALL;                                                                                                                                                          
  $dist = FOREACH groupAll GENERATE COUNT(dist);                                                                                                                                      
}

Uso:

X = LOAD ''data'' AS (x: int);

Y = DISTINCT_COUNT(X, x);

Si necesita usarlo en FOREACH entonces la forma más fácil es algo como:

...GENERATE COUNT(Distinct(x))...

Probado en Pig 12.

Answer 2

Podría agrupar en cada dominio y luego contar el número de elementos distintos en cada grupo con una sintaxis FOREACH anidada :

D = group C by domain;
E = foreach D { 
    unique_segments = DISTINCT C.segment;
    generate group, COUNT(unique_segments) as segment_cnt;
};