python - groupby - Cuente el número de resultados de escala de Likert de preguntas de columna múltiple en pandas

python group by agg

Question

Tengo el siguiente marco de datos:

       Question1        Question2         Question3          Question4
User1  Agree            Agree          Disagree         Strongly Disagree
User2  Disagree         Agree          Agree            Disagree
User3  Agree            Agree          Agree            Agree

¿Hay alguna manera de convertir el marco de datos enumerado anteriormente a lo siguiente?

              Agree         Disagree         Strongly Disagree
 Question1    2               1                  0

 Question2    2               1                  0

 Question3    2               1                  0
 Question4    1               1                  1

Esto es similar a mi pregunta anterior: crear un marco de datos con preguntas agrupadas de tres columnas

Traté de ver las preguntas anteriores con pila / pivote pero no pude entenderlo. El marco de datos real tiene más de 20 preguntas y una escala Likert de totalmente de acuerdo, de acuerdo, neutral, en desacuerdo, totalmente en desacuerdo.

Answer 1

Con pd.get_dummies

pd.get_dummies(df.stack()).groupby(level=1).sum()

           Agree  Disagree  Strongly Disagree
Question1      2         1                  0
Question2      3         0                  0
Question3      2         1                  0
Question4      1         1                  1

Llevarlo a otro nivel
Podemos usar numpy.bincount para acelerar las cosas. Pero debemos prestar atención a las dimensiones

v = df.values
f, u = pd.factorize(v.ravel())
n, m = u.size, v.shape[1]
r = np.tile(np.arange(m), n)
b0 = np.bincount(r * n + f)
pad = np.zeros(n * m - b0.size, dtype=int)
b = np.append(b0, pad)

pd.DataFrame(b.reshape(m, n), df.columns, u)

           Agree  Disagree  Strongly Disagree
Question1      2         1                  0
Question2      3         0                  0
Question3      2         1                  0
Question4      1         1                  1

Otra opción numpy

v = df.values
n, m = v.shape
f, u = pd.factorize(v.ravel())

pd.DataFrame(
    np.eye(u.size, dtype=int)[f].reshape(n, m, -1).sum(0),
    df.columns, u
)

           Agree  Disagree  Strongly Disagree
Question1      2         1                  0
Question2      3         0                  0
Question3      2         1                  0
Question4      1         1                  1

Diferencia de velocidad

%%timeit
v = df.values
f, u = pd.factorize(v.ravel())
n, m = u.size, v.shape[1]
r = np.tile(np.arange(m), n)
b0 = np.bincount(r * n + f)
pad = np.zeros(n * m - b0.size, dtype=int)
b = np.append(b0, pad)
​
pd.DataFrame(b.reshape(m, n), df.columns, u)
1000 loops, best of 3: 194 µs per loop

%%timeit
v = df.values
n, m = v.shape
f, u = pd.factorize(v.ravel())

pd.DataFrame(
    np.eye(u.size, dtype=int)[f].reshape(n, m, -1).sum(0),
    df.columns, u
)
1000 loops, best of 3: 195 µs per loop

%timeit pd.get_dummies(df.stack()).groupby(level=1).sum()
1000 loops, best of 3: 1.2 ms per loop

Answer 2

Puede iterar sobre columnas con pd.Series.value_counts . Si hace esto con aplicar, los índices se alinearán automáticamente:

df.apply(pd.Series.value_counts)
Out: 
                   Question1  Question2  Question3  Question4
Agree                    2.0        3.0        2.0          1
Disagree                 1.0        NaN        1.0          1
Strongly Disagree        NaN        NaN        NaN          1

Un poco de postprocesamiento:

df.apply(pd.Series.value_counts).fillna(0).astype(''int'')
Out: 
                   Question1  Question2  Question3  Question4
Agree                      2          3          2          1
Disagree                   1          0          1          1
Strongly Disagree          0          0          0          1

Answer 3

df.apply(lambda x:x.value_counts()).fillna(0).astype(int)
#                   Question1  Question2  Question3  Question4
#Agree                      2          3          2          1
#Disagree                   1          0          1          1
#Strongly Disagree          0          0          0          1