sklearn - text classification python

¿Cómo puedo trazar una matriz de confusión?

Question

Esta pregunta ya tiene una respuesta aquí:

• Cómo trazar una matriz de confusión con un eje de cadena en lugar de un entero en Python 3 respuestas

Estoy utilizando scikit-learn para la clasificación de documentos de texto (22000) en 100 clases. Utilizo el método de matriz de confusión de scikit-learn para calcular la matriz de confusión.

model1 = LogisticRegression()
model1 = model1.fit(matrix, labels)
pred = model1.predict(test_matrix)
cm=metrics.confusion_matrix(test_labels,pred)
print(cm)
plt.imshow(cm, cmap=''binary'')

Así es como se ve mi matriz de confusión:

[[3962 325 0 ..., 0 0 0]
[ 250 2765 0 ..., 0 0 0]
[ 2 8 17 ..., 0 0 0]
...,
[ 1 6 0 ..., 5 0 0]
[ 1 1 0 ..., 0 0 0]
[ 9 0 0 ..., 0 0 9]]

Sin embargo, no recibo una trama clara o legible. ¿Hay una mejor manera de hacer esto?

Answer 1

La respuesta de @bninopaul no es completamente para principiantes.

Aquí está el código que puede "copiar y ejecutar"

import seaborn as sn
import pandas as pd
import matplotlib.pyplot as plt
array = [[13,1,1,0,2,0],
[3,9,6,0,1,0],
[0,0,16,2,0,0],
[0,0,0,13,0,0],
[0,0,0,0,15,0],
[0,0,1,0,0,15]]
df_cm = pd.DataFrame(array, range(6),
range(6))
#plt.figure(figsize = (10,7))
sn.set(font_scale=1.4)#for label size
sn.heatmap(df_cm, annot=True,annot_kws={"size": 16})# font size

Answer 2

SI desea más datos en su matriz de confusión, incluyendo " columna de totales " y " línea de totales ", y porcentajes (%) en cada celda, como el valor predeterminado de matlab (vea la imagen a continuación)

Incluyendo el Heatmap y otras opciones ...

Deberías divertirte con el módulo anterior, compartido en el github; )

https://github.com/wcipriano/pretty-print-confusion-matrix

Este módulo puede realizar su tarea fácilmente y produce la salida anterior con una gran cantidad de parámetros para personalizar su CM:

Answer 3

puedes usar plt.matshow() lugar de plt.imshow() o puedes usar el mapa de heatmap del módulo de heatmap ( ver documentación ) para trazar la matriz de confusión

import seaborn as sn
import pandas as pd
import matplotlib.pyplot as plt
array = [[33,2,0,0,0,0,0,0,0,1,3],
[3,31,0,0,0,0,0,0,0,0,0],
[0,4,41,0,0,0,0,0,0,0,1],
[0,1,0,30,0,6,0,0,0,0,1],
[0,0,0,0,38,10,0,0,0,0,0],
[0,0,0,3,1,39,0,0,0,0,4],
[0,2,2,0,4,1,31,0,0,0,2],
[0,1,0,0,0,0,0,36,0,2,0],
[0,0,0,0,0,0,1,5,37,5,1],
[3,0,0,0,0,0,0,0,0,39,0],
[0,0,0,0,0,0,0,0,0,0,38]]
df_cm = pd.DataFrame(array, index = [i for i in "ABCDEFGHIJK"],
columns = [i for i in "ABCDEFGHIJK"])
plt.figure(figsize = (10,7))
sn.heatmap(df_cm, annot=True)