algorithm - oficial - weka homepage

Evaluación y cálculo de precisión Top-N: Top 1 y Top 5

Question

Me he topado con algunos artículos de revistas (problema de clasificación de aprendizaje automático) que se mencionan sobre la evaluación de la precisión con el enfoque Top-N. Los datos mostraron que la precisión Top 1 = 42.5%, y la precisión Top-5 = 72.5% en el mismo entrenamiento, condición de prueba. Me pregunto cómo calcular este porcentaje de top-1 y top-5.

¿Puede alguien mostrarme ejemplos y pasos para calcular esto?

Gracias

Answer 1

La precisión del primer-1 es la precisión convencional: la respuesta del modelo (la que tiene mayor probabilidad) debe ser exactamente la respuesta esperada.

La precisión del Top 5 significa que cualquiera de las respuestas de mayor probabilidad de su modelo 5 debe coincidir con la respuesta esperada.

Por ejemplo, digamos que está aplicando el aprendizaje automático al reconocimiento de objetos utilizando una red neuronal. Se muestra una imagen de un gato, y estas son las salidas de su red neuronal:

• Tigre: 0.4
• Perro: 0.3
• Gato: 0.1
• Lince: 0.09
• León: 0.08
• Pájaro: 0.02
• Oso: 0.01

Usando la precisión de 1 superior, cuenta esta salida como incorrecta , porque predijo un tigre.

Al usar la precisión del top 5, cuenta esta salida como correcta , porque cat se encuentra entre las 5 mejores estimaciones.