machine-learning - recall - medida f1 score
¿Por qué la F-Measure es una media armónica y no una media aritmética de las medidas de precisión y recuperación? (4)
Cuando calculamos la F-Measure teniendo en cuenta Precision y Recall, tomamos la media armónica de las dos medidas en lugar de una simple media aritmética.
¿Cuál es la razón intuitiva detrás de tomar la media armónica y no un promedio simple?
La media armónica es el equivalente de la media aritmética para recíprocos de cantidades que deben promediarse por la media aritmética. Más precisamente, con la media armónica, transforma todos sus números a la forma "promedio" (tomando el recíproco), toma su media aritmética y luego transforma el resultado a la representación original (tomando el recíproco de nuevo).
La precisión y el recuerdo son recíprocos "naturalmente" porque su numerador es el mismo y sus denominadores son diferentes. Las fracciones son más sensibles al promedio por media aritmética cuando tienen el mismo denominador.
Para mayor intuición, supongamos que mantenemos constante la cantidad de ítems verdaderos positivos. Luego, al tomar la media armónica de la precisión y el recuerdo, tomas implícitamente la media aritmética de los falsos positivos y los falsos negativos. Básicamente significa que los falsos positivos y falsos negativos son igualmente importantes para usted cuando los verdaderos positivos permanecen igual. Si un algoritmo tiene N más elementos falsos positivos pero N menos falsos negativos (mientras tiene los mismos verdaderos positivos), la medida F permanece igual.
En otras palabras, la medida F es adecuada cuando:
- los errores son igualmente malos, ya sean falsos positivos o falsos negativos
- el número de errores se mide en relación con el número de verdaderos positivos
- los verdaderos negativos son poco interesantes
El punto 1 puede o no ser cierto, hay variantes ponderadas de la medida F que se pueden usar si esta suposición no es verdadera. El punto 2 es bastante natural ya que podemos esperar que los resultados se escalen si solo clasificamos más y más puntos. Los números relativos deben permanecer iguales.
El punto 3 es bastante interesante. En muchas aplicaciones, los negativos son el valor predeterminado natural e incluso puede ser difícil o arbitrario especificar lo que realmente cuenta como un verdadero negativo. Por ejemplo, una alarma de incendios está teniendo un verdadero evento negativo cada segundo, cada nanosegundo, cada vez que pasa un tiempo Planck, etc. Incluso una piedra tiene estos verdaderos eventos negativos de detección de incendios todo el tiempo.
O en un caso de detección de rostros, la mayoría de las veces " no regresas correctamente " miles de millones de áreas posibles en la imagen, pero esto no es interesante. Los casos interesantes son cuando devuelve una detección propuesta o cuando debe devolverla.
Por el contrario, la precisión de la clasificación se refiere igualmente a verdaderos positivos y verdaderos negativos, y es más adecuada si el número total de muestras (eventos de clasificación) está bien definido y es bastante pequeño.
Las respuestas anteriores están bien explicadas. Esto es solo para una referencia rápida para comprender la naturaleza de la media aritmética y la media armónica con tramas. Como puede ver en la gráfica, considere el eje X y el eje Y como precisión y recuperación, y el eje Z como la Puntuación F1. Por lo tanto, a partir del gráfico de la media armónica, tanto la precisión como el recuerdo deberían contribuir de manera uniforme para que el puntaje F1 se eleve a diferencia de la media aritmética. enter image description here
Esto es para la media aritmética.
Esto es para la media Armónica.
Para explicar, considere por ejemplo, ¿cuál es el promedio de 30 mph y 40 mph? Si conduce durante 1 hora a cada velocidad, la velocidad promedio durante las 2 horas es de hecho la media aritmética, 35 mph.
Sin embargo, si manejas por la misma distancia a cada velocidad, digamos 10 millas, entonces la velocidad promedio de más de 20 millas es la media armónica de 30 y 40, aproximadamente 34.3 mph.
La razón es que para que el promedio sea válido, realmente necesita que los valores estén en las mismas unidades escaladas. Las millas por hora deben compararse durante el mismo número de horas; para comparar el mismo número de millas que necesita promediar horas por milla, que es exactamente lo que significa el armónico.
La precisión y el recuerdo tienen dos positivos verdaderos en el numerador y diferentes denominadores. Para promediarlos, realmente solo tiene sentido promediar sus recíprocos, por lo tanto, la media armónica.
Porque castiga más los valores extremos.
Considere un método trivial (por ejemplo, siempre regresando a la clase A). Hay elementos de datos infinitos de clase B y un elemento único de clase A:
Precision: 0.0
Recall: 1.0
Al tomar la media aritmética, tendría un 50% de corrección. ¡A pesar de ser el peor resultado posible! Con la media armónica, la medida F1 es 0.
Arithmetic mean: 0.5
Harmonic mean: 0.0
En otras palabras, para tener un F1 alto, necesita tener una alta precisión y recordar.