Estadísticas: coeficiente kappa de Cohen

Cohen's kappa coefficientes una estadística que mide la concordancia entre evaluadores para ítems cualitativos (categóricos). En general, se piensa que es una medida más sólida que el simple cálculo del porcentaje de concordancia, ya que k tiene en cuenta la concordancia que se produce al azar. La kappa de Cohen mide la concordancia entre dos evaluadores, cada uno de los cuales clasifica N elementos en C categorías mutuamente excluyentes.

El coeficiente kappa de Cohen está definido y dado por la siguiente función:

Fórmula

Donde -

• $ {p_0} $ = acuerdo relativo observado entre los evaluadores.

• $ {p_e} $ = la probabilidad hipotética de acuerdo al azar.

$ {p_0} $ y $ {p_e} $ se calculan utilizando los datos observados para calcular las probabilidades de que cada observador diga aleatoriamente cada categoría. Si los evaluadores están completamente de acuerdo, entonces $ {k} $ = 1. Si no hay un acuerdo entre los evaluadores que no sea el que se esperaría por casualidad (como lo indica $ {p_e} $), $ {k} $ ≤ 0 .

Ejemplo

Problem Statement:

Suponga que está analizando datos relacionados con un grupo de 50 personas que solicitan una subvención. Cada propuesta de subvención fue leída por dos lectores y cada lector dijo "Sí" o "No" a la propuesta. Suponga que los datos del recuento de desacuerdos fueran los siguientes, donde A y B son lectores, los datos de la diagonal inclinada hacia la izquierda muestran el recuento de acuerdos y los datos de la diagonal inclinada hacia la derecha, desacuerdos:

		segundo
		si	No
UN	si	20	5
	No	10	15

Calcule el coeficiente kappa de Cohen.

Solution:

Tenga en cuenta que hubo 20 propuestas que fueron aprobadas tanto por el lector A como por el lector B y 15 propuestas que fueron rechazadas por ambos lectores. Por tanto, el acuerdo proporcional observado es

Para calcular $ {p_e} $ (la probabilidad de un acuerdo aleatorio) observamos que:

• El lector A dijo "Sí" a 25 solicitantes y "No" a 25 solicitantes. Así, el lector A dijo "Sí" el 50% de las veces.

• El lector B dijo "Sí" a 30 solicitantes y "No" a 20 solicitantes. Así, el lector B dijo "Sí" el 60% del tiempo.

Usando la fórmula P (A y B) = P (A) x P (B) donde P es la probabilidad de que ocurra el evento.

La probabilidad de que ambos digan "Sí" aleatoriamente es 0.50 x 0.60 = 0.30 y la probabilidad de que ambos digan "No" es 0.50 x 0.40 = 0.20. Por tanto, la probabilidad global de un acuerdo aleatorio es $ {p_e} $ = 0,3 + 0,2 = 0,5.

Así que ahora aplicando nuestra fórmula para Kappa de Cohen obtenemos: