Coeficiente Kappa de Cohen

 

Coefciente kappa de Cohen El Coefciente kappa de Cohen es una medida estadística que ajusta el eecto del azar en la proporción de la concordancia observada1 para elementos cualitativos (variables categóricas! categóricas! En general se cree que es una medida m"s robusta que el simple c"lculo del porcentaje de concordancia# $a que % tiene en cuenta el acuerdo que ocurre por azar! &lgunos investigadores' han epresado su preocupación por la# tendencia de %tener a darelpor seguras las recuencias de las categorías observadas observadas# lo que puede eecto de subestimar el acuerdo para una categoría de uso habitual) por esta razón# % se considera una medida de acuerdo ecesivamente conservadora! *tros discuten la afrmación de que kappa +tiene en cuenta+ la posibilidad de acuerdo! ,ara hacerlo con efcacia se requeriría un modelo eplícito de cómo aecta el azar a las decisiones de los observador observadores! es! El llamado ajuste por azar del estadístico kappa supone que# cuando no est"n absolutamente seguros# los evaluadores simplemente aventuran una respuesta (un escenario mu$ poco realista! -ndice .ocultar/ 1

C"lculo

'

Ejemplo

'!1

0o 0oss m mis ismos mos po porc rcent entaje ajess p per ero od die iere rente ntess n nm mer eros os

2

3eerencias

C"lculo.editar/ El Coefciente kappa de Cohen mide el acuerdo entre dos observadores en sus correspondientes clasifcaciones de 4 elementos en C categorías mutuamente eclu$entes! 0a primera mención de un estadístico similar a kappa se atribu$e a 5alton (167'#8 v9ase :meeton (176;!; 0a ecuación para % es< =>displa$st$le >kappa ?=>rac =>,r(a@>,r(eA=1@>,r(eAA#>BA =>displa$st$le >kappa ?=>rac =>,r(a@>,r(eA=1@>,r(eAA#>BA donde ,r (a es el acuerdo observado relativo entre los observadores# $ ,r (e es la probabilidad hipot9tica de acuerdo por azar# utilizando los datos observados para calcular las probabilidades de que cada observador clasifque aleatoriamente aleatoriament e cada categoría! :i los evaluador evaluadores es est"n completament completamente e de

 

acuerdo# entonces % ? 1! :i no ha$ acuerdo entre los caliicadores distinto al que cabría esperar por azar (segn lo deinido por ,r (e# % ? ! El artículo pionero que introdujo kappa como nueva t9cnica ue publicado por  Dacob Cohen en la revis revista ta Educational and ,s$ch ,s$chological ological eas easuremen urementt en 17F!F Gn estadístico similar# llamado pi# ue propuesto por :cott (17;;! Happa de Cohen $ pi de :cott diferen en cuanto a la orma de c"lculo de ,r(e! Ia$ que tener en cuenta que la kappa de Cohen sólo mide el acuerdo entre dos observadores! ,ara una medida de acuerdo similar ( kappa de Jleiss  utilizada cuando ha$ m"s de dos observadores# v9ase Jleiss (17K1! 0a Happa de Jleiss# sin embargo# es una generalización para mltiples observadores del estadístico pi de :cott# $ no de la kappa de Cohen! Ejemplo.editar/ :e tiene un grupo de ; personas que presentan una solicitud de subvención! Cada propuesta de subvención es analizada por dos evaluador evaluadores es que anotan un +:í+ o un +4o+# segn acepten o rechacen# respectivamente# la solicitud! El resultado del an"lisis de cada solicitud genera la tabla siguiente# en la que & $ L denotan a cada uno de los dos evaluadores< L :í

4o

& 4o

:í 1

' 1;

;

0os datos situados en la diagonal ormada por los valores ' $ 1;# representan el nmero de solicitudes en el que ha$ concordancia entre ambos evaluadores! ientras que la diagonal ormada por los valores de 1 $ ;# representan los casos en los que ha$ discordancia entre los evaluadores! &hora pues# teniendo en cuenta que de las ; solicitudes# ' ueron aceptadas $ 1; rechazadas por ambos evaluadores! El porcentaje de acuerdo observado es<

 

=>displa$st$le >,r(a?=>rac ='M1;A=;AA?!K>BA =>displa$st$le >,r(a?=>rac ='M1;A=;AA?!K>BA ,ara calcular ,r(e# es decir# la probabilidad de que el acuerdo entre evaluadores evaluador es se deba al azar# se advierte que<

El evaluador & acepta (dice +:í+ '; solicitudes $ rechaza (dice +4o+ ';! Es decir# el evaluador & dice +:í+ el ;N de las veces! El evaluador L acepta (dice +:í+ 2 solicitudes $ rechaza (dice +4o+ '! Es decir# el evaluador L dice +:í+ el FN de las veces! ,or lo tanto# la probabilidad de que ambos evaluadores digan +:í+ al azar es< =>displa$st$le >,r(&O>, =>displa$st$le >,r(&O>,r(L?!;O! r(L?!;O!F?!2>BA F?!2>BA =>displa$s =>displa$st$le t$le >,r(&O>,r(L?!;O!F?!2>BA  P la probabilidad probabilidad de que ambos lec lectores tores di digan gan +4o+ al a azar zar es< =>displa$st$le >,r(&O>, =>displa$st$le >,r(&O>,r(L?!;O! r(L?!;O!8?!'>BA 8?!'>BA =>displa$s =>displa$st$le t$le >,r(&O>,r(L?!;O!8?!'>BA  Q  Qeniendo eniendo en cuenta cuenta lo anter anterior# ior# el valor d de e ,r(e se ca calcula lcula como lla a suma de las probabilidades de decir +:í+ $ +4o+ al azar< =>displa$st$le >,r(e?!2 =>displa$st$le >,r(e?!2M!'?!; M!'?!;>BA >BA =>displa$st =>displa$st$le $le >,r(e?!2M!'?!;>BA &plicando los valores de ,r(a $ ,r(e en la órmula de Happa de Cohen se obtiene< =>displa$st$le >kappa ?=>rac =>,r(a@>,r(eA=1@>,r(eAA?=>rac =!K@!;A=1@ !;AA?!8>BA =>displa$st$le >kappa ?=>rac =>,r(a@>,r(eA=1@>,r(eAA?=>rac =!K@!;A=1@!;AA?!8>BA 0os mismos porcentajes pero dierentes nmeros.editar/ Gn caso que a veces se considera un problema con la Happa de Cohen se produce al comparar las Happas calculadas para dos pares de evaluadores# ambos pares de evaluadores tienen el mismo porcentaje de acuerdo# pero los evaluadores de uno de los pares tienen una distribución de califcaciones similar# mientras los evaluadores del otro par tienen una distribución de califcaciones mu$ dierente!K ,or ejemplo# en las dos tablas siguientes el acuerdo entre & $ L es similar (en ambos casos# F de cada 1# por lo tanto

 

cabría esperar que los valores correspondientes de Happa reRejaran esta similitud! :in embargo# al calcular Happa para cada tabla< :í

4o

:í

8;

1;

4o

';

1;

=>displa$st$le >kappa ?=>rac =!F@!;8A =>displa$st$le =!F@!;8A=1@!;8AA?! =1@!;8AA?!128A 128A =>displa$s =>displa$st$le t$le >kappa ?=>rac =!F@!;8A=1@!;8AA?!128A :í

4o

:í

';

2;

4o

;

2;

=>displa$st$le >kappa ?=>rac =!F@!8FA =>displa$st$le =!F@!8FA=1@!8FAA?! =1@!8FAA?!';72A ';72A =>displa$s =>displa$st$le t$le >kappa ?=>rac =!F@!8FA=1@!8FAA?!';72A 3eerencias.editar/ Solver arriba T Carletta# Dean! (177F &ssessing agreement on classifcation tasks< Qhe kappa statistic! Computational 0inguistics# ''('# pp! '87U';8! Solver arriba T :trijbos# D!) artens# 3!) ,rins# J!) Dochems# V! ('F! WContent anal$sis< Vhat are the$ talking aboutXY! Computers Z Education 8F< '7@86! doi