d cebado con 100% de probabilidad de acierto y 0% de probabilidad de falsa alarma

10

Me gustaría calcular d prime para una tarea de memoria que implica detectar elementos antiguos y nuevos. El problema que tengo es que algunos de los sujetos tienen una tasa de aciertos de 1 y / o una tasa de falsa alarma de 0, lo que hace que las probabilidades sean del 100% y 0%, respectivamente.

La fórmula para d prime es d' = z(H) - z(F), donde z(H)y z(F)son las transformaciones z de la tasa de aciertos y la falsa alarma, respectivamente.

Para calcular la transformación z, utilizo la función de Excel NORMSINV (es decir, z(H)=NORMSINV(hit rate)). Sin embargo, si la tasa de aciertos o la tasa de falsas alarmas es 1 o 0, respectivamente, la función devuelve un error. Esto se debe a que la transformación z, según tengo entendido, indica el área bajo la curva ROC, que no permite matemáticamente una probabilidad del 100% o 0%. En este caso, no estoy seguro de cómo calcular d 'para los sujetos con rendimiento máximo.

Un sitio web sugiere reemplazar la tasa 1 y 0 con 1 - 1 / (2N) y 1 / 2N con N como el número máximo de aciertos y falsas alarmas. Otro sitio web dice "ni H ni F pueden ser 0 o 1 (si es así, ajuste ligeramente hacia arriba o hacia abajo)". Esto parece arbitrario. ¿Alguien tiene una opinión sobre esto o le gustaría señalarme los recursos adecuados?

A.Rainer
fuente

Respuestas:

13

Stanislaw y Todorov (1999) tienen una buena discusión sobre esto bajo el título de Hit and False-Alarm Rate of Zero or One .

Discuten los pros y los contras de varios métodos para lidiar con estos valores extremos, que incluyen:

  • Utilice una estadística no paramétrica como lugar de (Craig, 1979)d Ad

  • Agregue datos de múltiples sujetos antes de calcular la estadística (Macmillan y Kaplan, 1985)

  • agregue 0.5 tanto al número de aciertos como al número de falsas alarmas, y agregue 1 al número de pruebas de señal y al número de pruebas de ruido; denominado enfoque loglineal (Hautus, 1995)

  • Ajuste solo los valores extremos reemplazando las tasas de 0 con tasas de 1 con donde es el número de pruebas de señal o ruido (Macmillan y Kaplan, 1985)( n - 0.5 ) / n n0.5/n(n0.5)/nn

La elección depende de ti. Personalmente prefiero el tercer enfoque. El primer enfoque tiene el inconveniente de que es menos interpretable para los lectores que están mucho más familiarizados con . El segundo enfoque puede no ser adecuado si está interesado en el comportamiento de un solo sujeto. El cuarto enfoque está sesgado porque no está tratando sus puntos de datos por igual.d Ad

Jeff
fuente
MacMillan & Kaplan es una referencia popular, pero creo que hay un autor griego o ruso que los antecede por el mismo consejo ... el nombre es demasiado largo para que lo recuerde. Mi rápido vistazo a S&T es que no es muy completo, pero me recuerda que probablemente me equivoqué al no mencionar A '. Por supuesto, una vez que haga eso, debe explicar lo que realmente significa cambiar a no paramétrico.
John
6

Ambos sitios sugieren lo mismo, pero uno plantea una forma de seleccionar consistentemente la cantidad de ajuste. Esto se ha atribuido a varias personas, pero no creo que nadie sepa quién fue realmente el primero. Los diferentes campos tienen un libro o autor seminal diferente sobre detección de señales. Lo importante es que el método que seleccione sea razonable.

El único método que publicaste generalmente implica que si tuvieras un conjunto de elementos mucho más grande (2N), entonces podrías haber detectado al menos un error. Si esta es una forma razonable de pensar sobre el problema, entonces ya está. Dudo que sea para una prueba de memoria. En el futuro, es posible que desee aumentar N para asegurarse de que es mucho menos probable que esto suceda. Sin embargo, el método es rescatable si lo considera de una manera diferente. Se está ajustando a un promedio hipotético de dos ejecuciones del mismo número de elementos de memoria. En ese caso, está diciendo que en otra ejecución del experimento (suponiendo nuevos elementos o se olvidaron de todos los anteriores) habría habido un error. O, más simplemente, solo está seleccionando a mitad de camino entre el puntaje imperfecto más alto que puede medir y un puntaje perfecto.

Este es un problema sin una solución universal simple. La primera pregunta que debe hacerse es si cree, en su caso, que tiene una clasificación perfecta genuina. En ese caso, sus datos son sus datos. Si no es así, entonces cree que es solo la variabilidad en la muestra que hace que los golpes sean del 100%. Una vez que concluye que ese es el caso, debe considerar formas razonables de generar una estimación de lo que cree que es. Y entonces tienes que preguntarte qué es realmente.

La forma más fácil de determinar qué d 'debería ser es mirar los otros datos en esa misma condición. Quizás podría estimar que la precisión para este participante está a medio camino entre el siguiente mejor valor que tiene y el 100% (que puede ser exactamente el mismo que el valor que encontró). O podría ser una cantidad muy pequeña mayor. O podría ser igual a los mejores valores. Debe seleccionar cuál cree que es la mejor respuesta en función de sus datos. Una pregunta más específica publicada podría ayudarlo aquí.

Debes intentar asegurarte de hacer el menor impacto posible en el criterio. En su caso, un ajuste a los aciertos y las AF hará que el criterio no cambie en absoluto. Sin embargo, si ajusta los aciertos cuando digamos, FAs = 0.2, entonces debe tener cuidado sobre cómo ese ajuste afectaría la interpretación del criterio. En ese caso, estás obligado a asegurarte de que los golpes sean muy altos.

Juan
fuente
Gracias por su perspectiva y justificación, John. Eso realmente ayuda. Debo agregar que aumentar el número de N es una buena solución, pero nuestra tarea se realiza dentro del escáner fMRI y estamos limitados por la cantidad de pruebas que podemos hacer antes de que se inquieten y arruinen nuestros datos con el movimiento.
A.Rainer
"Quizás podría estimar que la precisión para este participante está a medio camino entre el siguiente mejor valor que tiene y el 100% (que puede ser exactamente el mismo que el valor que encontró)" es un buen consejo. Esto preservará el orden de la clasificación de rendimiento de la asignatura.
A.Rainer