¿Alguien puede ofrecer una buena explicación sucinta de por qué no es una buena idea enseñar a los estudiantes que un valor p es el problema (sus hallazgos se deben a la posibilidad [aleatoria]). Tengo entendido que un valor p es el problema (obtener datos más extremos | la hipótesis nula es verdadera).
Mi verdadero interés es cuál es el daño de decirles que es lo primero (aparte del hecho de que simplemente no es así).
p-value
randomness
teaching
Patricio
fuente
fuente
Respuestas:
Tengo una interpretación diferente del significado de la declaración incorrecta que @Karl. Creo que es una declaración sobre los datos, más que sobre el nulo. Lo entiendo como pedir la probabilidad de obtener su estimación debido al azar. No sé lo que eso significa, no es un reclamo bien especificado.
Pero sí entiendo lo que probablemente se entiende por la probabilidad de obtener mi estimación por casualidad dado que la estimación real es igual a un valor particular. Por ejemplo, puedo entender lo que significa obtener una gran diferencia en las alturas promedio entre hombres y mujeres dado que sus alturas promedio son en realidad las mismas. Eso está bien especificado. Y eso es lo que da el valor p. Lo que falta en la declaración incorrecta es la condición de que el nulo es verdadero.
Ahora, podríamos objetar que esto no es una declaración perfecta (la posibilidad de obtener un valor exacto para un estimador es 0, por ejemplo). Pero es mucho mejor que la forma en que la mayoría interpretaría un valor p.
El punto clave que digo una y otra vez cuando enseño la prueba de hipótesis es "El primer paso es asumir que la hipótesis nula es verdadera. Todo se calcula teniendo en cuenta esta suposición". Si la gente recuerda eso, eso es bastante bueno.
fuente
La ilustración más simple: digamos que el anterior, es bastante pequeño, pero uno tiene bastante pocos datos, por lo que el valor p es grande (digamos, 0.3), pero el posterior, , aún sería bastante pequeño. [Pero tal vez este ejemplo no sea tan interesante.]Pr(H0) Pr(H0|data)
fuente
Agregaré una respuesta tardía desde la perspectiva del (ex) estudiante: en mi humilde opinión, el daño no se puede separar de que es incorrecto.
Este tipo de "aproximaciones / atajos didácticos" incorrectos puede crear mucha confusión para los estudiantes que se dan cuenta de que no pueden entender lógicamente la declaración, pero suponiendo que lo que se les enseña es correcto, no se dan cuenta de que no pueden entenderla. porque no es correcto
Esto no afecta a los estudiantes que simplemente memorizan las reglas que se les presentan. Pero requiere que los estudiantes que aprenden entendiendo sean lo suficientemente buenos para
No digo que no haya atajos didácticos válidos. Pero en mi humilde opinión, cuando se toma un atajo de este tipo, esto debería mencionarse (por ejemplo, "para facilitar el argumento, suponemos / aproximamos que ...").
En este caso particular, sin embargo, creo que es demasiado engañoso para ser de alguna utilidad.
fuente
Refiriéndose directamente a la pregunta: ¿Dónde está el daño?
En mi opinión, la respuesta a esta pregunta radica en el reverso de la afirmación: "Un valor p es la probabilidad de que los hallazgos se deban al azar". Si uno cree esto, entonces probablemente cree lo siguiente: "[1- (valor p)] es la probabilidad de que los hallazgos NO se deban al azar".
El daño radica en la segunda declaración, porque, dada la forma en que funcionan los cerebros de la mayoría de las personas, esta declaración sobreestima enormemente la confianza que debemos tener en los valores específicos de un parámetro estimado.
fuente
Aquí hay un ejemplo simple que uso:
Supongamos que nuestra hipótesis nula es que estamos lanzando una moneda de 2 cabezas (entonces prob (caras) = 1). Ahora volteamos la moneda una vez y obtenemos caras, los valores p para esto son 1, entonces, ¿eso significa que tenemos un 100% de posibilidades de tener una moneda de 2 caras?
Lo complicado es que si hubiéramos dado la vuelta, el valor p habría sido 0 y la probabilidad de tener una moneda de 2 cabezas habría sido 0, por lo que coinciden en este caso, pero no con el anterior. El valor p de 1 anterior solo significa que lo que hemos observado es perfectamente consistente con la hipótesis de una moneda de 2 cabezas, pero no prueba que la moneda tenga 2 caras.
Además, si estamos haciendo estadísticas frecuentistas, entonces la hipótesis nula es Verdadero o Falso (simplemente no sabemos cuál) y hacer declaraciones de probabilidad (frecuentas) sobre la hipótesis nula no tiene sentido. Si desea hablar sobre la probabilidad de la hipótesis, entonces haga estadísticas bayesianas apropiadas, use la definición bayesiana de probabilidad, comience con un previo y calcule la probabilidad posterior de que la hipótesis sea verdadera. Simplemente no confunda un valor p con un posterior bayesiano.
fuente
OK, otra versión ligeramente diferente de esto:
Un primer problema básico es la frase "debido a la posibilidad [aleatoria]". La idea de 'oportunidad' no especificada es algo natural para los estudiantes, pero es peligroso pensar con claridad sobre la incertidumbre y catastrófico para hacer estadísticas sensatas. Con algo así como una secuencia de lanzamientos de monedas, es fácil suponer que la configuración Binomial describe la 'oportunidad' con una probabilidad de 0.5. Es cierto que tiene cierta naturalidad, pero desde un punto de vista estadístico no es más natural que asumir 0.6 o algo más. Y para otros ejemplos menos 'obvios', por ejemplo, que involucran parámetros reales, es completamente inútil pensar en cómo sería la 'oportunidad'.
Con respecto a la pregunta, la idea clave es comprender qué tipo de 'oportunidad' describe H0, es decir, qué nombres de probabilidad real / DGP H0. Una vez que ese concepto está en su lugar, los estudiantes finalmente dejan de hablar sobre las cosas que suceden 'por casualidad' y comienzan a preguntarse qué es realmente H0. (También se dan cuenta de que las cosas pueden ser consistentes con una variedad bastante amplia de Hs, por lo que obtienen una ventaja inicial en los intervalos de confianza, a través de pruebas invertidas).
El segundo problema es que si está en camino a la definición de Fisher de los valores p, debería (siempre) explicarlo primero en términos de la consistencia de los datos con H0 porque el punto de p es ver eso, no interpretarlo. el área de la cola como una especie de actividad 'casual' (o francamente para interpretarla). Esto es puramente una cuestión de énfasis retórico, obviamente, pero parece ayudar.
En resumen, el daño es que esta forma de describir las cosas no se generalizará a ningún modelo no trivial en el que posteriormente puedan intentar pensar. En el peor de los casos, puede agregarse al sentido de misterio que el estudio de las estadísticas ya genera en el tipo de personas a las que se dirigen tales descripciones.
fuente
Si desmonto, "el valor p es la probabilidad de que un efecto se deba al azar", parece estar implicando que el efecto es causado por el azar. Pero cada efecto es parcialmente causado por el azar. En una lección de estadística donde se explica la necesidad de tratar de ver a través de la variabilidad aleatoria, esta es una declaración bastante mágica y exagerada. Les confiere a los valores p poderes que no tienen.
Si define la posibilidad en un caso específico de ser la hipótesis nula, entonces está indicando que el valor p produce la probabilidad de que el efecto observado sea causado por la hipótesis nula. Eso parece terriblemente cercano a la afirmación correcta, pero afirmar que una condición en la probabilidad es la causa de esa probabilidad es nuevamente exagerado. La afirmación correcta, de que el valor p es la probabilidad del efecto dado que la hipótesis nula es verdadera, no atribuye la causa al efecto nulo. Las causas son diversas, incluido el verdadero efecto, la variabilidad en torno al efecto y la posibilidad aleatoria. El valor p no mide la probabilidad de ninguno de esos.
fuente