Una mujer para la que estaba trabajando me pidió que hiciera un ANOVA unidireccional con algunos datos. Respondí que los datos eran datos de medidas repetidas (series de tiempo) y que pensaba que se violaba el supuesto de independencia. Ella respondió que no debería preocuparme por los supuestos, solo hacer la prueba y ella tendría en cuenta que los supuestos podrían no haberse cumplido.
Eso no me pareció correcto. Investigué un poco, y encontré esta maravillosa publicación de blog de David Robinson, el agrupamiento de K-means no es un almuerzo gratis , lo que me expuso al Teorema de No Free Lunch. He mirado el artículo original y algunos siguen sobre cosas, y francamente las matemáticas están un poco sobre mi cabeza.
La esencia de esto, según David Robinson, parece ser que el poder de una prueba estadística proviene de sus suposiciones. Y él da dos grandes ejemplos. Mientras leo los otros artículos y publicaciones de blog al respecto, parece que siempre se hace referencia en términos de aprendizaje supervisado o búsqueda.
Entonces mi pregunta es, ¿este teorema se aplica a las pruebas estadísticas en general? En otras palabras, ¿se puede decir que el poder de una prueba t o ANOVA proviene de su adherencia a los supuestos y citar el teorema de no almuerzo gratis?
Le debo a mi ex jefe un documento final sobre el trabajo que realicé, y me gustaría saber si puedo hacer referencia al Teorema de No Free Lunch al afirmar que no se puede ignorar los supuestos de una prueba estadística y decir que lo tomará en cuenta cuenta al evaluar los resultados.
fuente
Respuestas:
No conozco una prueba, pero apuesto a que esto se aplica en general. Un ejemplo es un experimento con 2 sujetos en cada uno de los 2 grupos de tratamiento. La prueba de Wilcoxon no puede ser significativa al nivel de 0.05, pero la prueba t sí. Se podría decir que su poder proviene más de la mitad de sus suposiciones y no solo de los datos. Para su problema original, no es apropiado proceder como si las observaciones por sujeto fueran independientes. Tener en cuenta las cosas después del hecho ciertamente no es una buena práctica estadística, excepto en circunstancias muy especiales (por ejemplo, estimadores de sándwich en racimo).
fuente
Puede citar el Teorema de No Free Lunch si lo desea, pero también puede citar los Modus Ponens (también conocidos como la Ley de Desapego , la base del razonamiento deductivo), que es la raíz del Teorema de No Free Lunch .
El teorema de no almuerzo gratis abarca una idea más específica: el hecho de que no existe un algoritmo que pueda adaptarse a todos los propósitos. En otras palabras, el Teorema de No Free Lunch básicamente dice que no hay una bala mágica algorítmica . Esto se basa en los Modus Ponens, porque para que un algoritmo o una prueba estadística den el resultado correcto, debes satisfacer las premisas.
Al igual que en todos los teoremas matemáticos, si violas las premisas, entonces la prueba estadística está vacía de sentido y no puedes derivar ninguna verdad de ella. Entonces, si desea explicar sus datos utilizando su prueba, debe asumir que se cumplen las premisas requeridas, si no se cumplen (y usted lo sabe), entonces su prueba está completamente equivocada.
Esto se debe a que el razonamiento científico se basa en la deducción: básicamente, su prueba / ley / teorema es una regla de implicación , que dice que si tiene la premisa
A
, puede concluirB
:A=>B
pero si no tieneA
, puede tenerB
o noB
, y ambos casos son ciertos , ese es uno de los principios básicos de la inferencia / deducción lógica (la regla Modus Ponens). En otras palabras, si viola las premisas, el resultado no importa y no puede deducir nada .Recuerde la tabla binaria de implicación:
Entonces, en tu caso, para simplificar, tienes
Dependent_Variables => ANOVA_correct
. Ahora, si usa variables independientes, asíDependent_Variables
esFalse
, entonces la implicación será verdadera, ya queDependent_Variables
se viola el supuesto.Por supuesto, esto es simplista, y en la práctica su prueba ANOVA aún puede arrojar resultados útiles porque casi siempre hay cierto grado de independencia entre las variables dependientes, pero esto le da la idea de por qué no puede confiar en la prueba sin cumplir con los supuestos .
Sin embargo, también puede usar pruebas cuyas premisas no satisfacen el original al reducir su problema: al relajar explícitamente la restricción de independencia, su resultado aún puede ser significativo, aunque no garantizado (porque entonces sus resultados se aplican al problema reducido, no al problema completo, por lo que no puede traducir todos los resultados, excepto si puede probar que las restricciones adicionales del nuevo problema no afectan su prueba y, por lo tanto, sus resultados).
En la práctica, esto a menudo se usa para modelar datos prácticos, usando Naive Bayes, por ejemplo, modelando variables dependientes (en lugar de independientes) usando un modelo que asume variables independientes, y sorprendentemente a menudo funciona muy bien, y a veces es mejor que los modelos de contabilidad. para las dependencias . También puede interesarle esta pregunta sobre cómo usar ANOVA cuando los datos no satisfacen exactamente todas las expectativas .
En resumen: si tiene la intención de trabajar en datos prácticos y su objetivo no es probar ningún resultado científico, sino crear un sistema que simplemente funcione (es decir, un servicio web o cualquier aplicación práctica), el supuesto de independencia (y tal vez otros supuestos) puede ser relajado, pero si está tratando de deducir / probar alguna verdad general , siempre debe usar pruebas que pueda garantizar matemáticamente (o al menos asumir de manera segura y comprobable) que cumple todas las premisas .
fuente