¿Se aplica el "Teorema de no almuerzo gratis" a las pruebas estadísticas generales?

12

Una mujer para la que estaba trabajando me pidió que hiciera un ANOVA unidireccional con algunos datos. Respondí que los datos eran datos de medidas repetidas (series de tiempo) y que pensaba que se violaba el supuesto de independencia. Ella respondió que no debería preocuparme por los supuestos, solo hacer la prueba y ella tendría en cuenta que los supuestos podrían no haberse cumplido.

Eso no me pareció correcto. Investigué un poco, y encontré esta maravillosa publicación de blog de David Robinson, el agrupamiento de K-means no es un almuerzo gratis , lo que me expuso al Teorema de No Free Lunch. He mirado el artículo original y algunos siguen sobre cosas, y francamente las matemáticas están un poco sobre mi cabeza.

La esencia de esto, según David Robinson, parece ser que el poder de una prueba estadística proviene de sus suposiciones. Y él da dos grandes ejemplos. Mientras leo los otros artículos y publicaciones de blog al respecto, parece que siempre se hace referencia en términos de aprendizaje supervisado o búsqueda.

Entonces mi pregunta es, ¿este teorema se aplica a las pruebas estadísticas en general? En otras palabras, ¿se puede decir que el poder de una prueba t o ANOVA proviene de su adherencia a los supuestos y citar el teorema de no almuerzo gratis?

Le debo a mi ex jefe un documento final sobre el trabajo que realicé, y me gustaría saber si puedo hacer referencia al Teorema de No Free Lunch al afirmar que no se puede ignorar los supuestos de una prueba estadística y decir que lo tomará en cuenta cuenta al evaluar los resultados.

rwjones
fuente
44
¿Por qué no haces "secretamente" un ANOVA de medidas repetidas?
Horst Grünbusch
1
@ HorstGrünbusch En realidad, los datos y las pruebas se discutieron anteriormente en el foro, con preguntas específicas sobre las medidas repetidas ANOVA, y resulta que un modelo de efectos mixtos lineales es probablemente la mejor opción.
rwjones
2
Esto ya está bien respondido, por lo que se puede agregar una respuesta más frívola. Podrías preguntarle a tu jefe exactamente cómo tomaría en cuenta las consecuencias de violar los supuestos (¡"ser cauteloso" sería mejor que nada!). En resumen, es un camino largo y difícil obtener suficiente comprensión y experiencia para saber cuándo puede ser descuidado con los supuestos. Beyond ANOVA de Rupert G. Miller (Nueva York: Wiley, 1986 y reimpresiones posteriores) es una buena fuente de las consecuencias y un tema importante es que ignorar los supuestos de independencia es una de las cosas más peligrosas que puede hacer.
Nick Cox
1
@ NickCox Bueno, ya no es mi jefa, y esta situación particular es la razón principal por la cual. Básicamente fue la culminación de una gran cantidad de pensamiento descuidado y gestión descuidada de proyectos por su parte en un entorno de investigación decente. Aparte de eso, gracias por la recomendación del libro. Por lo que parece, es una de las cosas que estoy buscando citar en mi informe final.
rwjones

Respuestas:

11

No conozco una prueba, pero apuesto a que esto se aplica en general. Un ejemplo es un experimento con 2 sujetos en cada uno de los 2 grupos de tratamiento. La prueba de Wilcoxon no puede ser significativa al nivel de 0.05, pero la prueba t sí. Se podría decir que su poder proviene más de la mitad de sus suposiciones y no solo de los datos. Para su problema original, no es apropiado proceder como si las observaciones por sujeto fueran independientes. Tener en cuenta las cosas después del hecho ciertamente no es una buena práctica estadística, excepto en circunstancias muy especiales (por ejemplo, estimadores de sándwich en racimo).

Frank Harrell
fuente
2

Puede citar el Teorema de No Free Lunch si lo desea, pero también puede citar los Modus Ponens (también conocidos como la Ley de Desapego , la base del razonamiento deductivo), que es la raíz del Teorema de No Free Lunch .

El teorema de no almuerzo gratis abarca una idea más específica: el hecho de que no existe un algoritmo que pueda adaptarse a todos los propósitos. En otras palabras, el Teorema de No Free Lunch básicamente dice que no hay una bala mágica algorítmica . Esto se basa en los Modus Ponens, porque para que un algoritmo o una prueba estadística den el resultado correcto, debes satisfacer las premisas.

Al igual que en todos los teoremas matemáticos, si violas las premisas, entonces la prueba estadística está vacía de sentido y no puedes derivar ninguna verdad de ella. Entonces, si desea explicar sus datos utilizando su prueba, debe asumir que se cumplen las premisas requeridas, si no se cumplen (y usted lo sabe), entonces su prueba está completamente equivocada.

Esto se debe a que el razonamiento científico se basa en la deducción: básicamente, su prueba / ley / teorema es una regla de implicación , que dice que si tiene la premisa A, puede concluir B: A=>Bpero si no tiene A, puede tener Bo no B, y ambos casos son ciertos , ese es uno de los principios básicos de la inferencia / deducción lógica (la regla Modus Ponens). En otras palabras, si viola las premisas, el resultado no importa y no puede deducir nada .

Recuerde la tabla binaria de implicación:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Entonces, en tu caso, para simplificar, tienes Dependent_Variables => ANOVA_correct. Ahora, si usa variables independientes, así Dependent_Variableses False, entonces la implicación será verdadera, ya que Dependent_Variablesse viola el supuesto.

Por supuesto, esto es simplista, y en la práctica su prueba ANOVA aún puede arrojar resultados útiles porque casi siempre hay cierto grado de independencia entre las variables dependientes, pero esto le da la idea de por qué no puede confiar en la prueba sin cumplir con los supuestos .

Sin embargo, también puede usar pruebas cuyas premisas no satisfacen el original al reducir su problema: al relajar explícitamente la restricción de independencia, su resultado aún puede ser significativo, aunque no garantizado (porque entonces sus resultados se aplican al problema reducido, no al problema completo, por lo que no puede traducir todos los resultados, excepto si puede probar que las restricciones adicionales del nuevo problema no afectan su prueba y, por lo tanto, sus resultados).

En la práctica, esto a menudo se usa para modelar datos prácticos, usando Naive Bayes, por ejemplo, modelando variables dependientes (en lugar de independientes) usando un modelo que asume variables independientes, y sorprendentemente a menudo funciona muy bien, y a veces es mejor que los modelos de contabilidad. para las dependencias . También puede interesarle esta pregunta sobre cómo usar ANOVA cuando los datos no satisfacen exactamente todas las expectativas .

En resumen: si tiene la intención de trabajar en datos prácticos y su objetivo no es probar ningún resultado científico, sino crear un sistema que simplemente funcione (es decir, un servicio web o cualquier aplicación práctica), el supuesto de independencia (y tal vez otros supuestos) puede ser relajado, pero si está tratando de deducir / probar alguna verdad general , siempre debe usar pruebas que pueda garantizar matemáticamente (o al menos asumir de manera segura y comprobable) que cumple todas las premisas .

gaborous
fuente
2
Si entiendo su argumento correctamente, comienza diciendo que ninguna aplicación de estadísticas para las cuales no se cumplen los supuestos es válida. Si es cierto, esta es una muy mala noticia. La mayoría de los libros de econometría (para dar solo un ejemplo) pasan su tiempo explicando que está mal (resumen de una palabra) y en detalle precisamente por qué. Sin embargo, parece que cambias tu táctica en el medio y lo que estás defendiendo en cambio es borroso. De alguna manera, trabajar en los datos puede sonar incluso cuando es lógicamente inválido. No puedo ver una línea clara de consejos aquí, por lo tanto.
Nick Cox
El punto es: si se violan las premisas, no puede tomar los resultados de la prueba al pie de la letra ya que la inferencia está sesgada. Sin embargo, todavía puede probarlo y si tiene confianza y experiencia suficiente, aún puede obtener algo de él, pero principalmente en implementaciones prácticas donde de hecho no le importa el razonamiento científico (solo está tratando de modelar los datos para algún objetivo práctico, sin tratar de inferir una verdad general bien fundada sobre el mundo). Entonces, mi respuesta no es un "resumen de una palabra", es solo el caso general (incorrecto) frente al caso específico (puede estar bien).
Gaborous
PD: Mi afirmación no solo se refiere a aplicaciones de estadísticas, sino a cualquier aplicación de cualquier teorema / regla / prueba lógica o matemática, esto es cierto para cualquier razonamiento que use inferencia e inducción. Pero estoy interesado en sus referencias de libros de econometría, la otra referencia que proporcionó en un comentario de la pregunta del OP fue muy pertinente.
Gaborous
Gracias por agregar comentarios, pero debo decir que no encuentro su declaración especialmente clara o bien fundada. No puedo ver que los científicos que trabajan (soy uno) comprenderán su distinción entre el análisis de datos para el razonamiento científico y para objetivos prácticos. Lo dejaré allí excepto para recomendar libros de texto como los de Jeff Wooldridge como ensayos extendidos en los que los supuestos son cruciales, cuáles no, y una gran área gris en el medio. amazon.com/Jeffrey-M.-Woldold/e/B001IGLWNY
Nick Cox
Gracias por la referencia. Acabo de encontrar otra pregunta en la que mencionan un artículo que explica por qué los supuestos de independencia ingenuos todavía pueden funcionar en datos con variables dependientes: "El documento parece demostrar que los bayes (ingenuos) son buenos no solo cuando las características son independientes, sino también cuando las dependencias de características entre sí son similares / opuestas entre las características " stats.stackexchange.com/a/23491/25538
gaborous