¿Sobre George Box, Galit Shmueli y el método científico?

(Esta pregunta puede parecer más adecuada para la Filosofía SE. Espero que los estadísticos puedan aclarar mis ideas erróneas sobre las declaraciones de Box y Shmueli, por lo tanto, la estoy publicando aquí).

George Box (de la fama de ARIMA) dijo:

"Todos los modelos están equivocados, pero algunos son útiles".

Galit Shmueli en su famoso artículo "Explicar o predecir" , argumenta (y cita a otros que están de acuerdo con ella) que:

Explicar y predecir no son lo mismo, y que algunos modelos hacen un buen trabajo de explicación, a pesar de que hacen un mal trabajo al predecir.

Siento que estos principios son de alguna manera contradictorios.

Si un modelo no predice bien, ¿es útil?

Más importante aún, si un modelo explica bien (pero no necesariamente predice bien), entonces debe ser cierto (es decir, no incorrecto) de una forma u otra. Entonces, ¿cómo encaja eso con "todos los modelos están mal" de Box?

Finalmente, si un modelo explica bien, pero no predice bien, ¿cómo es incluso científico? La mayoría de los criterios de demarcación científica (verificacionismo, falsacionismo, etc.) implican que una declaración científica debe tener poder predictivo, o coloquialmente: una teoría o modelo es correcto solo si se puede probar empíricamente (o falsificar), lo que significa que tiene que predecir resultados futuros.

Mis preguntas:

• ¿La afirmación de Box y las ideas de Shmueli son realmente contradictorias, o me falta algo, por ejemplo, puede un modelo no tener poder predictivo y aún ser útil?
• Si las declaraciones de Box y Shmueli no son contradictorias, ¿qué significa para un modelo estar equivocado y no predecir bien, y aún así tener poder explicativo? Dicho de otra manera: si uno elimina tanto la corrección como la capacidad de predicción, ¿qué queda de un modelo?

¿Qué validaciones empíricas son posibles cuando un modelo tiene poder explicativo, pero no poder predictivo? Shmueli menciona cosas como: use el AIC para la explicación y el BIC para la predicción, etc., pero no veo cómo eso resuelve el problema. Con los modelos predictivos, puede usar el AIC, o el BIC, o la regularización de $R^2$ , o $L1$ , etc. pero, en última instancia, las pruebas de muestra y el rendimiento en la producción es lo que determina la calidad del modelo. Pero para los modelos que explican bien, no veo cómo alguna función de pérdida pueda realmente evaluar un modelo. En filosofía de la ciencia, existe el concepto de subdeterminaciónlo que parece pertinente aquí: para cualquier conjunto de datos dado, uno siempre puede elegir juiciosamente alguna distribución (o combinación de distribuciones) y la función de pérdida$L$ de tal manera que se ajusten a los datos (y, por lo tanto, puede afirmarse que lo explican) Además, el umbral por el que$L$ debería estar debajo para que alguien afirme que el modelo explica adecuadamente los datos es arbitrario (algo así como valores p, ¿por qué es$p < 0.05$ y no$p < 0.1$ o$p < 0.01$ ?).

• Con base en lo anterior, ¿cómo se puede validar objetivamente un modelo que explique bien, pero que no prediga bien, ya que no es posible realizar pruebas fuera de la muestra?

Permítanme comenzar con la concisa cita de George Box, que "todos los modelos están equivocados, pero algunos son útiles". Esta afirmación es una encapsulación del enfoque metodológico del "positivismo", que es un enfoque filosófico que tiene una gran influencia en las ciencias. Este enfoque se describe en detalle (en el contexto de la teoría económica) en el ensayo metodológico clásico de Friedman (1966) . En ese ensayo, Friedman argumenta que cualquier teoría científica útil constituye necesariamente una simplificación de la realidad y, por lo tanto, sus suposiciones siempre deben apartarse de la realidad hasta cierto punto, e incluso pueden apartarse sustancialmente de la realidad. Argumenta que el valor de una teoría científica no debe juzgarse por la cercanía de sus supuestos a la realidad, sino que debe juzgarse por supara reducir la complejidad del mundo a un conjunto manejable de principios, y precisiónpara hacer predicciones sobre la realidad y generar nuevas hipótesis comprobables sobre la realidad. Por lo tanto, Friedman argumenta que "todos los modelos están equivocados" en la medida en que contienen supuestos que simplifican (y, por lo tanto, se apartan) de la realidad, pero que "algunos son útiles" en la medida en que proporcionan un marco simple para hacer predicciones útiles sobre la realidad.

Ahora, si lees Box (1976) (el artículo donde primero dice que "todos los modelos están equivocados"), verás que no cita a Friedman, ni menciona el positivismo metodológico. Sin embargo, su explicación del método científico y sus características es extremadamente cercana a la desarrollada por Friedman. En particular, ambos autores enfatizan que una teoría científica hará predicciones sobre la realidad que se pueden probar contra los hechos observados, y el error en la predicción se puede usar como base para la revisión de la teoría.

Ahora, a la dicotomía discutida por Galit Shmueli en Shmueli (2001) . En este documento, Shmueli compara la explicación causal y la predicción de los resultados observados y argumenta que estas son actividades distintas. Específicamente, ella argumenta que las relaciones causales se basan en construcciones subyacentes que no se manifiestan directamente en resultados medibles, por lo que "los datos medibles no son representaciones precisas de sus construcciones subyacentes" (p. 293). Por lo tanto, argumenta que hay un aspecto del análisis estadístico que implica hacer inferencias sobre relaciones causales subyacentes no observables que no se manifiestan en diferencias medibles contrafactuales en los resultados.

A menos que esté malinterpretando algo, creo que es justo decir que esta idea está en tensión con los puntos de vista positivistas de Box y Friedman, como se representa en la cita de Box. El punto de vista positivista dice esencialmente que no hay "construcciones" metafísicas admisibles más allá de las que se manifiestan en resultados medibles. El positivismo se limita a la consideración de datos observables y conceptos construidos sobre estos datos; excluye la consideración de a prioriConceptos metafísicos. Por lo tanto, un positivista argumentaría que el concepto de causalidad solo puede ser válido en la medida en que se define en términos de resultados medibles en la realidad, en la medida en que se define como algo distinto de esto (como lo trata Shmueli), esto se consideraría una especulación metafísica y se trataría como inadmisible en el discurso científico.

Así que creo que tienes razón: estos dos enfoques están esencialmente en conflicto. El enfoque positivista utilizado por Box insiste en que los conceptos científicos válidos se basen completamente en sus manifestaciones en la realidad, mientras que el enfoque alternativo utilizado por Shmueli dice que hay algunas "construcciones" que son conceptos científicos importantes (que queremos explicar) pero que no pueden estar perfectamente representados cuando están "operacionalizados" relacionándolos con resultados medibles en la realidad.

Un modelo, cuando se usa para explicar cosas, es una simplificación de la realidad. Simplificación es solo otra palabra para "mal de alguna manera útil". Por ejemplo, si redondeamos el número 3.1415926535898 a 3.14 estamos cometiendo un error, pero este error nos permite a los humanos concentrarnos en la parte más importante de ese número. Así es como se usan los modelos para explicar, proporciona información sobre algún problema, pero por necesidad tiene que abstraerse de muchas otras cosas: los humanos simplemente no somos muy buenos para mirar miles de cosas simultáneamente. Si nos interesa principalmente predecir, queremos incluir esas miles de cosas siempre que sea posible, pero explicar las compensaciones es diferente.

Un ejemplo de un modelo que es excelente en la predicción pero que no explica nada se da en el artículo de Wikipedia “ Todos los modelos están equivocados ". El ejemplo es el modelo de gravitación de Newton. El modelo de Newton casi siempre da predicciones que no se pueden distinguir de las observaciones empíricas. Sin embargo, el modelo es extremadamente inverosímil: porque postula una fuerza que puede actuar instantáneamente en distancias arbitrariamente grandes.

El modelo de Newton ha sido suplantado por el modelo dado en la teoría general de la relatividad de Einstein. Con la relatividad general, las fuerzas gravitacionales viajan a través del espacio a una velocidad finita (la velocidad de la luz).

El modelo de Newton no es una simplificación del modelo general-relativista. Para ilustrar eso, considere una manzana que cae de un árbol. Según la relatividad general, la manzana cae sin que la Tierra ejerza ninguna fuerza sobre la manzana. (La razón principal por la que la manzana cae es que la Tierra deforma el tiempo, por lo que los relojes cerca de la base del árbol funcionan más lentamente que los relojes en lo alto del árbol). Por lo tanto, como señala el artículo de Wikipedia, el modelo de Newton es completamente equivocado por una explicación perspectiva.

El artículo de Shmueli [2010] supone que hay dos propósitos para un modelo: predicción y explicación. De hecho, varios autores han declarado que hay tres propósitos (ver, por ejemplo, Konishi & Kitagawa [ Criterios de información y modelado estadístico , 2008: §1.1] y Friendly & Meyer [ Análisis de datos discretos , 2016: §11.6]). Los tres propósitos corresponden a los tres tipos de razonamiento lógico:

• predicción (correspondiente a la deducción);
• estimación de parámetros (correspondiente a la inducción);
• Descripción de la estructura (correspondiente a la abducción).

Soy estudiante de Estadística, así que no me llamaré un experto, pero aquí están mis dos centavos.

Las modelos no se explican por sí mismas; los humanos los interpretan. Los modelos lineales son más fáciles de entender que las redes neuronales y los bosques aleatorios porque están más cerca de cómo tomamos decisiones. De hecho, los ANN imitan el cerebro humano, pero no decides a qué restaurante ir mañana haciendo una serie de multiplicaciones matriciales. En cambio, pondera algunos factores en su mente por su importancia, que es esencialmente una combinación lineal.

El "poder explicativo" mide qué tan bien un modelo se lleva bien con la intuición humana, mientras que el "poder predictivo" mide qué tan bien se alinea con el mecanismo subyacente del proceso de interés. La contradicción entre ellos es esencialmente la brecha entre lo que es el mundo y cómo podemos percibirlo / entenderlo. Espero que esto explique por qué "algunos modelos hacen un buen trabajo de explicación, a pesar de que hacen un mal trabajo al predecir".

Ian Stewart dijo una vez: "Si nuestros cerebros fueran lo suficientemente simples como para que los entendiéramos, seríamos tan simples que no podríamos". Desafortunadamente, nuestros pequeños cerebros humanos son realmente muy simples en comparación con el universo, o incluso un mercado de valores (que involucra muchos cerebros :). Hasta ahora, todos los modelos son productos de cerebros humanos, por lo que debe ser más o menos inexacto, lo que lleva a Box's "Todos los modelos están equivocados". Por otro lado, un modelo no tiene que ser técnicamente correcto para ser útil. Por ejemplo, las leyes de movimiento de Newton han sido refutadas por Einstein, pero sigue siendo útil cuando un objeto no es ridículamente grande o rápido.

Para responder a su pregunta, sinceramente, no puedo ver la incompatibilidad entre los puntos de Box y Shmueli. Parece que considera que el "poder explicativo" y el "poder predictivo" son propiedades binomiales, pero creo que se encuentran en los dos extremos de un espectro.