¿Cómo manejan las estadísticas bayesianas la ausencia de antecedentes?

Esta pregunta se inspiró en dos interacciones recientes que tuve, una aquí en CV y la otra en economics.se.

Allí, había publicado una respuesta a la conocida "Paradoja de la envoltura" (fíjate, no como la "respuesta correcta" sino como la respuesta que surge de suposiciones específicas sobre la estructura de la situación). Después de un tiempo, un usuario publicó un comentario crítico, y entablé una conversación tratando de entender su punto. Era obvio que estaba pensando a la manera bayesiana, y seguía hablando sobre los antecedentes, y luego me di cuenta, y me dije a mí mismo: "Espera un momento, ¿ quién dijo algo sobre algún prior? En la forma en que formulé el problema, no hay antecedentes aquí, simplemente no entran en la imagen y no necesitan ".

Recientemente, vi esta respuesta aquí en CV, sobre el significado de Independencia estadística. Le comenté al autor que su oración

"... si los eventos son estadísticamente independientes, entonces (por definición) no podemos aprender acerca de uno observando al otro".

Estaba descaradamente equivocado. En un intercambio de comentarios, siguió volviendo al tema de (sus palabras)

¿"Aprender" no significaría cambiar nuestras creencias sobre una cosa basada en la observación de otra? Si es así, ¿la independencia (por definición) no impide esto?

Una vez más, era obvio que estaba pensando a la manera bayesiana, y que consideraba evidente que comenzamos con algunas creencias (es decir, un antecedente) , y luego el problema es cómo podemos cambiarlas / actualizarlas. Pero, ¿cómo se crea la primera creencia?

Como la ciencia debe ajustarse a la realidad, noto que existen situaciones en las que los seres humanos involucrados no tienen antecedentes (yo, en primer lugar, entro en situaciones sin ningún tipo de previo todo el tiempo, y por favor no discuta que sí tengo antecedentes pero simplemente no nos damos cuenta, evitemos el falso psicoanálisis aquí).

Desde que escuché el término "antecedentes no informativos", rompo mi pregunta en dos partes, y estoy bastante seguro de que los usuarios que conocen la teoría bayesiana saben exactamente lo que voy a preguntar:

P1: ¿Es la ausencia de un equivalente anterior (en el sentido teórico estricto) a tener un previo no informativo?

Si la respuesta a la pregunta 1 es "Sí" (con alguna explicación, por favor), entonces significa que el enfoque bayesiano es aplicable universalmente y desde el principio , ya que en cualquier caso el ser humano involucrado declara "No tengo antecedentes" podemos complementar su lugar es un previo que no es informativo para el caso en cuestión.

Pero si la respuesta a Q1 es "No", entonces aparece Q2 :

P2: Si la respuesta a la P1 es "No", ¿significa esto que, en los casos en que no hay antecedentes, el enfoque bayesiano no es aplicable desde el principio, y primero tenemos que formar un prior por alguna forma no bayesiana, para que luego podamos aplicar el enfoque bayesiano?

P1: ¿Es la ausencia de un equivalente anterior (en el sentido teórico estricto) a tener un previo no informativo?

No.

Primero, no existe una definición matemática para un "previo no informativo". Esta palabra solo se usa informalmente para describir algunos antecedentes.

Por ejemplo, el prior de Jeffrey a menudo se llama "no informativo". Este previo generaliza el previo uniforme para problemas invariantes de traducción. El anterior de Jeffrey se adapta de alguna manera a la geometría riemanniana (teórica de la información) del modelo y, por lo tanto, es independiente de la parametrización, solo depende de la geometría del múltiple (en el espacio de distribuciones) que es el modelo. Puede ser percibido como canónico, pero es solo una elección. Es solo el uniforme previo según la estructura de Riemann. No es absurdo definir "no informativo = uniforme" como una simplificación de la pregunta. Esto se aplica a muchos casos y ayuda a hacer una pregunta clara y simple.

$E(X)$$X$$X$$[0;1]$

Los enfoques bayesiano y frecuentista simplemente responden diferentes preguntas. Por ejemplo, sobre estimadores, que es quizás el más simple:

• $\theta$$x$$\theta$

• $\theta$$\theta$

De alguna manera, los frecuentistas apuntan al control del peor de los casos y no necesita un previo. Bayesian apunta al control promedio y requiere un previo para decir "promedio en qué sentido".

P2: Si la respuesta a la P1 es "No", ¿significa esto que, en los casos en que no hay antecedentes, el enfoque bayesiano no es aplicable desde el principio, y primero tenemos que formar un prior por alguna forma no bayesiana, para que luego podamos aplicar el enfoque bayesiano?

Si.

$X\sim N(\mu,1)$$\mu$

Los verdaderos problemas con la especificación previa suceden en problemas más complicados en mi opinión. Lo importante aquí es entender lo que dice un cierto anterior.

En primer lugar, el enfoque bayesiano a menudo se usa porque desea incluir conocimientos previos en su modelo para enriquecerlo. Si no tiene ningún conocimiento previo, entonces se adhiere a los llamados informes informativos semanales o "no informativos". Observe que uniforme anterior no es "no informativo" por definición, ya que la suposición sobre uniformidad es un supuesto. No existe tal cosa como un previo verdaderamente no informativo. Hay casos en los que "podría ser cualquier cosa" es una suposición previa razonable "poco informativa", pero también hay casos en los que afirmar que "todos los valores son igualmente probables" es una suposición muy fuerte e irracional. Por ejemplo, si suponía que mi altura puede ser de entre 0 centímetros y 3 metros, con todos los valores igualmente probables a priori, esto no sería una suposición razonable y daría demasiado peso a los valores extremos, por lo que posiblemente podría distorsionar su parte posterior.

Por otro lado, Bayesian argumentaría que realmente no hay situaciones en las que no tengas conocimiento ni creencias previas. Siempre puedes asumir algo y, como ser humano, lo haces todo el tiempo (los psicólogos y los economistas del comportamiento investigaron mucho sobre este tema). Todo el alboroto bayesiano con los antecedentes tiene que ver con cuantificar esas ideas preconcebidas y exponerlas explícitamente en su modelo, ya que la inferencia bayesiana trata de actualizar sus creencias .

Es fácil presentar argumentos "sin suposiciones previas", o anteriores uniformes, para problemas abstractos, pero para problemas de la vida real tendría conocimiento previo. Si necesita hacer una apuesta sobre la cantidad de dinero en un sobre, sabrá que la cantidad debe ser no negativa y finita. También puede hacer una conjetura sobre el límite superior de la posible cantidad de dinero dado su conocimiento sobre las reglas del concurso, los fondos disponibles para su adversario, el conocimiento sobre el tamaño físico del sobre y la cantidad de dinero que podría ajustarse físicamente en él, etc. También podría hacer algunas conjeturas sobre la cantidad de dinero que su adversario podría estar dispuesto a poner en el sobre y posiblemente perder. Hay muchas cosas que conocerías como base para tu anterior.

pregunta 1 Creo que la respuesta es probablemente no. Mi razón es que realmente no tenemos una definición para "no informativo", excepto para medir de alguna manera qué tan lejos está la respuesta final de algún modelo / probabilidad arbitrariamente informativo. Muchos antecedentes no informativos se validan con ejemplos "intuitivos" en los que ya tenemos "el modelo / probabilidad" y "la respuesta" en mente. Luego le preguntamos a los no informativos antes de darnos la respuesta que queremos.

Mi problema con esto es que me cuesta creer que alguien pueda tener un modelo o estructura de modelo realmente buena y bien informada para su población, y al mismo tiempo "no tener información" sobre valores de parámetros probables e improbables para ese modelo. Por ejemplo, mediante el uso de la regresión logística, consulte "UNA DISTRIBUCIÓN PREDETERMINADA POR DEFECTO DÉBILMENTE INFORMATIVA. PARA LOS MODELOS DE REGRESIÓN LOGÍSTICA Y OTROS"

Creo que el discreto uniforme previo es el único que razonablemente podríamos decir es el "primero primero" anterior. Pero se encuentra con problemas al usarlo, pensando que no tiene "información", pero de repente tiene reacciones a respuestas "poco intuitivas" (pista: si no le gusta una respuesta bayesiana, es posible que haya dejado información fuera de la anterior o ¡probabilidad!). Otro problema con el que se encuentra es obtener la discretización adecuada para su problema. E incluso pensando en esto, necesita saber la cantidad de valores discretos para aplicar el uniforme discreto antes.

Otra propiedad a tener en cuenta para su previo es el "comportamiento de cola" en relación con la probabilidad que está utilizando.

a la pregunta 2

Conceptualmente, no veo nada de malo en especificar una distribución sin el uso de un previo o una probabilidad. Puede comenzar un problema diciendo "mi pdf es ... y quiero calcular ... wrt este pdf". Entonces está creando una restricción para la predicción previa, previa y la probabilidad. El método bayesiano es para cuando tienes un previo y una probabilidad, y quieres combinarlos en una distribución posterior.

Probablemente sea una cuestión de tener claras cuáles son sus probabilidades. Entonces el argumento cambia a "¿representa este pdf / pmf lo que yo digo que representa?" - Creo que es el espacio en el que quieres estar. A partir de su ejemplo, está diciendo que la distribución única refleja toda la información disponible: no existe un "previo" porque ya está contenido (implícitamente) en la distribución que está utilizando.

$U (0,1)$$Bin(n,p)$$Beta (0,0)$$2$$1$

en el llamado comentario descaradamente equivocado

Para ser sincero, me interesaría mucho ver cómo se puede utilizar cualquier cantidad de observaciones para predecir una observación "estadísticamente independiente". Como ejemplo, si te digo que generaré 100 variables normales estándar. Te doy 99 y te pido que me des tu mejor predicción para el centésimo. Digo que no puedes hacer una mejor predicción para el centésimo que 0. Pero esto es lo mismo que predecirías para el centésimo si no te diera datos. Por lo tanto, no aprende nada de los 99 puntos de datos.

Sin embargo, si le digo que fue "alguna distribución normal", puede usar los 99 puntos de datos para estimar los parámetros. Entonces los datos ya no son "estadísticamente independientes", porque aprendemos más sobre la estructura común a medida que observamos más datos. Su mejor predicción ahora usa los 99 puntos de datos

Esta es solo una breve observación como complemento a las otras excelentes respuestas. A menudo, o al menos a veces, es algo arbitrario (o convencional) qué parte de la información que ingresa a un análisis estadístico se llama datos y qué parte se llama previa . O, de manera más general, podemos decir que la información en un análisis estadístico proviene de tres fuentes: el modelo , los datos y el previo . En algunos casos, como los modelos lineales o glm's, la separación es bastante clara, al menos convencionalmente.

Reutilizaré un ejemplo de Estimación de máxima verosimilitud (MLE) en términos simples para ilustrar mi punto. Digamos que un paciente ingresa al consultorio de un médico, con algunos problemas médicos que resultan difíciles de diagnosticar. Este médico no ha visto algo similar antes. Luego, hablando con el paciente, aparece información nueva: este paciente visitó África tropical recientemente. Entonces le parece al médico que esto podría ser malaria o alguna otra enfermedad tropical. Pero tenga en cuenta que esta información es claramente para nosotros datos, pero al menos en muchos modelos estadísticos que podrían usarse, entrará en el análisis en forma de una distribución previa, una distribución previa que da mayor probabilidad a algunas enfermedades tropicales. Pero podríamos, tal vez, hacer un modelo (más grande) y más completo, donde esta información ingrese como datos. Entonces, al menos en parte, la distinción datos / previo es convencional.

Estamos acostumbrados y aceptamos esta convención debido a nuestro énfasis en algunas clases de modelos convencionales. Pero, en el esquema más amplio de las cosas, fuera del mundo de los modelos estadísticos estilizados, la situación es menos clara.