¿Cómo se generan los datos en el marco bayesiano y cuál es la naturaleza del parámetro que genera los datos?

Estaba tratando de volver a aprender las estadísticas bayesianas (cada vez que pensaba que finalmente lo entendía, aparece algo más que no consideré antes ...) pero no estaba claro (para mí) cuál era el proceso de generación de datos en el marco bayesiano en realidad es.

El marco frecuentista es claro para mí. Hay algunos parámetros "verdaderos" y ese parámetro genera los datos de acuerdo con la distribución que parametriza.$\theta$

Sin embargo, en la configuración bayesiana, modelamos el parámetro como una variable aleatoria. Esa parte no me confunde. Tiene sentido, porque un bayesiano interpreta esta probabilidad como la incertidumbre en sus propias creencias. Están de acuerdo con asignar una probabilidad a eventos no repetibles. Entonces, la forma en que interpreté el "Bayesianismo" fue que, cree que hay algún parámetro que genera los datos, definitivamente se desconoce, pero sin embargo, se solucionó una vez que se decidió por "naturaleza" (y tal vez la naturaleza decidió al azar lo que se suponía ser - estar). Sin embargo, es fijo y, por lo tanto, su creación fue un "evento no repetible". Aunque no era repetible, solo estamos tratando de actualizar nuestra propia creencia de$\theta$datos dados Por lo tanto, los datos podrían haber sido generados por cualquiera de los parámetros considerados por nuestra distribución de probabilidad (anterior), pero sin embargo, el parámetro es fijo y desconocido. Solo le estamos asignando un valor de probabilidad.

Con esta visión, tiene sentido para mí suponer que el proceso de generación de datos es casi idéntico al frecuente. "Naturaleza" selecciona el parámetro usando la distribución "verdadera" "anterior" y una vez que la variable aleatoria toma su realización "verdadera" (pero fija), comienza a generar los datos que observamos.$\theta$$P^*(\theta)$

¿Es esta la forma estándar de interpretar el proceso de generación de datos en el marco bayesiano?

Lo principal sobre mi punto de vista es que, el parámetro está definitivamente fijado (visto como una realización de un rv), y genera los datos de acuerdo con . Por lo tanto, otro punto muy importante en mi opinión es que, para mí, nuestro prior es solo una forma cuantificable de expresar nuestra incertidumbre sobre el evento fijo (y no repetible) de crear el parámetro . ¿Es así como la gente interpreta el ?$\theta$$\theta$$\theta$$P(\theta)$

Nota humorística lateral:

Ojalá pudiera preguntarle a "Naturaleza" cómo lo está haciendo y resolver esto de una vez por todas ... jajaja.

Es bastante sencillo: no hay diferencias entre bayesianos y frecuentistas con respecto a la idea del modelo generador de datos.

Para entender esto, considere primero que el modelo generador de datos está codificado matemáticamente en la probabilidad, que es la base para la inferencia de bayesianos y frecuentistas por igual. Y no hay diferencia entre una probabilidad bayesiana y frecuentista.

Ahora, podría decir: eso no significa que los bayesianos piensen que los parámetros del proceso de generación de datos son fijos. Claro, pero realmente, tiene muy poco sentido pensar lo contrario: ¿cuál sería el punto de estimar una cantidad que no es fija? ¿Qué significaría eso matemáticamente? Por supuesto, podría ser que tenga una cantidad que no sea un valor, sino una distribución. Pero luego calcula la distribución, por lo que se repara nuevamente.

La verdadera diferencia, como dice @ Xi'an, no está en el supuesto de cómo se generan nuestros datos, sino en la inferencia. Entonces, cuando dices

Sin embargo, en la configuración bayesiana, modelamos el parámetro como una variable aleatoria.

No estaría de acuerdo: modelamos nuestro conocimiento / incertidumbre sobre el parámetro verdadero como una variable aleatoria, esa es la diferencia sutil, pero importante, tratamos el parámetro como variables aleatorias para explorar nuestra incertidumbre sobre su valor "verdadero".

Las páginas 3 y 4 de BDA de Gelman et al., 3ª ed., Son esclarecedoras. Las estadísticas bayesianas tienen como objetivo hacer inferencia a partir de datos utilizando modelos de probabilidad para cantidades observables y no observables. Nos referimos a las cantidades no observables como parámetros, incluso si la distinción no siempre es clara. En las estadísticas bayesianas, toda la incertidumbre sobre las variables involucradas en el modelo se representa usando la probabilidad. Por lo tanto, necesitamos configurar un modelo de probabilidad completa, es decir, una probabilidad conjunta entre todosvariables involucradas en nuestro problema, tanto observables como no observables, es decir, parámetros. Esto significa que usamos variables aleatorias para representar ambos. No significa que creamos que el parámetro es aleatorio: simplemente significa que nuestro conocimiento del valor real de los parámetros es limitado, y representamos cualquier conocimiento limitado que tengamos antes de observar los datos a través de la distribución de probabilidad previa. Luego observamos datos y condiciones en los datos observados usando un modelo para el proceso de generación de datos (que da lugar a una cierta función de probabilidad) y la regla de Bayes, para obtener una distribución de probabilidad posterior, que cuantifica la incertidumbre restante en nuestro conocimiento sobre el cantidades no observables

En otras palabras, utilizamos variables aleatorias para los parámetros no porque creamos que no hay parámetros verdaderos, sino porque tenemos un conocimiento limitado de ellos, lo que mejora después de observar los datos de las variables medibles, pero no desaparece por completo. De hecho, hay condiciones técnicas bajo las cuales la distribución posterior tiende a un delta de Dirac (por lo tanto, la variable aleatoria utilizada para representar el parámetro se degenera) en el límite para el número de observaciones que va a 0. Si no hubo valor "verdadero" para el parámetro, esto no tendría mucho sentido. Ahora, seguramente estas condiciones no siempre son válidas, pero en muchos análisis bayesianos estándar (incluso si no todos) no dudamos de la existencia de un modelo verdadero y de valores verdaderos o fijos para los inobservables.

¿Es esta la forma estándar de interpretar el proceso de generación de datos en el marco bayesiano?

No, esta no es la interpretación estándar. De hecho, ya ha reconocido en su pregunta la interpretación "subjetiva" de la probabilidad , que es la base estándar de las estadísticas bayesianas. Bajo la interpretación "subjetivista" (más propiamente llamada interpretación "epistémica"), las distribuciones de probabilidad anteriores y posteriores para los parámetros se utilizan para representar la incertidumbre del usuario sobre los parámetros desconocidos en el modelo. Según esta explicación, no se supone que ocurra ningún proceso metafísico correspondiente en la naturaleza, ni ninguna aleatoriedad en la naturaleza. De hecho, bajo este punto de vista, el paradigma bayesiano no proporciona ninguna teoríasobre el "proceso de generación de datos" de la naturaleza; simplemente nos da una forma matemática de modelar nuestra incertidumbre sobre las cosas en la naturaleza y, por lo tanto, formar una teoría inferencial y predictiva .

Su última descripción es un ejemplo de la teoría de la probabilidad de propensión , que postula que hay un proceso metafísico que ocurre en la naturaleza que es análogo al cálculo de probabilidad. Esta interpretación de la probabilidad supone que hay cierta "propensión" metafísica incorporada en la naturaleza para que los resultados ocurran al azar de acuerdo con las leyes de probabilidad. Como con la mayoría de los bayesianos, siempre he encontrado que las cuentas de propensión son un poco tontas. Es realmente un ejemplo de la propensión de los seres humanos a proyectar nuestros propios modos de pensamiento en la naturaleza, y asumir que existen análogos en la naturaleza de nuestros métodos y construcciones epistemológicas. (¡Como tal, la "interpretación de la propensión" es más propiamente una teoría de la propensión de los seres humanos que una de la probabilidad!)

Ahora, puede decidir adoptar la interpretación subjetivista de la probabilidad, o puede estar en desacuerdo conmigo y decidir adoptar la interpretación de propensión. De todos modos, te vas a meter en un lío horrible si equívocas entre estas dos interpretaciones diferentes. Eso es probablemente lo que te está dando dificultades en este momento.

El parámetro $\theta$solo puede considerarse fijo pero desconocido si asume que el modelo subyacente con el que está trabajando es una representación perfecta del sistema verdadero. Sin embargo, dado que la naturaleza suele ser mucho más compleja que cualquier modelo matemático que usemos, esta suposición no puede hacerse. Por lo tanto, no hay un parámetro 'único fijo verdadero' de su modelo.

Matemáticamente, a medida que agrega más y más datos, convergerá a un determinado parámetro $\theta$. Sin embargo, esto se debe a la insuficiencia de sus suposiciones en el proceso de modelado. Debe tener cuidado de llamarlo el verdadero parámetro fijo del sistema subyacente. Incluso si un parámetro en su modelo tiene un significado físico, es solo una suposición de que el parámetro posterior retiene esta interpretación por completo.

Los datos en una vista bayesiana son generados por el 'sistema verdadero', que nunca podrá modelar correctamente. Por lo tanto, un parámetro verdadero subyacente de su modelo asumido no puede existir.