¿Alguna vez los bayesianos sostienen que hay casos en los que su enfoque generaliza / se superpone con el enfoque frecuentista?

¿Alguna vez los bayesianos sostienen que su enfoque generaliza el enfoque frecuentista, porque uno puede usar antecedentes no informativos y, por lo tanto, puede recuperar una estructura típica de modelo frecuentista?

¿Alguien puede referirme a un lugar donde pueda leer sobre este argumento, si realmente se usa?

EDITAR: Esta pregunta quizás esté redactada no exactamente de la manera en que quise formularla. La pregunta es: "¿hay alguna referencia a la discusión de los casos en que el enfoque bayesiano y el enfoque frecuentista se superponen / intersectan / tienen algo en común a través del uso de cierto previo?" Un ejemplo sería usar el incorrecto anterior , pero estoy bastante seguro de que esto es solo la punta de la punta del iceberg.$p(\theta) = 1$

He visto dos argumentos avanzados que el análisis bayesiano es una generalización de un análisis frecuentista. Ambos fueron algo irónicos, y más lograron que las personas reconocieran los supuestos sobre los modelos de regresión al usar los antecedentes como contexto.

Argumento 1: El análisis frecuente es un análisis bayesiano con un previo puramente no informativo centrado en cero (sí, no importa dónde esté centrado, pero ignore eso). Esto proporciona tanto el contexto para el cual un bayesiano podría extraer los resultados de un análisis frecuentista, explica por qué puede salirse con la suya usando algunas técnicas "bayesianas" como MCMC para extraer estimaciones frecuentistas en situaciones en las que, por ejemplo, la convergencia de máxima probabilidad es difícil y se obtiene las personas reconocen que cuando dicen "Los datos hablan por sí mismos" y similares, lo que en realidad dicen es que de antemano, todos los valores son igualmente probables.

Argumento 2: cualquier término de regresión que no incluya en un modelo, en efecto, se le ha asignado un previo centrado en cero sin variación. Este no es tanto un "análisis bayesiano es una generalización" sino un argumento de "Hay antecedentes en todas partes , incluso en sus modelos frecuentistas".

La respuesta corta es probablemente "sí, y ni siquiera necesita un plano previo para que este argumento se mantenga".

Por ejemplo, la estimación del máximo A posteriori (MAP) es una generalización de la máxima probabilidad que incluye un previo, y existen enfoques frecuentistas que son analíticamente equivalentes a encontrar este valor. El frecuentista vuelve a etiquetar "lo anterior" como una "restricción" o "penalización" en la función de probabilidad, y obtiene la misma respuesta. Entonces, los frecuentistas y los bayesianos pueden señalar lo mismo que ser su mejor estimación de parámetros, incluso si las filosofías son diferentes. La sección 5 de este artículo frecuente es un ejemplo en el que son equivalentes.

La respuesta más larga es más como "sí, pero a menudo hay otros aspectos del análisis que distinguen los dos enfoques. Aún así, incluso estas distinciones no son necesariamente irreflexivas en muchos casos".

Por ejemplo, si bien los bayesianos a veces usan la estimación MAP (modo posterior) cuando es conveniente, en su lugar suelen enfatizar la media posterior. Por otro lado, la media posterior también tiene un análogo frecuentista, llamado la estimación "en bolsas" (de "agregación de bootstrap") que puede ser casi indistinguible (consulte este pdf para ver un ejemplo de este argumento). Así que tampoco es una distinción "dura".

En la práctica, todo esto significa que incluso cuando un frecuentador hace algo que un bayesiano consideraría totalmente ilegal (o viceversa), a menudo (al menos en principio) hay un enfoque del otro campo que daría casi la misma respuesta.

La principal excepción es que algunos modelos son realmente difíciles de adaptar desde una perspectiva frecuentista, pero eso es más una cuestión práctica que filosófica.

Edwin Jaynes fue uno de los mejores en destacar las conexiones entre la inferencia bayesiana y la frecuentista. Sus intervalos de confianza en papel versus intervalos bayesianos (la búsqueda en Google lo menciona) como una comparación muy exhaustiva, y creo que es justa.

La estimación de área pequeña es otra área donde las respuestas de ML / REML / EB / HB tienden a ser cercanas.

Muchos de estos comentarios suponen que "frecuentista" significa "estimación de máxima verosimilitud". Algunas personas tienen una definición diferente: "frecuentista" significa un tipo de análisis de las propiedades inferenciales a largo plazo de cualquier método de inferencia, ya sea Bayesiano, o método de momentos, o máxima probabilidad, o algo expresado de manera no probabilística. términos (por ejemplo, SVM), etc.

Me gustaría saber de Stephane o de algún otro experto bayesiano sobre esto. Yo diría que no porque es un enfoque diferente, no una generalización. En otro contexto, esto se ha discutido aquí antes. ¡No piense que solo porque los anteriores planos producen resultados cercanos a la máxima probabilidad de que un método bayesiano con un previo plano sea frecuente! Creo que sería una presunción falsa que te llevaría a pensar que al hacer arbitrario el anterior estás generalizando a otros posibles anteriores. No pienso de esa manera y estoy bastante seguro de que la mayoría de los bayesianos tampoco.

Entonces algunas personas lo discuten, pero no creo que deberían clasificarse como bayesianos

aunque Stephane ha señalado la dificultad con una fuerte clasificación. Hablando estrictamente, si la palabra es alguna vez, supongo que dependerá de cómo se defina Bayesiano.