Ejemplo de cómo las estadísticas bayesianas pueden estimar parámetros que son muy difíciles de estimar a través de métodos frecuentistas

9

Los estadísticos bayesianos sostienen que "las estadísticas bayesianas pueden estimar parámetros que son muy difíciles de estimar mediante métodos frecuentistas". ¿La siguiente cita tomada de esta documentación de SAS dice lo mismo?

Proporciona inferencias que son condicionales a los datos y son exactas, sin depender de la aproximación asintótica. La inferencia de muestra pequeña procede de la misma manera que si se tuviera una muestra grande. El análisis bayesiano también puede estimar cualquier función de los parámetros directamente, sin usar el método "plug-in" (una forma de estimar los funcionales conectando los parámetros estimados en los funcionales).

Vi una declaración similar en algún libro de texto, pero no recuerdo dónde. ¿Alguien puede explicarme esto con un ejemplo?

Stat-R
fuente
¿Cuál es la probabilidad de que salga el sol mañana? en.wikipedia.org/wiki/Sunrise_problem Este ejemplo podría ser más trivial de lo que esperaba
Hugh
¿Puedes poner la cita directamente en tu pregunta? El título parece no estar relacionado con el segundo punto.
Hugh
1
La afirmación en esa cita no es buena en que (a) "exacto" no significa nada allí y (b) la crítica del complemento solo se aplica cuando se considera la estimación posterior completa y no otra, más dependiendo de la función de pérdida elegida para la estimación Vea esta otra pregunta para algunas respuestas .
Xi'an

Respuestas:

8

Tengo objeciones con esa cita:

  1. "Frequentismo" es un enfoque de inferencia que se basa en las propiedades de frecuencia de los estimadores elegidos. Esta es una noción vaga en el sentido de que ni siquiera establece que los estimadores deben converger y, si lo hacen, de cómo deben converger. Por ejemplo, la imparcialidad es una noción frecuentista, pero no puede sostenerse para todas y cada una de las funciones [del parámetro ] de interés, ya que la colección de transformaciones de θ que permiten un estimador insesgado es muy restringida. Además, el paradigma no produce un estimador frecuentista, sino que primero debe elegirse antes de ser evaluado. En ese sentido, un estimador bayesiano es un estimador frecuentista si satisface alguna propiedad frecuentista.θθ
  2. La inferencia producida por un enfoque bayesiano se basa en la distribución posterior, representada por su densidad . No entiendo cómo se puede asociar el término "exacto" a π ( θ | D ) . Se asocia de forma exclusiva con una distribución previa π ( θ ) y se deriva exactamente por el teorema de Bayes. Pero no devuelve inferencia exacta en que la estimación puntual no es el valor verdadero del parámetro θ y produce un valor exactoπ(θEl |re)π(θEl |re)π(θ)θdeclaraciones de probabilidad solo dentro del marco proporcionado por el par anterior x probabilidad . Cambiar un término en el par modifica el posterior y la inferencia, mientras que no existe un argumento genérico para defender un solo anterior o probabilidad.
  3. Del mismo modo, otras declaraciones de probabilidad como "el parámetro verdadero tiene una probabilidad de 0,95 de caer en un intervalo creíble del 95%" que se encuentra en la misma página de esta documentación SAS tiene un significado relativo al marco de la distribución posterior pero no en valor absoluto.
  4. F(XEl |θ)=sol(X,zEl |θ)rez
    sol(X,zEl |θ)(X,Z)Zθ(θ,Z), donde la evolución de las poblaciones de un antepasado común implica eventos latentes en árboles binarios. Este modelo puede manejarse mediante inferencia bayesiana [aproximada] a través de un algoritmo llamado ABC, a pesar de que también existen resoluciones de software no bayesianas .
  5. Sin embargo, incluso en tales casos, no creo que la inferencia bayesiana sea la única solución posible. Las técnicas de aprendizaje automático, como las redes neuronales, los bosques aleatorios, el aprendizaje profundo, pueden clasificarse como métodos frecuentistas, ya que se entrenan en una muestra mediante validación cruzada, minimizando un error o criterio de distancia que puede verse como una expectativa [bajo el modelo verdadero] aproximado por una muestra promedio. Por ejemplo, el modelo coalescente de Kingman también puede manejarse mediante resoluciones de software no bayesianas .
  6. h(θ)h(θ^)θ
Xi'an
fuente
La respuesta es buena en lo que va. Me opongo al punto n. ° 5, ya que atribuye a los métodos de ML un rendimiento superior que aún no ha sido justificado por la teoría. Además, ¿qué significa "... verdadero modelo ..."? Sin duda, estos métodos son populares, pero esa popularidad generalmente se justifica por su capacidad de "escalar". Desafortunadamente, muchos de los conocimientos diagnósticos ofrecidos por los métodos bayesianos y frecuentistas no ML se pierden cuando se utilizan dichos enfoques. En particular, la validación cruzada puede producir tasas de error más altas que otras técnicas Véase Efron, 1983, 1986, JASA.
Jan Galkowski
Gracias. En realidad, no doto a los métodos de LD con poderes "superiores", simplemente menciono que se pueden proponer algunas respuestas de LD para modelos complejos. Y por "modelos verdaderos", me refiero a la evaluación del desempeño de un método suponiendo (erróneamente) que los datos son producidos por dicho modelo. Lo cual es un defecto de la mayoría de los análisis estadísticos de la OMI.
Xi'an