¿Cuáles son / son los antecedentes implícitos en las estadísticas frecuentistas?

He escuchado la noción de que Jaynes afirma que los frecuentistas operan con un "previo implícito".

¿Qué es o son estos antecedentes implícitos? ¿Significa esto que los modelos frecuentistas son todos casos especiales de modelos bayesianos que esperan ser encontrados?

En la teoría de decisión frecuentista, existen resultados completos de clase que caracterizan los procedimientos admisibles como procedimientos de Bayes o como límites de los procedimientos de Bayes. Por ejemplo, Stein condición necesaria y suficiente (Stein. 1955; Farrell, 1968b) establece que, bajo los siguientes supuestos

1. la densidad de muestreo es continua en y estrictamente positiva en ; y$f(x|\theta)$$\theta$$\Theta$
2. la función de pérdida es estrictamente convexa, continua y, si es compacto,$L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

un estimador es admisible si, y solo si, existe$\delta$

• una secuencia de conjuntos compactos crecientes de modo que ,Θ = ⋃ n F $(F_n)$$\Theta=\bigcup_n F_n$
• una secuencia de medidas finitas con soporte , yF $(\pi_n)$$F_n$

• una secuencia de estimadores de Bayes asociados con modo queπ $(\delta_n)$$\pi_n$

  1. existe un conjunto compacto tal queinf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. si es compacto,sup n π n ( E ) < + $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ y
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[reproducido de mi libro, Bayesian Choice , Theorem 8.3.0, p.407]

En este sentido restringido, la propiedad frecuentista de la admisibilidad está dotada de un fondo bayesiano, por lo tanto, asocia un previo (o secuencia) implícito con cada estimador admisible.

Nota al margen: En una triste coincidencia, Charles Stein falleció el 25 de noviembre en Palo Alto, California. Tenía 96 años.

Hay un resultado similar (si está matemáticamente involucrado) para la estimación invariante o equivalente, a saber, que el mejor estimador equivalente es un estimador de Bayes para cada grupo transitivo que actúa sobre un modelo estadístico, asociado con la medida correcta de Haar, , inducida on por este grupo y la pérdida invariante correspondiente. Ver Pitman (1939), Stein (1964) o Zidek (1969) para los detalles involucrados. Esto es muy probablemente lo que Jaynes tenía en mente, ya que argumentó a la fuerza sobre la resolución de las paradojas de la marginación por los principios de invariancia .$\pi^*$$\Theta$

Además, como se detalla en la respuesta civilstat , otra noción frecuentista de optimismo, a saber, la minimaxidad, también está relacionada con los procedimientos bayesianos en el sentido de que el procedimiento minimax que minimiza el error máximo (sobre el espacio del parámetro) es a menudo el procedimiento maximin que maximiza el error mínimo ( sobre todas las distribuciones anteriores), por lo tanto, es un procedimiento Bayes o límite de Bayes.

P .: ¿Hay algo para llevar que pueda usar para transferir mi intuición bayesiana a modelos frecuentistas?

Primero, evitaría usar el término "modelo frecuentista", ya que hay modelos de muestreo (los datos son una realización de para un valor de parámetro )X ∼ f ( x | θ ) $x$$X\sim f(x|\theta)$$\theta$ y procedimientos frecuentistas (mejor estimador imparcial, mínimo intervalo de confianza de varianza, & tc.)95 95En segundo lugar, no veo una razón metodológica o teórica convincente para considerar los métodos frecuentistas como limítrofes o limitando los métodos bayesianos. La justificación de un procedimiento frecuentista, cuando existe, es satisfacer alguna propiedad de optimización en el espacio de muestreo, es decir, al repetir las observaciones. La justificación principal para los procedimientos bayesianos es ser óptima [bajo un criterio específico o función de pérdida] dada una distribución previa y una realización del modelo de muestreo. A veces, el procedimiento resultante satisface algunas propiedades frecuentistas (la región con un % de credibilidad es una región con un % de confianza)$95$$95$ , pero esto es casualidad porque esta optimización no se transfiere a todos los procedimientos asociados con el modelo bayesiano.

La respuesta de @ Xi'an es más completa. Pero como también pediste una comida para llevar, aquí tienes una. (Los conceptos que menciono no son exactamente los mismos que los de la admisibilidad establecida anteriormente).

A los frecuentes frecuentemente (pero no siempre) les gusta usar estimadores que son "minimax": si quiero estimar , el riesgo de peor caso de mi estimador debería ser mejor que el riesgo de peor caso de cualquier otro estimador . Resulta que los MLE son a menudo (aproximadamente) minimax. Ver detalles, por ejemplo, aquí o aquí .$\theta$$\hat{\theta}$

Para encontrar el estimador de minimax para un problema, una forma es pensar en Bayesiano por un momento y encontrar el "menos favorable anterior" . Este es el prior cuyo estimador Bayes tiene un riesgo promedio más alto que el estimador Bayes de cualquier otro prior. Si puede encontrarlo, entonces resulta que el estimador de Bayes de es minimax.$\pi$$\pi$

En este sentido, se podría decir con sinceridad: un Frequentista (que usa minimax) es como un Bayesiano que eligió (la estimación puntual basada en) un prior menos favorable.

Tal vez podría estirar esto para decir: un Frecuentista de este tipo es un Bayesiano conservador, que elige no prioritarios subjetivos o incluso prioritarios no informativos, sino (en este sentido específico) los precedentes del peor de los casos.

Finalmente, como han dicho otros, es difícil comparar Frequentistas y Bayesianos de esta manera. Ser un frequentista no implica necesariamente que use un determinado estimador. Simplemente significa que hace preguntas sobre las propiedades de muestreo de su estimador, mientras que estas preguntas no son la máxima prioridad de Bayesian. (Por lo tanto, cualquier Bayesiano que espera buenas propiedades de muestreo, por ejemplo, "Bayes calibrado", también es un Frecuentista).
Incluso si define un Frequentista como uno cuyos estimadores siempre tienen propiedades de muestreo óptimas , hay muchas de esas propiedades y no siempre puede reunirse con todos a la vez. Por lo tanto, es difícil hablar en general sobre "todos los modelos frequentistas".