¿Qué significa que algo tenga buenas propiedades frecuentistas?

A menudo he escuchado esta frase, pero nunca he entendido completamente lo que significa. La frase "buenas propiedades frecuentistas" tiene ~ 2750 visitas en Google actualmente, 536 en scholar.google.com y 4 en stats.stackexchange.com .

Lo más parecido que encontré a una definición clara proviene de la última diapositiva en esta presentación de la Universidad de Stanford , que establece

[E] l significado de informar intervalos de confianza del 95% es que "atrapa" el parámetro verdadero en el 95% de las afirmaciones que hace, incluso a través de diferentes problemas de estimación. Esta es la característica definitoria de los procedimientos de estimación con buenas propiedades frecuentistas: se mantienen al escrutinio cuando se usan repetidamente.

Reflexionando un poco sobre esto, supongo que la frase "buenas propiedades frecuentistas" implica alguna evaluación de un método bayesiano, y en particular un método bayesiano de construcción de intervalos. Entiendo que los intervalos bayesianos están destinados a contener el verdadero valor del parámetro con probabilidad . Los intervalos de frecuencia se deben construir de tal manera que si el proceso de construcción de intervalos se repitiera muchas veces, aproximadamente de los intervalos contendría el valor verdadero del parámetro. Los intervalos bayesianos en general no prometen qué porcentaje de los intervalos cubrirá el verdadero valor del parámetro. Sin embargo, algunos métodos bayesianos también tienen la propiedad de que, si se repiten muchas veces, cubren el valor verdadero de$p$$p*100\%$$p*100\%$del tiempo. Cuando tienen esa propiedad, decimos que tienen "buenas propiedades frecuentistas".

¿Está bien? Me imagino que debe haber más que eso, ya que la frase se refiere a buenas propiedades frecuentistas , en lugar de tener una buena propiedad frecuentista .

Una cosa difícil acerca de las buenas propiedades frecuentistas es que son propiedades de un procedimiento más que propiedades de un resultado o inferencia particular. Un buen procedimiento frecuentista produce inferencias correctas en la proporción especificada de casos a largo plazo, pero un buen procedimiento bayesiano es a menudo el que produce inferencias correctas en el caso individual en cuestión.

Por ejemplo, considere un procedimiento bayesiano que es "bueno" en un sentido general porque proporciona una distribución de probabilidad posterior o un intervalo creíble que representa correctamente la combinación de la evidencia (función de probabilidad) con la distribución de probabilidad previa. Si el previo contiene información precisa (digamos, en lugar de una opinión vacía o alguna forma de previo no informativo), ese posterior o intervalo podría dar como resultado una mejor inferencia que un resultado frecuente de los mismos datos. Mejor en el sentido de conducir a una inferencia más precisa sobre este caso particular o un intervalo de estimación más estrecho porque el procedimiento utiliza un previo personalizado que contiene información precisa. A la larga, el porcentaje de cobertura de los intervalos y la exactitud de las inferencias está influenciada por la calidad de cada previo.

Tenga en cuenta que el procedimiento no especifica cómo se debe obtener el prior y, por lo tanto, la contabilidad del rendimiento a largo plazo supondría, presumiblemente, cualquier anterior anterior en lugar de un previo personalizado para cada caso.

Un procedimiento bayesiano puede tener buenas propiedades frecuentistas. Por ejemplo, en muchos casos, un procedimiento bayesiano con un previo no informativo proporcionado por una receta tendrá propiedades frecuentas bastante buenas a excelentes. Esas buenas propiedades serían un accidente más que una característica de diseño, y serían una consecuencia directa de tal procedimiento que produce intervalos similares a los procedimientos frecuentas.

Por lo tanto, un procedimiento bayesiano puede tener propiedades inferenciales superiores en un experimento individual y, a la larga, tener malas propiedades frecuentistas. De manera equivalente, los procedimientos frecuentistas con buenas propiedades frecuentistas a largo plazo a menudo tienen un rendimiento pobre en el caso de experimentos individuales.

Yo respondería que su análisis es correcto. Para proporcionar algunas ideas más, mencionaría las coincidencias anteriores.

Los anteriores coincidentes son típicamente anteriores diseñados para construir modelos bayesianos con una propiedad frecuentista. En particular, se definen de modo que los intervalos hpd obtenidos satisfagan la cobertura frecuente del intervalo de confianza (de modo que el 95% del 95% hpd contiene los valores verdaderos a largo plazo). Tenga en cuenta que, en 1d, hay soluciones analíticas: los anteriores de Jeffreys son anteriores coincidentes. En una dimensión superior, este no es necesariamente el caso (para mi conocimiento, no hay ningún resultado que demuestre que este nunca es el caso).

En la práctica, este principio de correspondencia a veces también se aplica para ajustar el valor de algunos parámetros de un modelo: los datos de verdad básica se utilizan para optimizar estos parámetros en el sentido de que sus valores maximizan la cobertura frecuentista de los intervalos creíbles resultantes para el parámetro de interés . Desde mi propia experiencia, esta puede ser una tarea muy sutil.

$p$

Ahora, para responder a su pregunta: no, no implica ninguna evaluación del método bayesiano. Eludiendo los matices y enfocándose en el procedimiento de estimación para mantenerlo simple: el frecuente en las estadísticas es esa idea de estimar una cantidad fija desconocida, o probar una hipótesis, y evaluar dicho procedimiento contra una repetición hipotética de la misma. Puede adoptar muchos criterios para evaluar un procedimiento. Lo que lo convierte en un criterio frecuente es que a uno le importa lo que suceda si adopta el mismo procedimiento una y otra vez. Si lo hace, le importan las propiedades frecuentistas. En otras palabras: "¿cuáles son las propiedades frecuentistas?" significa "¿qué sucede si repetimos el procedimiento una y otra vez?" Ahora, ¿qué hace que tales propiedades frecuentistas sean buenas?Es otra capa de criterios. Las propiedades frecuentistas más comunes que se consideran buenas propiedades son la consistencia (en una estimación, si sigue muestreando el estimador convergerá al valor fijo que está estimando), la eficiencia (si mantiene el muestreo, la varianza del estimador irá a cero , así será más y más preciso), probabilidad de cobertura(en muchas repeticiones del procedimiento, un intervalo de confianza del 95% contendrá el valor verdadero el 95% del tiempo). Las dos primeras se denominan propiedades de muestra grande, la tercera es la propiedad genuinamente frecuente de Neyman en el sentido de que no necesita utilizar necesariamente resultados asintóticos. Entonces, en resumen, en el marco frecuentista, hay un valor verdadero y desconocido. Lo estima y siempre está (excepto en un raro accidente afortunado) equivocado en la estimación, pero está tratando de salvarse al exigir que, al menos bajo una repetición hipotéticamente indefinida de su estimación, esté cada vez menos equivocado osabes que estarías en lo cierto una cierta cantidad de veces. No discutiré si tiene sentido o no, o los supuestos adicionales necesarios para justificarlo, dado que no fueron sus preguntas. Conceptualmente, a eso se refieren las propiedades frecuentistas , y lo que significa bueno en general en dicho contexto.

Terminaré señalando este documento, para que juzgue usted mismo si tiene sentido y qué significa que un procedimiento bayesiano tenga buenas propiedades frecuentistas (encontrará más referencias allí):

• Little, R. y otros, (2011). Bayes calibrados, para estadísticas en general, y datos faltantes en particular. Ciencia estadística, 26 (2), 162-174.