¿Cuándo (si alguna vez) es un enfoque frecuentista sustancialmente mejor que un bayesiano?

72

Antecedentes : no tengo una capacitación formal en estadísticas bayesianas (aunque estoy muy interesado en aprender más), pero sé lo suficiente, creo, para entender por qué muchos sienten que son preferibles a las estadísticas frequentistas. Incluso los estudiantes de pregrado en la clase de estadística introductoria (en ciencias sociales) que estoy enseñando encuentran atractivo el enfoque bayesiano: "¿Por qué estamos interesados ​​en calcular la probabilidad de los datos, dada la nula? ¿Por qué no podemos cuantificar la probabilidad de ¿La hipótesis nula? ¿O la hipótesis alternativa? Y también he leído hilos como estos , que dan fe de los beneficios empíricos de las estadísticas bayesianas también. Pero luego encontré esta cita de Blasco (2001; énfasis agregado):

Si el criador de animales no está interesado en los problemas filosóficos asociados con la inducción, sino en herramientas para resolver problemas, las escuelas de inferencia bayesianas y frecuentistas están bien establecidas y no es necesario justificar por qué se prefiere una u otra escuela. Ninguno de ellos tiene ahora dificultades operativas, con la excepción de algunos casos complejos ... Elegir una escuela u otra debe estar relacionado con si hay soluciones en una escuela que la otra no ofrece , con qué tan fácilmente se resuelven los problemas. y qué tan cómodo se siente el científico con los resultados de la forma particular de expresión.

La pregunta : la cita de Blasco parece sugerir que podría haber ocasiones en las que un enfoque frecuente sea realmente preferible a uno bayesiano. Y por eso tengo curiosidad: ¿ cuándo sería preferible un enfoque frecuentista sobre un enfoque bayesiano? Me interesan las respuestas que abordan la pregunta tanto conceptual (es decir, ¿cuándo es especialmente útil conocer la probabilidad de los datos condicionados por la hipótesis nula?) Como empíricamente (es decir, ¿en qué condiciones se destacan los métodos frequentistas frente a los bayesianos?).

También sería preferible si las respuestas se transmitieran de la manera más accesible posible; sería bueno llevar algunas respuestas a mi clase para compartirlas con mis alumnos (aunque entiendo que se requiere cierto nivel de tecnicismo).

Finalmente, a pesar de ser un usuario habitual de las estadísticas frequentistas, estoy abierto a la posibilidad de que Bayesian gane en todos los ámbitos.

jsakaluk
fuente
10
Cuando se trata con probabilidades objetivas, es decir, procesos estocásticos naturales. Por ejemplo, la desintegración radiactiva no tiene nada que ver con tus creencias subjetivas o información desconocida, o casi cualquier otra cosa. Simplemente sigue su propio ritmo, y los átomos se separan realmente al azar .
Aksakal
66
Vea esta pregunta reciente que desafortunadamente terminó cerrada como demasiado amplia (voté para volver a abrirla pero nunca fue así): stats.stackexchange.com/questions/192572 . Estás preguntando casi exactamente lo mismo. Comprueba la respuesta allí.
ameba dice Reinstate Monica
55
@Aksakal: Me encantaría tener esta discusión, pero está fuera de tema y se nos pedirá que me callen (y calculo).
ameba dice Reinstate Monica
12
"Los bayesianos abordan la pregunta en la que todos están interesados ​​utilizando suposiciones que nadie cree, mientras que los frecuentadores usan una lógica impecable para tratar un tema que no interesa a nadie" - Louis Lyons
Ruggero Turra
44
@jsakaluk, observe cómo las fortalezas de los bayesianos son áreas donde no hay suficientes datos o cuando los procesos son inestables, es decir, ciencias sociales, psudociencias, ciencias de la vida, etc. No hay necesidad de ser bayesiano en mecánica cuántica o la mayoría de la física. Por supuesto, puede ser bayesiano allí también, es sólo sus inferencias no serán diferentes a partir de frequentist
Aksakal

Respuestas:

54

Aquí hay cinco razones por las cuales los métodos frecuentistas pueden ser preferidos:

  • Más rápido. Dado que las estadísticas bayesianas a menudo dan respuestas casi idénticas a las respuestas frecuentistas (y cuando no lo hacen, no está 100% claro que Bayesiano sea siempre el camino a seguir), el hecho de que las estadísticas frecuentistas se pueden obtener a menudo varios órdenes de magnitud más rápido es Un argumento fuerte. Del mismo modo, los métodos frecuentistas no requieren tanta memoria para almacenar los resultados. Si bien estas cosas pueden parecer algo triviales, especialmente con conjuntos de datos más pequeños, el hecho de que Bayesian y Frequentist generalmente estén de acuerdo en los resultados (especialmente si tiene muchos datos informativos) significa que si le va a importar, puede comenzar a preocuparse por lo menos importante cosas. Y, por supuesto, si vives en el mundo de Big Data, no son triviales en absoluto.

  • Estadísticas no paramétricas. Reconozco que las estadísticas bayesianas tienen estadísticas no paramétricas, pero diría que el lado frecuente del campo tiene algunas herramientas realmente innegablemente prácticas, como la Función de Distribución Empírica. Ningún método en el mundo reemplazará el FED, ni las curvas de Kaplan Meier, etc. (aunque claramente eso no quiere decir que esos métodos sean el final de un análisis).

  • Menos diagnósticos. Los métodos MCMC, el método más común para ajustar modelos bayesianos, generalmente requieren más trabajo por parte del usuario que su contraparte frecuente. Por lo general, el diagnóstico para una estimación de MLE es tan simple que cualquier buena implementación de algoritmo lo hará automáticamente (aunque eso no quiere decir que todas las implementaciones disponibles sean buenas ...). Como tal, el diagnóstico algorítmico frecuente es "asegurarse de que no haya texto rojo al ajustar el modelo". Dado que todos los estadísticos tienen un ancho de banda limitado, esto libera más tiempo para hacer preguntas como "¿mis datos son realmente aproximadamente normales?" o "¿son estos riesgos realmente proporcionales?", etc.

  • Inferencia válida bajo especificación errónea del modelo. Todos hemos escuchado que "Todos los modelos están equivocados pero algunos son útiles", pero diferentes áreas de investigación se toman esto más o menos en serio. La literatura frequentista está llena de métodos para corregir la inferencia cuando el modelo está mal especificado: estimador de arranque, validación cruzada, estimador sándwich (el enlace también analiza la inferencia general de MLE bajo la especificación errónea del modelo), ecuaciones de estimación generalizadas (GEE), métodos de cuasi-verosimilitud, etc. Hasta donde yo sé, hay muy poco en la literatura bayesiana sobre la inferencia bajo la especificación errónea del modelo (aunque hay mucha discusión sobre la verificación del modelo, es decir, las comprobaciones predictivas posteriores). No creo que sea por casualidad: evaluar cómo se comporta un estimador en ensayos repetidos no requiere que el estimador se base en un modelo "verdadero", ¡pero el uso del teorema de Bayes sí!

  • Liberarse de lo anterior (esta es probablemente la razón más común por la cual las personas no usan los métodos bayesianos para todo). La fuerza del punto de vista bayesiano a menudo se promociona como el uso de antecedentes. Sin embargo, en todos los campos aplicados en los que he trabajado, no se considera la idea de un previo informativo en el análisis. Leer literatura sobre cómo obtener los antecedentes de expertos no estadísticos da un buen razonamiento para esto; He leído documentos que dicen cosas como (un hombre de paja cruel como parafraseando el mío) "Pregúntele al investigador que lo contrató porque tiene problemas para comprender las estadísticas para dar un rango de que están 90% seguros del tamaño del efecto que tienen problemas para imaginar que lo hará estar dentro. Este rango suele ser demasiado estrecho, así que intenta arbitrariamente hacer que lo amplíen un poco. Pregúntales si su creencia parece una distribución gamma. Probablemente tendrá que dibujar una distribución gamma para ellos y mostrar cómo puede tener colas pesadas si el parámetro de forma es pequeño. Esto también implicará explicar qué es un PDF para ellos "(nota: no creo que incluso los estadísticos sean realmente capaces de decir con precisióna priori si tienen una certeza del 90% o del 95% de si el tamaño del efecto se encuentra en un rango, ¡y esta diferencia puede tener un efecto sustancial en el análisis!). A decir verdad, estoy siendo bastante cruel y puede haber situaciones en las que obtener un prior sea un poco más directo. Pero puedes ver cómo es una lata de gusanos. Incluso si cambia a anteriores no informativos, aún puede ser un problema; Al transformar los parámetros, ¡lo que fácilmente se confunde con antecedentes no informativos de repente puede verse como muy informativo! Otro ejemplo de esto es que he hablado con varios investigadores que rotundamente nodesea saber cuál es la interpretación de los datos por parte de otro experto porque, empíricamente, los otros expertos tienden a ser demasiado confiados. Prefieren simplemente saber qué se puede inferir de los datos del otro experto y luego llegar a su propia conclusión. No recuerdo dónde lo escuché, pero en alguna parte leí la frase "si eres bayesiano, quieres que todos sean frequentistas". Interpreto que eso significa que, teóricamente, si eres bayesiano y alguien describe los resultados de su análisis, primero debes tratar de eliminar la influencia de sus anteriores y luego determinar cuál sería el impacto si hubieras utilizado el tuyo. ¡Este pequeño ejercicio se simplificaría si le hubieran dado un intervalo de confianza en lugar de un intervalo creíble!

Por supuesto, si abandona los antecedentes informativos, todavía hay utilidad en los análisis bayesianos. Personalmente, esto es donde creo que su mayor utilidad radica; Hay algunos problemas que son extremadamente difíciles de obtener al usar los métodos MLE, pero se pueden resolver fácilmente con MCMC. Pero mi opinión sobre que esta es la mayor utilidad de Bayesian se debe a fuertes antecedentes de mi parte, así que tómalo con un grano de sal.

Acantilado AB
fuente
1
(+1) Buena respuesta, aunque supongo que querías decir que no necesitas tanta memoria para almacenar los resultados.
jsakaluk
1
En términos de libertad frente a los antecedentes: ¿está diciendo que cuanto menos tenga que pensar y comprender su problema, mejor? Conozco a varios proveedores de software a quienes les gustaría hablar con usted, para que pueda apuntar y hacer clic, o mejor aún, un clic, ¡y tener una respuesta a cualquier problema que pueda imaginar! Diablos, ni siquiera necesitas un problema, solo ingresa tus datos en su sitio web y encontrarán todos los problemas posibles y los resolverán, ¡muy bien! (Lo siento, no pude resistirme a responder con un cruel comentario parecido a un hombre de paja).
Wayne
1
@Wayne: Sé que estás bromeando, pero eso es 100% correcto. La estadística es una herramienta para responder a problemas del mundo real. Realmente quiero enfatizar que es una herramienta, no un producto final. Independientemente de qué lado del argumento "Frequentist vs Bayesian" se haya analizado a fondo (me siento del lado de "el que me dé la mejor respuesta a mi pregunta", lo que significa que me gustan ambos para diferentes problemas), no hay discusión de que la facilidad de uso sea Una utilidad muy real para cualquier herramienta.
Cliff AB
Por supuesto, si su herramienta produce frecuentemente un producto terrible, eso es un problema. Y si estuviera convencido de que un método frecuentista estaba haciendo esto, pero un método bayesiano no lo estaba, rápidamente respaldaría el método bayesiano.
Cliff AB
1
@CliffAB: la facilidad de uso es importante, y como usted dice si los resultados son de igual calidad, ¿por qué elegir más difícil de usar? Al mismo tiempo, pensar, hacer explícitos y comprender los antecedentes (no bayesianos, me refiero literalmente a los antecedentes que cada científico, cada campo y cada estudio tiene) es fundamental para la buena ciencia. Las estadísticas bayesianas son explícitas y lo obligan a pensar y comprender algunos de estos problemas. En la medida en que esto no sea un simple inconveniente pedante, podría decirse que es bueno, por lo que su opuesto tampoco es bueno.
Wayne
23

Algunas ventajas concretas de las estadísticas frecuentistas:

  • A menudo hay soluciones de forma cerrada para problemas frecuentistas, mientras que necesitaría un conjugado antes de tener una solución de forma cerrada en el análogo bayesiano. Esto es útil por varias razones, una de las cuales es el tiempo de cálculo.
  • Una razón que, con suerte, eventualmente desaparecerá: a los legos se les enseña estadísticas frecuentistas. Si quieres que muchos te entiendan, debes hablar con frecuencia.
  • Un enfoque de prueba de hipótesis de hipótesis nula "inocente hasta que se demuestre lo contrario" es útil cuando el objetivo es demostrar que alguien está equivocado (voy a asumir que tienes razón y mostraré que los datos abrumadores sugieren que estás equivocado). Sí, hay análogos de NHST en bayesiano, pero las versiones de frecuentistas me parecen mucho más directas e interpretables.
  • No existe un antecedente verdaderamente poco informativo que incomode a algunas personas.
TrynnaDoStat
fuente
1
(+1) Gracias, ¿podrías aclarar un poco el primer punto? Como alguien poco versado en Bayesiano, el punto que está haciendo sobre la necesidad de un "conjugado previo" (?) Se me ha perdido un poco ...
jsakaluk
55
No creo que esté interpretando la prueba de hipótesis frecuentista correctamente. Acabas de dar , pero el valor p es en realidad P ( D a t aPAGS(H0 0El |reunatuna) . La interpretación correcta del valor p: dado el valor nulo, solo hay un α % de probabilidad de obtener un resultado tan extremo o más extremo que el observado. Esta interpretación errónea aparece a menudo cuando se argumenta a favor de un enfoque bayesiano. Aparte de eso, me gusta tu respuesta. PAGS(reunatunaEl |H0 0)α
Zachary Blumenfeld
@ZacharyBlumenfeld Gracias por señalarlo, tenía en mente a Bayesian. Lo arreglaré ahora.
TrynnaDoStat
1
@jsakaluk Si el posterior y el anterior tienen la misma distribución, se dice que el anterior está conjugado, lo que garantiza una forma posterior cerrada. Por ejemplo, si nuestros datos son Bernoulli y elegimos un Beta ( , β ) antes, entonces sabemos que el posterior es Beta ( α + n i = 1 x i , β + n - n i = 1 x iαβα+yo=1norteXyoβ+norte-yo=1norteXyo) sin tener que hacer ninguna simulación, muestreo o cómputo intenso.
TrynnaDoStat
16

La razón más importante para usar enfoques Frequentistas, que sorprendentemente aún no se ha mencionado, es el control de errores. Muy a menudo, la investigación conduce a interpretaciones dicotómicas (¿debería hacer un estudio sobre esto, o no? ¿Debería implementar una intervención o no?). Los enfoques frecuentes le permiten controlar estrictamente su tasa de error Tipo 1. Los enfoques bayesianos no lo hacen (aunque algunos heredan el límite universal de los enfoques de probabilidad, pero incluso entonces, las tasas de error pueden ser bastante altas en muestras pequeñas y con umbrales de evidencia relativamente bajos (por ejemplo, BF> 3). Puede examinar las propiedades frequentistas de Factores de Bayes (ver, por ejemplo, http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513) pero sigue siendo un enfoque frecuente. Pienso muy a menudo que los investigadores se preocupan más por el control de errores que por cuantificar la evidencia per se (en relación con alguna hipótesis específica), y creo que, al menos, a todos les importa el control de errores en cierta medida, y por lo tanto, se deben usar los dos enfoques. complementariamente

Daniel Lakens
fuente
Buen punto. También estoy pensando en métodos secuenciales grupales y otras formas de pruebas múltiples, donde parece (desde mi punto de vista estrecho, que puede haber pasado por alto partes sustanciales de la literatura) que ha habido una falta de interés en el lado bayesiano (entonces lejos) en términos de obtener algún tipo de control de errores. Por supuesto, en muchas circunstancias, los métodos bayesianos, particularmente con antecedentes un tanto escépticos o algún tipo de contracción a través de un modelo jerárquico, controlan los errores de alguna manera hasta cierto punto no cuantificable, pero allí se ha pensado mucho más en el lado frecuentista.
Björn
3
(+1) Realmente me gusta este punto ... ya que es la razón por la que filosóficamente soy frecuentador ... cuando hacemos estadísticas para ayudar con la inferencia, entonces queremos que nuestras inferencias sean más precisas (es decir, menos errores) que adivinar a ciegas. De hecho, si me importa que mis inferencias sean realmente verdaderas o falsas (en el sentido de ser validadas por estudios de seguimiento), entonces las tasas de error son muy importantes. Simplemente no puedo sentirme cómodo con la probabilidad bayesiana (sin embargo, los métodos en sí mismos son muy útiles como "estimadores regularizados" razonables para una cantidad cuando el tamaño de la muestra es pequeño ... piense en Agresit-Coull)
Esto suena más como una teoría de decisión que una comparación bayes / frecuentista. Además, con el enfoque bayesiano que no es necesario preocuparse de parar reglas .... también entiendo que Bayes pueden lograr un "equilibrio" mejor entre las tasas de tipo 1 y tipo 2 de error ....
probabilityislogic
8

Creo que una de las preguntas más importantes, como estadístico, debe preguntarse si cree o no en el principio de probabilidad. Si no crees en el principio de probabilidad, entonces creo que el paradigma frecuentista de las estadísticas puede ser extremadamente poderoso, sin embargo, si crees en el principio de probabilidad, entonces (creo) que ciertamente debes abrazar el paradigma bayesiano en o para no violarlo


En caso de que no esté familiarizado con él, lo que nos dice el principio de probabilidad es lo siguiente:

El principio de probabilidad : al hacer inferencias o decisiones sobre después deobservaralgunos datos x , toda la información experimental relevante está contenida en la función de probabilidad : ( θ ; x ) = p ( x | θ ) donde x corresponde a los datos observados y está así arreglado.θX

(θ;X)=pags(XEl |θ)
X

Además, si e y son dos puntos de muestra tales que ( θ ; x ) es proporcional a ( θ ; y ) , es decir, existe una constante C ( x , y ) tal queXy(θ;X)(θ;y)C(X,y)

(θ;X)=C(X,y)(θ;y)para todos θ,

entonces las conclusiones extraídas de e y deberían ser idénticas.Xy

C(X,y)(X,y)C(X,y)θ

C(X,y)=1θθ


Ahora, uno de los atractivos de las estadísticas bayesianas es que, bajo las debidas circunstancias, el paradigma bayesiano nunca viola el principio de probabilidad. Sin embargo, hay escenarios muy simples en los que el paradigma frecuentista violará el principio de probabilidad.

Aquí hay un ejemplo muy simple basado en la prueba de hipótesis. Considera lo siguiente:

Considere un experimento en el que se realizaron 12 ensayos de Bernoulli y se observaron 3 éxitos. Dependiendo de la regla de detención, podríamos caracterizar los datos de la siguiente manera:

  • XEl |θCompartimiento(norte=12,θ)X=3
  • YEl |θNegBin(k=3,θ)y=12

1(θ;X=3)=(123)θ3(1-θ)92(θ;y=12)=(112)θ3(1-θ)9
1(θ;X)=C(X,y)2(θ,y)
θ

Ho:θ12versusHuna:θ<12

valor p=PAGS(X3El |θ=12)=(120 0)(12)12+(121)(12)12+(122)(12)12+(123)(12)12=0,0723

(123)(12)12=1(12;X=3)

valor p=PAGS(Y12El |θ12)=(112)(12)12+(122)(12)12+(132)(12)12+...=0,0375

HoHo1(θ;X)2(θ;y)

Ho:θ12versusHuna:θ<12

PAGS(θ12El |X)=1/ /21π(θEl |X)reX=1/ /21θ3(1-θ)9π(θ)reθ/ /0 01θ3(1-θ)9π(θ)reθ

PAGS(θ12El |y)=1/ /21π(θEl |X)reX=1/ /21θ3(1-θ)9π(θ)reθ/ /0 01θ3(1-θ)9π(θ)reθ

HoPAGS(θ12El |X)>12y

PAGS(θ12El |X)=PAGS(θ12El |y)


Y para concluir mis divagaciones, si no te importa el principio de probabilidad, ¡ser frecuente es genial! (Si no puedes decirlo, soy bayesiano :))

RustyStatistician
fuente
1
Aprecio la respuesta claramente reflexiva (y probable que requiere mucho tiempo), pero siento que esta respuesta es un poco un alejamiento del mandato de la pregunta "respuestas ... transmitidas de la manera más accesible posible ...".
jsakaluk
1
@jsakaluk Supongo que lo que buscaba, y quería asegurarme de respaldar el argumento, es que si está dispuesto a pasar por alto ciertas cosas que muchos estadísticos aplicados dan por sentado todo el tiempo, es decir, el principio de probabilidad, luego usar El paradigma frecuentista puede ser una alternativa mucho más simple al paradigma bayesiano. Sin embargo, si no puede, lo más probable es que tenga que encontrar alternativas.
RustyStatistician
44
@RustyStatistician El principio de probabilidad es un principio central para los probabilistas. Los probabilistas no son bayesianos en absoluto . Publiqué enlaces en mi respuesta. Su afirmación "si usted cree en el principio de probabilidad, entonces (creo) que seguramente tiene que abrazar el paradigma bayesiano" es falsa.
Stan
@Stan, estoy de acuerdo con usted en que sí, los probabilistas creen en el principio de probabilidad. Pero me resultaría extremadamente difícil creer que si le preguntas a algún bayesiano si cree en adherirse al principio de probabilidad de que diría que no, no es así (esa es solo mi opinión, no tienes que estar de acuerdo).
RustyStatistician
2
Las funciones del principio de probabilidad (LP), el principio de condicionalidad (CP) y el principio de suficiencia (SP) en inferencia no son simples ... esto se debe a que estos principios se relacionan con la evidencia (tal como se presenta en los datos), mientras que la inferencia implica ir más allá de la evidencia . Esto siempre es arriesgado, pero necesario para avanzar. Vea el Teorema de Birnbaums (discutido aquí ... No estoy necesariamente de acuerdo con el resto del documento): arxiv.org/abs/1302.5468
6

Usted y yo somos científicos, y como científicos, estamos interesados ​​principalmente en cuestiones de evidencia. Por esa razón, creo que los enfoques bayesianos, cuando sea factible, son preferibles.

Los enfoques bayesianos responden a nuestra pregunta: ¿Cuál es la fuerza de la evidencia para una hipótesis sobre otra? Los enfoques frecuentes, por otro lado, no lo hacen: informan solo si los datos son extraños dada una hipótesis.

Dicho esto, Andrew Gelman, notable Bayesiano, parece propugnar el uso de valores p (o verificaciones gráficas similares a los valores p) como una verificación de errores en la especificación del modelo. Puede ver una alusión a este enfoque en esta publicación de blog .

Su enfoque, según tengo entendido, es algo así como un proceso de dos pasos: primero, hace la pregunta bayesiana de cuál es la evidencia de un modelo sobre el otro. En segundo lugar, hace la pregunta Frequentista sobre si el modelo preferido en realidad se considera plausible dada la información. Parece un enfoque híbrido razonable para mí.

CoolBuffScienceDude
fuente
1
Aunque el enlace al blog Gelman debería seguir siendo válido, no será "hoy" después de la medianoche. Editado en consecuencia.
Nick Cox
8
Estoy totalmente en desacuerdo con la notación de que los enfoques frecuentistas no miden la evidencia, y que esto es únicamente en el mundo bayesiano. Está omitiendo el origen de la prueba de hipótesis, como la prueba LR, mide la evidencia de una hipótesis contra la evidencia de la otra.
Cliff AB
1
(+1) a @CliffAB: para todos los que piensen en estadísticas "frecuentas", por favor, busquen la "relación de probabilidad", el "Teorema de Birnbaum", y tal vez lean un poco de Royall ... argumentos de hombre que involucran a NHST, que, por cierto, no parece haber frenado el progreso científico a pesar de sus fallas supuestamente catastróficas ... eso es porque los estadísticos no son programas MINITAB basados ​​en carbono ... piensan [sí, hacer estadísticas es en realidad una profesión, al igual que la medicina, la economía o la mecánica automotriz ... no puedes leer un libro, probar una fórmula y esperar que la verdad caiga en tu regazo].
2
@Bey: Personalmente, creo que los valores p han disminuido un poco el proceso científico (en el sentido de que los biólogos se ven obligados a convertirse en estadísticos a tiempo parcial para publicar artículos, lo que reduce el tiempo en que se convierten en biólogos), pero no lo hago. ¡No piense que las alternativas a los valores p de ninguna manera reducen este problema! Creo que la cuestión de los valores p no es su fondo teórico, sino su facilidad de uso por parte de los no estadísticos. Probabilidades posteriores (por ejemplo) creo que empeoran ese problema en particular, en lugar de mejorarlo.
Cliff AB
2
@CliffAB no podría estar más de acuerdo ... no pensé en eso desde ese lado ... pero esa es solo la naturaleza de la publicación, supongo ... a menos que los departamentos de investigación puedan darse el lujo de tener personal estadístico. Cualquier herramienta estadística puede ser mal utilizada por alguien que no
6

Personalmente, estoy teniendo dificultades para pensar en una situación en la que la respuesta frecuentista sería preferible a la bayesiana. Mi pensamiento se detalla aquí y en otros artículos de blog en fharrell.com sobre los problemas con los valores p y las pruebas de hipótesis nulas. Los frecuentes tienden a ignorar algunos problemas fundamentales. Aquí hay solo una muestra:

  • Fuera del modelo lineal gaussiano con varianza constante y algunos otros casos, los valores p que se calculan son de precisión desconocida para su conjunto de datos y modelo
  • α
  • Los frecuentes parecen contentos de no dejar que el error tipo I vaya por debajo, digamos, 0.05 sin importar ahora que el tamaño de la muestra crezca
  • No existe una prescripción frecuente de cómo se forman las correcciones de multiplicidad, lo que lleva a una mezcla de métodos ad hoc

Con respecto al primer punto, un modelo de uso común es el modelo logístico binario. Su probabilidad de registro es muy no cuadrática, y la gran mayoría de los límites de confianza y los valores p calculados para tales modelos no son muy precisos. Compare eso con el modelo logístico bayesiano, que proporciona una inferencia exacta.

Otros han mencionado el control de errores como una razón para usar la inferencia frecuentista. No creo que esto sea lógico, porque el error al que se refieren es el error a largo plazo, que visualiza un proceso en el que se ejecutan miles de pruebas estadísticas. Un juez que dijo que "la probabilidad de una condena falsa a largo plazo en mi tribunal es de solo 0.03" debe ser desestimado. Se le acusa de tener la mayor probabilidad de tomar la decisión correcta para el defensor actual . Por otro lado, uno menos la probabilidad posterior de un efecto es la probabilidad de cero o efecto hacia atrás y es la probabilidad de error que realmente necesitamos.

Frank Harrell
fuente
2
θ1,...,θkk
5

Muchas personas no parecen conocer una tercera escuela filosófica: el verosimilitud. El libro de AWF Edwards, Probabilidad, es probablemente el mejor lugar para leerlo. Aquí hay un breve artículo que escribió.
El verosimilitud evita los valores p, como el bayesianismo, pero también evita el dudoso anterior bayesiano. No es un tratamiento introducción aquí también.

Stan
fuente
55
Hay un enfoque de probabilidad algorítmica de Vovk, desarrollado a partir de las ideas de Kolmogorov.
Aksakal
2
"Muchas personas no parecen estar al tanto de una tercera escuela filosófica: la probabilidad" No creo que esta oración sea cierta en 2016 ...
Tim
44
@Tim, aunque todos los que conozco están familiarizados con el frecuentismo y el bayesianismo, nunca he conocido a nadie que haya oído hablar del probabilismo. El interrogador original parece ser como mis colegas que fueron entrenados en frecuentismo y están cada vez más interesados ​​en el bayesianismo. Quizás la mayoría de las personas que leen mi respuesta anterior piensan que me estoy refiriendo a la estimación de máxima verosimilitud o a probar hipótesis utilizando razones de verosimilitud. ¡No! Sugiero a Yudi Pawitan y esta conferencia
stan
77
Ninguno de esos enfoques es religión, por lo que no hay mucho que creer, solo son útiles para ciertos tipos de problemas, y algunos de los enfoques son más adecuados para algunos problemas y otros para otros :)
Tim
1
(+1) por mencionar la escuela de probabilidad y por el comentario sobre Pawitan. El libro de Pawitan "In All Likelihood" se amplió y mejoró dramáticamente con la práctica estadística ... También era consciente de Bayes vs Frequentism. Aborda muchos aspectos filosóficos y metodológicos de Bayes, el frecuentismo "clásico" y, por supuesto, cubre la escuela de probabilidad pura. Simplemente un gran libro para convertirse en un usuario más sofisticado de estadísticas ... independientemente de sus inclinaciones filosóficas.
4

Una de las mayores desventajas de los enfoques frecuentistas para la construcción de modelos siempre ha sido, como señala TrynnaDoStats en su primer punto, los desafíos involucrados con la inversión de grandes soluciones de forma cerrada. La inversión de matriz de forma cerrada requiere que toda la matriz sea residente en RAM, una limitación significativa en plataformas de CPU individuales con grandes cantidades de datos o características categóricas masivas. Los métodos bayesianos han podido solucionar este desafío simulando sorteos aleatorios de un previo especificado. Este siempre ha sido uno de los principales puntos de venta de soluciones bayesianas, aunque las respuestas se obtienen solo a un costo significativo en la CPU.

Andrew Ainslie y Ken Train, en un artículo de hace aproximadamente 10 años al que he perdido la referencia, compararon la mezcla finita (que es frecuente o cerrada) con los enfoques bayesianos para la construcción de modelos y descubrieron que en una amplia gama de formas funcionales y métricas de rendimiento, los dos métodos arrojaron resultados esencialmente equivalentes. Donde las soluciones bayesianas tenían una ventaja o poseían una mayor flexibilidad eran en aquellos casos en que la información era escasa y de muy alta dimensión.

Sin embargo, ese documento fue escrito antes de que se desarrollaran algoritmos de "divide y vencerás" que aprovechan plataformas paralelas masivas, por ejemplo, ver el documento de Chen y Minge para obtener más información sobre este http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

El advenimiento de los enfoques de D&C ha significado que, incluso para los problemas dimensionales más peludos, más escasos y más altos, los enfoques bayesianos ya no tienen una ventaja sobre los métodos frecuentistas. Los dos métodos están a la par.

Vale la pena señalar este desarrollo relativamente reciente en cualquier debate sobre las ventajas prácticas o limitaciones de cualquiera de los métodos.

Mike Hunter
fuente
Creo que esta es una buena adición a la discusión (+1) pero me resulta difícil seguirla. Realmente, realmente, realmente pospone su frase clave ... ¿Tal vez podrías reorganizarlo un poco? :)
usεr11852 dice Reinstate Monic
@ user11852 No dice que la publicación no puede comunicar algo útil, mientras que encuentra que el desarrollo de la lógica no cumple con los estándares periodísticos. Dado que este hilo se ha convertido en "comunidad", no estoy demasiado inclinado (¿motivado?) Para trabajar en reorganizarlo según su sugerencia. Puede sostenerse como está. Pero gracias de todos modos por el voto a favor y el comentario.
Mike Hunter
norte
@CliffAB Estaba pensando en la inversión de tipo ANOVA de la matriz de productos cruzados.
Mike Hunter
@DJohnson: Ya veo. Pero mi punto era que la inversión matricial es ortogonal a los métodos frecuentistas versus bayesianos; ambos campamentos usan herramientas que hacen algo muy similar (al menos en términos de costos computacionales) en muchos de sus métodos.
Cliff AB
3

Las pruebas frecuentes se centran en falsificar la hipótesis nula. Sin embargo, las Pruebas de significación de hipótesis nulas (NHST) también se pueden hacer desde una perspectiva bayesiana, porque en todos los casos NHST es simplemente un cálculo de P (Efecto Observado | Efecto = 0). Por lo tanto, es difícil identificar un momento en que sería necesario realizar NHST desde una perspectiva frecuentista.

Dicho esto, el mejor argumento para llevar a cabo NHST utilizando un enfoque frecuentista es la facilidad y la accesibilidad. A las personas se les enseña estadísticas frecuentistas. Por lo tanto, es más fácil ejecutar un NHST frecuentista, porque hay muchos más paquetes estadísticos que simplifican la tarea. Del mismo modo, es más fácil comunicar los resultados de un HSTN frecuente porque las personas están familiarizadas con esta forma de HSTN. Entonces, lo veo como el mejor argumento para los enfoques frecuentistas: accesibilidad a los programas de estadísticas que los ejecutarán y facilidad de comunicación de resultados a los colegas. Sin embargo, esto es solo cultural, por lo que este argumento podría cambiar si los enfoques frecuentistas pierden su hegemonía.

Liz Page-Gould
fuente
55
Los comentarios sobre lo que Fisher pensó que parecen excesivos aquí a menos que pueda proporcionar citas exactas. La hipótesis nula es un dispositivo como parte de una prueba de significación para tratar de disuadir a los científicos de interpretar en exceso los resultados de pequeñas muestras. Fisher estaba tan interesado como cualquier otra persona en que los científicos deberían usar las estadísticas para hacer una buena ciencia; él mismo fue un contribuyente muy serio a la genética.
Nick Cox
44
Estoy completamente de acuerdo, así que edité la respuesta para eliminar la especulación sobre el estado mental de Fisher.
Liz Page-Gould
3

Varios comentarios:

  • La diferencia fundamental entre el estadístico bayesiano y frecuentista es que el bayesiano está dispuesto a extender las herramientas de probabilidad a situaciones donde el frecuentista no lo haría.

    • Más específicamente, la bayesiana está dispuesta a usar la probabilidad para modelar la incertidumbre en su propia mente sobre varios parámetros. Para el frecuentista, estos parámetros son escalares (aunque escalares donde el estadístico no conoce el valor verdadero). ¡Para el Bayesiano, varios parámetros están representados como variables aleatorias! Esto es extremadamente diferente. La incertidumbre bayesiana sobre los parámetros valeus está representada por un previo .
  • En las estadísticas bayesianas, la esperanza es que después de observar los datos, el posterior abruma al anterior, que lo anterior no importa. Pero a menudo este no es el caso: ¡los resultados pueden ser sensibles a la elección de antes! Diferentes bayesianos con diferentes antecedentes no necesitan estar de acuerdo en el posterior.

¡Un punto clave a tener en cuenta es que las declaraciones del estadístico frecuentista son declaraciones en las que dos bayesianos pueden ponerse de acuerdo, independientemente de sus creencias anteriores!

El frecuentista no hace comentarios sobre anteriores o posteriores, simplemente la probabilidad.

Las declaraciones del estadístico frecuentista en cierto sentido son menos ambiciosas, pero las declaraciones más audaces del bayesiano pueden confiar significativamente en la asignación de un prior. En situaciones donde los antecedentes importan y donde hay desacuerdo sobre los antecedentes, las declaraciones condicionales más limitadas de las estadísticas frecuentas pueden tener un terreno más firme.

Matthew Gunn
fuente
2

El objetivo de mucha investigación no es llegar a una conclusión final, sino obtener un poco más de evidencia para impulsar gradualmente el sentido de una pregunta de la comunidad en una dirección .

Las estadísticas bayesianas son indispensables cuando lo que necesita es evaluar una decisión o conclusión a la luz de la evidencia disponible. El control de calidad sería imposible sin las estadísticas bayesianas. Cualquier procedimiento en el que necesite tomar algunos datos y luego actuar sobre ellos (robótica, aprendizaje automático, toma de decisiones comerciales) se beneficia de las estadísticas bayesianas.

Pero muchos investigadores no están haciendo eso. Realizan algunos experimentos, recopilan algunos datos y luego dicen "Los datos apuntan de esta manera", sin preocuparse realmente de si esa es la mejor conclusión dada toda la evidencia que otros han reunido hasta ahora. La ciencia puede ser un proceso lento y una declaración como "¡La probabilidad de que este modelo sea correcto es del 72%!" A menudo es prematuro o innecesario.

Esto también es apropiado de una manera matemática simple, porque las estadísticas frecuentistas a menudo resultan ser matemáticamente lo mismo que el paso de actualización de una estadística bayesiana. En otras palabras, mientras que la estadística bayesiana es (Modelo anterior, Evidencia) → Nuevo modelo, las estadísticas frecuentas son solo Evidencia, y deja que otros completen las otras dos partes.

Owen
fuente
Aunque gran parte de esta publicación es interesante, consta de muchas opiniones no respaldadas. Consulte nuestro centro de ayuda sobre qué tipos de respuestas se esperan en este sitio.
whuber
@whuber ya veo. He agregado una cita que puedo recordar en la parte superior de mi cabeza, pero el resto no tengo citas, por lo que si parece que no es compatible, puedo eliminarla.
Owen
55
Me sorprende que haya mencionado el control de calidad, ya que parece un área donde la interpretación frecuente de la probabilidad (frecuencia relativa en muchos ensayos) sería muy natural: dado que la fábrica funciona correctamente, ¿qué tan probable es que veamos tantos? (o más) widgets rotos? ¿Podría presionarlo para que explique qué hace que las estadísticas bayesianas sean particularmente útiles para el control de calidad?
Matt Krause
@MattKrause Supongamos que nuestro objetivo es enviar widgets defectuosos a una tasa <1%. Sabemos que la fábrica produce widgets defectuosos a una tasa del 10%, y tenemos una prueba cuyas tasas de error de Tipo I y Tipo II son sy 1 / (sqrt (4 - 1 / s ^ 2)) donde s es un parámetro de rigor ¿Qué debemos usar para la rigidez?
Owen
2
La idea de que las estadísticas frecuentistas no pueden combinar información de estudios sucesivos parece ignorar el campo de los metanálisis.
Cliff AB
2

La ejecución real de un método bayesiano es más técnica que la de un frequentista. Por "más técnico" me refiero a cosas como: 1) elegir priors, 2) programar su modelo en BUGS / JAGS / STAN, y 3) pensar en el muestreo y la convergencia.

Obviamente, el # 1 es prácticamente no opcional, por definición de Bayesian. Aunque con algunos problemas y procedimientos, puede haber valores predeterminados razonables, ocultando el problema al usuario. (¡Aunque esto también puede causar problemas!)

Si el # 2 es un problema depende del software que use. La estadística bayesiana se inclina hacia soluciones más generales que los métodos estadísticos frecuentas, y las herramientas como BUGS, JAGS y STAN son una expresión natural de esto. Sin embargo, hay funciones bayesianas en varios paquetes de software que parecen funcionar como el típico procedimiento frecuente, por lo que esto no siempre es un problema. (Y las soluciones recientes como los paquetes R rstanarmy brmsestán cerrando esta brecha). Aún así, el uso de estas herramientas es muy similar a la programación en un nuevo lenguaje.

El ítem n. ° 3 generalmente es aplicable, ya que la mayoría de las aplicaciones bayesianas del mundo real utilizarán el muestreo MCMC. (Por otro lado, los procedimientos frecuentes basados ​​en MLE utilizan una optimización que puede converger a un mínimo local o no converger en absoluto, y me pregunto cuántos usuarios deberían verificar esto y no lo hacen).

Como dije en un comentario, no estoy seguro de que liberarse de los antecedentes sea realmente un beneficio científico. Ciertamente es conveniente de varias maneras y en varios puntos del proceso de publicación, pero no estoy seguro de que en realidad contribuya a una mejor ciencia. (Y en el panorama general, todos debemos ser conscientes de nuestros antecedentes como científicos, o sufriremos todo tipo de sesgos en nuestras investigaciones, independientemente de los métodos estadísticos que utilicemos).

Wayne
fuente
Con respecto a (3), muchos modelos de estadísticas clásicas (es decir, glm) tienen probabilidades de registro cóncavas, por lo que es muy raro que los algoritmos estándar fallen, fuera de los casos extremos de esquina. En lo que respecta a los problemas no cóncavos (es decir, NN), si bien estos requieren una gran preocupación por la convergencia inadecuada (que generalmente es entendida por los usuarios), estos son (no por coincidencia) también problemas en los que los algoritmos MCMC clásicos fallarán horriblemente si solo se ejecutan para , digamos, la vida de un humano. Sin embargo, generalmente es menos difícil arreglar el MCMC que el algoritmo de optimización.
Cliff AB
2

Conceptualmente : no lo sé. Creo que las estadísticas bayesianas son la forma más lógica de pensar, pero no podría justificar por qué.

La ventaja del frecuentista es que es más fácil para la mayoría de las personas en el nivel primario. Pero para mí fue extraño. Pasaron años hasta que realmente pude aclarar intelectualmente qué es un intervalo de confianza. Pero cuando comencé a enfrentar situaciones prácticas, las ideas frecuentistas parecían simples y altamente relevantes.

Empíricamente

La pregunta más importante en la que intento centrarme hoy en día es más sobre la eficiencia práctica: tiempo de trabajo personal, precisión y velocidad de cálculo.

Tiempo de trabajo personal: para preguntas básicas, en realidad casi nunca uso métodos bayesianos: uso herramientas frecuentas básicas y siempre preferiré una prueba t sobre un equivalente bayesiano que solo me causaría dolor de cabeza. Cuando quiero saber si soy significativamente mejor en tictactoe que mi novia, hago un chi-cuadrado :-). En realidad, incluso en trabajos serios como informático, las herramientas básicas frecuentas son invaluables para investigar problemas y evitar conclusiones falsas debido al azar.

Precisión: en el aprendizaje automático donde la predicción es más importante que el análisis, no existe un límite absoluto entre bayesiano y frecuentista. MLE es un enfoque frecuente: solo un estimador. Pero el MLE regularizado (MAP) es un enfoque parcialmente bayesiano : encuentras el modo de la parte posterior y no te importa el resto de la parte posterior. No sé de una justificación frecuente de por qué usar la regularización. Prácticamente, la regularización a veces es inevitable porque la estimación bruta de MLE está tan sobreajustada que 0 sería un mejor predictor. Si se acuerda que la regularización es un método verdaderamente bayesiano, esto solo justifica que Bayes pueda aprender con menos datos.

Velocidad de cómputo: los métodos más frecuentes suelen ser computacionalmente más rápidos y fáciles de implementar. Y de alguna manera, la regularización proporciona una forma barata de introducir un poco de Bayes en ellos. Puede ser porque los métodos bayesianos todavía no están tan optimizados como podrían. Por ejemplo, algunas implementaciones de LDA son rápidas hoy en día. Pero requirieron un trabajo muy duro. Para las estimaciones de entropía, los primeros métodos avanzados fueron bayesianos. Funcionaron muy bien, pero pronto se descubrieron los métodos frecuentes y requieren mucho menos tiempo de cálculo ... Para el tiempo de cálculo, los métodos frecuentes generalmente son claramente superiores. No es absurdo, si usted es bayesiano, pensar en los métodos frecuentistas como aproximaciones de los métodos bayesianos.

Benoit Sanchez
fuente
2
"No sé de una justificación frecuentista de por qué [usar] la regularización". Eso es fácil; En ensayos repetidos, se ha demostrado que reduce el error fuera de la muestra.
Cliff AB
2

Un tipo de problema en el que un enfoque basado en el frequentismo particular ha dominado esencialmente a cualquier Bayesiano es el de la predicción en el caso M-abierto.

¿Qué significa M-open?

yXX , estamos en el caso M-abierto. En otras palabras, el modelo de especificación errónea da como resultado un caso M-abierto.

En la mayoría de los casos, este es un gran problema para los análisis bayesianos; Casi toda la teoría que conozco se basa en que el modelo se especifique correctamente. Por supuesto, como estadísticos críticos, debemos pensar que nuestro modelo siempre está mal especificado. Esto es un gran problema; La mayor parte de nuestra teoría se basa en que el modelo es correcto, pero sabemos que nunca lo es. Básicamente, solo estamos cruzando los dedos con la esperanza de que nuestro modelo no sea demasiado incorrecto.

¿Por qué los métodos frequentistas manejan esto mejor?

No todos lo hacen. Por ejemplo, si usamos herramientas MLE estándar para crear los errores estándar o construir intervalos de predicción, no estamos mejor que usar métodos bayesianos.

Sin embargo, hay una herramienta Frequentista particular que está diseñada específicamente para este propósito: la validación cruzada. Aquí, para estimar qué tan bien nuestro modelo pronosticará los nuevos datos, simplemente dejamos algunos de los datos al ajustar el modelo y medimos qué tan bien nuestro modelo predice los datos no vistos.

Tenga en cuenta que este método es completamente ambivalente a la especificación errónea del modelo, simplemente proporciona un método para que podamos estimar qué tan bien un modelo pronosticará los nuevos datos, independientemente de si el modelo es "correcto" o no.

No creo que sea demasiado difícil argumentar que esto realmente cambia el enfoque del modelado predictivo que es difícil de justificar desde una perspectiva bayesiana (se supone que prior representa el conocimiento previo antes de ver los datos, la función de probabilidad es el modelo, etc.) a uno eso es muy fácil de justificar desde una perspectiva Frequentista (elegimos el modelo + los parámetros de regularización que, sobre el muestreo repetido, conduce a los mejores errores de muestra).

Esto ha revolucionado por completo cómo se hace la inferencia predictiva. No creo que ningún estadístico consideraría (o al menos debería) considerar seriamente un modelo predictivo que no fue construido o verificado con validación cruzada, cuando está disponible (es decir, podemos suponer razonablemente que las observaciones son independientes, sin tratar de dar cuenta para sesgo de muestreo, etc.).

Acantilado AB
fuente