Bayesiano pensando en sobreajustar

Dediqué mucho tiempo al desarrollo de métodos y software para validar modelos predictivos en el dominio estadístico frecuentista tradicional. Al poner en práctica más ideas bayesianas y enseñar, veo algunas diferencias clave que aceptar. Primero, el modelo predictivo bayesiano le pide al analista que piense detenidamente sobre las distribuciones anteriores que pueden personalizarse para las características candidatas, y estas anteriores atraerán el modelo hacia ellas (es decir, lograr la reducción / penalización / regularización con diferentes cantidades de penalización para diferentes características predictivas ) En segundo lugar, la forma bayesiana "real" no da como resultado un solo modelo, sino que se obtiene una distribución posterior completa para una predicción.

Con esas características bayesianas en mente, ¿qué significa el sobreajuste? ¿Deberíamos evaluarlo? ¿Si es así, cómo? ¿Cómo sabemos cuándo un modelo bayesiano es confiable para uso en el campo? ¿O es ese un punto discutible ya que la parte posterior llevará todas las incertidumbres de precaución cuando usamos el modelo que desarrollamos para la predicción?

¿Cómo cambiaría el pensamiento si obligáramos a que el modelo bayesiano se destilara a un solo número, por ejemplo, riesgo medio / modo / mediana posterior?

Veo algunos pensamientos relacionados aquí . Una discusión paralela se puede encontrar aquí .

Pregunta de seguimiento : si somos completamente bayesianos y pasamos algún tiempo pensando en los antecedentes antes de ver los datos, y ajustamos un modelo donde la probabilidad de los datos se especificó adecuadamente, ¿estamos obligados a estar satisfechos con nuestro modelo con respecto al sobreajuste? ? ¿O tenemos que hacer lo que hacemos en el mundo frecuentista donde un sujeto elegido al azar puede predecirse en promedio, pero si elegimos un sujeto que tenga una predicción muy baja o uno que tenga un valor predicho muy alto habrá regresión? a la media?

Podría comenzar diciendo que un modelo bayesiano no puede sobreajustar sistemáticamente (o subadaptar) los datos que se extraen de la distribución predictiva previa, que es la base de un procedimiento para validar que el software bayesiano funciona correctamente antes de que se aplique a los datos recopilados del mundo.

Pero puede sobreajustar un único conjunto de datos extraído de la distribución predictiva anterior o un único conjunto de datos recopilado del mundo en el sentido de que las diversas medidas predictivas aplicadas a los datos que usted condicionó se ven mejor que esas mismas medidas predictivas aplicadas a datos futuros generado por el mismo proceso. El capítulo 6 del libro bayesiano de Richard McElreath está dedicado al sobreajuste.

La gravedad y la frecuencia del sobreajuste pueden verse disminuidas por los buenos antecedentes, particularmente aquellos que son informativos sobre la escala de un efecto. Al poner una probabilidad previa que se desvanece en valores inverosímilmente grandes, desalienta la distribución posterior de que se excite demasiado por algún aspecto idiosincrásico de los datos que condiciona que puede sugerir un efecto inverosímilmente grande.

Las mejores formas de detectar el sobreajuste incluyen la validación cruzada de dejar uno fuera, que puede aproximarse a partir de una distribución posterior que en realidad no deja ninguna observación fuera del conjunto de acondicionamiento. Hay una suposición de que ninguna "observación" individual [*] que usted condiciona tiene un efecto excesivamente grande en la distribución posterior, pero esa suposición es verificable al evaluar el tamaño de la estimación del parámetro de forma en una distribución de Pareto generalizada que es ajustarse a los pesos de muestreo de importancia (que se derivan de la probabilidad logarítmica de una observación evaluada en cada sorteo de la distribución posterior). Si se cumple este supuesto, puede obtener medidas predictivas para cada observación que son como si esa observación se hubiera omitido, la posterior se había extraído de la condición de las observaciones restantes, y la distribución predictiva posterior se había construido para la observación omitida. Si sus predicciones de observaciones omitidas sufren, entonces su modelo estaba sobreajustado para empezar. Estas ideas se implementan en el paquete de loo para R, que incluye citas como aquí y allá .

En cuanto a la destilación a un solo número, me gusta calcular la proporción de observaciones que caen dentro del 50% de los intervalos predictivos. En la medida en que esta proporción sea mayor a la mitad, el modelo está sobreajustado, aunque necesita más que un puñado de observaciones para reducir el ruido en la función del indicador de inclusión. Para comparar diferentes modelos (que pueden sobreajustar), la densidad predictiva logarítmica esperada (que se calcula mediante la loofunción en el loopaquete) es una buena medida (propuesta por IJ Good) porque tiene en cuenta la posibilidad de que un modelo más flexible pueda ajustarse mejor a los datos disponibles que un modelo menos flexible, pero se espera que prediga peor los datos futuros. Pero estas ideas pueden aplicarse a la expectativa de cualquier medida predictiva (que puede ser más intuitiva para los profesionales); vea la E_loofunción en el paquete loo .

[*] Tienes que elegir qué constituye una observación en un modelo jerárquico. Por ejemplo, ¿está interesado en predecir un nuevo paciente o un nuevo punto de tiempo para un paciente existente? Puede hacerlo de cualquier manera, pero la primera requiere que (re) escriba la función de probabilidad para integrar los parámetros específicos del paciente.

El sobreajuste significa que el modelo funciona bien en el conjunto de entrenamiento pero funciona mal en el conjunto de prueba. En mi humilde opinión, proviene de dos fuentes: los datos y el modelo que utilizamos (o nuestra subjetividad).

$k$

Como resultado, si somos frecuentistas, la fuente de sobreajuste proviene de MLE. Si somos bayesianos, entonces esto proviene de la elección (subjetiva) de la distribución previa (y, por supuesto, la elección de la probabilidad). Entonces, incluso si usa distribución posterior / media / mediana, ya se ha sobreajustado desde el principio y este sobreajuste se lleva a cabo. La elección adecuada de la distribución previa y la probabilidad ayudarán, pero siguen siendo los modelos, nunca se puede evitar el sobreajuste por completo.