¿Es MLE con regularización un método bayesiano?

8

Por lo general, se dice que los antecedentes de las estadísticas bayesianas pueden considerarse factores de regularización, ya que penalizan las soluciones donde los lugares anteriores tienen una baja densidad de probabilidad.

Entonces, dado este modelo simple cuyos parámetros MLE son:

argmaxμ N(y;μ,σ)

y agrego un previo: los parámetros no son los parámetros MLE pero los parámetros MAP.

argmaxμ N(y;μ,σ)N(μ;0,σ0)

Pregunta : ¿Esto significa que si introduzco cierta regularización en mi modelo, estoy haciendo un análisis bayesiano (incluso si solo uso estimaciones puntuales)?

¿O esto simplemente no tiene sentido hacer esta distinción "ontológica" en este momento ya que el método para encontrar MLE o MAP es el mismo (¿no?)?

alberto
fuente

Respuestas:

10

Significa que el análisis tiene una interpretación bayesiana, pero eso no significa que no tenga también una interpretación frecuentista. La estimación de MAP podría verse como un enfoque bayesiano parcial, con un enfoque bayesiano más completo para considerar la distribución posterior sobre los parámetros. Sin embargo, sigue siendo un enfoque bayesiano, ya que la definición de probabilidad sería un "grado de plausibilidad", en lugar de una frecuencia a largo plazo.

Dikran Marsupial
fuente
5

Si utiliza la norma L2, es decir, la penalización cuadrática en la función de probabilidad logarítmica, la penalización es muy similar a un procedimiento bayesiano con un gaussiano anterior con cero medio para los coeficientes de regresión sin intersección. Pero a diferencia del procedimiento bayesiano completo que tiene en cuenta la incertidumbre acerca de la cantidad de penalización (análoga a tratar la varianza de los efectos aleatorios como si fuera una constante conocida), el procedimiento penalizado de máxima verosimilitud pretende que la penalización óptima fue preespecificada y No es un parámetro desconocido. Por lo tanto, da como resultado límites de confianza que son un poco demasiado estrechos.

Frank Harrell
fuente
2
+1 buen punto, sin tener en cuenta la incertidumbre en los hiperparámetros es Empirical Bayes.
Dikran Marsupial