Es bien sabido que la regresión lineal con una penalización de es equivalente a encontrar la estimación MAP dada una Gaussiana anterior sobre los coeficientes. Del mismo modo, usar una penalización es equivalente a usar una distribución de Laplace como la anterior.
No es raro usar alguna combinación ponderada de regularización y . ¿Podemos decir que esto es equivalente a alguna distribución previa sobre los coeficientes (intuitivamente, parece que debe ser)? ¿Podemos darle a esta distribución una buena forma analítica (tal vez una mezcla de gaussiano y laplaciano)? ¿Si no, porque no?
regression
bayesian
regularization
prior
elastic-net
Michael Curry
fuente
fuente
Respuestas:
Es probable que el comentario de Ben sea suficiente, pero proporciono algunas referencias más, una de las cuales es anterior al documento al que Ben hizo referencia.
Kyung et. Propuso una representación de red elástica bayesiana . Alabama. en su Sección 3.1. Aunque lo anterior para el coeficiente de regresión era correcto, los autores escribieron incorrectamente la representación de la mezcla.β
Roy y Chakraborty propusieron recientemente un modelo bayesiano corregido para la red elástica (su Ecuación 6). Los autores también presentan una muestra de Gibbs apropiada para tomar muestras de la distribución posterior, y muestran que la muestra de Gibbs converge a la distribución estacionaria a una velocidad geométrica. Por esta razón, estas referencias pueden resultar útiles, además del documento de Hans .
fuente