Equivalencia entre mínimos cuadrados y MLE en el modelo gaussiano

Soy nuevo en Machine Learning y estoy tratando de aprenderlo por mi cuenta. Recientemente estaba leyendo algunas notas de clase y tenía una pregunta básica.

La diapositiva 13 dice que "La estimación de mínimos cuadrados es igual a la estimación de máxima verosimilitud bajo un modelo gaussiano". Parece que es algo simple, pero no puedo ver esto. ¿Alguien puede explicar qué está pasando aquí? Estoy interesado en ver las matemáticas.

Más adelante intentaré ver también el punto de vista probabilístico de la regresión de Ridge y Lasso, así que si hay alguna sugerencia que me ayude, eso también será muy apreciado.

regression bayesian least-squares Andy
fuente

La función objetivo en la parte inferior de la p. 13 es solo un múltiplo constante (

) de la función objetivo en la parte inferior de p. 10. MLE minimiza el primero, mientras que los mínimos cuadrados minimiza el segundo, QED.

n

$n$

whuber

@whuber: Gracias por tu respuesta. Bueno, lo que quería saber es cómo es que MLE está haciendo la minimización.

Andy

¿Te refieres a la mecánica o conceptualmente?

whuber

@whuber: ¡Ambos! Si pudiera ver esa matemática, eso también ayudaría.

Andy

El enlace está roto; La falta de una referencia completa y más contexto para la cita hace que sea difícil eliminar la referencia o localizar una fuente alternativa para ella. ¿Es suficiente la diapositiva 13 de este enlace? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

Glen_b -Reinstate Monica

Respuestas:

En el modelo

$Y = X \beta + \epsilon$

donde , la verosimilitud de para una muestra de sujetos es (hasta una constante aditiva) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

visto como una función de solo , el maximizador es exactamente el que minimiza $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

¿Esto aclara la equivalencia?

Macro
fuente

Esto es precisamente lo que está en las diapositivas a las que se hace referencia en el OP

whuber

Sí, lo veo, pero en realidad no escriben la probabilidad de registro gaussiana en la página 13, lo que, después de hacerlo, hace que sea obvio que su argmax es la misma que la argmin de los criterios de OLS, por lo que pensé que esta era una adición valiosa.

Macro

Buen punto: la diapositiva es un poco incompleta con los detalles.

whuber

Ha aprendido que, si sabe que los errores se distribuyen normalmente alrededor de la línea de regresión, entonces el estimador de mínimos cuadrados es "óptimo" en algún sentido, aparte de decretar arbitrariamente que es mejor "mínimos cuadrados". Con respecto a la regresión de cresta, esta solución es equivalente (si usted es bayesiano) al estimador de mínimos cuadrados cuando se coloca un previo gaussiano en el

β

$\beta$ 's. En un mundo frecuentista es equivalente a

L_{2}

$L_{2}$ mínimos cuadrados penalizados. Los coeficientes de regresión logística no son la solución a un problema de mínimos cuadrados, por lo que no sería análogo.

Macro

La constante aditiva esn/2 log(2 *pi)

SmallChess