¿Por qué los coeficientes de regresión lineal y logística no pueden estimarse utilizando el mismo método?

Leí en un libro de aprendizaje automático que los parámetros de regresión lineal se pueden estimar (entre otros métodos) por descenso de gradiente, mientras que los parámetros de regresión logística generalmente se estiman por estimación de máxima verosimilitud.

¿Es posible explicarle a un novato (yo) por qué necesitamos diferentes métodos para la regresión lineal / logística. también conocido como ¿por qué no MLE para regresión lineal y por qué no descenso de gradiente para regresión logística?

Estás confundiendo manzanas con naranjas. Eso está bien, porque ambos son deliciosos.

La estimación de máxima verosimilitud se trata de lo que minimiza, el descenso de gradiente se trata de cómo lo minimiza.

¿Por qué no MLE para regresión lineal?

De hecho, la regresión lineal se resuelve con la estimación de máxima verosimilitud. El método estándar de "minimizar la suma de los errores al cuadrado" es exactamente matemáticamente equivalente a la estimación de máxima verosimilitud utilizando una distribución normal condicional.

¿Por qué no el gradiente de descenso para la regresión logística?

Puede resolver totalmente la regresión logística minimizando la función de probabilidad utilizando el descenso de gradiente. De hecho, es un gran ejercicio, y recomiendo que todos lo hagan al menos una vez.

Sin embargo, el descenso de gradiente no es el método estándar. Ese premio se aplica al método de Newton / mínimos cuadrados reponderado de forma iterativa , que es una mejora del descenso de gradiente que también tiene en cuenta la segunda derivada. Este método simplemente tiene propiedades mucho mejores que el descenso de gradiente, pero es más difícil de entender e implementar.