Diferencias entre regresión logística y perceptrones

Según tengo entendido, una red neuronal artificial perceptrón / de una sola capa con una función de activación sigmoidea logística es el mismo modelo que la regresión logística. Ambos modelos están dados por la ecuación:

$F(x) = \frac{1}{1-e^{-\beta X}}$

El algoritmo de aprendizaje de perceptrón está en línea y se basa en errores, mientras que los parámetros para la regresión logística podrían aprenderse utilizando una variedad de algoritmos por lotes, que incluyen el descenso de gradiente y BFGS de memoria limitada, o un algoritmo en línea, como el descenso de gradiente estocástico. ¿Hay alguna otra diferencia entre la regresión logística y un perceptrón sigmoide? ¿Debería esperarse que los resultados de un regresor logístico entrenado con descenso de gradiente estocástico sean similares al perceptrón?

Ya mencionaste las diferencias importantes. Entonces los resultados no deberían diferir tanto.

Creo que una diferencia que falta es el hecho de que la regresión logística devuelve una probabilidad de clasificación basada en principios, mientras que los perceptrones se clasifican con un límite duro.

Esto se menciona en el artículo de Wiki sobre regresión logística multinomial .

En realidad, hay una gran diferencia sustancial, que está relacionada con las diferencias técnicas que mencionó. La regresión logística modela una función de la media de una distribución de Bernoulli como una ecuación lineal (la media es igual a la probabilidad p de un evento de Bernoulli). Al usar el enlace logit como una función de la media ( p ), el logaritmo de las probabilidades (log-odds) puede derivarse analíticamente y usarse como la respuesta de un llamado modelo lineal generalizado. La estimación de parámetros en este GLM es un proceso estadístico que produce valores p e intervalos de confianza para los parámetros del modelo. Además de la predicción, esto le permite interpretar el modelo en inferencia causal. Esto es algo que no puedes lograr con un Perceptron lineal.

El Perceptron es un proceso de ingeniería inversa de regresión logística: en lugar de tomar el logit de y, toma la función de logit inverso (logístico) de wx , y no utiliza supuestos probabilísticos para el modelo ni su estimación de parámetros. La capacitación en línea le dará exactamente las mismas estimaciones para los pesos / parámetros del modelo, pero no podrá interpretarlos en inferencia causal debido a la falta de valores p, intervalos de confianza y, bueno, un modelo de probabilidad subyacente.

En pocas palabras, la regresión logística es un GLM que puede realizar predicciones e inferencias, mientras que el Perceptron lineal solo puede lograr la predicción (en cuyo caso realizará lo mismo que la regresión logística). La diferencia entre los dos es también la diferencia fundamental entre el modelado estadístico y el aprendizaje automático.