Dado que estamos utilizando la función logística para transformar una combinación lineal de la entrada en una salida no lineal, ¿cómo se puede considerar la regresión logística como un clasificador lineal?
La regresión lineal es como una red neuronal sin la capa oculta, entonces, ¿por qué las redes neuronales se consideran clasificadores no lineales y la regresión logística es lineal?
logistic
classification
neural-networks
Jack Twain
fuente
fuente
Respuestas:
La regresión logística es lineal en el sentido de que las predicciones se pueden escribir como Por lo tanto, la predicción se puede escribir en términos de , que es una función lineal de . (Más precisamente, el log-odds predicho es una función lineal de ).Μ xx
Por el contrario, no hay forma de resumir la salida de una red neuronal en términos de una función lineal de , y es por eso que las redes neuronales se denominan no lineales.X
Además, para la regresión logística, el límite de decisión es lineal: es la solución a . El límite de decisión de una red neuronal en general no es lineal.theta ⋅ x = 0{ x : p^= 0.5 } θ^⋅ x = 0
fuente
Como señala Stefan Wagner, el límite de decisión para un clasificador logístico es lineal. (El clasificador necesita que las entradas sean linealmente separables). Quería ampliar las matemáticas para esto en caso de que no sea obvio.
y, tomando el registro natural de ambos lados,
entonces el límite de decisión es lineal.
La razón por la cual el límite de decisión para una red neuronal no es lineal es porque hay dos capas de funciones sigmoideas en la red neuronal: una en cada uno de los nodos de salida más una función sigmoide adicional para combinar y umbralizar los resultados de cada nodo de salida.
fuente
Tenga en cuenta que suponemos que ambas distribuciones pertenecen a la misma familia y tienen los mismos parámetros de dispersión. Pero, bajo ese supuesto, la regresión logística puede modelar las probabilidades para toda la familia de distribuciones exponenciales.
fuente