¿Por qué la regresión logística es un clasificador lineal?

49

Dado que estamos utilizando la función logística para transformar una combinación lineal de la entrada en una salida no lineal, ¿cómo se puede considerar la regresión logística como un clasificador lineal?

La regresión lineal es como una red neuronal sin la capa oculta, entonces, ¿por qué las redes neuronales se consideran clasificadores no lineales y la regresión logística es lineal?

Jack Twain
fuente
77
La transformación de "una combinación lineal de la entrada en una salida no lineal" es una parte básica de la definición de un clasificador lineal . Eso reduce esta pregunta a la segunda parte, lo que equivale a demostrar que las redes neuronales generalmente no pueden expresarse como clasificadores lineales.
whuber
1
@whuber: ¿Cómo explica el hecho de que un modelo de regresión logística puede tomar variables predictoras polinómicas (por ejemplo, ) para producir un límite de decisión no lineal? ¿Sigue siendo un clasificador lineal? w1x12+w2x23
stackoverflowuser2010
44
@Stack El concepto de "clasificador lineal" parece originarse con el concepto de un modelo lineal. La "linealidad" en un modelo puede adoptar varias formas, como se describe en stats.stackexchange.com/a/148713 . Si aceptamos la caracterización de Wikipedia de los clasificadores lineales , su ejemplo polinomial se consideraría no lineal en términos de las "características" y pero sería lineal en términos de las características y . Esta distinción proporciona una forma útil de explotar las propiedades de linealidad. x 2x1x2 x 3 2x12x23
whuber
1
Todavía estoy un poco confundido acerca de la pregunta: ¿el límite de decisión de un clasificador logístico es lineal? Seguí el curso de aprendizaje automático Andrew Ng en Coursera y mencionó lo siguiente :! [ Ingrese la descripción de la imagen aquí ] ( i.stack.imgur.com/gHxfr.png ) Así que en realidad me parece que no hay nadie que responda depende de la linealidad o no linealidad del límite de decisión, eso depende de la función Hipótesis definida como Htheta (X) donde X es la entrada y Theta son las variables de nuestro problema. ¿Tiene sentido para ti?
brokensword

Respuestas:

42

La regresión logística es lineal en el sentido de que las predicciones se pueden escribir como Por lo tanto, la predicción se puede escribir en términos de , que es una función lineal de . (Más precisamente, el log-odds predicho es una función lineal de ).Μ xx

p^=11+eμ^, where μ^=θ^x.
μ^xx

Por el contrario, no hay forma de resumir la salida de una red neuronal en términos de una función lineal de , y es por eso que las redes neuronales se denominan no lineales.x

Además, para la regresión logística, el límite de decisión es lineal: es la solución a . El límite de decisión de una red neuronal en general no es lineal.thetax = 0{x:p^=0.5}θ^x=0

Stefan Wager
fuente
2
Su respuesta es la más clara y sencilla para mí hasta ahora. Pero estoy un poco confundido. Algunas personas dicen que el log-odds predicado es una función lineal de y otros dicen que es una función lineal de . ¡¿Entonces?! θxθ
Jack Twain
1
entonces también por tu explicación. ¿Podemos decir que la predicción de la red neuronal es una función lineal de las activaciones de la última capa oculta?
Jack Twain
2
Las probabilidades de registro predichas son lineales tanto en como en . Pero generalmente estamos más interesados ​​en el hecho de que las probabilidades de registro son lineales en , porque esto implica que el límite de decisión es lineal en espacio. θθ^xθ^x xxxx
Stefan Wager
3
He estado usando la definición de que un clasificador es lineal si su límite de decisión es lineal en espacio. Esto no es lo mismo que las probabilidades predichas siendo lineales en (lo que sería imposible aparte de casos triviales, ya que las probabilidades deben estar entre 0 y 1). xxx
Stefan Wager
3
@Pegah Sé que esto es viejo, pero: la regresión logística tiene un límite de decisión lineal. La salida en sí misma no es lineal, por supuesto, es logística. Dependiendo de qué lado de la línea cae un punto, la salida total se acercará (pero nunca alcanzará) 0 o 1 respectivamente. Y para agregar a la respuesta de Stefan Wagners: la última oración no es totalmente correcta, una red neuronal no es lineal cuando contiene activaciones no lineales o funciones de salida. Pero también puede ser lineal (en caso de que no se hayan agregado no linealidades).
Chris
20

Como señala Stefan Wagner, el límite de decisión para un clasificador logístico es lineal. (El clasificador necesita que las entradas sean linealmente separables). Quería ampliar las matemáticas para esto en caso de que no sea obvio.

11+eθx=0.5

1=eθx

y, tomando el registro natural de ambos lados,

0=θx=i=0nθixi

entonces el límite de decisión es lineal.

La razón por la cual el límite de decisión para una red neuronal no es lineal es porque hay dos capas de funciones sigmoideas en la red neuronal: una en cada uno de los nodos de salida más una función sigmoide adicional para combinar y umbralizar los resultados de cada nodo de salida.

Phil Bogle
fuente
2
En realidad, puede obtener un límite de decisión no lineal con solo una capa que tiene una activación. Vea el ejemplo estándar de un XOR con una red de alimentación de 2 capas.
James Hirschorn el
5

C0C1

P(C0|x)=P(x|C0)P(C0)P(x)
P(C0|x)=P(x|C0)P(C0)P(x|C0)P(C0)+P(x|C1)P(C1)=11+exp(logP(x|C0)P(x|C1)logP(C0)P(C1))
1+eωx

P(x|Ci)=exp(θixb(θi)a(ϕ)+c(x,ϕ))
logP(x|C0)P(x|C1)=[(θ0θ1)xb(θ0)+b(θ1)]/a(ϕ)

Tenga en cuenta que suponemos que ambas distribuciones pertenecen a la misma familia y tienen los mismos parámetros de dispersión. Pero, bajo ese supuesto, la regresión logística puede modelar las probabilidades para toda la familia de distribuciones exponenciales.

jpmuc
fuente