Comprender la regresión logística y la probabilidad

¿Cómo funciona realmente la estimación de parámetros / Entrenamiento de regresión logística? Trataré de poner lo que tengo hasta ahora.

La salida es y la salida de la función logística en forma de probabilidad dependiendo del valor de x: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Para una dimensión, las llamadas Probabilidades se definen de la siguiente manera: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Ahora agregue la logfunción para obtener W_0 y W_1 en forma lineal: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Ahora a la parte del problema Uso de la probabilidad (Big X es y) ¿ puede decir por qué estamos considerando la probabilidad de y = 1 dos veces? desde: $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

¿Y cómo obtener los valores de ω?

regression logistic likelihood Motor
fuente

Respuestas:

Suponga en general que decidió tomar un modelo del formulario

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

para algún parámetro . Luego, simplemente escriba la probabilidad de ello, es decir $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

que es lo mismo que

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Ahora ha decidido 'asumir' (modelo)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

donde

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

así que solo calcule la fórmula para la probabilidad y realice algún tipo de algoritmo de optimización para encontrar el , por ejemplo, el método newtons o cualquier otro método basado en gradiente. $\text{argmax}_\Theta L(\Theta)$

Tenga en cuenta que a veces, las personas dicen que cuando están haciendo una regresión logística no maximizan una probabilidad (como lo hicimos nosotros / usted anteriormente) sino que minimizan una función de pérdida

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

pero observe que . $-\log(L(\Theta)) = l(\Theta)$

Este es un patrón general en el aprendizaje automático: el lado práctico (que minimiza las funciones de pérdida que miden cuán 'incorrecto' es un modelo heurístico) es, de hecho, igual al 'lado teórico' (modelado explícito con el símbolo , maximizando cantidades estadísticas como verosimilitudes) y, de hecho, muchos modelos que no se parecen a los probabilísticos (SVM, por ejemplo) pueden reunirse en un contexto probabilístico y, de hecho, son maximizaciones de probabilidades. $P$

Fabian Werner
fuente

@Werner gracias por tu respuesta. Pero todavía necesito un poco de aclaración. En primer lugar, ¿podría explicar por qué se quedan los 2 en la definición de ya que, por lo que he entendido, estoy interesado en el caso de . y cómo puedo obtener los valores de y gracias por su ayuda!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

Motor

@Engine: El gran 'pi' es un producto ... como un gran Sigma es una suma ... ¿entiendes o necesitas más aclaraciones sobre eso también? Sobre la segunda pregunta: Digamos que queremos minimizar una función y comenzamos en pero supongamos que no sabemos / no podemos expresar / no podemos visualizar como es para Complicado. Ahora la derivada de es . Curiosamente, si estamos en lo correcto desde el mínimo , apunta a la derecha y si nos queda, apunta a la izquierda. Matemáticamente, la derivada apunta en la dirección del "ascenso más fuerte"

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$

Fabian Werner,

@ Motor: en más dimensiones, reemplaza la derivada por el gradiente, es decir, comienza en un punto aleatorio y calcula el gradiente en si desea maximizar, su próximo punto es . Luego calcula y su siguiente es y así sucesivamente. Esto se llama gradiente de ascenso / descenso y es la técnica más común para maximizar una función. Ahora haz eso con o en tu notación para encontrar el que maximiza

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

Fabian Werner

@Engine: ¡No te interesa en absoluto el caso ! Usted está interesado en 'la' que 'mejor explica sus datos'. De thet aou, deje que el modelo 'hable por sí mismo' y regrese al caso de pero antes que nada debe configurar un modelo. Aquí, 'mejor explica' significa 'tener la mayor probabilidad' porque eso es lo que se les ocurrió a las personas (y creo que es muy natural) ... sin embargo, hay otras métricas (diferentes funciones de pérdida, etc.) que uno podría ¡utilizar! ¡Hay dos productos porque queremos que el modelo explique el así como el 'bueno'!

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

Fabian Werner

Su función de probabilidad (4) consta de dos partes: el producto de la probabilidad de éxito solo para aquellas personas de su muestra que experimentaron un éxito, y el producto de la probabilidad de fracaso solo para las personas de su muestra que experimentaron un fracaso. Dado que cada individuo experimenta un éxito o un fracaso, pero no ambos, la probabilidad aparecerá para cada individuo solo una vez. Eso es lo que y significan en la parte inferior de los signos del producto. $, y_i=1$ $,y_i=0$

Los coeficientes se incluyen en la función de probabilidad sustituyendo (1) en (4). De esa manera, la función de probabilidad se convierte en una función de . El punto de máxima probabilidad es encontrar el que maximice la probabilidad. $\omega$ $\omega$

Maarten Buis
fuente

Muchas gracias por su respuesta, lo siento pero aún no lo entiendo. no es significa la probabilidad de que y = 0 [No ocurra] para todas las y del producto. y viceversa para y_i = 1. Y aún después de la subtitulación de cómo puedo encontrar valores , calculando la segunda derivada? o gradiente? muchas gracias por tu ayuda !

y_{i} = 0

$y_i = 0$

ω

$\omega$

Motor

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$ debe leerse como "producto para personas hasta , pero solo si Por lo tanto, la primera parte solo se aplica a aquellas personas en sus datos que experimentaron el evento De manera similar, la segunda parte solo se refiere a personas que no experimentaron el evento.

i = 1

$i=1$

N

$N$

y = 1

$y=1$

Maarten Buis

Hay muchos algoritmos posibles para maximizar la función de probabilidad. El más común, el método de Newton-Raphson , de hecho implica calcular la primera y segunda derivada.

Maarten Buis