¿Por qué la regresión logística produce modelos bien calibrados?

Entiendo que una de las razones por las que la regresión logística se usa con frecuencia para predecir las tasas de clics en la web es que produce modelos bien calibrados. ¿Hay una buena explicación matemática para esto?

regression logistic lsankar4033
fuente

regresión logística hecha para predecir probabilidades -> que conducen a predicciones calibradas si no sobreajustadas. mientras que la mayoría de los modelos de aprendizaje automático no predicen las probabilidades, sino más bien una clase, y existe cierta contorsión a las pseudoprobabilidades derivadas de estas predicciones -> por lo tanto, tenga en cuenta que está bien calibrado

charles

Debería haber aclarado la pregunta, pero mi pregunta era más sobre por qué es el caso de que LR es tan útil para predecir probabilidades.

lsankar4033

Vale la pena señalar que simplemente puede ajustar una regresión logística a la salida de un clasificador mal calibrado para obtener un modelo calibrado. Esto se llama Platt Scaling en.wikipedia.org/wiki/Platt_scaling

generic_user

Respuestas:

Si.

El vector de probabilidad pronosticado de la regresión logística satisface la ecuación matricial $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

$X$ $y$ $X$

Especializada en la columna de intercepción (que es una fila en la matriz transpuesta), la ecuación lineal asociada es

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

entonces el promedio general de probabilidad pronosticada es igual al promedio de la respuesta.

$x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

$x_{ij} = 1$

Matthew Drury
fuente

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

Sí, p es de esa forma. La primera ecuación proviene de establecer la derivada de la función de pérdida a cero.

Matthew Drury

Esto aborda solo la calibración en grande, que no es lo que queremos: calibración en pequeño.

Frank Harrell

@FrankHarrell ¿Quieres elaborar? No he escuchado esos términos antes.

Matthew Drury

Hay una larga historia en la literatura de pronósticos de probabilidad que data del Servicio Meteorológico de EE. UU. 1950, ahí fue donde se usó por primera vez la puntuación Brier. Calibración en pequeño significa que si se observan los riesgos pronosticados de 0.01, 0.02, ..., 0.99, cada uno de estos es exacto, es decir, para todas las veces en que el riesgo predicho fue 0.4, el resultado ocurrió aproximadamente 0.4 el tiempo. Yo llamo "calibración en el pequeño" el siguiente paso: para los hombres en los que la predicción fue 0.4 fue el resultado presente 0.4 del tiempo, luego para las mujeres.

Frank Harrell

Creo que puedo proporcionarle una explicación fácil de entender de la siguiente manera:

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

$\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Eso significa que si el modelo está completamente entrenado, las probabilidades predichas que obtenemos para el conjunto de entrenamiento se extienden de manera que para cada característica la suma de los valores ponderados (todos) de esa característica es igual a la suma de los valores de esa característica de las muestras positivas.

$\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Obviamente podemos ver que la regresión logística está bien calibrada.

Referencia: modelos logarítmicos lineales y campos aleatorios condicionales de Charles Elkan

Lerner Zhang
fuente