Tome e y suponga que modelamos la tarea de predecir y dada x usando regresión logística. ¿Cuándo se pueden escribir los coeficientes de regresión logística en forma cerrada?
Un ejemplo es cuando usamos un modelo saturado.
Es decir, defina , donde indexa conjuntos en el conjunto de potencia de , y devuelve 1 si todas las variables en el -ésimo conjunto son 1 y 0 en caso contrario. Luego puede expresar cada en este modelo de regresión logística como un logaritmo de una función racional de estadísticas de los datos.
¿Hay otros ejemplos interesantes cuando existe una forma cerrada?
logistic
generalized-linear-model
Yaroslav Bulatov
fuente
fuente
Respuestas:
Como señaló kjetil b halvorsen, es, a su manera, un milagro que la regresión lineal admita una solución analítica. Y esto es así solo en virtud de la linealidad del problema (con respecto a los parámetros). En OLS, tiene que tiene las condiciones de primer orden - 2 ∑ i ( y i - x ′ i β ) x i = 0 Para un problema con
Ahora, con la regresión logística, las cosas ya no son tan fáciles. Anotando la función log-verosimilitud, y tomando su derivada para encontrar el MLE, obtenemos ∂ l
Una mirada un poco más profunda al problema (tomando la segunda derivada) revela que este es un problema de optimización convexo de encontrar un máximo de una función cóncava (una parábola multivariada glorificada), por lo que cualquiera de los dos existe, y cualquier algoritmo razonable debería encontrarlo más bien rápidamente, o las cosas vuelan al infinito. Esto último sucede con la regresión logística cuando para alguna cProb[Yi=1|x′iβ>c]=1 c es decir, tienes una predicción perfecta. Este es un artefacto bastante desagradable: pensarías que cuando tienes una predicción perfecta, el modelo funciona perfectamente, pero curiosamente, es al revés.
fuente
Esta publicación fue originalmente pensada como un comentario largo en lugar de una respuesta completa a la pregunta en cuestión.
A partir de la pregunta, no está claro si el interés radica solo en el caso binario o, tal vez, en casos más generales en los que pueden ser continuos o tomar otros valores discretos.
Para interpretar esto, imagine un torneo completo de todos contra todos en su deporte competitivo favorito. Luego, este resultado dice que el modelo Bradley-Terry clasifica a los jugadores / equipos según su porcentaje de victorias. Supongo que si este es un resultado alentador o decepcionante depende de su punto de vista.
NB Este resultado de orden de rango no se cumple, en general, cuando no se juega un round-robin completo.
fuente