Selección de modelo con regresión logística de Firth

21

En un pequeño conjunto de datos ( ) con el que estoy trabajando, varias variables me dan una predicción / separación perfecta . Por lo tanto, utilizo la regresión logística de Firth para tratar el problema.norte∼100

Si selecciono el mejor modelo por AIC o BIC , ¿debo incluir el término de penalización de Firth en la probabilidad al calcular estos criterios de información?

logistic model-selection aic separation StasK
fuente
2
¿Le importaría explicar por qué es inevitable, ya que la selección de variables no ayuda con el problema de "demasiadas variables, muy poco tamaño de muestra"?
Frank Harrell
44
Eso es tan malo como se pone.
Frank Harrell
1
¿Has considerado tratar esto como un problema de inferencia bayesiana? La regresión logística de Firth es equivalente a MAP con jeffreys anteriores. Se podría utilizar la aproximación de Laplace totalmente a evalute probabilidades marginales - que es como un BIC ajustado (similar a la AICC)
probabilityislogic
1
@usuario, debido a que tales variables generalmente predicen solo un puñado de casos, y eso es irreproducible: la probabilidad real de esa celda puede ser cercana al 90%, pero con solo dos casos, obtendrá dos el 81% del tiempo .
StasK
1
Enlace para descargar el documento de K&K (1996) encontrado en Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf
Alecos Papadopoulos

Respuestas:

1

norte→∞

pagsy(y)=∫L(θ;y)π(θ)reθ
θ^

Como observación secundaria, la regresión de Firth también elimina el sesgo de primer orden en familias exponenciales.

lbelzile
fuente