Buscando una comprensión teórica de la regresión logística de Firth

Estoy tratando de entender la regresión logística de Firth (método de manejo de separación perfecta / completa o cuasi-completa en regresión logística) para poder explicarlo a otros en términos simplificados. ¿Alguien tiene una explicación tonta de qué modificación está haciendo la estimación de Firth a MLE?

Leí, lo mejor que pude, Firth (1993) y entiendo que se está aplicando una corrección a la función de puntuación. Estoy confuso sobre el origen y la justificación de la corrección y qué papel juega la función de puntuación en MLE.

Lo siento si esto es conocimiento rudimentario. La literatura que he revisado parece requerir una comprensión mucho más profunda de MLE que la que poseo.

La corrección de Firth es equivalente a especificar el previo de Jeffrey y buscar el modo de la distribución posterior. Aproximadamente, agrega la mitad de una observación al conjunto de datos suponiendo que los valores verdaderos de los parámetros de regresión son iguales a cero.

El artículo de Firth es un ejemplo de asintóticos de orden superior. El orden nulo, por así decirlo, lo proporcionan las leyes de los números grandes: en muestras grandes, donde es el valor verdadero. Es posible que haya aprendido que los MLE son asintóticamente normales, aproximadamente porque se basan en transformaciones no lineales de sumas de variables iid (puntuaciones). Esta es la aproximación de primer orden: donde es una variante normal con media cero y varianza (o matriz var-cov) que es la inversa de la información de Fisher para observación única. El estadístico de prueba de razón de probabilidad es asintóticamente$\hat \theta_n \approx \theta_0$$\theta_0$$\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$$v_1$$\sigma_1^2$$n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ o cualesquiera que sean las extensiones multivariadas de los productos internos y las matrices de covarianza inversa.

Los asintóticos de orden superior intentan aprender algo sobre el próximo término , generalmente descifrando el siguiente término . De esa manera, las estimaciones y las estadísticas de prueba pueden incorporar los sesgos de muestra pequeños del orden de (si ve el documento que dice "tenemos MLE imparciales", estas personas probablemente no sepan de qué están hablando). La corrección más conocida de este tipo es la corrección de Bartlett para las pruebas de razón de probabilidad. La corrección de Firth también es de ese orden: agrega una cantidad fija (arriba de la página 30) a la probabilidad, y en grandes muestras la contribución relativa de esa cantidad desaparece a la velocidad de empequeñecido por la información de la muestra.O ( n - 1 ) 1 / n $o(n^{-1/2})$$O(n^{-1})$$1/n$1/$\frac12 \ln \det I(\theta)$$1/n$