Cómo estimar una curva de calibración con bootstrap (R)

Pregunta : He ajustado un modelo probabilístico (red bayesiana) para modelar una variable de resultado binaria. Me gustaría crear un gráfico de calibración de alta resolución (por ejemplo, spline) corregido por sobreajuste con bootstrapping. ¿Existe un procedimiento estándar para calcular dicha curva?

Consideraciones : podría hacerlo fácilmente con la división de tren / prueba, pero preferiría no tirar ningún dato ya que tengo menos de 20,000 muestras. Así que, naturalmente, pensé en bootstrapping. Sé que una de esas funciones (calibrar) se implementa en el paquete rms de Frank Harrell, pero desafortunadamente el modelo que uso no es compatible con el paquete.

Pregunta adicional: ¿es posible recalibrar un modelo mal calibrado con bootstrapping? La razón por la que pregunto esto es porque intenté recalibrar un modelo

1. dividir datos en tren / prueba
2. modelo apropiado para el conjunto de entrenamiento
3. recalibrar el modelo al conjunto de entrenamiento (con una spline cúbica)
4. evaluar la calibración en el conjunto de prueba

Los modelos recalibrados de la manera anterior estaban perfectamente calibrados en el conjunto del tren, pero no tanto en el conjunto de prueba, lo que probablemente indica un sobreajuste leve. También intenté dividir aún más el conjunto de prueba, calibrar en una división y evaluar la calibración en la segunda división. Obtuve mejores resultados (aunque todavía no está perfectamente calibrado), pero los conjuntos se volvieron bastante pequeños (~ 1000 muestras) y, por lo tanto, la calibración no es confiable

Después de discutir con el profesor Frank Harrell por correo electrónico, ideé el siguiente procedimiento para estimar la curva de calibración corregida por el optimismo, parcialmente basada en su Tutorial en Bioestadística (ESTADÍSTICAS EN MEDICINA, VOL. 15,361-387 (1996)):

1. ajustar un modelo de predicción de riesgos en todos los datos
2. ajustar un modelo flexible (juego con spline y enlace logit) a las probabilidades pronosticadas del modelo frente al resultado, y consultar el juego en una cuadrícula de probabilidades pronosticadas $p=(0.01,0.02,...,0.99)$. Esta es la curva de calibración aparente y la llamamos$cal_{app}$
3. extraer muestra de arranque con reemplazo, el mismo tamaño de datos originales
4. Ajustar el modelo de predicción de riesgo en la muestra de bootstrap
5. use el modelo de bootstrap para predecir probabilidades de la muestra de bootstrap , ajuste una gama entre las probabilidades predichas y el resultado, y consulte la gama en una cuadrícula de probabilidades predichas (llamemos a estos puntos$cal_{boot}$)
6. use el modelo bootstrap para predecir probabilidades de la muestra original , ajuste una gama entre las probabilidades predichas y el resultado, y consulte la gama en una cuadrícula de probabilidades predichas obteniendo una curva de calibración ($cal_{orig}$)
7. calcular el optimismo en cada punto $p$ de la cuadrícula así $$Optimism(p)=cal_{boot}(p) - cal_{orig}(p)$$
8. repita los pasos 3-7 unas 100 veces, promedie el optimismo en cada punto $p$
9. calcular la calibración corregida optimismo así $$cal_{corr}(p)=cal_{app}(p)-<Optimism(p)>$$

Nota importante : El procedimiento anterior está inspirado en el trabajo de Harrell y mi discusión con él, pero todos los errores son solo míos.