Agrupar gráficos de calibración después de una imputación múltiple

15

Me gustaría recibir consejos sobre cómo agrupar los gráficos / estadísticas de calibración después de una imputación múltiple. En el contexto del desarrollo de modelos estadísticos para predecir un evento futuro (p. Ej., Utilizando datos de registros hospitalarios para predecir la supervivencia o eventos posteriores al alta hospitalaria), uno puede imaginar que falta mucha información. La imputación múltiple es una forma de manejar tal situación, pero resulta en la necesidad de agrupar las estadísticas de las pruebas de cada conjunto de datos de imputación teniendo en cuenta la variabilidad adicional debido a la incertidumbre inherente de la imputación.

Entiendo que hay múltiples estadísticas de calibración (hosmer-lemeshow, Harrell's Emax, índice de calibración estimado, etc.), para las cuales podrían aplicarse las reglas 'regulares' de Rubin para la agrupación.

Sin embargo, estas estadísticas a menudo son medidas generales de calibración que no muestran regiones específicas del modelo mal calibradas. Por esta razón, prefiero mirar un diagrama de calibración. Lamentablemente, no tengo idea de cómo 'agrupar' las parcelas o los datos detrás de ellas (probabilidades predichas por individuo y resultado observado por individuo), y no puedo encontrar mucho en la literatura biomédica (el campo con el que estoy familiarizado), o aquí, en CrossValidated. Por supuesto, mirar el gráfico de calibración de cada conjunto de datos de imputación podría ser una respuesta, pero podría volverse bastante molesto (presentar) cuando se crean muchos conjuntos de imputación.

Por lo tanto, me gustaría preguntar si existen técnicas que darían como resultado un diagrama de calibración, agrupado después de la imputación múltiple (?)

IWS
fuente
¿Es posible agrupar directamente las muestras cargadas y evaluar la calibración de esa muestra?
AdamO
@AdamO, ¿qué quieres decir exactamente con agrupación directa? ¿Y a qué muestras de bootstrap se refiere?
IWS
2
Lo siento, déjame retroceder, (pienso en MI como un bootstrap). Estoy diciendo que si su n es 1,000 y tiene 5 conjuntos de datos MI, ¿por qué no crear un solo gráfico de calibración a partir de 5000 y comparar lo observado / esperado de la manera deseada en esos 5,000?
AdamO
@AdamO Suena interesante, requeriría un ajuste de las funciones que también proporcionan un intervalo de confianza. ¿Alguna referencia o teoría para respaldar esta idea?
IWS
2
Sin referencias, recientemente publicamos un artículo donde declaramos sin pruebas que obtuvimos inferencia para errores estándar de bootstrap e imputación múltiple al agruparlos de esta manera. Creo que puede afirmar que el propósito del análisis es probar en el nivel 0.05 que la relación / diferencia de expectativa / observación está dentro de un rango de distribución normal y que las estimaciones cuantiles son invariables para el tamaño de la muestra, por lo que las pruebas se basan en el IC del 95% no se ve afectado por la agrupación.
AdamO

Respuestas:

1

[...] si su n es 1,000 y tiene 5 conjuntos de datos MI, ¿por qué no crear un gráfico de calibración único a partir del 5000 y comparar lo observado / esperado de la manera deseada en esos 5,000?

En cuanto a referencias:

Sin referencias, recientemente publicamos un artículo donde declaramos sin pruebas que obtuvimos inferencia para errores estándar de bootstrap e imputación múltiple al agruparlos de esta manera. Creo que puede afirmar que el propósito del análisis es probar en el nivel 0.05 que la relación / diferencia de expectativa / observación está dentro de un rango de distribución normal y que las estimaciones cuantiles son invariables para el tamaño de la muestra, por lo que las pruebas se basan en el IC del 95% no se ve afectado por la agrupación.

mkt - Restablecer a Monica
fuente
1
Copié este comentario de @AdamO como una respuesta wiki comunitaria porque el comentario es, más o menos, una respuesta a esta pregunta. Tenemos una brecha dramática entre las respuestas y las preguntas. Al menos parte del problema es que algunas preguntas se responden en los comentarios: si los comentarios que respondieron la pregunta fueran respuestas, tendríamos menos preguntas sin responder.
mkt - Restablecer Monica