Selección de modelo original (?) Con CV plegable

Cuando utilizo k-fold CV para seleccionar entre los modelos de regresión, generalmente calculo el error CV por separado para cada modelo, junto con su error estándar SE, y selecciono el modelo más simple dentro de 1 SE del modelo con el error CV más bajo (el 1 regla de error estándar, ver por ejemplo aquí ). Sin embargo, recientemente me han dicho que de esta manera estoy sobreestimando la variabilidad, y que en el caso específico de seleccionar entre dos modelos A y B, realmente debería proceder de una manera diferente:

para cada pliegue de longitud , calcule las diferencias puntuales entre las predicciones de los dos modelos. Luego calcule la diferencia cuadrática media para el pliegue $K$ $N_K$ $M S D_{K} = \sqrt{\frac{\sum_{i = 1}^{N_{K}} {({\hat{y}}_{A i} - {\hat{y}}_{B i})}^{2}}{N_{K}}}$ $MSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}}$
promedio través de pliegues como de costumbre, y use este error de diferencia CV (junto con su error estándar) como estimador del error de generalización. $MSD_K$

Preguntas:

¿Tiene sentido esto para ti? Sé que hay razones teóricas detrás del uso del error CV como estimador del error de generalización (no sé cuáles son estas razones, ¡pero sé que existen!). No tengo idea si hay razones teóricas detrás del uso de este error CV de "diferencia".
No sé si esto se puede generalizar a las comparaciones de más de dos modelos. Calcular las diferencias para todos los pares de modelos parece arriesgado (¿comparaciones múltiples?): ¿Qué haría si tuviera más de dos modelos?

EDITAR: mi fórmula está totalmente equivocada, la métrica correcta se describe aquí y es mucho más complicada. Bueno, ¡estoy feliz de haber preguntado aquí antes de aplicar la fórmula a ciegas! Agradezco a @Bay por ayudarme a entender con su respuesta iluminadora. La medida correcta descrita es bastante experimental, por lo que me atendré a mi caballo de trabajo de confianza, ¡el error CV!

regression cross-validation model-selection DeltaIV
fuente

Respuestas:

$MSD_K$

Por ejemplo, podría llegar a un par de predictores tontos:

{\hat{y}}_{A} (x, θ) = 1 + \frac{⟨ x, 1 ⟩}{θ}

$\hat y_A(\mathbf{x},\theta)= 1+\frac{\langle \mathbf{x},1\rangle}\theta$

{\hat{y}}_{B} (x, θ) := 1 + \frac{⟨ x, 1 ⟩}{θ^{2}}

$\hat y_B(\mathbf{x},\theta):= 1+\frac{\langle \mathbf{x},1\rangle}{\theta^2}$

$\theta$ $MSD_K$

Eché un vistazo al enlace, pero no vi tu $MSD_K$ $MSD_K$

Respuesta al comentario de OP

La fórmula presentada en su comentario requiere un poco de contexto:

Es una medida de precisión bayesiana, en el sentido de que elpd es la densidad predictiva logarítmica logarítmica esperada , bastante bocado, pero básicamente, es la suma de los valores esperados del logaritmo de la densidad predictiva posterior evaluada en cada punto de datos bajo algún predictivo previo densidad que se estima mediante validación cruzada.
La medida anterior (elpd) se calcula utilizando la validación cruzada de omisión, donde la densidad predictiva se toma en el punto omitido.
Lo que está haciendo su fórmula (19) es calcular el error estándar de la diferencia en la precisión predictiva (medida usando elpd) entre dos modelos. La idea es que la diferencia en elpd es asintóticamente normal, por lo que el error estándar tiene un significado inferencial (y puede usarse para probar si la diferencia subyacente es cero), o si el Modelo A tiene un error de predicción menor que el Modelo B.

Por lo tanto, hay muchas partes móviles en esta medida: debe haber ejecutado un algoritmo de muestreo MCMC para obtener puntos de la densidad del parámetro posterior. Luego debe integrarlo para obtener densidades predictivas. Luego debe tomar los valores esperados de cada uno de estos (en muchos sorteos). Es todo un proceso, pero al final se supone que da un error estándar útil.

Nota: En el tercer párrafo completo debajo de la ecuación (19), los autores afirman que se necesita más investigación para determinar si este enfoque funciona bien para la comparación de modelos ... por lo tanto, aún no está bien probado (altamente experimental). Por lo tanto, básicamente confía en la utilidad de este método hasta que los estudios de seguimiento verifiquen que identifica de manera confiable el mejor modelo (en términos de elpd ).

fuente

s e ({\hat{e l p d}}_{L O O}^{A} - {\hat{e l p d}}_{L O O}^{B})

$se(\widehat{elpd}_{LOO}^A-\widehat{elpd}_{LOO}^B)$

@DeltaIV Ok ... Revisaré la sección referenciada e intentaré desempaquetar esa fórmula para ti.

@DeltaIV ok, he tenido un cambio para revisar. He ampliado mi publicación. Este parece ser un método muy experimental (y no verificado) para comparar dos modelos de predicción. Tendría cuidado al usarlo a menos que pueda verificar su rendimiento con sus propios estudios de Monte Carlo (es decir, ¿puede elegir el modelo más predictivo cuando conoce la respuesta correcta?).