Enfoque de promedio del modelo: ¿estimaciones de coeficientes de promedio versus predicciones del modelo?

Tengo una pregunta básica sobre los enfoques para promediar modelos usando criterios de TI para ponderar modelos dentro de un conjunto de candidatos.

La mayoría de las fuentes que he leído sobre promedios de modelos abogan por promediar las estimaciones de coeficientes de parámetros basadas en ponderaciones de modelos (ya sea utilizando un método de "promedio natural" o un método de "promedio cero"). Sin embargo, tenía la impresión de que promediar y ponderar las predicciones de cada modelo , en lugar de las estimaciones del coeficiente de los parámetros, basadas en los pesos del modelo, es un enfoque más directo y justificado, particularmente si se comparan modelos con variables predictoras no anidadas.

¿Existe una guía clara sobre qué enfoque para promediar modelos está mejor justificado (promediar estimaciones de parámetros ponderados frente a predicciones ponderadas)? Además, ¿existen otras complicaciones con el promedio del modelo de las estimaciones de coeficientes en el caso de modelos mixtos?

En los modelos lineales, el promedio de los coeficientes le dará los mismos valores pronosticados que los valores pronosticados del promedio de las predicciones, pero transmite más información. Muchas exposiciones tratan con modelos lineales y, por lo tanto, promedian coeficientes cruzados.

Puede verificar la equivalencia con un poco de álgebra lineal. Di que tienes$T$ observaciones y $N$predictores Recoges lo último en el$T\times N$ matriz $\mathbf{X}$. Tu también tienes$M$ modelos, cada uno de los cuales asigna un coeficiente estimado $\beta_m$ al $N$predictores Apile estas estimaciones de coeficientes en el$N \times M$ matriz $\mathbf{\beta}$. Promedio significa que asigna pesos$w_m$ a cada modelo $m$(los pesos son típicamente no negativos y suman uno). Pon estos pesos en el vector$\mathbf{w}$ de longitud $M$.

Los valores pronosticados para cada modelo están dados por $\mathbf{\hat{y}}_m = \mathbf{X}\beta_m$o en la notación apilada

$$\mathbf{\hat{y}} = \mathbf{X}\mathbf{\beta}$$ Los valores pronosticados del promedio entre las predicciones están dados por $$\mathbf{\hat{y}} \mathbf{w} = (\mathbf{X}\mathbf{\beta})\mathbf{w}$$ Cuando promedia las estimaciones de coeficientes, calcula $$\mathbf{\beta}_w = \mathbf{\beta}\mathbf{w}$$ Y los valores pronosticados a partir de los coeficientes promedio están dados por $$\mathbf{X\beta}_w = \mathbf{X}(\mathbf{\beta}\mathbf{w})$$ La equivalencia entre los valores pronosticados para cualquier enfoque se deriva de la asociatividad del producto matricial. Dado que los valores pronosticados son los mismos, también puede calcular el promedio de los coeficientes: esto le brinda más información, en caso de que, por ejemplo, desee ver los coeficientes de los predictores individuales.

En los modelos no lineales, la equivalencia generalmente ya no se mantiene y, de hecho, tiene sentido promediar las predicciones. Por ejemplo, aquí se resume la vasta literatura sobre el promedio entre predicciones (combinaciones de pronósticos) .