¿Cómo combinar los pronósticos cuando la variable de respuesta en los modelos de pronóstico era diferente?

9

Introducción

En la combinación de pronósticos, una de las soluciones populares se basa en la aplicación de algún criterio de información. Tomando, por ejemplo, el criterio de Akaike estimado para el modelo , uno podría calcular las diferencias de de y luego RP_j = e ^ {(AIC ^ * - AIC_j) / 2} podría interpretarse como La probabilidad relativa de que el modelo j sea ​​el verdadero. Los pesos entonces se definen comoUNAyoCjjUNAyoCjUNAyoC=minjUNAyoCjRPAGj=mi(UNAyoC-UNAyoCj)/ /2j

wj=RPAGjjRPAGj

Problema

Una dificultad que trato de superar es que los modelos se estiman en las variables de respuesta transformadas de manera diferente (endógena). Por ejemplo, algunos modelos se basan en tasas de crecimiento anual, otro, en tasas de crecimiento de trimestre a trimestre. Por lo tanto, los valores de AIC_j extraídos UNAyoCjno son directamente comparables.

Solución probada

Como lo único que importa es la diferencia de UNAyoC , uno podría tomar el AIC del modelo base UNAyoC(por ejemplo, intenté extraer lm(y~-1)el modelo sin ningún parámetro) que es invariable a las transformaciones de la variable de respuesta y luego comparar las diferencias entre el modelo j y modelo base UNAyoC . Aquí, sin embargo, parece que el punto débil permanece: la diferencia se ve afectada por la transformación de la variable de respuesta.

Observaciones finales

Tenga en cuenta que la opción como "estimar todos los modelos en las mismas variables de respuesta" es posible, pero requiere mucho tiempo. Me gustaría buscar la "cura" rápida antes de tomar una decisión dolorosa si no hay otra forma de resolver el problema.

Dmitrij Celov
fuente

Respuestas:

1

Creo que uno de los métodos más confiables para comparar modelos es validar de forma cruzada el error fuera de la muestra (por ejemplo, MAE). Necesitará no transformar la variable exógena para cada modelo para comparar directamente manzanas con manzanas.

Zach
fuente
Una forma alternativa que me queda para un enfoque aún más lento es usar los errores con punta de gato para estimar los pesos similares a Bates y Granger (1969) y los trabajos relacionados como las combinaciones y pronósticos de Clements y Harvey Forecasts (2007). El punto débil del enfoque basado en errores de pronóstico es que, en promedio, es inferior a los enfoques basados ​​en información (modelo). Como el promedio bayesiano es complicado, traté de aplicar un método más simple que podría considerarse BMA con antecedentes informativos.
Dmitrij Celov
Tenga en cuenta que no quiero comparar y seleccionar el mejor modelo, ni estoy buscando el mejor método de combinación de pronósticos. Simplemente tengo problemas para comparar los AIC de los modelos basados ​​en variables de respuesta transformadas de manera diferente .
Dmitrij Celov
1
@Dmitrij Celov: ¿Entonces por qué estás comparando AIC? Tenga en cuenta que AIC es asintóticamente equivalente a la validación cruzada de dejar uno fuera, por lo que sospecho que las comparaciones de cualquiera de las métricas serían similares. stats.stackexchange.com/a/587/2817
Zach
@DmitrijCelov: "El punto débil del enfoque basado en errores de pronóstico es que es, en promedio, inferior a los enfoques basados ​​en información (modelo)". ¿Inferior en qué sentido? ¿Tienes algunas citas o explicaciones para esto? La intuición me dice que esta afirmación está mal, pero la intuición a menudo está mal ...
Zach
Probablemente llegué a una conclusión rápida después de la observación en el documento de trabajo de G.Kapitanious et al. Las combinaciones de pronósticos y el conjunto de métodos de pronóstico estadístico del Banco de Inglaterra, en la pág. 23 está escrito que "... la combinación de pronósticos en general no ofrecerá el pronóstico óptimo, mientras que la combinación de información sí". La equivalencia asintótica no es lo que me gustaría tener en pequeñas muestras de datos macroeconómicos, pero los métodos simples pueden superar a los más complejos. Simplemente la validación cruzada es la segunda mejor solución, los cuchillos se producen en una semana, los AIC en una hora. (Podemos ir a chatear)
Dmitrij Celov