¿Cómo comparar los métodos de pronóstico?

Tengo varios datos intermitentes. Con base en esos datos, me gustaría comparar varios métodos de pronóstico (suavizado exponencial, promedio móvil, Croston y Syntetos-Boylan), y decidir si Croston o Syntetos Boylan es mejor que SES o MA para datos intermitentes o no. La medida que me gustaría comparar es la Tasa Absoluta Media o la Tasa Cuadrada Media propuesta por Kourentzes (2014) en lugar de la medida MAPE, MSE habitual, en cada nivel del parámetro de suavizado \ alpha $, suponiendo que el parámetro de suavizado utilizado para el Intervalo de demanda Inter. y el tamaño de la demanda en Croston y Syntetos boylan es el mismo.

Mi pregunta es: 1. Considerando que para cada dato, existe la posibilidad de que el valor de alpha óptimo sea diferente para cada método de suavizado, por lo tanto, un valor de alpha en un método puede minimizar el MAR o MSR y no en otro método , de modo que un método puede ser mejor que otro método para ese valor de alfa y no en otro método. ¿Cómo se resuelve este tipo de problema? mi solución actual es comparar los dos gráficos de MAR para cada nivel de alfa entre dos métodos diferentes. mi expectativa es que los dos métodos diferentes mostrarán características diferentes cuando se realice el análisis de perfil.

2. ¿Hay alguna solución mejor, como el diseño experimental? Estoy bastante confundido sobre cómo diseñar los experimentos. la observación son esos varios datos, el nivel está suavizando el parámetro alfa, el tratamiento es esos métodos. y el valor es el MAR. ¿Es viable? y lógico hacer? La hipótesis es si hay diferencias en cada tratamiento en cada nivel de alfa o no. y dudo que el supuesto de linealidad se cumpla aquí.

Editar: De todos modos, no creo que esto sea viable como pregunta de investigación. El hecho de que la medida del error depende de la escala (si mi definición de escala dependiente es correcta) hizo que el estudio de este problema sea bastante problemático, ya que no hay forma de comparar los diferentes métodos de pronóstico.

Modelo: $y_{t+1}=f(y_{0},\ldots,y_{t}, \overrightarrow{a})+\epsilon_{t}$

$\overrightarrow{a}$ es un vector de parámetros del modelo

Lo que estás proponiendo actualmente es esencialmente:

1. Para cada modelo $f(y_{0},\ldots,y_{t}, \overrightarrow{a})$ usar algún tipo de mínimos cuadrados / NLS para ajustar un modelo (encontrar $\overrightarrow{a}$)
2. Elige un $\alpha$ valor
3. Usa alguna función $g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$ para evaluar los modelos.
4. Si el modelo óptimo depende de manera importante de $\alpha$entonces ????

¿Se puede hacer un muestreo endógeno? Si es así, ¿qué tal si estimamos directamente las funciones óptimas (maximización de arreglos)?$g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$ directamente para múltiples valores de $\alpha$. Puede tomar los modelos y ejecutarlos en paralelo, haciendo una familia de predicciones. Luego, podría aumentar la probabilidad de muestreo cuando los modelos no estaban de acuerdo, particularmente en sus predicciones. Esto aumentaría la informatividad del muestreo limitado para distinguir entre modelos.