¿Es inusual que MEAN supere a ARIMA?

Recientemente apliqué una variedad de métodos de pronóstico (MEAN, RWF, ETS, ARIMA y MLP) y descubrí que MEAN funcionó sorprendentemente bien. (MEDIO: donde todas las predicciones futuras se predicen como iguales a la media aritmética de los valores observados). MEDIO incluso superó a ARIMA en las tres series que utilicé.

Lo que quiero saber es si esto es inusual. ¿Significa esto que las series de tiempo que estoy usando son extrañas? ¿O esto indica que he configurado algo mal?

Soy un profesional, productor y usuario de pronósticos y NO un estadístico capacitado. A continuación comparto algunos de mis pensamientos sobre por qué su pronóstico promedio resultó mejor que ARIMA al referirme a un artículo de investigación que se basa en evidencia empírica. Un libro que vuelvo a consultar una y otra vez es el libro Principios de pronóstico de Armstrong y su sitio web, que recomendaría como una excelente lectura para cualquier pronosticador, proporciona una gran visión sobre el uso y los principios rectores de los métodos de extrapolación.

Para responder a su primera pregunta : ¿Lo que quiero saber es si esto es inusual?

Hay un capítulo llamado Extrapolación para series temporales y datos transversales que también está disponible de forma gratuita en el mismo sitio web . La siguiente es la cita del capítulo.

"Por ejemplo, en la competencia M2 en tiempo real, que examinó 29 series mensuales, Box-Jenkins demostró ser uno de los métodos menos precisos y su error medio general fue un 17% mayor que el de un pronóstico ingenuo"

Existe una evidencia empírica de por qué sus pronósticos medios fueron mejores que los modelos ARIMA.

También se ha realizado estudio tras estudio en competencias empíricas y la tercera competencia M3 que muestra el enfoque Box - Jenkins ARIMA no produce pronósticos precisos y carece de evidencia de que funcione mejor para la extrapolación de tendencia univariante.

También hay otro artículo y un estudio en curso de Greene y Armstrong titulado " Pronóstico simple: evitar lágrimas antes de acostarse " en el mismo sitio web. Los autores del artículo resumen de la siguiente manera:

En total, identificamos 29 documentos que incorporan 94 comparaciones formales de la precisión de los pronósticos de métodos complejos con los de métodos simples, pero no en todos los casos sofisticadamente simples. El ochenta y tres por ciento de las comparaciones encontraron que los pronósticos de métodos simples eran más precisos que, o similarmente, a los de métodos complejos. En promedio, los errores de pronósticos de métodos complejos fueron aproximadamente un 32 por ciento mayores que los errores de pronósticos de métodos simples en los 21 estudios que proporcionan comparaciones de errores

Para responder a su tercera pregunta : ¿esto indica que he configurado algo mal? No, consideraría ARIMA como método complejo y pronóstico medio como métodos simples. Existe amplia evidencia de que métodos simples como el pronóstico medio superan a los métodos complejos como ARIMA.

Para responder a su segunda pregunta : ¿Esto significa que las series de tiempo que estoy usando son extrañas?

A continuación se presentan los que considero expertos en pronósticos del mundo real:

• Makridakis (competencia pionera empírica en pronósticos llamada M, M2 y M3, y allanó el camino para métodos basados ​​en evidencia en el pronóstico)
• Armstrong (Proporciona información valiosa en forma de libros / artículos sobre Prácticas de pronóstico)
• Gardner (tendencia exponencial amortiguada inventada que suaviza otro método simple que funciona sorprendentemente bien frente a ARIMA)

Todos los investigadores anteriores abogan por la simplicidad (métodos como su pronóstico medio) frente a métodos complejos como ARIMA. Por lo tanto, debe sentirse cómodo de que sus pronósticos sean buenos y siempre favorezcan la simplicidad sobre la complejidad basada en evidencia empírica. Todos estos investigadores han contribuido enormemente al campo de los pronósticos aplicados.

Además de la buena lista de Stephan de método de pronóstico simple. También hay otro método llamado método de pronóstico Theta, que es un método muy simple (básicamente suavizado exponencial simple con una deriva que equivale a la mitad de la pendiente de la regresión lineal). Agregaría esto a su caja de herramientas. Forecast package in Rimplementa este método

Esto no es para nada sorprendente . En previsión, que muy a menudo se encuentra que los métodos extremadamente simples, como

• la media general
• la caminata aleatoria ingenua (es decir, la última observación utilizada como pronóstico)
• una caminata aleatoria estacional (es decir, la observación de un año atrás)
• Suavizado exponencial único

superan a los métodos más complejos. Es por eso que siempre debe probar sus métodos contra estos puntos de referencia muy simples.

Una cita de George Athanosopoulos y Rob Hyndman (que son expertos en el campo):

Algunos métodos de pronóstico son muy simples y sorprendentemente efectivos.

Observe cómo dicen explícitamente que utilizarán algunos métodos muy simples como puntos de referencia.

De hecho, se recomienda mucho todo su libro de texto abierto en línea gratuito sobre pronósticos .

EDITAR: Una de las medidas de error de pronóstico mejor aceptadas, el error absoluto absoluto escalado (MASE) de Hyndman & Koehler (ver también aquí ) mide cuánto mejora un pronóstico dado en el pronóstico de caminata aleatoria ingenua (en la muestra): si MASE <1, su pronóstico es mejor que la caminata aleatoria en la muestra. Es de esperar que sea un límite fácil de vencer, ¿verdad?

No es así: a veces, incluso los mejores métodos de pronóstico estándar múltiples como ARIMA o ETS solo producirán un MASE de 1.38, es decir, serán peores (fuera de la muestra) que el pronóstico de caminata aleatoria (dentro de la muestra). Esto es suficientemente desconcertante para generar preguntas aquí. (Esa pregunta no es un duplicado de esta, ya que el MASE compara la precisión fuera de la muestra con la precisión dentro de la muestra de un método ingenuo, pero también es esclarecedor para la presente pregunta).