El mejor método para series cortas

35

Tengo una pregunta relacionada con el modelado de series cortas de tiempo. No se trata de modelarlos , sino de cómo. ¿Qué método recomendaría para modelar series de tiempo (muy) cortas (digamos de longitud )? Por "mejor" quiero decir aquí el más robusto, que es el menos propenso a errores debido al número limitado de observaciones. Con series cortas, las observaciones individuales podrían influir en el pronóstico, por lo que el método debería proporcionar una estimación cautelosa de los errores y la posible variabilidad relacionada con el pronóstico. En general, estoy interesado en series de tiempo univariadas, pero también sería interesante conocer otros métodos.T20

Tim
fuente
¿Cuál es la unidad de tiempo? ¿Puedes publicar los datos?
Dimitriy V. Masterov
8
Cualquiera que sea supuestos que se hace - en relación con la estacionalidad, la estacionalidad, etc.. - una serie poco tiempo le dará la oportunidad de detectar sólo las violaciónes más flagrantes; por lo que las hipótesis deben estar bien fundada en el conocimiento del dominio. ¿Es necesario modelar o simplemente para hacer predicciones? La competición M3 compara diversos métodos de pronóstico "automáticas" en la serie de una variedad de dominios, algunos tan corto como 20.
Scortchi - Restablecer Monica
55
+1 al comentario de @ Scortchi. Dicho sea de paso, de la serie M3 3003 (disponible en el Mcomppaquete para R), 504 tienen 20 o menos observaciones, específicamente 55% de la serie anual. Por lo que podría buscar la publicación original y ver lo que funcionó bien para los datos anuales. O incluso excavar a través de las previsiones originales presentadas al concurso M3, que están disponibles en el Mcomppaquete (lista M3Forecast).
S. Kolassa - Restablecer Monica
Hola, no agregaré nada a la respuesta, pero solo comparto algo sobre la pregunta que espero pueda ayudar a otros a comprender el problema aquí: cuando dices una respuesta sólida, es la menos propensa a errores debido al hecho de que es limitada. Número de observaciones . Creo que la robustez es un concepto importante en las estadísticas y aquí es crucial ya que tener tan pocos datos que cualquier ajuste de modelado dependerá en gran medida de los supuestos del modelo en sí o de los valores atípicos. Con robustez, hace que estas restricciones sean menos fuertes, no permitiendo que la suposición limite sus resultados. Espero que esto ayude.
Tommaso Guerrini
2
Los métodos robustos de @TommasoGuerrini no hacen menos suposiciones, hacen suposiciones diferentes.
Tim

Respuestas:

31

Es muy común que los métodos de pronóstico extremadamente simples como "pronosticar el promedio histórico" superen a los métodos más complejos. Esto es aún más probable para series de tiempo cortas. Sí, en principio puede ajustar un ARIMA o un modelo aún más complejo a 20 o menos observaciones, pero es muy probable que se sobreajuste y obtenga pronósticos muy malos.

Entonces: comience con un punto de referencia simple, por ejemplo,

  • la media histórica
  • la mediana histórica para mayor robustez
  • la caminata aleatoria (pronostique la última observación)

Evaluar estos en datos fuera de la muestra. Compare cualquier modelo más complejo con estos puntos de referencia. Es posible que se sorprenda al ver lo difícil que es superar estos métodos simples. Además, compare la solidez de los diferentes métodos con estos simples, por ejemplo, no solo evaluando la precisión promedio fuera de la muestra, sino también la varianza del error , utilizando su medida de error favorita .

Sí, como Rob Hyndman escribe en su publicación a la que Aleksandr se vincula , las pruebas fuera de muestra son un problema en sí mismo para series cortas, pero realmente no hay una buena alternativa. ( No utilice el ajuste en la muestra, que no es una guía para la precisión del pronóstico ). El AIC no lo ayudará con la mediana y la caminata aleatoria. Sin embargo, podría utilizar la validación cruzada de series temporales , que de todos modos se aproxima a AIC.

S. Kolassa - Restablece a Monica
fuente
Acabo de descubrir tu respuesta (+1). Hice otro comentario, en caso de que esté interesado y quisiera aclararlo.
Aleksandr Blekh
17

Nuevamente estoy usando una pregunta como una oportunidad para aprender más sobre series de tiempo , uno de los (muchos) temas de mi interés. Después de una breve investigación, me parece que existen varios enfoques para el problema de modelar series de tiempo cortas.

El primer enfoque es el uso de modelos estándar / lineales de series de tiempo (AR, MA, ARMA, etc.), pero para prestar atención a ciertos parámetros, como se describe en este post [1] por Rob Hyndman, que no necesita una introducción en la series de tiempo y el mundo de pronóstico. El segundo enfoque, referido por la mayor parte de la literatura relacionada que he visto, sugieren el uso de modelos de series de tiempo no lineales , en particular, los modelos de umbral [2], que incluyen umbral modelo autorregresivo (TAR) , TAR auto-salir ( SETAR) , autorregresivo umbral mover modelo de media (TARMA) , y TARMAX modelo, que se extiende TARmodelar a las series de tiempo exógenos. Excelentes descripciones de los modelos de series de tiempo no lineales, incluyendo los modelos de umbral, se pueden encontrar en este documento [3] y el presente documento [4].

Por último, otro relacionado mi humilde opinión trabajo de investigación [5] describe un enfoque interesante, que se basa en Volterra-Weiner representación de los sistemas no lineales - ver esta [6] y esta [7]. Este enfoque se argumenta que es superior a otras técnicas en el contexto de la serie de tiempo corto y ruidoso .

Referencias

  1. Hyndman, R. (4 de marzo, 2014). Montaje de los modelos de series de tiempo corto. [Entrada en el blog]. Obtenido de http://robjhyndman.com/hyndsight/short-time-series
  2. Universidad del Estado de Pensilvania. (2015) Modelos de umbral. [Materiales de curso en línea]. STAT 510, análisis de series temporales Aplicada. Obtenido de https://onlinecourses.science.psu.edu/stat510/node/82
  3. Zivot, E. (2006). Modelos de series de tiempo no lineales. [Apuntes de clase]. ECON 584, de serie temporal de Econometría. La Universidad de Washington. Obtenido de http://faculty.washington.edu/ezivot/econ584/notes/nonlinear.pdf
  4. Chen, CWS, Así, MKP, y Liu, F.-C. (2011). Una revisión de los modelos de series de tiempo de umbral en las finanzas. Estadísticas y su interfaz, 4 , 167-181. Obtenido de http://intlpress.com/site/pub/files/_fulltext/journals/sii/2011/0004/0002/SII-2011-0004-0002-a012.pdf
  5. Barahona, M. y Poon, C.-S. (1996) Detección de dinámica no lineal de series temporales cortas y ruidosas. Nature, 381 , 215-217. Recuperado de http://www.bg.ic.ac.uk/research/m.barahona/nonlin_detec_nature.PDF
  6. Franz, MO (2011). Serie Volterra y Wiener. Scholarpedia, 6 (10): 11307. Recuperado de http://www.scholarpedia.org/article/Volterra_and_Wiener_series
  7. Franz, MO y Scholkopf, B. (sf). Una visión unificadora de la teoría de Wiener y Volterra y la regresión del núcleo polinomial. Recuperado de http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/nc05_%5B0%5D.pdf
Aleksandr Blekh
fuente
44
+1 ¿Le importaría escribir las referencias de estos documentos en su respuesta? Hemos estado descubriendo recientemente que muchos enlaces a los artículos se pudren después de un tiempo, haciéndolos casi inútiles a menos que los autores, títulos, etc., también se mencionen en el texto.
whuber
2
@whuber: Gracias. No hay problema en absoluto, actualizaré mi respuesta con referencias esta noche.
Aleksandr Blekh
2
+1 para el enlace a la publicación de Rob Hyndman. (Sin embargo, estoy tentado a -1 para los modelos complejos. Sería extremadamente cauteloso de usar el umbral o cualquier otro método de series temporales no lineales en series temporales de menos de 20 observaciones. Es casi seguro que se sobreajustará, lo que va directamente en contra a los requisitos del OP de un método robusto .)
S. Kolassa - Restablecer a Mónica el
3
[2,3,4] no mencionan series de tiempo cortas, y miren las gráficas en [2]:> 120 observaciones. [4] se concentra en las finanzas, donde tiene enormemente más de 20 observaciones. [5] escribe sobre "series de tiempo cortas, típicamente de 1,000 puntos de largo" (p. 216). No veo forma de ajustar de manera confiable y robusta un TAR o modelo similar, o cualquiera de los más complejos con los que se vincula, con <20 observaciones. (Por cierto: también hago algunas estadísticas inferenciales en el lateral, y con menos de 20 observaciones, realmente no se puede estimar más que la media y un parámetro más.)
S. Kolassa - Restablecer Mónica el
55
De nada ;-) Supongo que la conclusión es que "corto" depende mucho del contexto: para series de lectura de sensores o en finanzas, 1000 puntos de datos son "cortos", pero en la gestión de la cadena de suministro, 20 observaciones mensuales son casi normales , y "corto" solo comenzará con 12 o menos observaciones.
S. Kolassa - Restablece a Mónica el
11

No, no existe el mejor método de extrapolación univariante para series cortas con series . Los métodos de extrapolación necesitan muchísimos datos.T20

Los siguientes métodos cualitativos funcionan bien en la práctica para datos muy cortos o sin datos:

  • Pronósticos compuestos
  • Encuestas
  • Método Delphi
  • Construcción de escenarios
  • Pronóstico por analogía
  • Opinión ejecutiva

Uno de los mejores métodos que sé que funciona muy bien es el uso de analogías estructuradas (5º en la lista anterior) donde busca productos similares / análogos en la categoría que está tratando de pronosticar y los usa para pronosticar pronósticos a corto plazo. . Consulte este artículo para ver ejemplos, y el documento SAS sobre "cómo" hacer esto usando, por supuesto, SAS. Una limitación es que el pronóstico por analogías funcionará solo si usted tiene buenas analogías, de lo contrario podría confiar en un pronóstico crítico. Aquí hay otro video del software Forecastpro sobre cómo usar una herramienta como Forecastpro para hacer pronósticos por analogía. Elegir una analogía es más arte que ciencia y necesita experiencia en el dominio para seleccionar productos / situaciones análogas.

Dos excelentes recursos para pronosticar productos nuevos o cortos:

  • Principio de pronóstico por Armstrong
  • Pronóstico de nuevos productos por Kahn

Lo siguiente es para fines ilustrativos. Acabo de leer Signal and Noisepor Nate Silver, en el sentido de que hay un buen ejemplo de la burbuja y predicción del mercado inmobiliario estadounidense y japonés (análogo al mercado estadounidense). En el cuadro a continuación, si se detiene en 10 puntos de datos y usa uno de los métodos de extrapolación (smooting exponencial / ets / arima ...) y vea a dónde lo lleva y dónde terminó el real. Nuevamente, el ejemplo que presenté es mucho más complejo que la simple extrapolación de tendencias. Esto es solo para resaltar los riesgos de la extrapolación de tendencias utilizando puntos de datos limitados. Además, si su producto tiene un patrón estacional, debe usar alguna forma de situación de productos análogos para pronosticar. Leí un artículo que creo en la investigación de Journal of Business que si tiene 13 semanas de ventas de productos farmacéuticos, podría predecir los datos con mayor precisión utilizando productos análogos.

ingrese la descripción de la imagen aquí

pronosticador
fuente
¡Gracias por señalar un enfoque diferente! Y estoy de acuerdo, el libro de Nate Silvers es genial.
Tim
5

La suposición de que el número de observaciones es crítica provino de un comentario espontáneo de GEP Box sobre el tamaño mínimo de la muestra para identificar un modelo. En lo que a mí respecta, una respuesta más matizada es que el problema / calidad de la identificación del modelo no se basa únicamente en el tamaño de la muestra sino en la relación de señal a ruido que se encuentra en los datos. Si tiene una relación señal / ruido fuerte, necesita menos observaciones. Si tiene bajo s / n, entonces necesita más muestras para identificar. Si su conjunto de datos es mensual y tiene 20 valores, no es posible identificar empíricamente un modelo estacional SIN EMBARGO si cree que los datos pueden ser estacionales, entonces puede comenzar el proceso de modelado especificando un ar (12) y luego hacer diagnósticos del modelo ( pruebas de importancia) para reducir o aumentar su modelo estructuralmente deficiente

IrishStat
fuente
5

Con datos muy limitados, estaría más inclinado a ajustar los datos utilizando técnicas bayesianas.

La estacionariedad puede ser un poco complicada cuando se trata de modelos de series temporales bayesianas. Una opción es imponer restricciones en los parámetros. O no pudiste. Esto está bien si solo quiere ver la distribución de los parámetros. Sin embargo, si desea generar la predicción posterior, es posible que tenga muchos pronósticos que exploten.

La documentación de Stan proporciona algunos ejemplos en los que imponen restricciones a los parámetros de los modelos de series temporales para garantizar la estacionariedad. Esto es posible para los modelos relativamente simples que usan, pero puede ser prácticamente imposible en modelos de series de tiempo más complicados. Si realmente quisiera imponer la estacionariedad, podría usar un algoritmo de Metropolis-Hastings y arrojar cualquier coeficiente que sea incorrecto. Sin embargo, esto requiere que se calculen muchos valores propios, lo que ralentizará las cosas.

John
fuente
0

El problema, como sabiamente señaló, es el "sobreajuste" causado por procedimientos fijos basados ​​en listas. Una forma inteligente es tratar de mantener la ecuación simple cuando tiene una cantidad insignificante de datos. Después de muchas lunas, he descubierto que si simplemente usa un modelo AR (1) y deja la tasa de adaptación (el coeficiente ar) a los datos, las cosas pueden funcionar razonablemente bien. Por ejemplo, si el coeficiente ar estimado es cercano a cero, esto significa que la media general sería apropiada. si el coeficiente está cerca de +1.0, entonces esto significa que el último valor (ajustado para una constante es más apropiado. Si el coeficiente está cerca de -1.0, entonces el negativo del último valor (ajustado para una constante) sería el mejor pronóstico. Si el coeficiente es diferente, significa que es apropiado un promedio ponderado del pasado reciente.

Esto es precisamente con lo que AUTOBOX comienza y luego descarta las anomalías, ya que ajusta el parámetro estimado cuando se encuentra un "pequeño número de observaciones".

Este es un ejemplo del "arte de pronosticar" cuando un enfoque basado en datos puros podría ser inaplicable.

El siguiente es un modelo automático desarrollado para los 12 puntos de datos sin preocuparse por las anomalías. ingrese la descripción de la imagen aquícon real / ajuste y pronóstico aquí ingrese la descripción de la imagen aquíy gráfico residual aquíingrese la descripción de la imagen aquí

IrishStat
fuente