¿Análisis de series de tiempo versus aprendizaje automático?

Solo una pregunta general. Si tiene datos de series de tiempo, ¿cuándo es mejor usar técnicas de series de tiempo (aka, ARCH, GARCH, etc.) sobre técnicas de aprendizaje automático / estadístico (KNN, regresión)? Si hay una pregunta similar que existe en la validación cruzada, por favor apúnteme hacia ella: busqué y no pude encontrar una.

Los métodos típicos de aprendizaje automático suponen que sus datos son independientes e idénticamente distribuidos, lo que no es cierto para los datos de series temporales. Por lo tanto, están en desventaja en comparación con las técnicas de series temporales, en términos de precisión. Para ver ejemplos de esto, consulte las preguntas anteriores Ordenamiento de series de tiempo para aprendizaje automático y bosque aleatorio está sobreajustado .

Francis Diebold publicó recientemente "ML and Metrics VI: A Key Difference Between ML and TS Econometrics" en su blog. Estoy proporcionando una versión abreviada, por lo que todo el crédito va para él. (El énfasis en negrita es mío).

El aprendizaje automático estadístico (ML) y la econometría de series temporales (TS) tienen mucho en común. Pero también hay una diferencia interesante: el énfasis de ML en el modelado flexible no paramétrico de la no linealidad condicional-media no juega un papel importante en el ST. <...>

[T] aquí hay muy poca evidencia de importante no linealidad condicional condicional en la dinámica de covarianza estacionaria (des-tendencia, desestacionalizada) de la mayoría de las series de tiempo económicas. <...> De hecho, puedo pensar en un solo tipo de no linealidad condicional-media que ha surgido como repetidamente importante para (al menos algunas) series de tiempo económicas: la dinámica de cambio de Markov al estilo de Hamilton.

[Por supuesto, hay un elefante no lineal en la habitación: dinámica tipo GARCH de estilo Engle. Son tremendamente importantes en la econometría financiera, y a veces también en la macroeconomía, pero se trata de variaciones condicionales, no de medios condicionales.]

Entonces, básicamente, solo hay dos modelos no lineales importantes en TS, y solo uno de ellos habla de la dinámica condicional media. Y, lo que es más importante, ambos son muy estrictamente paramétricos, adaptados a las características especializadas de los datos económicos y financieros.

Así, la conclusión es:

ML enfatiza la aproximación de las funciones de la media condicional no lineal en forma no paramétrica altamente flexible. Eso resulta ser doblemente innecesario en TS: simplemente no hay mucha no linealidad condicional-media de la que preocuparse, y cuando en ocasiones la hay, generalmente es de naturaleza altamente especializada, mejor aproximada de manera altamente especializada (estrictamente paramétrica) .

Recomiendo leer toda la publicación original aquí .

Como señaló @Tom Minka, la mayoría de las técnicas de ML asumen entradas iid. Sin embargo, hay algunas soluciones:

1. Se pueden usar todas las muestras de series de tiempo pasadas dentro de la 'Memoria' del sistema como un vector de características, es decir: x = [x (t-1), x (t-2), ... x (tM)]. Sin embargo, esto tiene 2 problemas: 1) dependiendo de su binning, puede tener un gran vector de características 2- algunos métodos requieren que las características dentro del vector de características sean independientes, lo cual no es el caso aquí.

2. Existen muchas técnicas de ML que están específicamente diseñadas para tales datos de series temporales, por ejemplo, modelos ocultos de Markov, que se han utilizado con mucho éxito para la detección de ataques, el procesamiento del habla, etc.

3. Finalmente, un enfoque que he tomado es usar técnicas de 'extracción de características' para convertir un problema de regresión dinámica (que tiene el elemento del tiempo) en uno estático. Por ejemplo, el enfoque del modo de dinámica principal (PDM) asigna el vector de características pasado de entrada ([x (t-1), x (t-2), ... x (tM)]) en uno estático ([v ( 1), v (2), .. v (L)]) convolucionando el pasado con un banco de filtros lineal específico del sistema (PDM), ver Marmarelis, libro de 2004 o Marmarelis, Vasilis Z. "Metodología de modelado para sistemas fisiológicos no lineales ". Anales de ingeniería biomédica 25.2 (1997): 239-251 ...