Soy consciente del tipo de regularización LASSO, cresta y red elástica en modelos de regresión lineal.

Pregunta:

1. ¿Se puede aplicar este tipo (o similar) de estimación penalizada al modelado ARIMA (con una parte MA no vacía)?

En la construcción de modelos ARIMA, parece habitual considerar un orden de retraso máximo preseleccionado ( $p_{max}$ , ) y luego elegir un orden óptimo y q \ leqslant q_ {max} ej. minimizando AIC o AICc. Pero, ¿podría utilizarse la regularización en su lugar?$q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$

Mis otras preguntas son:

2. ¿Podríamos incluir todos los términos hasta ( $p_{max}$ , $q_{max}$ ) pero penalizar el tamaño de los coeficientes (potencialmente hasta cero)? ¿Eso tendría sentido?
3. Si así fuera, ¿se ha implementado en R u otro software? Si no, ¿cuál fue el problema?

Una publicación algo relacionada se puede encontrar aquí .

Respuesta a la pregunta 1.

Chen & Chan "Subconjunto de selección ARMA a través del Lazo adaptativo" (2011) * utilizan una solución alternativa para evitar la estimación computacionalmente exigente de máxima probabilidad de probabilidad. Citando el papel, ellos

proponemos encontrar un modelo ARMA de subconjunto óptimo ajustando una regresión Lasso adaptativa de la serie de tiempo en sus propios retrasos y los de los residuos que se obtienen al ajustar una larga autorregresión a los y t s. <...> [En] condiciones de regularidad leve, el método propuesto logra las propiedades del oráculo, es decir, identifica el modelo ARMA del subconjunto correcto con probabilidad que tiende a uno a medida que el tamaño de la muestra aumenta al infinito, y <...> el los estimadores de los coeficientes distintos de cero son asintóticamente normales con la distribución limitante igual que cuando los coeficientes cero se conocen a priori.$y_t$$y_t$

Opcionalmente, sugieren la estimación de máxima verosimilitud y el diagnóstico del modelo para los modelos ARMA del subconjunto seleccionado.

Wilms y col. "La escasa identificación y estimación de promedios móviles autorregresivos de vectores de alta dimensión" (2017) hacen incluso más de lo que pedí. En lugar de un modelo ARIMA univariante, toman un vector ARMA (VARMA) en altas dimensiones, y usan una penalización para la estimación y la selección del orden de retraso. Presentan el algoritmo de estimación y desarrollan algunos resultados asintóticos.$L_1$

En particular, emplean un procedimiento de dos etapas. Considere un modelo VARMA que necesita estimarse, pero las órdenes de retraso p y q son desconocidas.

• En la Etapa 1, aproximan el modelo VARMA por un modelo VAR de alto orden y lo estiman usando un estimador jerárquico VAR que coloca una penalización de lazo grupal jerárquico basada en el retraso en los parámetros autorregresivos.
  (El orden de retraso se establece en . Las ecuaciones modelo se estiman conjuntamente y la norma Frobenius de los errores| El | Y - Y | El | F 2 se reduce al mínimo con una penalización-grupo lasso jerárquica en los coeficientes de regresión). Obtienen residuos varepsilon :=y - y para ser utilizados como sustitutos de los verdaderos errores en la Etapa 2.$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• En la Etapa 2, estiman un modelo VARX donde x representa residuos de la etapa 1. Esto es lag, que MINIC un modelo VARMA pero el uso estimado residuos en lugar de errores verdaderos, que permite aplicando el mismo estimador (grupo-lasso jerárquica) de nuevo al igual que en la Etapa 1. ( p y

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$están configurados para ser .)$\lfloor 1.5\sqrt{T} \rfloor$

El enfoque de Wilms et al. se implementa en el paquete R "bigtime" .

Referencias

• Chen, K. y Chan, KS (2011). Subconjunto de selección ARMA a través del lazo adaptativo. Estadísticas y su interfaz , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J. y Matteson, DS (2017). Escasa identificación y estimación de medias móviles autorregresivas vectoriales de alta dimensión. preimpresión de arXiv arXiv: 1707.09208.

^{* Gracias a @hejseb por el enlace.}