Representación del espacio de estado de ARMA (p, q) de Hamilton

He estado leyendo el Capítulo 13 de Hamilton y tiene la siguiente representación de espacio de estado para un ARMA (p, q). Sea Luego, el proceso ARMA (p, q) es el siguiente: \ begin {alineado} y_t - \ mu & = \ phi_1 (y_ {t-1} - \ mu) + \ phi_2 (y_ {t-2} - \ mu) + ... + \ phi_3 (y_ {t-3} - \ mu) \\ & + \ epsilon_t + \ theta_1 \ epsilon_ {t-1} +. .. + \ theta_ {r-1} \ epsilon_ {t-r + 1}. \ end {alineado} Luego, define la ecuación de estado de la siguiente manera:$r = \max(p,q+1)$

$$\begin{aligned} y_t -\mu &= \phi_1(y_{t-1} -\mu) + \phi_2(y_{t-2} -\mu) + ... + \phi_3(y_{t-3} -\mu) \\ &+ \epsilon_t + \theta_1\epsilon_{t-1} + ... + \theta_{r-1}\epsilon_{t-r+1}. \end{aligned}$$

$$\xi_{t+1} = \begin{bmatrix} \phi_1 & \phi_2 & \dots & \phi_{r-1} & \phi_r \\ 1 & 0 & \dots & 0 & 0 \\ \vdots & \vdots & \dots & 0 & 0 \\ 0 & 0 & \dots &1 &0 \end{bmatrix} \xi_t + \begin{bmatrix} \epsilon_{t+1} \\ 0\\\vdots \\ 0 \end{bmatrix}$$

y la ecuación de observación como:

$$y_t = \mu + \begin{bmatrix} 1 & \theta_1 & \theta_2 & \dots & \theta_{r-1} \\ \end{bmatrix} \xi_t.$$

No entiendo qué es el $\xi_t$ en este caso. Porque en su representación AR (p) es $\begin{bmatrix} y_{t} - \mu \\ y_{t-1} - \mu\\\vdots \\ y_{t-p+1} - \mu \end{bmatrix}$ y en su representación MA (1) es $\begin{bmatrix} \epsilon_{t} \\ \epsilon_{t-1} \end{bmatrix}$ .

¿Podría alguien explicarme esto un poco mejor?

Hamilton muestra que esta es una representación correcta en el libro, pero el enfoque puede parecer un poco contradictorio. Permítanme, por lo tanto, primero dar una respuesta de alto nivel que motive su elección de modelo y luego elaborar un poco sobre su derivación.

La motivación :

Como debería quedar claro al leer el Capítulo 13, hay muchas formas de escribir un modelo dinámico en forma de espacio de estados. Por lo tanto, debemos preguntarnos por qué Hamilton eligió esta representación particular. La razón es que esta representación mantiene baja la dimensionalidad del vector de estado. Intuitivamente, pensarías (o al menos lo haría) que el vector de estado para un ARMA ( , ) debe ser al menos de dimensión . Después de todo, solo observando digamos , no podemos inferir el valor de . Sin embargo, muestra que podemos definir la representación del espacio de estados de una manera inteligente que deja el vector de dimensión de estado como máximo$p$$q$$p+q$$y_{t-1}$$\epsilon_{t-1}$$r = \max\{p, q + 1 \}$. Supongo que mantener baja la dimensionalidad del estado puede ser importante para la implementación computacional. Resulta que su representación en el espacio de estado también ofrece una buena interpretación de un proceso ARMA: el estado no observado es un AR ( ), mientras que la parte MA ( ) surge debido a un error de medición.$p$$q$

Derivación :

Ahora para la derivación. Primero tenga en cuenta que, usando la notación de operador de retraso, el ARMA (p, q) se define como: donde dejamos para , y para y omitimos ya que es al menos . Entonces, todo lo que tenemos que mostrar es que su estado y las ecuaciones de observación implican la ecuación anterior. Deje que el vector de estado sea Ahora mire el ecuación de estado Puedes comprobar que las ecuaciones a

$$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) =(1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_t$$ $\phi_j = 0$$j>p$$\theta_j = 0$$j>q$$\theta_r$$r$$q+1$ $$\mathbf{\xi}_t = \{\xi_{1,t}, \xi_{2,t},\ldots,\xi_{r,t}\}^\top$$ $2$$r$simplemente mueva las entradas a un período más adelante y descarte en el vector de estado en . La primera ecuación, que define es, por lo tanto, la relevante. : Dado que el segundo elemento de es el primer elemento de y el tercer elemento de es el primer elemento de$\xi_{i,t}$$\xi_{i-1,t+1}$$\xi_{r,t}$$t+1$$\xi_{i,t+1}$ $$\xi_{1,t+1} = \phi_1 \xi_{1,t} + \phi_2 \xi_{2,t} + \ldots + \phi_r \xi_{r,t} + \epsilon_{t+1}$$ $\mathbf{\xi_{t}}$$\mathbf{\xi_{t-1}}$$\mathbf{\xi_{t}}$$\mathbf{\xi_{t-2}}$y así sucesivamente, podemos reescribir esto, usando la notación de operador de retraso y moviendo el polinomio de retraso al lado izquierdo (ecuación 13.1.24 en H.): Entonces el estado oculto sigue un proceso autorregresivo. De manera similar, la ecuación de observación es o Esto no se parece mucho a un ARMA hasta ahora, pero ahora viene el buena parte: multiplique la última ecuación por : $$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t+1} = \epsilon_{t+1}$$ $$y_t = \mu + \xi_{1,t} + \theta_1\xi_{2,t} + \ldots + \theta_{r-1}\xi_{r-1,t}$$ $$y_t - \mu = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\xi_{1,t}$$ $(1-\phi_1L - \ldots - \phi_rL^r)$ $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})(1-\phi_1L - \ldots - \phi_rL^r)y_t$$ ¡Pero de la ecuación de estado (rezagada por un período), tenemos ! Entonces, lo anterior es equivalente a que es exactamente lo que necesitábamos mostrar! Entonces el sistema de observación de estado representa correctamente el ARMA (p, q). Realmente solo estaba parafraseando a Hamilton, pero espero que esto sea útil de todos modos.$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t} = \epsilon_{t}$ $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_{t}$$

Esto es lo mismo que arriba, pero pensé que proporcionaría una respuesta más breve y concisa. Nuevamente, esta es la representación de Hamilton para un proceso ARMA causal ( , ), donde . Este número será la dimensión del vector de estado , y es necesario para hacer el número de filas de El estado coincide con el número de columnas de la matriz de observación. Eso significa que también tenemos que establecer coeficientes a cero siempre que el índice sea demasiado grande.$p$$q$$r=\max(p,q+1)$$r$$(\xi_t, \xi_{t-1},\ldots, \xi_{t-r+1})'$

1. Ecuación de observación

$$\begin{align*} &\phi(B)(y_t - \mu) = \theta(B)\epsilon_t \\ \iff &(y_t - \mu) = \phi^{-1}(B)\theta(B)\epsilon_t \tag{causality}\\ \iff &y_t = \mu + \phi^{-1}(B)\theta(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\phi^{-1}(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\xi_t \tag{letting $\xi_t = \phi^{-1}(B)\epsilon_t$}\\ \iff &y_t = \mu + \left[\begin{array}{ccccc}1 & \theta_1 & \theta_2 & \ldots & \theta_{r-1} \end{array}\right] \underbrace{\left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \vdots \\ \xi_{t-r+1} \end{array}\right]}_{\text{the state vector}} + 0\tag{this is where we need $r$}. \end{align*}$$

2. Ecuación de estado

$$\begin{align*} &\xi_t = \phi^{-1}(B)\epsilon_t \\ \iff &\phi(B)\xi_t = \epsilon_t \\ \iff &(1 - \phi_1 B - \cdots - \phi_rB^r) \xi_t = \epsilon_t \\ \iff &\xi_t = \phi_1 \xi_{t-1} + \cdots + \phi_r \xi_{t-r} + \epsilon_t \\ \iff & \left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r+1} \end{array}\right] = \left[ \begin{array}{ccccc} \phi_1 & \phi_2 & \phi_3 & \cdots & \phi_r \\ 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \cdots & 0 \\ 0 & 0 &\cdots & 1 & 0 \end{array}\right] \left[ \begin{array}{c} \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r} \end{array}\right] + \left[ \begin{array}{c} \epsilon_t \\ 0 \\ \vdots \\ 0 \end{array}\right]. \end{align*}$$