Verifique la propiedad sin memoria de una cadena de Markov

Sospecho que una serie de secuencias observadas son una cadena de Markov ...

$$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$$

Sin embargo, ¿cómo podría verificar que realmente respetan la propiedad sin memoria de

$$P(X_i=x_i|X_j=x_j)?$$

¿O al menos demostrar que son de naturaleza Markov? Tenga en cuenta que estas son secuencias observadas empíricamente. ¿Alguna idea?

EDITAR

Solo para agregar, el objetivo es comparar un conjunto predicho de secuencia de los observados. Por lo tanto, apreciaríamos los comentarios sobre la mejor manera de compararlos.

Matriz de transición de primer orden

$$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$$ donde m = A..E indica

$$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$$

Valores propios de M

$$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$$

Vectores propios de M

$$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$$

Me pregunto si lo siguiente daría una prueba válida de Pearson para las proporciones de la siguiente manera.$\chi^2$

1. Calcule las probabilidades de transición de un paso: ya lo hizo.
2. Obtener las probabilidades del modelo de dos $$\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$$
3. Obtenga las probabilidades empíricas de dos pasos $$\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$$
4. Forma Pearson prueba estadística $$T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$$

Es tentador para mí pensar que cada , de modo que el total T ∼ χ 2 12 . Sin embargo, no estoy completamente seguro de eso, y agradecería sus pensamientos al respecto. No no soy asimismo sertain co acerca de si hay que ser paranoico acerca de la independencia, y sin querer dividir la muestra en dos mitades para estimar p y ˉ p .$T_U \sim \chi^2_3$$T\sim \chi^2_{12}$$\hat p$$\bar p$

La propiedad de Markov puede ser difícil de probar directamente. Pero podría ser suficiente para ajustarse a un modelo que asume la propiedad de Markov y luego probar si el modelo cumple. Puede resultar que el modelo ajustado sea una buena aproximación que sea útil para usted en la práctica, y no debe preocuparse si la propiedad de Markov realmente es válida o no.

El paralelo se puede dibujar a la regresión lineal. La práctica habitual no es probar si la linealidad es válida, sino si el modelo lineal es una aproximación útil.

Para concretar la sugerencia de la respuesta anterior, primero debe estimar las probabilidades de Markov, suponiendo que sea Markov. Vea la respuesta aquí Estimación de las probabilidades de la cadena de Markov

Usted debe obtener una matriz de 4 x 4 en base a la proporción de las transiciones de un estado A a A, de A a B, etc. Llame a esta matriz . M 2 debería ser la matriz de transición de dos pasos: A a A en 2 pasos, y así sucesivamente. Luego puede probar si su matriz de transición de 2 pasos observada es similar a M 2 .$M$$M^2$$M^2$

Como tiene muchos datos para la cantidad de estados, puede estimar partir de la mitad de los datos y probar M 2 utilizando la otra mitad; está probando las frecuencias observadas contra las probabilidades teóricas de un multinomio. Eso debería darte una idea de qué tan lejos estás.$M$$M^2$

Otra posibilidad sería ver si las proporciones básicas del estado: proporción del tiempo pasado en A, tiempo pasado en B, coincide con el vector propio del valor propio de la unidad de M. Si su serie ha alcanzado algún tipo de estado estable, la proporción de tiempo en cada El estado debe tender a ese límite.

Más allá de la propiedad de Markov (MP), otra propiedad es la homogeneidad del tiempo (TH): puede ser Markov pero con su matriz de transición P ( t ) dependiendo del tiempo t . Por ejemplo, puede depender del día de la semana en t si las observaciones son diarias, y luego una dependencia X t de X t - 7 condicional en X t - 1 puede diagnosticarse si TH se asume indebidamente.$X_t$$\mathbf{P}(t)$$t$$t$$X_t$$X_{t-7}$$X_{t-1}$

Suponiendo que TH se cumple, una posible verificación para MP es probar que es independiente de X t - 2 condicional a X t - 1 , como sugirieron Michael Chernick y StasK. Esto se puede hacer usando una prueba para la tabla de contingencia. Podemos construir las n tablas de contingencia de X t y X t - 2 condicionadas a { X t - 1 = x j } para los n valores posibles x $X_t$$X_{t-2}$$X_{t-1}$$n$$X_t$$X_{t-2}$$\{X_{t-1} = x_j\}$$n$$x_j$y prueba de independencia. Esto también se puede hacer usando con ℓ > 1 en lugar de X t - 2 .$X_{t-\ell}$$\ell > 1$$X_{t-2}$

En R, tablas de contingencia o matrices se producen fácilmente gracias al factor de instalaciones y las funciones apply, sweep. La idea anterior también se puede explotar gráficamente. Los paquetes ggplot2 o retícula proporcionan fácilmente gráficos condicionales para comparar distribuciones condicionales . Por ejemplo, establecer i como índice de fila y $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$$i$$j$ como el índice de columna en enrejado debería bajo MP conducir a distribuciones similares dentro de una columna.

El cap. 5 del libro El análisis estadístico de los procesos estocásticos en el tiempo por JK Lindsey contiene otras ideas para verificar los supuestos.

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

Creo que plácida y mpiktas han dado enfoques muy reflexivos y excelentes.

$P(X_i=x|X_{i-1}=y)$$P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$$y$$z$$z$$y$$x$$z$$y$$x$$x$$y$$x$$x$

Entonces el estadístico de prueba sería la diferencia entre estas proporciones estimadas. La complicación de la comparación estándar de las secuencias de Bernoulli es que están correlacionadas. Pero podría hacer una prueba de arranque de proporciones binomiales en este caso.

$0$$1$$(0,0)$, $(0,1)$, $(1,0)$ y $(1,1)$donde el primer componente es el resultado de dos etapas y el segundo es el resultado de tres etapas correspondiente. Luego puede aplicar la prueba de McNemar a la tabla.

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$. By the law of total variance,

$$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$, though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$. Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.