Proceso de Markov solo depende del estado anterior

Me gustaría que alguien confirme mi comprensión o si me falta algo.

La definición de un proceso de Markov dice que el siguiente paso depende solo del estado actual y no de estados pasados. Entonces, digamos que teníamos un espacio de estado de a, b, c, dy pasamos de a-> b-> c-> d. Eso significa que la transición a d solo podría depender del hecho de que estábamos en c.

Sin embargo, ¿es cierto que podría hacer que el modelo sea más complejo y "sortear" esta limitación? En otras palabras, si su espacio de estado ahora fuera aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, lo que significa que su nuevo espacio de estado se convierte en el estado anterior combinado con el estado actual, entonces la transición anterior sería * a-> ab-> bc-> cd y, por lo tanto, la transición a cd (equivalente en el modelo anterior a d) ahora es "dependiente" de un estado que, si se modela de manera diferente, es un estado anterior (me refiero a él como un subestado a continuación).

¿Estoy en lo cierto en que uno puede hacer que "dependa de estados anteriores (subestado)" (sé técnicamente que no lo hace en el nuevo modelo ya que el subestado ya no es un estado real) mantiene la propiedad de Markov expandiendo el espacio de estado como lo hice? Entonces, en efecto, se podría crear un proceso de Markov que podría depender de cualquier número de subestados anteriores.

Técnicamente, ambos procesos que describe son cadenas de Markov. La diferencia es que la primera es una cadena de Markov de primer orden, mientras que la segunda es una cadena de Markov de segundo orden. Y sí, puede transformar una cadena de Markov de segundo orden en una cadena de Markov de primer orden mediante un cambio adecuado en la definición del espacio de estados. Déjame explicarte a través de un ejemplo.

Supongamos que queremos modelar el clima como un proceso estocástico y supongamos que en cualquier día el clima puede ser lluvioso, soleado o nublado. Sea el clima en cualquier día en particular y denotemos los posibles estados mediante los símbolos R (para lluvia), S para (soleado) y C (para nublado).$W_t$$R$$S$$C$

Cadena de Markov de primer orden

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Cadena de Markov de segundo orden

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

La cadena de Markov de segundo orden puede transformarse en una cadena de Markov de primer orden redefiniendo el espacio de estado de la siguiente manera. Definir:

como el clima en dos días consecutivos.$Z_{t-1,t}$

En otras palabras, el espacio de estados puede tomar uno de los siguientes valores: , R C , R S , C R , C de C , C S , S R , S C y S S . Con este espacio de estado redefinido tenemos lo siguiente:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Lo anterior es claramente una cadena de Markov de primer orden en el espacio de estado redefinido. La única diferencia con respecto a la cadena de Markov de segundo orden es que su cadena de Markov redefinida debe especificarse con dos estados iniciales, es decir, la cadena debe iniciarse con algunas suposiciones sobre el clima el día 1 y el día 2.

La definición de un proceso de Markov dice que el siguiente paso depende solo del estado actual y no de estados pasados.

Esa es la propiedad de Markov y define un MC de primer orden , que es muy manejable matemáticamente y bastante fácil de presentar / explicar. Por supuesto que podrías tener$n^{th}$orden MC (donde el siguiente estado depende de la corriente y el pasado$n-1$ estados), así como MC de orden variable (cuando la longitud de la memoria es fija pero depende del estado anterior).

$n^{th}$ Las MC de orden retienen la formulación explícita para la distribución del estado estacionario, pero como usted señaló, el tamaño de la matriz de estado crece con $n$ tal que un sin restricciones $n^{th}$ orden MC con $k$ estados tiene $O(k^{2n})$ entrada en su matriz de estado.

Es posible que desee echar un vistazo a los documentos recientes, como las cadenas de Markov multivariadas de orden superior y sus aplicaciones, ya que este campo avanza rápidamente rápido.