¿Cuál es la distinción entre ergódico y estacionario?

42

Tengo problemas para distinguir entre estos dos conceptos. Este es mi entendimiento hasta ahora.

Un proceso estacionario es un proceso estocástico cuyas propiedades estadísticas no cambian con el tiempo. Para un proceso estacionario de sentido estricto, esto significa que su distribución de probabilidad conjunta es constante; Para un proceso estacionario de sentido amplio, esto significa que sus primeros y segundos momentos son constantes.

Un proceso ergódico es aquel en el que sus propiedades estadísticas, como la varianza, pueden deducirse de una muestra suficientemente larga. Por ejemplo, la media muestral converge con la media real de la señal, si promedia el tiempo suficiente.

Ahora, me parece que una señal tendría que ser estacionaria, para ser ergódica.

  • ¿Y qué tipo de señales podrían ser estacionarias, pero no ergódicas?
  • Si una señal tiene la misma varianza para todos los tiempos, por ejemplo, ¿cómo podría la varianza promediada en el tiempo no converger al valor verdadero?
  • Entonces, ¿cuál es la distinción real entre estos dos conceptos?
  • ¿Me puede dar un ejemplo de un proceso que sea estacionario sin ser ergódico, o ergódico sin ser estacionario?
Mate
fuente
Es posible que desee ver esta respuesta a una pregunta relacionada.
Dilip Sarwate
Esta conferencia explica literalmente que ergódico es un subconjunto de estacionario. Simplemente no puedo entender lo que el artículo del Proceso Ergódico Estacionario está haciendo en Wikipedia. ¿Significa que hay un proceso ergódico no estacionario?
Val
@Val No defenderé lo que dice Wikipedia, pero señalaré que la última parte de mi respuesta a continuación contiene un ejemplo de un proceso WSS que no es estacionario y, sin embargo, es ergódico.
Dilip Sarwate

Respuestas:

33

Un proceso aleatorio es una colección de variables aleatorias, una para cada instante de tiempo bajo consideración. Típicamente, esto puede ser tiempo continuo ( ) o tiempo discreto (todos los enteros , o todos los instantes de tiempo donde es el intervalo de muestra). <t<nnTT

  • La estacionariedad se refiere a las distribuciones de las variables aleatorias. Específicamente, en un proceso estacionario, todas las variables aleatorias tienen la misma función de distribución, y más generalmente, para cada entero positivo y instantes de tiempo , la distribución conjunta de las variables aleatorias es lo mismo que la distribución conjunta de . Es decir, si cambiamos todos los instantes de tiempo por , la descripción estadística del proceso no cambia en absoluto: el proceso es estacionarionnt1,t2,,tn n X ( t 1 ) , X ( t 2 ) , , X ( t n ) X ( t 1 + τ ) , X ( t 2 + τ ) , , X ( t n + τ ) τnX(t1),X(t2),,X(tn)X(t1+τ),X(t2+τ),,X(tn+τ)τ.
  • La ergodicidad, por otro lado, no analiza las propiedades estadísticas de las variables aleatorias sino las rutas de muestra , es decir, lo que observa físicamente. Volviendo a las variables aleatorias, recuerde que las variables aleatorias son asignaciones de un espacio muestral a los números reales; cada resultado se mapea en un número real, y diferentes variables aleatorias típicamente mapearán cualquier resultado dado a diferentes números. Entonces, imagine que un ser superior realizó el experimento que resultó en un resultado en el espacio muestral, y este resultado ha sido mapeado en números reales (típicamente diferentes) por todas las variables aleatorias en el proceso: específicamente, el azar la variable ha mapeadoωX(t)ωa un número real lo denotaremos como . Los números , considerados como una forma de onda, son la ruta de muestra correspondiente a , y diferentes resultados nos darán diferentes rutas de muestra. La ergodicidad luego se ocupa de las propiedades de las rutas de muestra y cómo estas propiedades se relacionan con las propiedades de las variables aleatorias que comprenden el proceso aleatorio.x(t)x ( t ) ω x(t)ω

Ahora, para una ruta de muestra de un proceso estacionario , podemos calcular el promedio de tiempo pero, ¿qué tiene que ver con , la media del proceso aleatorio? (Tenga en cuenta que no importa qué valor de usemos; todas las variables aleatorias tienen la misma distribución y, por lo tanto, tienen la misma media (si la media existe)). Como dice el OP, el valor promedio o componente DC de una ruta de muestra converge con el valor medio del proceso si la ruta de muestra se observa lo suficiente, siempre que el proceso sea ergódicox(t)ˉ x = 1

x¯=12TTTx(t)dt
x¯μ=E[X(t)]ty estacionario, etc. Es decir, la ergodicidad es lo que nos permite conectar los resultados de los dos cálculos y afirmar que es igual a Se dice que un proceso para el que se cumple dicha igualdad es medio ergódico , y un proceso es medio ergódico si su función de autocovarianza tiene la propiedad:
limTx¯=limT12TTTx(t)dt

μ=E[X(t)]=ufX(u)du.
CX(τ)
limT12TTTCX(τ)dτ=0.

Por lo tanto, no todos los procesos estacionarios deben ser medio ergódicos. Pero también hay otras formas de ergodicidad. Por ejemplo, para un proceso autocovarianza-ergódico , la función de autocovarianza de un segmento finito (digamos para de la ruta de muestra converge a la función de autocovarianza del proceso como . Una declaración general de que un proceso es ergódico podría significar cualquiera de las diversas formas o podría significar una forma específica; uno simplemente no puede decir,t(T,T)x(t)CX(τ)T

Como ejemplo de la diferencia entre los dos conceptos, suponga que para todas las bajo consideración. Aquí es una variable aleatoria. Este es un proceso estacionario: cada tiene la misma distribución (es decir, la distribución de ), la misma media , la misma varianza, etc .; cada y tienen la misma distribución conjunta (aunque es degenerada) y así sucesivamente. Pero el proceso no es ergódico porque cada ruta de muestra es una constante . Específicamente, si una prueba del experimento (realizada por usted o por un ser superior) resulta enX(t)=YtYX(t)YE[X(t)]=E[Y]X(t1)X(t2)Y teniendo valor , entonces la ruta de muestra del proceso aleatorio que corresponde a este resultado experimental tiene valor para todo , y el valor de CC de la ruta de muestra es , no , no importa cuánto tiempo observe la ruta de muestra (bastante aburrida). En un universo paralelo, la prueba daría como resultado y la ruta de muestra en ese universo tendría un valor para todo . No es fácil escribir especificaciones matemáticas para excluir tales trivialidades de la clase de procesos estacionarios, por lo que este es un ejemplo muy mínimo de un proceso aleatorio estacionario que no es ergódico.ααtαE[X(t)]=E[Y]Y=ββt

¿Puede haber un proceso aleatorio que no sea estacionario pero que sea ergódico? Bueno, N0 , no si por ergódico queremos decir ergódico de todas las maneras posibles en las que uno puede pensar: por ejemplo, si medimos la fracción de tiempo durante la cual un segmento largo de la ruta de muestra tiene valor como máximo , esta es una buena estimación de , el valor del (común) CDF de las en si se asume el proceso a ser ergódico con respecto a las funciones de distribución. Sin embargo , nos podemos tener procesos aleatorios que sonx(t)αP(X(t)α)=FX(α)FXX(t)αno estacionarias pero son, sin embargo, medias -ergódicas y autocovarianzas -ergódicas Por ejemplo, considere el proceso donde adquiere cuatro valores igualmente probables y . Tenga en cuenta que cada es una variable aleatoria discreta que, en general, adopta cuatro valores igualmente probables y , es fácil ver que en general y{X(t):X(t)=cos(t+Θ),<t<}Θ0,π/2,π3π/2X(t)cos(t),cos(t+π/2)=sin(t),cos(t+π)=cos(t)cos(t+3π/2)=sin(t)X(t)X(s)tienen diferentes distribuciones, por lo que el proceso ni siquiera es estacionario de primer orden. Por otro lado, por cada mientras En resumen, el proceso tiene media cero y su función de autocorrelación (y autocovarianza) depende solo de la diferencia de tiempo , por lo que el proceso es

E[X(t)]=14cos(t)+14(sin(t))+14(cos(t))+14sin(t)=0
t
E[X(t)X(s)]=14[cos(t)cos(s)+(cos(t))(cos(s))+sin(t)sin(s)+(sin(t))(sin(s))]=12[cos(t)cos(s)+sin(t)sin(s)]=12cos(ts).
tsamplio sentido estacionario. Pero no es estacionaria de primer orden y, por lo tanto, tampoco puede ser estacionaria para órdenes superiores. Ahora, cuando se realiza el experimento y se conoce el valor de , obtenemos la función de muestra que claramente debe ser una de y que tienen un valor DC que es igual a , y cuya función de autocorrelación es , igual que , por lo que este proceso es medio ergódico y autocorrelación-ergódico aunque no sea estacionario en absoluto. Para terminar, observo que el proceso no es ergódico con respecto a la función de distribuciónΘ±cos(t)±sin(t)0012cos(τ)RX(τ)es decir, no se puede decir que sea ergódico en todos los aspectos.

Dilip Sarwate
fuente
1
No pude entender el ejemplo. Si dice que Y es una constante, cualquier ruta de x (t) es una constante. La media de una constante es en sí misma, de ahí que E [X (t)] = E [Y] = Y. A menos que me haya perdido algo.
Royi
Agregué algunas palabras para aclarar el significado. es una variable aleatoria, no una constante. Su valor en cualquier prueba del experimento no necesita ser el mismo que . YE[Y]
Dilip Sarwate
1
Si una señal es ergódica, lo que significa que el promedio de tiempo converge al promedio del conjunto, pero las diversas tienen diferentes medios porque el proceso no es estacionario, ¿cuál es la definición del promedio del conjunto al que converge el promedio de tiempo? X
Dilip Sarwate
1
@Matt En la solución del libro "sistemas de comunicación", Simon Haykin escribe que "para que un proceso aleatorio sea ergódico tiene que ser estacionario"
Roney Island
1
@ColinHicks Sí, ese es un error tipográfico en mi respuesta que corregiré muy pronto. Gracias por llamar mi atención.
Dilip Sarwate
6

Consideremos un proceso aleatorio hipotético donde las funciones de muestra son valores DC y son diferentes entre sí:

X 1 (t) = constante = media de X 1 (t)

X 2 (t) = constante = media de X 2 (t)

La media temporal de y son constantes pero no iguales. si mi proceso es estacionario, y son iguales y RV (consulte la respuesta de Dilip)X1(t)X2(t)X(t1)X(t2)

Entonces la media del conjunto de es constante.X(t)

Esta media del conjunto ciertamente no es igual a la media temporal de y (ellos mismos no son iguales). Esto puede llamarse un proceso estacionario pero no ergódico.X1(t)X2(t)

En contraste, donde es un RV es ergódico.X(t)=Acos(ωt+θ)θ

Soumya
fuente
2

Espero que este video (del Instituto de Tecnología de Florida. Titulado "lo que es amplio sentido, estacionario, sentido estricto, señales ergódicas" por el Dr. Ivica Kostanic en su clase de Teoría de las Comunicaciones) de 16:55 podría aclarar sus dudas.

usuario8162
fuente
¡Bienvenido a DSP.SE! Te sugiero que agregues el nombre y algunas descripciones en el video en caso de que algún día se elimine y el enlace no sea válido. Gracias.
lennon310
1

Un proceso ergódico es un proceso por el cual puede sustituir la media ergódica por la media temporal.

La media real, la varianza, etc., se definen siguiendo un proceso a lo largo del tiempo y promediando, etc. Por ejemplo, si quieres saber la media de mi talla, deberías promediarla desde mi nacimiento. a cuando me muera. Obviamente, el ejemplo posterior no es un proceso estacionario.

La media ergódica sería si, en lugar de seguir mi talla a lo largo del tiempo, congelaras el tiempo y tomaras la media sobre una muestra de diferentes humanos. No hay razón para que estos dos medios sean iguales, por lo que el proceso de mi tamaño no es ergódico.

Ese es un mal ejemplo, pero se vuelve más importante si considera el caso simple de un gas en equilibrio. Por ejemplo, la velocidad cuadrática media se observa (media en el tiempo), pero a menudo se calcula tomando la media del conjunto : la media de la velocidad cuadrada de todas las moléculas de el gas en un instante .V2¯V2t

La mayoría de los teoremas de termodinámica requieren el uso de , pero es más fácil de calcular y usar . La hipótesis ergódica es la hipótesis que establece que es correcto sustituir una por la otra. Un proceso ergódico es un proceso para el cual la hipótesis ergódica es verdadera.V2¯V2

La hipótesis ergódica es falsa en el caso general.

Jean-Yves
fuente
1
No entiendo esta respuesta. El proceso del tamaño de Jolow no es estacionario ni ergódico, mientras que el OP se preguntaba si puede haber un proceso estacionario que no sea ergódico. ¿Es la respuesta esencialmente que, en general, la hipótesis ergódica es falsa y es (más o menos) universalmente cierto que la media de la muestra es diferente de la media del conjunto, solo acostumbrarse y vivir con ella?
Dilip Sarwate
@DilipSarwate: después de volver a leer, es una mala respuesta que no responde la pregunta, y estoy considerando eliminarla. Estaba recordando mis conferencias de termodinámica, mientras que la pregunta era más sobre estadísticas ...
Jean-Yves
@DilipSarwate, ¿cuál es el tamaño de Jolow?
Roney Island
1
@MichaelCorleone No recuerdo lo que significa la referencia a Jolow. Supongo que Jean-Yves publicó su respuesta bajo el nombre de pluma Jolow y usé ese nombre en mi respuesta, y que desde entonces ha decidido usar Jean-Yves como su nombre de usuario en stackexchange. Dichos cambios de nombre se reflejan en lo que se muestra en la pantalla, pero no se registran como una edición de la respuesta.
Dilip Sarwate
@DilipSarwate: tienes razón. Jolow es solo mi apodo.
Jean-Yves
1

Para un ejemplo del caso opuesto (es decir, un proceso aleatorio que es ergódico pero no estacionario), considere un proceso de ruido blanco que es modulado en amplitud por una onda cuadrada determinista. El promedio de tiempo de cada función de muestra es igual a cero, al igual que el promedio del conjunto en todo momento. Entonces el proceso es ergódico. Sin embargo, la varianza de cualquier función de muestra individual muestra la dependencia original de la onda cuadrada en el tiempo, por lo que el proceso no es estacionario.

Este ejemplo particular es estacionario de sentido amplio, pero uno puede inventar ejemplos relacionados que todavía son ergódicos pero ni siquiera estacionarios de sentido amplio.

Prof Mark
fuente
0

como entiendo, el ejemplo a continuación muestra un proceso ergódico y estacionario

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

media 2 2 2 var 1

porque la media y la varianza de cada columna son constantes a lo largo del tiempo y la media y la varianza de cada fila son constantes a lo largo del tiempo

TPArrow
fuente