¿Por qué las caminatas aleatorias están intercorrelacionadas?

He observado que, en promedio, el valor absoluto del coeficiente de correlación de Pearson es una constante cercana a cualquier par de caminatas aleatorias independientes, independientemente de la longitud de la caminata.0.560.42

¿Alguien puede explicar este fenómeno?

Esperaba que las correlaciones se redujeran a medida que aumenta la longitud de la caminata, como con cualquier secuencia aleatoria.

Para mis experimentos utilicé caminatas gaussianas aleatorias con una media de pasos 0 y una desviación estándar de pasos 1.

ACTUALIZAR:

Olvidé centrar los datos, por eso fue en 0.56lugar de 0.42.

Aquí está el script de Python para calcular las correlaciones:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

¡Sus procesos independientes no están correlacionados! Si e son caminatas aleatorias independientes:$X_t$$Y_t$

• No existe un coeficiente de correlación incondicional en el tiempo. (No hable de .$\operatorname{Corr}(X, Y)$
• Para cualquier momento , es de hecho 0.$t$$\operatorname{Corr}(X_t, Y_t)$
• ¡Pero las estadísticas de muestra basadas en promedios de series temporales no convergerán en nada! El coeficiente de correlación de la muestra que calculó en base al promedio de múltiples observaciones en el tiempo no tiene sentido.

Intuitivamente, puede adivinar (incorrectamente) que:

1. La independencia entre dos procesos y implica que tienen correlación cero. (Para dos caminatas aleatorias, no existe).$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. La serie de tiempo, correlación de muestra (es decir, el coeficiente de correlación calculado usando series de tiempo, estadísticas de muestra como ) convergerá en el coeficiente de correlación de la población como .$\hat{\rho}_{XY}$$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

¡El problema es que ninguna de estas afirmaciones es cierta para caminatas aleatorias! (Son ciertos para procesos que se comportan mejor).

Para procesos no estacionarios:

• Puede hablar sobre la correlación entre los procesos y en dos puntos de tiempo particulares (por ejemplo, es una declaración perfectamente sensata).$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• ¡Pero no tiene sentido hablar sobre la correlación entre las dos series incondicionalmente a tiempo! no tiene un significado bien definido.$\operatorname{Corr}(X, Y)$

¿Los problemas en el caso de una caminata aleatoria?

1. Para una caminata aleatoria, los momentos de población incondicionales (es decir, que no dependen del tiempo ), como , no existen. (En cierto sentido, son infinitos). Del mismo modo, el coeficiente de correlación incondicional entre dos caminatas aleatorias independientes no es cero; de hecho no existe!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. Los supuestos de los teoremas ergódicos no se aplican y varios promedios de series de tiempo (por ejemplo, ) no convergen hacia nada como . $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Para una secuencia estacionaria, el promedio de la serie temporal eventualmente convergerá en la media que es incondicional en el tiempo. Pero para una secuencia no estacionaria, ¡no hay forma de que sea incondicional a tiempo!

Si tiene varias observaciones de dos caminatas aleatorias independientes a lo largo del tiempo (por ejemplo , , , etc ... e , , ....) y calcula el coeficiente de correlación de la muestra, obtendrá un número entre y . Pero no será una aproximación del coeficiente de correlación de la población (que no existe).$X_1$$X_2$$Y_1$$Y_2$$-1$$1$

En cambio, (calculado usando promedios de series de tiempo de a ) básicamente será una variable aleatoria (tomando valores en ) que refleja los dos caminos particulares que tomaron las caminatas aleatorias por casualidad (es decir, los caminos definidos por el sorteo extraído del espacio muestral ). Hablando de manera extremadamente laxa (e imprecisa):$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• Si tanto y pasaron a vagar en la misma dirección, se le detecta una relación positiva falsa.$X_t$$Y_t$
• Si e se en diferentes direcciones, detectará una relación negativa espuria.$X_t$$Y_t$
• Si e cruzan lo suficiente, detectarás una relación cercana a cero.$X_t$$Y_t$

Puedes buscar más sobre esto en Google con los términos spurious regression random walk.

Un paseo aleatorio no es estacionaria y tomando las medias con el tiempo no se reunirán en lo que se obtendría mediante la adopción de IID dibuja a partir de espacio de muestra . Como se mencionó en los comentarios anteriores, puede tomar las primeras diferencias y para una caminata aleatoria, ese proceso es estacionario.$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Idea de imagen grande:

¡Múltiples observaciones a lo largo del tiempo NO ES lo mismo que múltiples sorteos de un espacio muestral!

Recuerde que un proceso estocástico de tiempo discreto es una función tanto del tiempo ( ) como de un espacio de muestra .$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

Para que los promedios en el tiempo converjan hacia las expectativas sobre un espacio muestral , necesita estacionariedad y ergodicidad . Este es un tema central en muchos análisis de series de tiempo. Y una caminata aleatoria no es un proceso estacionario.$t$$\Omega$

Conexión a la respuesta de WHuber:

Si puede tomar promedios en múltiples simulaciones (es decir, tomar múltiples sorteos de ) en lugar de verse obligado a tomar promedios a lo largo del tiempo , varios de sus problemas desaparecerán.$\Omega$$t$

Por supuesto, puede definir como el coeficiente de correlación de muestra calculado en e y esto también será un proceso estocástico.$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

Puede definir alguna variable aleatoria como:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Para dos caminatas aleatorias que comienzan en con incrementos , es fácil encontrar por simulación (es decir, tomar múltiples sorteos de ).$0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

A continuación, ejecuté una simulación de 10,000 cálculos de un coeficiente de correlación de Pearson de muestra. Cada vez que yo:

• Simuló dos caminatas aleatorias de 10.000 longitudes (con incrementos normalmente distribuidos extraídos de ).$\mathcal{N}(0,1)$
• Calcula el coeficiente de correlación muestral entre ellos.

A continuación se muestra un histograma que muestra la distribución empírica sobre los 10000 coeficientes de correlación calculados.

Puede observar claramente que la variable aleatoria puede estar en todas partes en el intervalo . Para dos rutas fijas de e , el coeficiente de correlación de la muestra no converge a nada a medida que aumenta la longitud de la serie temporal.$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

Por otro lado, durante un tiempo particular (p. Ej. ), el coeficiente de correlación de la muestra es una variable aleatoria con una media finita, etc. Si tomo el valor absoluto y calculo la media de todas las simulaciones, calculo aproximadamente .42. No estoy seguro de por qué quieres hacer esto o por qué esto es significativo, pero por supuesto que puedes.$t=10,000$

Código:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

La matemática necesaria para obtener un resultado exacto es desordenada, pero podemos derivar un valor exacto para el coeficiente de correlación al cuadrado esperado de manera relativamente sencilla. Ayuda a explicar por qué sigue apareciendo un valor cercano a y por qué aumentar la longitud de la caminata aleatoria no cambiará las cosas.$1/2$$n$

Existe la posibilidad de confusión sobre los términos estándar. La correlación absoluta a la que se hace referencia en la pregunta, junto con las estadísticas que la componen (varianzas y covarianzas) son fórmulas que se pueden aplicar a cualquier par de realizaciones de caminatas aleatorias. La pregunta se refiere a lo que sucede cuando miramos muchas realizaciones independientes. Para eso, debemos tener expectativas sobre el proceso de caminata aleatoria.

---

(Editar)

Antes de continuar, quiero compartir algunas ideas gráficas con usted. Un par de caminatas aleatorias independientes es una caminata aleatoria en dos dimensiones. Podemos trazar la ruta que va de cada uno a . Si esta ruta tiende hacia abajo (de izquierda a derecha, trazada en los ejes XY habituales), para estudiar el valor absoluto de la correlación , neguemos todos los valores deTrace los recorridos en ejes dimensionados para dar a los valores e mismas desviaciones estándar y superponer el ajuste de mínimos cuadrados de a$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$$Y$$Y$$X$. Las pendientes de estas líneas serán los valores absolutos de los coeficientes de correlación, siempre entre y .$0$$1$

Esta figura muestra tales caminatas, cada una de de longitud (con diferencias normales estándar). Pequeños círculos abiertos marcan sus puntos de partida. Las ojeras marcan sus ubicaciones finales.$15$$960$

Estas pendientes tienden a ser bastante grandes. Los diagramas de dispersión perfectamente aleatorios de tantos puntos siempre tendrían pendientes muy cercanas a cero. Si tuviéramos que describir los patrones que están surgiendo aquí, podríamos decir que la mayoría de las caminatas aleatorias en 2D migran gradualmente de un lugar a otro. (¡Sin embargo, estas no son necesariamente sus ubicaciones iniciales y finales!) Entonces, aproximadamente la mitad del tiempo, esa migración ocurre en una dirección diagonal, y la pendiente es, por consiguiente, alta.

El resto de esta publicación esboza un análisis de esta situación.

---

Una caminata aleatoria es una secuencia de sumas parciales de donde son independientes de media cero distribuidas idénticamente. Que su varianza común sea .$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

En una realización de dicha caminata, la "varianza" se calcularía como si fuera un conjunto de datos:$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Una buena manera de calcular este valor es tomar la mitad del promedio de todas las diferencias al cuadrado:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

Cuando se ve como el resultado de una caminata aleatoria de pasos, la expectativa de esto es$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Las diferencias son sumas de variables iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Expande la plaza y toma expectativas. Debido a que son independientes y tienen cero medios, las expectativas de todos los términos cruzados son cero. Eso deja solo términos como , cuya expectativa es . Así$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Se sigue fácilmente que

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

La covarianza entre dos realizaciones independientes e en el sentido de conjuntos de datos, no de variables aleatorias, se puede calcular con la misma técnica (pero requiere más trabajo algebraico; se trata de una suma cuádruple). El resultado es que el cuadrado esperado de la covarianza es$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

En consecuencia, la expectativa del coeficiente de correlación al cuadrado entre e , tomado en pasos, es$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Aunque esto no es constante, rápidamente se acerca a un valor límite de . Su raíz cuadrada, aproximadamente , por lo tanto, se aproxima al valor absoluto esperado de (y lo subestima).$9/40$$0.47$$\rho(n)$

---

Estoy seguro de que he cometido errores de cálculo, pero las simulaciones confirman la precisión asintótica. En los siguientes resultados que muestran los histogramas de para simulaciones cada uno, las líneas rojas verticales muestran las medias mientras que las líneas azules discontinuas muestran el valor de la fórmula. Claramente es incorrecto, pero asintóticamente es correcto. Evidentemente, toda la distribución de se acerca a un límite a medida que aumenta. Del mismo modo, la distribución de(que es la cantidad de interés) se acercará a un límite.$\rho^2(n)$$1000$$\rho^2(n)$$n$$|\rho(n)|$

Este es el Rcódigo para producir la figura.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}