¿Cómo se comparan dos procesos gaussianos?

La divergencia de Kullback-Leibler es una métrica para comparar dos funciones de densidad de probabilidad, pero ¿qué métrica se utiliza para comparar dos GP e ?$X$$Y$

Observe que la distribución de los procesos gaussianos $\mathcal{X}\to\mathbb{R}$ es la extensión del gaussiano multivariante para posiblemente infinito $\mathcal{X}$ . Por lo tanto, puede utilizar la divergencia KL entre las distribuciones de probabilidad GP integrando over $\mathbb{R}^\mathcal{X}$ :

$$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$$

Puede usar métodos MC para aproximar numéricamente esta cantidad sobre un \ mathcal {X} discretizado $\mathcal{X}$muestreando repetidamente los procesos de acuerdo con su distribución GP. No sé si la velocidad de convergencia es suficientemente buena ...

Observe que si es finito con , entonces retrocede a la divergencia KL habitual para distribuciones normales multivariadas: | X | = n D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K $\mathcal{X}$$|\mathcal{X}|=n$

$$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$$

Recuerde que si es un proceso gaussiano con función media función de covarianza , entonces, para cada , el vector aleatorio tiene una distribución normal multivariada con vector medio y matriz de covarianza , donde hemos usado la abreviatura común . m K t 1 , … , t k ∈ T ( X ( t 1 ) , … , X ( t k ) ) ( m ( t 1 ) , … , m ( t k ) ) Σ = ( σ i j j ) ) X ( $X:T\times \Omega\to\mathbb{R}$$m$$K$$t_1,\dots,t_k\in T$$(X(t_1),\dots,X(t_k))$$(m(t_1),\dots,m(t_k))$$\Sigma=(\sigma_{ij})=(K(t_i,t_j))$$X(t)=X(t,\,\cdot\,)$

Cada realización es una función real cuyo dominio es el conjunto de índices . Supongamos que . Dados dos procesos gaussianos e , una distancia común entre dos realizaciones e es. Por lo tanto, parece natural definir la distancia entre los dos procesos e como $X(\,\cdot\,,\omega)$$T$$T=[0,1]$$X$$Y$$X(\,\cdot\,,\omega)$$Y(\,\cdot\,,\omega)$X Y d ( X , Y ) = $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$$X$$Y$0 ≤ t 1 < ⋯ < t k ≤ 1 ( x i 1 , … , x i k ) ( y i 1 , … , y i k ) ( X ( t 1 ) , … , X ( t k ) ) ( Y ( t 1 ) , … ,

$$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$$ No sé si hay una expresión analítica para esta distancia, pero creo que puedes calcular una aproximación de Monte Carlo de la siguiente manera. Arregle una cuadrícula fina , y extraiga muestras y de los vectores normales aleatorias y , respectivamente, para . Aproximadamente por $0\leq t_1<\dots<t_k\leq 1$$(x_{i1},\dots,x_{ik})$$(y_{i1},\dots,y_{ik})$$(X(t_1),\dots,X(t_k))$i = 1 , … , N d ( X , Y ) $(Y(t_1),\dots,Y(t_k))$$i=1,\dots,N$$d(X,Y)$ $$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$$