¿Es posible tener un par de variables aleatorias gaussianas para las cuales la distribución conjunta no es gaussiana?

Alguien me hizo esta pregunta en una entrevista de trabajo y le respondí que su distribución conjunta siempre es gaussiana. Pensé que siempre podría escribir un gaussiano bivariado con sus medios, varianza y covarianzas. Me pregunto si puede haber un caso en el que la probabilidad conjunta de dos gaussianos no sea gaussiana.

¡La distribución normal bivariada es la excepción , no la regla!

Es importante reconocer que "casi todas" las distribuciones conjuntas con márgenes normales no son la distribución normal bivariada. Es decir, el punto de vista común de que las distribuciones conjuntas con marginales normales que no son bivariadas son de alguna manera "patológicas", es un poco equivocado.

Ciertamente, la normalidad multivariada es extremadamente importante debido a su estabilidad bajo transformaciones lineales, y por eso recibe la mayor parte de la atención en las aplicaciones.

Ejemplos

Es útil comenzar con algunos ejemplos. La siguiente figura contiene mapas de calor de seis distribuciones bivariadas, todas las cuales tienen márgenes normales normales. Los de la izquierda y el medio en la fila superior son normales bivariados, los restantes no lo son (como debería ser evidente). Se describen más abajo.

Los huesos desnudos de las cópulas.

Las propiedades de dependencia a menudo se analizan eficientemente usando cópulas . Una cópula bivariada es solo un nombre elegante para una distribución de probabilidad en la unidad cuadrada con marginales uniformes .$[0,1]^2$

Supongamos que es una cópula bivariada. Entonces, inmediatamente de lo anterior, sabemos que , y , por ejemplo.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Podemos construir variables aleatorias bivariadas en el plano euclidiano con marginales preespecificados mediante una simple transformación de una cópula bivariada. Deje que y se prescriban distribuciones marginales para un par de variables aleatorias . Entonces, si es una cópula bivariada, es una función de distribución bivariada con marginales y . Para ver este último hecho, solo tenga en cuenta que El mismo argumento funciona para .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F 2 P ( X ≤ x ) = P ( X ≤ x , Y < ∞ ) = C ( $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Para y continuos , el teorema de Sklar afirma una inversa que implica unicidad. Es decir, dada una distribución bivariada con marginales continuos , , la cópula correspondiente es única (en el espacio de rango apropiado).F 2 F ( x , y ) F 1 F $F_1$$F_2$$F(x,y)$$F_1$$F_2$

La bivariada normal es excepcional.

El teorema de Sklar nos dice (esencialmente) que solo hay una cópula que produce la distribución normal bivariada. Esta es, acertadamente llamada, la cópula gaussiana que tiene densidad en donde el numerador es la distribución normal bivariada con correlación evaluada en y .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Pero, hay muchas otras cópulas y todas ellas darán una distribución bivariada con marginales normales que no es la bivariada normal al usar la transformación descrita en la sección anterior.

Algunos detalles sobre los ejemplos

Tenga en cuenta que si es una cópula arbitraria con densidad , la densidad bivariada correspondiente con marginales normales estándar bajo la transformación es $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Tenga en cuenta que al aplicar la cópula gaussiana en la ecuación anterior, recuperamos la densidad normal bivariada. Pero, para cualquier otra opción de , no lo haremos.$c(u,v)$

Los ejemplos en la figura se construyeron de la siguiente manera (cruzando cada fila, una columna a la vez):

1. Bivariada normal con componentes independientes.
2. Bivariada normal con .$\rho = -0.4$
3. El ejemplo dado en esta respuesta de Dilip Sarwate . Se puede ver fácilmente que es inducida por la cópula con densidad .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Generado a partir de la cópula Frank con el parámetro .$\theta = 2$
5. Generado a partir de la cópula Clayton con el parámetro .$\theta = 1$
6. Generado a partir de una modificación asimétrica de la cópula Clayton con el parámetro .$\theta = 3$

Es cierto que cada elemento de un vector normal multivariante está distribuido en sí mismo normalmente, y puede deducir sus medias y variaciones. Sin embargo, no es cierto que cualquiera de las dos variables aleatorias guasianas se distribuyan normalmente de manera conjunta. Aquí hay un ejemplo:

Editar: En respuesta al consenso de que una variable aleatoria que es una masa puntual puede considerarse como una variable normalmente distribuida con , estoy cambiando mi ejemplo.$\sigma^2=0$

---

Deje y deje donde es una variable aleatoria . Es decir, cada uno con probabilidad .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Primero mostramos que tiene una distribución normal estándar. $Y$Por la ley de probabilidad total ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Próximo,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

donde es el CDF normal estándar . Similar,$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Por lo tanto,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

entonces, el CDF de es , entonces .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Ahora mostramos que no se distribuyen normalmente de manera conjunta. $X,Y$Como señala @cardinal, una caracterización de la multivariada normal es que cada combinación lineal de sus elementos está normalmente distribuida. no tienen esta propiedad, ya que$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Por lo tanto, es una mezcla de una variable aleatoria y una masa puntual en 0, por lo tanto, no puede distribuirse normalmente.$Y+X$$50/50$$N(0,4)$

La siguiente publicación contiene un resumen de una prueba, solo para dar las ideas principales y comenzar.

Sea dos variables aleatorias gaussianas independientes y sea ser $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Cada , pero como ambas son combinaciones lineales de los mismos r.vs independientes, son dependientes conjuntamente.$X_i \sim N(\mu_i, \sigma_i^2)$

Definición Se dice que un par de r.vs es bivariante normalmente distribuido si se puede escribir como una combinación lineal de r.vs normal independiente .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Lema Si es una Gaussiana bivariada, cualquier otra combinación lineal de ellas es nuevamente una variable aleatoria normal.$x = (X_1, X_2)$

Prueba . Trivial, saltado para no ofender a nadie.

Propiedad Si no están correlacionadas, entonces son independientes y viceversa.$X_1, X_2$

Distribución de$X_1 | X_2$

Suponga que son los mismos r.vs gaussianos que antes pero supongamos que tienen una varianza positiva y una media cero para simplificar.$X_1, X_2$

Si es el subespacio que abarca , deje que y .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ y son combinaciones lineales de , por lo que también lo son. Son conjuntamente gaussianos, no correlacionados (lo prueban) e independientes.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

La descomposición mantiene con

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Entonces

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Dos variables aleatorias gaussianas univariadas son conjuntamente gaussianas si las condicionales e son gaussianos.X | Y Y | $X, Y$$X | Y$$Y|X$