¿Cuál es la caracterización más sorprendente de la distribución gaussiana (normal)?

52

Una distribución gaussiana estandarizada en se puede definir dando explícitamente su densidad: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

o su función característica.

Como se recuerda en esta pregunta, también es la única distribución para la cual la media y la varianza de la muestra son independientes.

¿Cuáles son otras caracterizaciones alternativas sorprendentes de las medidas gaussianas que conoces? Aceptaré la respuesta más sorprendente

probability normal-distribution mathematical-statistics characteristic-function robin girard
fuente

39

Lo que más me sorprende es el de la media y la varianza de la muestra, pero aquí hay otra (quizás) caracterización sorprendente: si e son IID con varianza finita con e independientes, entonces e son normales. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Intuitivamente, generalmente podemos identificar cuándo las variables no son independientes con un diagrama de dispersión. Así que imagine un diagrama de dispersión de pares que parece independiente. Ahora gire 45 grados y mire de nuevo: si todavía se ve independiente, entonces las coordenadas e individualmente deben ser normales (todo esto habla libremente, por supuesto). $(X,Y)$ $X$ $Y$

Para ver por qué funciona el bit intuitivo, eche un vistazo a

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

usuario1108
fuente

3

Jay: esto es básicamente una reformulación de la media y la varianza como independientes. es una media reescalada y es una desviación estándar reescalada.

X + Y

$X+Y$

X - Y

$X-Y$

probabilidadislogica

55

@probabilityislogic: me gusta la intuición de lo que dijiste, pero no creo que sea exactamente una reformulación porque no es exactamente un cambio de escala de la SD: la SD olvida el signo. Por lo tanto, la independencia de la media y la DE se deriva de la independencia de , (cuando ), pero no al revés. Eso puede haber sido lo que quisiste decir con "básicamente". De todos modos, es algo bueno.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

44

¿Dónde podemos encontrar pruebas de esta propiedad?

Royi

1

@Royi ver 16. aquí . Para (a), tenga en cuenta que . Para (b) tenga en cuenta que que anhela la sustitución de donde obtiene . Si , entonces , por lo tanto, para todos , y hay una secuencia tal que y para todo , lo que contradice la continuidad de en

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) es directo [continuación]

Gabriel Romon

1

Para (d), . Tenga en cuenta que , por lo tanto, . Conecte esto en la igualdad anterior y pruebe que para fijo , que implica para todo . Esto significa que es real, y la igualdad en (a) se convierte en lo que se pide. Nuevamente, pruebe que y use para obtener . Por lo tanto, y

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ es normal.

Gabriel Romon

27

La distribución continua con varianza fija que maximiza la entropía diferencial es la distribución gaussiana.

shabbychef
fuente

22

Hay un libro completo escrito sobre esto: "Caracterizaciones de la ley de probabilidad normal", AM Mathai y G. Perderzoli. Una breve revisión en JASA (diciembre de 1978) menciona lo siguiente:

Deje ser variables aleatorias independientes. Entonces y son independientes, donde , si y solo si [están] normalmente distribuidos. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
fuente

3

debe haber una condición como falta? por ejemplo si n = 2 y no son independientes.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

robin girard

1

@robin buena captura. También he estado desconcertado sobre los cuantificadores implícitos. Desafortunadamente, todo lo que tengo acceso es esa cita (emocionante) de la reseña, no el libro. Sería divertido encontrarlo en una biblioteca y examinarlo ...

whuber

Esto se siente como una generalización de la respuesta de G. Jay Kerns (actualmente # 1).

vqv

Creo que puede estar buscando el artículo de Lukacs y King (1954). Vea esta respuesta en matemáticas. SE con un enlace al documento antes mencionado.

cardenal

2

Cuando esta proposición dice "donde ", ¿significa para CADA conjunto de escalares donde "? Odio ver" donde "se usa en lugar de" para cada "o" para algunos "." Donde "debe usarse para explicar la propia notación, como en" donde es la velocidad de la luz es el producto interno bruto ", etc.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

Las distribuciones gaussianas son las únicas distribuciones de suma estable con varianza finita.

shabbychef
fuente

8

El CLT nos impone que son absolutamente estables y que son los únicos con variación finita. ¡La parte interesante de esta afirmación es que existen otras distribuciones de suma estable!

whuber

1

@whuber: de hecho! esta caracterización está un poco retorcida, y las otras distribuciones de suma estable son quizás más curiosas.

shabbychef

@whuber en realidad, no veo cómo el CLT implica este hecho. Solo parece decirnos que asintóticamente , la suma de las normales es normal, no que cualquier suma finita se distribuya normalmente. ¿O tienes que usar de alguna manera el teorema de Slutsky también?

shabbychef

3

Adoptando la normalización habitual, una suma de dos normales es la suma de una distribución normal X_0 más la distribución limitante de una serie X_1, X_2, ..., de donde la suma es la distribución limitante de X_0, X_1, ..., que por el Lindeberg-Levy CLT es normal.

whuber

17

Stemma Lemma proporciona una caracterización muy útil. es Gaussiano estándar iff para todas las funciones absolutamente continuas con . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

revs vqv
fuente

12

Teorema [Herschel-Maxwell]: Sea un vector aleatorio para el cual (i) las proyecciones en subespacios ortogonales son independientes y (ii) la distribución de depende solo de la longitud. Entonces se distribuye normalmente. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Citado por George Cobb en Enseñanza de estadísticas: Algunas tensiones importantes (Chileno J. Estadísticas Vol. 2, No. 1, abril de 2011) en la pág. 54)

Cobb usa esta caracterización como un punto de partida para derivar las , y , sin usar Cálculo (o mucha teoría de probabilidad). $\chi^2$ $t$ $F$

whuber
fuente

9

Sea y dos variables aleatorias independientes con una distribución simétrica común tal que $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Entonces estas variables aleatorias son gaussianas. (Obviamente, si y están centrados en gauss, es cierto). $\xi$ $\eta$

Este es el teorema de Bobkov-Houdre

robin girard
fuente

9

Esto no es una caracterización sino una conjetura, que data de 1917 y se debe a Cantelli:

Si es una función positiva en y e son variables aleatorias independientes tales que es normal, entonces es una constante en casi todas partes. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Mencionado por Gérard Letac aquí .

Quizás
fuente

es bueno que lo menciones! No puedo entender la intuición, ¿verdad?

robin girard

@robin Esto es lo que hace que esta conjetura sea tan especial: una declaración completamente elemental, algunos enfoques obvios que fallan miserablemente (funciones características), y uno no tiene nada que entender ... Por cierto, si uno apuesta a que la conjetura sea cierta ¿o falso? Incluso eso no es obvio (para mí).

Hizo

2

Si Gérard Letac no ha logrado demostrarlo, ¡podría ser una conjetura abierta durante bastante tiempo ...!

Xi'an

@ Xi'an: Estoy totalmente de acuerdo, por supuesto. (No sabía que estabas en roaming en estos cuartos de la web ... Buenas noticias que sí.)

Lo hizo el

66

@ Xi'an Aquí hay una preimpresión de Victor Kleptsyn y Aline Kurtzmann con un contraejemplo a la conjetura de Cantelli. La construcción utiliza una nueva herramienta, que los autores llaman el transporte de masas browniano, y produce una función discontinua . Los autores afirman que creen que la conjetura de Cantelli se cumple si uno pregunta que es continua (la suya es una mezcla de dos funciones continuas).

f

$f$

f

$f$

¿Se

8

Supongamos que uno está estimando un parámetro de ubicación utilizando los datos de iid . Si es el estimador de máxima verosimilitud, entonces la distribución de muestreo es gaussiana. De acuerdo con la Teoría de la probabilidad de Jaynes : la lógica de la ciencia, páginas 202-4, así fue como Gauss la derivó originalmente. $\{x_1,...,x_n\}$ $\bar{x}$

Cian
fuente

No estoy seguro de entender esto como una caracterización de la distribución normal, por lo que probablemente me falta algo. ¿Qué pasaría si tuviéramos datos de iid Poisson y quisiéramos estimar ? El MLE es pero la distribución de muestreo de no es gaussiana; en primer lugar, tiene que ser racional; en segundo lugar, si fuera gaussiano, también sería pero eso es .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish

2

¡La media de Poisson no es un parámetro de ubicación!

kjetil b halvorsen

6

Steutel y Van Harn (2004) presentan una caracterización más particular de la distribución normal entre la clase de distribuciones infinitamente divisibles .

Una variable aleatoria no degenerada divisible infinitamente tiene una distribución normal si y solo si satisface $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Este resultado caracteriza la distribución normal en términos de su comportamiento de cola.

usuario10525
fuente

1

Una breve prueba del límite establecido es el siguiente: si es normal estándar, entonces como , entonces . Pero y así el resultado sigue. Un bosquejo aproximado para el caso del Poisson parece indicar que el límite dado es , pero no lo comprobé demasiado de cerca.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

Cardenal

6

En el contexto del suavizado de imágenes (p. Ej. , Espacio de escala ), el gaussiano es el único núcleo separable * rotacionalmente simétrico.

Es decir, si requerimos donde , entonces la simetría rotacional requiere que es equivalente a .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Requerir que sea un núcleo adecuado requiere que la constante sea negativa y el valor inicial positivo, produciendo el núcleo gaussiano. $f[x]$

* En el contexto de las distribuciones de probabilidad, separable significa independiente, mientras que en el contexto del filtrado de imágenes permite que la convolución 2D se reduzca computacionalmente a dos convoluciones 1D.

GeoMatt22
fuente

2

+1 ¿Pero esto no se sigue de una aplicación inmediata del teorema de Herschel-Maxwell en 2D?

whuber

@whuber De hecho, ¡de alguna manera logré pasar por alto tu respuesta al leer este hilo!

ameba dice Reinstate Monica

@whuber Sí. No había leído este viejo hilo en detalle, y solo estaba agregando esta respuesta por solicitud.

GeoMatt22

1

@amoeba ver también aquí .

GeoMatt22

3

Recientemente, Ejsmont [1] publicó un artículo con una nueva caracterización del gaussiano:

Deje que sean vectores aleatorios independientes con todos los momentos, donde no son degenerados, y deje estadística tiene una distribución que depende solo de , donde y . Entonces son independientes y tienen la misma distribución normal con medias cero y para . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1] Ejsmont, Wiktor. "Una caracterización de la distribución normal por la independencia de un par de vectores aleatorios". Estadísticas y cartas de probabilidad 114 (2016): 1-5.

Daniel
fuente

1

Esa es una caracterización delicada y fascinante. ¡Gracias por mejorar este hilo compartiéndolo!

whuber

1

Su función característica tiene la misma forma que su pdf. No estoy seguro de otra distribución que haga eso.

Jason
fuente

44

Vea esta respuesta mía para conocer las formas de construir variables aleatorias cuyas funciones características son las mismas que sus archivos PDF.

Dilip Sarwate

-1

La expectativa más menos la desviación estándar son los puntos de silla de la función.

Tal Galili
fuente

11

Esta es una propiedad de la distribución Normal, sin duda, pero no la caracteriza , porque muchas otras distribuciones también tienen esta propiedad.

whuber

¿Cuál es la caracterización más sorprendente de la distribución gaussiana (normal)?

Respuestas: