¿Tomando muestras de una mezcla finita de distribuciones normales?

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . ¿Existe una manera eficiente de extraer muestras de una parte posterior de esta forma?

monte-carlo probability Chris Granade
fuente

¿Has probado el método de selección y lanzamiento? La selección se puede hacer razonablemente rápido de O (k) ir pasos.

dmckee --- ex-gatito moderador

Si la solución de Barron realmente no es correcta, y de hecho se refiere a un "modelo de mezcla", ¿podría usar ese término?

Neil G

Neil G: No soy un estadístico de oficio, más bien un físico que a veces necesita hacer uso de las estadísticas. Como tal, no sabía el término apropiado para describir lo que necesitaba. Sin embargo, puedo continuar y editar la pregunta ahora, para dejar más claro que los PDF se están sumando y no los RV.

Chris Granade

@ ChrisGranade: No estaba tratando de desanimarte. Solo quería asegurarme de que eso era lo que querías decir y sugerir la edición.

Neil G

¿Por qué no es práctico elegir función de los pesos y una muestra de la distribución uniforme en , luego la muestra ? Esto es solo moderadamente más costoso que muestrear una única distribución normal, el costo es independiente del número de distribuciones mixtas y no depende de que esas distribuciones sean normales.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

Jed Brown

Respuestas:

En principio, se podría preseleccionar el número de muestras que se extraerán de cada subdistribución, luego visitar cada subdistribución solo una vez y extraer más que el número de puntos.

Es decir

Encuentre el conjunto aleatorio tal que y respetando los pesos. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Creo que usted hace esto ~~dibujando una distribución de Poisson, una distribución~~ multinomial (vea los comentarios) de la media para cada subdistribución y luego normalizando la suma a . $w_i * n$ $n$

El trabajo aquí es $\mathcal{O}(k) * \mathcal{O}(n)$

Entonces hazlo

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

El trabajo aquí es $\mathcal{O}(n)$

Aunque esto significa que no obtienes el orden aleatorio. Si se requiere un orden aleatorio, debe barajar los sorteos (también big ). $\mathcal{O}(n)$

Parece que el primer paso es dominante en el tiempo de ejecución y del mismo orden que el algoritmo ingenuo, pero si está seguro de que todos podría aproximar las distribuciones de Poisson con distribuciones normales y acelerar el primer paso. $w_i * n \gg 1$

dmckee --- gatito ex moderador
fuente

La distribución de

no es una distribución de Poisson si

es fija, sino una distribución binomial.

n_{i}

$n_i$

n

$n$

Frédéric Grosshans

@ FrédéricGrosshans Uhm ... aquí es donde admito mi angustiante debilidad en la probabilidad. Mirando creo que puede que tengas razón. No tengo un enlace para lanzar distribuciones binomiales arbitrarias, pero wikipedia tiene algunas referencias . También hay una relación entre Poisson y Binomial que voy a afirmar que fue responsable de mi incertidumbre. Sí, ese es el boleto.

dmckee --- ex-gatito moderador

@dmckee: Buena respuesta para dibujar a partir de un modelo mixto, excepto que debería ser una distribución multinomial en lugar de una distribución de Poisson en el paso 1.

Neil G

Nota: La versión original de esta pregunta se refería a una "suma ponderada de distribuciones normales" para la cual la siguiente respuesta podría ser útil. Sin embargo, después de un buen debate sobre esta respuesta, la respuesta de @Geoff, y sobre la pregunta en sí, quedó claro que la pregunta era realmente sobre el muestreo de una "mezcla de distribuciones normales" a la que esta respuesta no es aplicable.

La suma de las distribuciones normales es una distribución normal, por lo que puede calcular los parámetros de esta distribución única y luego simplemente tomar muestras de eso. Si llamamos a esa distribución entonces, $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s tu metro} = \sum_{yo = 1}^{k} w_{yo} μ_{yo}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s tu metro}^{2} = \sum_{yo = 1}^{k} w_{yo}^{2} σ_{yo}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

Barron
fuente

Para decirlo sucintamente, Chris está sumando funciones de densidad de probabilidad, no variables aleatorias.

Geoff Oxberry

Chris quiere un PDF que tenga (al menos en principio) múltiples protuberancias. Es decir, él era la suma de archivos PDF, no el PDF de una suma.

dmckee --- ex-gatito moderador

Es cierto que la suma de variables aleatorias distribuidas normalmente es en sí misma una variable aleatoria distribuida normalmente. Sin embargo, la suma de las distribuciones normales no es una distribución normal. Entonces, si

, es cierto que

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

, pero

. (El crédito va a @ChrisGranade por la explicación.)

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

Geoff Oxberry

@dmckee: esa no es una "suma ponderada de distribuciones normales", es una "mezcla de distribuciones normales".

Neil G

Los comentarios de @Barron no se consideran una parte esencial de la página. Definitivamente, debe editar su respuesta para incluir la esencia de los comentarios para que los lectores que no los vean no se engañen.

David Ketcheson

Actualización : esta respuesta es incorrecta, debido a la confusión en la terminología (consulte la cadena de comentarios a continuación para obtener más detalles); Solo lo dejo como guía para que la gente no vuelva a publicar esta respuesta (además de Barron). Por favor no lo vote hacia arriba o hacia abajo.

Solo usaría propiedades de variables aleatorias para reducirlo a una sola variable aleatoria normalmente distribuida. La suma de dos variables aleatorias independientes, normalmente distribuidas, es en sí misma una variable aleatoria , por lo que si y , entonces $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim norte (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

Además, si , entonces $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim norte (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Usando estos dos resultados combinados, entonces

PAG r (θ El | re una t una) \sim norte (\sum_{yo = 1}^{k} w_{yo} μ_{yo}, \sum_{yo = 1}^{k} w_{yo}^{2} σ_{yo}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Entonces, en este caso, solo necesitará extraer muestras de una única distribución, lo que debería ser mucho más manejable.

Geoff Oxberry
fuente

Esta es la solución a un problema diferente que se puede ver en el hecho de que la distribución original es multimodal y su sugerencia es unimodal.

Chris Ferrie

@ChrisFerrie: Te creo, pero según la notación, estoy confundido acerca de por qué la distribución anterior sería multimodal, mientras que la suma de dos variables aleatorias gaussianas independientes no lo sería. ¿Que me estoy perdiendo aqui?

Geoff Oxberry

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Ah, estás viendo sumas de archivos PDF. Sí, esa es una bestia completamente diferente. Ahora que leo la pregunta más de cerca, veo lo que estás diciendo y voy a eliminar mi respuesta. ¡Gracias!

Geoff Oxberry

He recuperado mi respuesta eliminada anteriormente solo para servir como guía para otros, de modo que nadie más responda esta pregunta como lo hicimos Barron y yo. Por favor, no suba ni baje mi respuesta nunca más.

Geoff Oxberry