Extracción de muestras de una distribución normal multivariada sujeta a restricciones cuadráticas

Me gustaría sacar muestras de manera eficiente $x \in \mathbb{R}^d$ de $\mathcal{N}(\mu, \Sigma)$ sujeto a la restricción de que $||x||_2 = 1$ .

La resolución formal de este problema primero requiere una definición adecuada de un

" distribución sujeta a la restricción de que "$\mathcal{N}_d(μ,Σ)$$||x||^2=1$

La forma natural es definir la distribución de condicional en . Y para aplicar este condicional al caso . Si usamos coordenadas polares , el jacobiano de la transformación es Por lo tanto, la densidad condicional de la distribución de$X\sim\mathcal{N}_d(μ,Σ)$$||X||=\varrho$$\varrho=1$

$$\eqalign{ x_1&=\varrho\cos(\theta_1)\qquad&\theta_1\in[0,\pi]\\ x_2&=\varrho\sin(\theta_1)\cos(\theta_2)\qquad&\theta_2\in[0,\pi]\\ &\vdots\\ x_{d-1}&=\varrho \left( \prod_{i=1}^{d-2}\sin(\theta_i) \right) \cos(\theta_{d-1})\qquad&\theta_{d-1}\in[0,2\pi]\\ x_{d}&=\varrho\prod_{i=1}^{d-1}\sin(\theta_i) }$$ $$\varrho^{d-1}\prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ $\mathbf{\theta}=(\theta_1,\ldots,\theta_{d-1})$ dado es $\varrho$ $$f(\mathbf{\theta}|\varrho) \propto \exp\frac{-1}{2}\left\{(x(\theta,\varrho)-\mu)^T\Sigma^{-1}(x(\theta,\varrho)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$

Conclusión: Esta densidad difiere de simplemente aplicar la densidad Normal a un punto en la esfera de la unidad debido a la Jacobia.

El segundo paso es considerar la densidad objetivo y diseñe un algoritmo de Monte Carlo en cadena de Markov para explorar el espacio de parámetros . Mi primer intento sería en una muestra de Gibbs, inicializada en el punto de la esfera más cercana a , es decir,, y siguiendo un ángulo a la vez de una manera Metrópolis dentro de Gibbs:

$$f(\mathbf{\theta}|\varrho=1) \propto \exp\frac{-1}{2}\left\{(x(\theta,1)-\mu)^T\Sigma^{-1}(x(\theta,1)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ $[0,\pi]^{d-2}\times[0,2\pi]$$\mu$$\mu/||\mu||$

1. Generar (donde se calculan las sumas módulo ) y acepte este nuevo valor con probabilidad else$\theta_1^{(t+1)}\sim\mathcal{U}([\theta_1^{(t)}-\delta_1,\theta_1^{(t)}+\delta_1])$$\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t)},...|\varrho=1)}{f(\theta_1^{(t)},\theta_2^{(t)},...|\varrho=1)}\wedge 1$$ $\theta_1^{(t+1)}=\theta_1^{(t)}$
2. Generar (donde se calculan las sumas módulo ) y acepte este nuevo valor con probabilidad más$\theta_2^{(t+1)}\sim\mathcal{U}([\theta_2^{(t)}-\delta_2,\theta_2^{(t)}+\delta_2])$$\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},\theta_3^{(t)},...|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t)},\theta_3^{(t)},...|\varrho=1)}\wedge 1$$ $\theta_2^{(t+1)}=\theta_2^{(t)}$
3. $\ldots$
4. Generar (donde las sumas se calculan módulo ) y acepta este nuevo valor con probabilidad más$\theta_{d-1}^{(t+1)}\sim\mathcal{U}([\theta_{d-1}^{(t)}-\delta_{d-1},\theta_{d-1}^{(t)}+\delta_{d-1}])$$2\pi$ $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t+1)}|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t)}| \varrho=1)}\wedge 1$$ $\theta_{d-1}^{(t+1)}=\theta_{d-1}^{(t)}$

Las escalas , , , se pueden escalar contra las tasas de aceptación de los pasos, hacia un objetivo ideal del .$\delta_1$$\delta_2$$\ldots$$\delta_{d-1}$$50\%$

Aquí hay un código R para ilustrar lo anterior, con valores predeterminados para y :$\mu$$\Sigma$

library(mvtnorm)
d=4
target=function(the,mu=1:d,sigma=diag(1/(1:d))){
 carte=cos(the[1])
 for (i in 2:(d-1))
  carte=c(carte,prod(sin(the[1:(i-1)]))*cos(the[i]))
 carte=c(carte,prod(sin(the[1:(d-1)])))
 prod(sin(the)^((d-2):0))*dmvnorm(carte,mean=mu,sigma=sigma)}
#Gibbs
T=1e4
#starting point
mu=(1:d)
mup=mu/sqrt(sum(mu^2))
mut=acos(mup[1])
for (i in 2:(d-1))
  mut=c(mut,acos(mup[i]/prod(sin(mut))))
thes=matrix(mut,nrow=T,ncol=d-1,byrow=TRUE)
delta=rep(pi/2,d-1)     #scale
past=target(thes[1,])   #current target
for (t in 2:T){
 thes[t,]=thes[t-1,]
 for (j in 1:(d-1)){
   prop=thes[t,]
   prop[j]=prop[j]+runif(1,-delta[j],delta[j])
   prop[j]=prop[j]%%(2*pi-(j<d-1)*pi)
   prof=target(prop)
   if (runif(1)<prof/past){
     past=prof;thes[t,]=prop}
   }
}

$||x||_2^2=1$ no es estrictamente posible ya que es una variable aleatoria (continua). Si desea que tenga una varianza de 1, es decir, (donde la tilde significa que estimamos la varianza), entonces necesitaría requerir que su varianza sea . Sin embargo, esta demanda puede entrar en conflicto con . Es decir, para obtener muestras con esta varianza, necesita que la diagonal de sea ​​igual a .$x$$E[(x-\mu)^2]\tilde{=} \frac{1}{n}\sum (x-\mu)^2=\frac{1}{n} ||x-n||_2^2=\frac{1}{n}$$\frac{1}{n}$$\Sigma$$\Sigma$$\frac{1}{n}$

Para muestrear esta distribución en general, puede generar iid normales normales y luego multiplicar por , la raíz cuadrada de , y luego agregar los medios .$\Sigma^{0.5}$$\Sigma$$\mu$