Cómo distribuir de manera óptima los sorteos al calcular múltiples expectativas

Supongamos que queremos calcular algunas expectativas:

$$E_YE_{X|Y}[f(X,Y)]$$

Supongamos que queremos aproximar esto usando la simulación de Monte Carlo.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

Pero supongamos que es costoso para extraer muestras de ambas distribuciones, por lo que sólo podemos darnos el lujo de dibujar un número fijo . $K$

¿Cómo debemos asignar ? Los ejemplos incluyen sorteos para cada distribución, o en el extremo, un sorteo en el exterior y sorteos en el interior, viceversa, etc.$K$$K/2$$K-1$

Mi intuición me dice que tendrá que ver con la varianza / entropía de las distribuciones entre sí. Supongamos que la exterior es un punto de masa, entonces la división de que minimiza el error MC sería dibujar 1 de la y dibujar de la . $K$$Y$$K-1$$X|Y$

Esperemos que esto esté claro.

Esta es una pregunta muy interesante con poca documentación en la literatura de Monte Carlo, excepto en relación con la estratificación y la Rao-Blackwellisation . Esto posiblemente se deba al hecho de que los cálculos de la varianza condicional esperada y de la varianza de la expectativa condicional rara vez son factibles.

Primero, supongamos que ejecuta simulaciones desde π X , x 1 , ... , x R y para cada x r simulada , ejecuta simulaciones S desde π Y | X = x r , y 1 r , ... , y s r . Su estimación de Monte Carlo es entonces δ ( R , S ) = $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$ La varianza de esta estimación se descompone como sigue var { δ ( R , S )

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ Por lo tanto, si se quiere minimizar esta variación la elección óptima esR=K. Implicando queS=1. Excepto cuando el primer término de varianza es nulo, en cuyo caso no importa. Sin embargo, como se discutió en los comentarios, la suposiciónK=RSno es realista, ya que no tiene en cuenta la producción de unaxr[o supone que esto es gratis]. $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ $R=K$$S=1$$K=RS$$x_r$

Ahora supongamos diferentes costos de simulación y la restricción presupuestaria , lo que significa que el y r s 's de costes a veces más para simular que el x r ' s. La descomposición anterior de la varianza es entonces $R+aRS=b$$y_{rs}$$a$$x_r$ que puede minimizarse enRcomo R∗=b/1+{aEX[varY| X{f(xr,Y)| x

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ [el número entero más cercano bajo las restricciones R ≥ 1 y S ≥ 1 ], excepto cuando la primera varianza es igual a cero, en cuyo caso R = 1 . Cuando E X [ var Y | X { f ( x r $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ , la varianza mínima corresponde a una R máxima, lo que lleva a S = 1 en el formalismo actual.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Tenga en cuenta también que esta solución debe compararse con la solución simétrica cuando la integral interna está en dado Y y la integral externa está contra el marginal en Y (suponiendo que las simulaciones también sean factibles en este orden).$X$$Y$$Y$

Una extensión interesante de la pregunta sería considerar un número diferente de simulaciones para cada simulado x r , dependiendo del valor var Y | X { f ( x r , Y ) | x r } .$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$