Identidad integral del lema contenido en el documento infoGAN

8

Me he encontrado con un lema en el artículo de infoGAN . No entiendo la derivación de Lemma 5.1 en el apéndice del documento. Va de la siguiente manera (incluido como png):

No entiendo el último paso. ¿Por qué uno puede tirar $f(x,y)$ en lo más interno, transformándolo en $f(x',y)$ ? ¿Cuáles son las condiciones de regularidad adecuadas de $f$ ?

probability pdf conditional-expectation integral espurra
fuente

Miré el papel y no creo que la prueba que escribiste arriba sea exactamente la misma que la del papel. Me pareció que f (x, y) se extrajo de la integral más interna porque no depende de x '.

Michael R. Chernick

El png es una captura de pantalla del periódico :)

spurra

5

Considera la diferencia

D = \int_{x} \int_{y} P (x, y) \int_{x^{'}} P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y

$D = \int_x \int_y P(x,y) \int_{x'} P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy$ obtenido moviendo

f (x, y)

$f(x,y)$ en el

x^{'}

$x'$ integral, y tomando la diferencia con

x

$x$ reemplazado por

x^{'}

$x'$ . Condicionalizar

x

$x$ en

y

$y$ ,

D = \int_{y} P (y) \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y .

$D = \int_y P(y) \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy.$ Este objeto interior

δ = \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x

$\delta = \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx$ es antisimétrico después de intercambiar las variables ficticias

x

$x$ y

x^{'}

$x'$ , convirtiéndose en su propio negativo, por lo que es igual a cero. Sospecho que las condiciones de regularidad son simplemente aquellas que evitan que estas integrales diverjan.

jwimberley
fuente

Todavía no he tenido tiempo de revisar tu respuesta. Le he otorgado la recompensa de buena fe, ya que está a punto de finalizar en 10 minutos, y me pondré en contacto con usted con cualquier posible pregunta de aclaración que tenga.

spurra

1

¿Es este un truco bien conocido? Sin su explicación, creo que es bastante difícil seguir la prueba en el documento.

Attila Kun

1

@kahoon, la respuesta de William a continuación es bastante idéntica a la mía pero mucho más sencilla. De hecho, me preocupaban las condiciones de regularidad, pero creo que otra respuesta muestra que son irrelevantes. Yo diría que ambos trucos son bien conocidos, pero el simple cambio y conmutación de viaje que William muestra es probablemente la forma en que los lectores debían seguirlo; Creo que habría sido más claro si hubieran agregado la línea extra que muestra William.

jwimberley

@jwimberley ¡Gracias! La parte de "intercambiar xyx '" de la respuesta de William me confundió por un momento, pero supongo que es legal, ya que solo estamos volviendo a etiquetar las variables ficticias, ¿verdad?

Attila Kun

@kahoon Exactamente

jwimberley

3

O, después de la tercera fila

\begin{aligned} = \int_{x} \int_{y} p (x | y) p (y) f (x, y) \int_{x^{'}} p (x^{'} | y) d x^{'} d y d x \\ = \int_{x} \int_{y} p (x | y) f (x, y) \int_{x^{'}} p (x^{'}, y) d x^{'} d y d x . \end{aligned}

$\begin{align} &=\int_x\int_yp(x|y)p(y)f(x,y)\int_{x'}p(x'|y)dx'dydx\\ &=\int_x\int_yp(x|y)f(x,y)\int_{x'}p(x',y)dx'dydx. \end{align}$

Intercambiar $x$ y $x'$ luego intercambie el orden de las variables. Hecho

Guillermo
fuente

0

Bueno, creo que será más intuitivo si derivamos la ecuación inversamente como

\begin{aligned} E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] & = \int_{x} p (x) \int_{y} p (y | x) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d y d x \\ = \int_{y} p (y) \int_{x} p (x | y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d x d y \\ = \int_{y} p (y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) \underset{= 1}{\underset{⏟}{\int_{x} p (x | y) d x}} d x^{'} d y \\ = \int_{y} p (y) \int_{x} p (x | y) f (x, y) d x d y \\ = \int_{x} p (x) \int_{y} p (y | x) f (x, y) d y d x \\ = E_{x \sim X, y \sim Y | x} [f (x, y)] \end{aligned}

$\begin{align*} E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right] & = \int_x p(x) \int_y p(y|x) \int_{x'} p(x'|y) f(x', y) dx'dydx \\ & = \int_y p(y) \int_x p(x|y) \int_{x'} p(x'|y) f(x', y) dx'dxdy \\ & = \int_y p(y) \int_{x'} p(x'|y) f(x', y) \underbrace{\int_x p(x|y) dx}_{=1}dx'dy \\ & = \int_y p(y) \int_{x} p(x|y) f(x, y) dxdy \\ & = \int_x p(x) \int_{y} p(y|x) f(x, y) dydx \\ & = E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] \end{align*}$

Rehuir
fuente

0

La afirmación

\begin{matrix} (1) & E_{x \sim X, y \sim Y | x} [f (x, y)] = E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] \end{matrix}

$E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] = E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right]\tag1$ realmente dice:

Si el vector aleatorio $(X,Y,X')$ tiene distribución conjunta
$\begin{matrix} (2) & P_{X, Y, X^{'}} (x, y, z) = P_{X} (x) P_{Y | X} (y | x) P_{X | Y} (z | y), \end{matrix}$ $P_{X,Y,X'}(x,y,z)=P_X(x)P_{Y|X}(y|x)P_{X|Y}(z|y),\tag2$ entonces $E[f(X,Y)] = E[f(X',Y)]$ .

El resultado se desprende del hecho de que $(X,Y)$ tiene la misma distribución que $(X',Y)$ , que se ve desde:

P_{X^{'} | Y} (z | y) = \int_{x} \frac{P_{X, Y, X^{'}} (x, y, z)}{P_{Y} (y)} d x \overset{(2)}{=} \int_{x} P_{X | Y} (x | y) P_{X | Y} (z | y) d x = P_{X | Y} (z | y) .

$P_{X'|Y}(z|y)=\int_x\frac{ P_{X,Y,X'}(x,y,z)}{P_Y(y)}\,dx\stackrel{(2)}= \int_x P_{X|Y}(x|y)P_{X|Y}(z|y)\,dx=P_{X|Y}(z|y).$ Aquí no se requiere mucha regularidad además de la existencia de la expectativa

E f (X, Y)

$Ef(X,Y)$ .

grand_chat
fuente

Identidad integral del lema contenido en el documento infoGAN

Respuestas: