¿Por qué funciona la convolución?

Entonces sé que si queremos encontrar la distribución de probabilidad de una suma de variables aleatorias independientes $X + Y$ , podemos calcularla a partir de las distribuciones de probabilidad de $X$ e $Y$ , diciendo

f_{X + Y} (a) = \int_{x = - \infty}^{\infty} f_{X, Y} (X = x, Y = a - x) d x = \int_{x = - \infty}^{\infty} f_{X} (x) f_{Y} (a - x) d x

$f_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x = -\infty}^{\infty} f_X(x) f_Y(a - x)~dx$

Intuitivamente, esto tiene sentido, porque si queremos encontrar la probabilidad de que dos variables aleatorias sumen a $a$ , es básicamente la suma de las probabilidades de todos los eventos que conducen a que esas variables sumen a $a$ . Pero, ¿cómo puedo probar formalmente esta afirmación?

probability Jessica
fuente

Pregunta ligeramente diferente, pero la respuesta es similar .

Carl

Respuestas:

La solución más general considera $Z = X + Y$ donde $X$ e $Y$ no son necesariamente independientes. Una estrategia de solución común para problemas en los que se pregunta de dónde vino un PDF o cómo justificarlo, es encontrar un acumulativo probablemente en su lugar, luego diferenciarlo para reducir el CDF a un PDF.

Es bastante fácil ver que en ese caso donde es la región delplano - para el que . $F_Z(z) = \mathrm{P}(Z \leq z) = \int \int_R f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y$ $R$ $x$ $y$ $x + y \leq z$

Esta es la región sombreada en azul en el siguiente diagrama. Es natural integrarse sobre esta región dividiéndola en tiras; lo he hecho con tiras verticales, pero las horizontales funcionarán. Efectivamente, termino con una tira para cada coordenada , que varía de a , y a lo largo de cada tira quiero que los valores de no se eleven por encima de la línea , entonces . $x$ $-\infty$ $\infty$ $y$ $x + y = z$ $y \leq z - x$

z <x + y

$x$ $y$ $u=x$ $v=x+y$ $z$ $v$

F_{Z} (z) = \int_{x = - \infty}^{x = \infty} \int_{y = - \infty}^{y = z - x} f_{X, Y} (x, y) d x d y = \int_{v = - \infty}^{v = z} \int_{u = - \infty}^{y = \infty} f_{X, Y} (u, v - u) d u d v

$F_Z(z) = \int_{x = -\infty}^{x=\infty}\int_{y=-\infty}^{y=z-x}f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int_{v = -\infty}^{v=z}\int_{u=-\infty}^{y=\infty}f_{X,Y}(u,v-u)\,\mathrm{d}u\,\mathrm{d}v$

$z$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X, Y} (u, z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_{X,Y}(u, z-u)\,\mathrm{d}u$

$X$ $Y$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X} (u) f_{Y} (z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_X(u)f_Y(z-u)\,\mathrm{d}u$

$u$ $x$

Mi notación para las integrales sigue exactamente la Sección 6.4 de Geoffrey Grimmett y Dominic Walsh, Probability: An Introduction , Oxford University Press, Nueva York, 2000.

Lepisma
fuente

\iint \dots d x d y

$\iint \cdots \mathrm{d}x\,\mathrm{d} y$

x

$x$

y

$y$

\int (\int \dots d x) d y

$\int\left(\int \cdots \mathrm{d}x\right)\mathrm{d}y$

@whuber, pensando en eso, esa es ciertamente la convención que se aplica en casi todos los libros de texto que conozco (por lo que la integración múltiple es integrales efectivamente anidadas). Pero hojeando, Grimmett y Welsh "Probability: An Introduction" son absolutamente consistentes con su propia convención del mismo orden izquierda-derecha para límites y diferenciales, por ejemplo, dan !

\int_{u} \int_{v} \int_{w} . . . d u d v d w

$\int_u \int_v \int_w ... du\,dv\,dw$

Silverfish

Me divierte constantemente cómo, en la intersección de muchos campos, estamos expuestos a convenciones conflictivas. Es una de las alegrías de trabajar con personas de diferentes orígenes.

whuber

@whuber Soy consciente de que las convenciones para establecer integrales varían enormemente de un país a otro; lo disfrutará de Tex SE tex.stackexchange.com/a/88961/25866 y ¡desearía que se ampliara para cubrir la integración múltiple!

Silverfish

La afirmación es verdadera si y solo si el lado derecho actúa como una densidad para ; es decir, $X+Y$

F_{X + Y} (a) = P (X + Y \leq a) = \int_{- \infty}^{a} f_{X + Y} (z) d z = \int_{- \infty}^{a} (\int f_{X} (x) f_{Y} (z - x) d x) d z

$F_{X+Y}(a)=\mathbb{P}(X+Y\le a) = \int_{-\infty}^a f_{X+Y}(z)\,\mathrm{d}z = \int_{-\infty}^a \left(\int f_X(x) f_Y(z-x)\,\mathrm{d}x\right)\mathrm{d}z$

por todo . Verifiquemos esto comenzando con el lado derecho. $a$

Aplica el Teorema de Fubini para cambiar el orden de integración y hacer la sustitución . El determinante de su jacobiano es , por lo que este cambio de variables no introduce términos adicionales. Tenga en cuenta que debido a que e están en correspondencia uno a uno y if y solo if , podemos reescribir la integral como $z = x+y$ $1$ $z$ $y$ $-\infty \lt z \le a$ $-\infty \lt y \lt a-x$

= \int (\int_{- \infty}^{a - x} f_{X} (x) f_{Y} (y) d y) d x .

$=\int \left(\int_{-\infty}^{a-x}f_X(x)f_Y(y)\,\mathrm{d} y\right)\mathrm{d}x.$

Por definición, esta es la integral sobre de $\mathbb{R}^2$

= \iint I (x + y \leq a) f_{X} (x) f_{Y} (y) d y d x

$=\iint I(x+y\le a)f_X(x)f_Y(y)\,\mathrm{d}y\,\mathrm{d}x$

donde es la función indicadora de un conjunto. Finalmente, dado que e son independientes, para todos , revelando la integral como meramente la expectativa $I$ $X$ $Y$ $f_{(X,Y)}(x,y) = f_X(x)f_Y(y)$ $(x,y)$

= \iint I (x + y \leq a) f_{(X, Y)} (x, y) d y d x = E (I (X + Y \leq a)) = P (X + Y \leq a),

$=\iint I(x+y\le a)f_{(X,Y)}(x,y)\,\mathrm{d}y\,\mathrm{d}x = \mathbb{E}(I(X+Y\le a))=\mathbb{P}(X+Y\le a),$

como se desee.

De manera más general, incluso cuando uno o ambos de o no tienen una función de distribución, aún podemos obtener $X$ $Y$

F_{X + Y} (a) = E_{X} (F_{Y} (a - X)) = E_{Y} (F_{X} (a - Y))

$F_{X+Y}(a) = \mathbb{E}_X\left(F_Y(a-X)\right) = \mathbb{E}_Y\left(F_X(a-Y)\right)$

directamente de las definiciones básicas, utilizando la expectativa de los indicadores para ir y venir entre probabilidades y expectativas y explotando el supuesto de independencia para dividir el cálculo en expectativas separadas con respecto a e : $X$ $Y$

\begin{aligned} P (X + Y \leq a) & = E (I (X + Y \leq a)) \\ = E_{X} (E_{Y} (I (X + Y \leq a)) \\ = E_{X} (P_{Y} (Y \leq a - X)) \\ = E_{X} (F_{Y} (a - X)) . \end{aligned}

$\eqalign{ \mathbb{P}(X+Y\le a) &= \mathbb{E}(I(X+Y\le a)) \\ &= \mathbb{E}_X\left(\mathbb{E}_Y(I(X+Y\le a)\right) \\ &= \mathbb{E}_X\left(\mathbb{P}_Y(Y\le a-X)\right) \\ &=\mathbb{E}_X(F_Y(a-X)). }$

Esto incluye las fórmulas habituales para variables aleatorias discretas, por ejemplo, aunque en una forma ligeramente diferente de lo habitual (porque se establece en términos de los CDF en lugar de las funciones de probabilidad de masa).

Si tiene un teorema lo suficientemente fuerte sobre el intercambio de derivadas e integrales, puede diferenciar ambos lados con respecto a para obtener la densidad de un solo golpe, $a$ $f_{X+Y}$

\begin{aligned} f_{X + Y} (a) & = \frac{d}{d a} F_{X + Y} (a) = E_{X} (\frac{d}{d a} F_{Y} (a - X)) = E_{X} (f_{Y} (a - X)) \\ = \int f_{X} (x) f_{Y} (a - x) d x . \end{aligned}

$\eqalign{ f_{X+Y}(a) &= \frac{\mathrm{d}}{\mathrm{d}a} F_{X+Y}(a) =\mathbb{E}_X\left(\frac{\mathrm{d}}{\mathrm{d}a} F_Y(a-X)\right) = \mathbb{E}_X \left(f_Y(a-X)\right) \\ &= \int f_X(x) f_Y(a-x) \,\mathrm{d} x. }$

whuber
fuente