Interpretación de la derivada del radón-Nikodym entre medidas de probabilidad?

He visto en algunos puntos el uso de la derivada Radon-Nikodym de una medida de probabilidad con respecto a otra, especialmente en la divergencia Kullback-Leibler, donde es la derivada de la medida de probabilidad de un modelo para algún parámetro arbitrario con respecto al parámetro real :$\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Donde ambas son medidas de probabilidad en el espacio de puntos de datos condicionales a un valor de parámetro: .$P_\theta(D)=P(D|\theta)$

¿Cuál es la interpretación de una derivada de Radon-Nikodym en la divergencia Kullback-Leibler, o más generalmente entre dos medidas de probabilidad?

Primero, no necesitamos medidas de probabilidad, solo -finiteness. Así que vamos a sea un espacio medible y dejar que y ser medidas -finite en .M = ( Ω , F ) μ ν σ $\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

El teorema de Radon-Nikodym establece que si para todo , denotado por , entonces existe un Borel no negativo función tal que para todos los .A ∈ F μ ≫ ν f ν ( A ) = ∫ A$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$A ∈

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Así es como me gusta pensar en esto. Primero, para cualesquiera dos medidas en , definamos como . Esta es una relación de equivalencia válida y decimos que y son equivalentes en este caso. ¿Por qué es esto una equivalencia sensata para las medidas? Las medidas son solo funciones, pero sus dominios son difíciles de visualizar. ¿Qué pasa si dos funciones ordinarias tienen esta propiedad, es decir, ? Bueno, defina y tenga en cuenta que en cualquier lugar con el apoyo de μ ∼ ν μ ( A ) = $\mathcal M$$\mu \sim \nu$μ ν f , g : R → R f ( x ) = $\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$h ( x ) = { f ( x ) / g ( x ) g ( x ) ≠ 0 π e o.w. g g h = f g g h = 0 ⋅ π e = 0 = f f g h g f 0 / 0 g = 0 h π $f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$ tenemos , y fuera del soporte de (ya que y comparten soportes) entonces nos permite reescalar en . Como señala @whuber, la idea clave aquí no es que sea ​​de alguna manera "seguro" para hacer o ignorar, sino que cuando no importa lo que haga , así que podemos definirlo arbitrariamente (como ser que no tiene un significado especial aquí) y las cosas aún funcionan. También en este caso podemos definir la función análoga con para que$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$$h'$$g / f$$fh' = g$ .

Luego suponga que , pero la otra dirección no necesariamente se cumple. Esto significa que nuestra definición anterior de todavía funciona, pero ahora no funciona ya que tendrá divisiones reales entre . Por lo tanto, podemos reescalar en mediante , pero no podemos ir en la otra dirección porque tendríamos que reescalar algo en algo que no sea cero.$g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Ahora regresemos a y y denotemos nuestro RND por . Si , esto intuitivamente significa que uno puede reescalarse en el otro, y viceversa. Pero generalmente solo queremos ir en una dirección con esto (es decir, cambiar la escala de una buena medida como la medida de Lebesgue a una medida más abstracta), por lo que solo necesitamos para hacer cosas útiles. Este cambio de escala es el corazón de la RND.$\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Volviendo al punto de @ whuber en los comentarios, hay una sutileza adicional de por qué es seguro ignorar el problema de . Esto se debe a que con las medidas solo estamos definiendo cosas hasta conjuntos de medidas por lo que en cualquier conjunto con podemos hacer que nuestro RND tome cualquier valor, digamos . Por lo tanto, no es que sea ​​intrínsecamente seguro, sino que en cualquier lugar donde tendríamos es un conjunto de medidas wrt para que podamos definir nuestro RND como algo agradable allí sin afectar nada.$0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$

Como ejemplo, supongamos que para algunos . Entonces entonces tenemos que es el RND (esto puede justificarse más formalmente por el teorema del cambio de medidas). Esto es bueno porque hemos recuperado exactamente el factor de escala.$k \cdot \mu = \nu$$k > 0$

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$

Aquí hay un segundo ejemplo para enfatizar cómo cambiar los RND en conjuntos de medida no los afecta. Sea , es decir, es el PDF normal estándar más si la entrada es racional, y sea un RV con esta densidad. Esto significa por lo que en realidad sigue siendo un RV gaussiano estándar. No ha afectado la distribución de ninguna manera para cambiar en porque es un conjunto de medida wrt$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$ .

Como último ejemplo, suponga que e y deje que y sean sus respectivas distribuciones. Recuerde que un pmf es un RND con respecto a la medida de conteo , y dado que tiene la propiedad de que , resulta que $X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

para que podamos calcular

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Por lo tanto, debido a que para todo en el soporte de , podemos reescalar la integración con respecto a una distribución de Poisson en integración con respecto a una distribución binomial, aunque debido a que todo es discreto resulta trivial resultado.$P(X = n) > 0$$n$$Y$

---

Abordé tu pregunta más general, pero no toqué las divergencias de KL. Para mí, al menos, encuentro que la divergencia de KL es mucho más fácil de interpretar en términos de pruebas de hipótesis como la respuesta de @kjetil b halvorsen aquí . Si y existe una medida que domina a ambos, entonces se usa podemos recuperar la forma con densidades, así que para mí eso es más fácil.$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$