El teorema de Halmos-Savage dice que para un modelo estadístico dominado una estadística es suficiente si (y solo si) para todos hay una versión medible de la derivada Radon Nikodym donde es un medida privilegiada tal que para y .$(\Omega, \mathscr A, \mathscr P)$$T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A')$$\{P \in \mathscr{P} \}$$T$$\frac{dP}{dP*}$$dP*$$P*=\sum_{i=1}^\infty P_i c_i$$c_i >0, \sum _{i=1}^\infty c_i =1$$P_i \in \mathscr P$

Traté de obtener una comprensión intuitiva de por qué el teorema es verdadero, pero no tuve éxito, por lo que mi pregunta es si hay una forma intuitiva de entender el teorema.

Un lema técnico

No estoy seguro de cuán intuitivo es esto, pero el resultado técnico principal que subyace a su declaración del Teorema de Halmos-Savage es el siguiente:

Lema Sea una medida -finite en . Suponga que es una colección de medidas en modo que para cada , . Entonces existe una secuencia de números no negativos y una secuencia de elementos de , tal que y por cada .$\mu$$\sigma$$(S, \mathcal{A})$$\aleph$$(S, \mathcal{A})$$\nu \in \aleph$$\nu \ll \mu$$\{c_i\}_{i=1}^\infty$$\aleph$$\{\nu_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\nu \ll \sum_{i=1}^\infty c_i \nu_i$$\nu \in \aleph$

Esto se toma textualmente del Teorema A.78 en Teoría de la estadística de Schervish (1995) . Allí lo atribuye a las Pruebas de hipótesis estadísticas de Lehmann (1986) ( enlace a la tercera edición ), donde el resultado se atribuye a Halmos y Savage (ver Lema 7). Otra buena referencia es la estadística matemática de Shao (segunda edición, 2003) , donde los resultados relevantes son Lemma 2.1 y Teorema 2.2.

El lema anterior establece que si comienza con una familia de medidas dominada por una medida -finite, de hecho, puede reemplazar la medida dominante por una combinación convexa contable de medidas dentro de la familia. Schervish escribe antes de establecer el Teorema A.78,$\sigma$

"En las aplicaciones estadísticas, a menudo tendremos una clase de medidas, cada una de las cuales es absolutamente continua con respecto a una medida única definida. Sería bueno si la medida dominante única estuviera en la clase original o pudiera construirse a partir de la clase. El siguiente teorema aborda este problema ".$\sigma$

Un ejemplo concreto

Supongamos que tomamos una medida de una cantidad que creemos que se distribuye uniformemente en el intervalo para algunos desconocidos . En este problema estadístico, estamos considerando implícitamente el conjunto de las medidas de probabilidad de Borel en consisten en distribuciones uniformes en todos los intervalos de la forma . Es decir, si denota la medida de Lebesgue y, para , denota la distribución (es decir, $X$$[0, \theta]$$\theta > 0$$\mathcal{P}$$\mathbb{R}$$[0, \theta]$$\lambda$$\theta > 0$$P_\theta$$\operatorname{Uniform}([0, \theta])$

$$P_\theta(A) = \frac{1}{\theta} \lambda(A \cap [0, \theta]) = \int_A \frac{1}{\theta} \mathbf{1}_{[0, \theta]}(x) \, dx$$ para cada Borel ), entonces simplemente tenemos Este es el conjunto de distribuciones de candidatos para nuestra medición .$A \subseteq \mathbb{R}$ $$\mathcal{P} = \{P_\theta : \theta > 0\}.$$ $X$

La familia está claramente dominada por la medida de Lebesgue (que es -finite), por lo que el lema anterior (con ) garantiza la existencia de una secuencia de números no negativos que suman y una secuencia de distribuciones uniformes en tal que para cada . ¡En este ejemplo, podemos construir tales secuencias explícitamente!$\mathcal{P}$$\lambda$$\sigma$$\aleph = \mathcal{P}$$\{c_i\}_{i=1}^\infty$$1$$\{Q_i\}_{i=1}^\infty$$\mathcal{P}$

$$P_\theta \ll \sum_{i=1}^\infty c_i Q_i$$ $\theta > 0$

Primero, deje que sea ​​una enumeración de los números racionales positivos ( esto se puede hacer explícitamente ), y deje para cada . A continuación, deje que , de modo que . Afirmo que esta combinación de y funciona.$(\theta_i)_{i=1}^\infty$ Q i = P θ i i c i = 2 - i ∑ ∞ i = 1 c i = 1 { c i } ∞ i = 1 { Q i } ∞ i = 1$Q_i = P_{\theta_i}$$i$$c_i = 2^{-i}$$\sum_{i=1}^\infty c_i = 1$$\{c_i\}_{i=1}^\infty$$\{Q_i\}_{i=1}^\infty$

Para ver esto, arregle y deje que sea ​​un subconjunto Borel de tal que . Necesitamos mostrar que . Como y cada sumando no es negativo, se deduce que para cada . Además, dado que cada es positivo, se deduce que para cada . Es decir, para todo tenemos Dado que cada$\theta > 0$$A$$\mathbb{R}$$\sum_{i=1}^\infty c_i Q_i(A) = 0$$P_\theta(A) = 0$$\sum_{i=1}^\infty c_i Q_i(A) = 0$$c_i Q_i(A) = 0$$i$$c_i$$Q_i(A) = 0$$i$$i$

$$Q_i(A) = P_{\theta_i}(A) = \frac{1}{\theta_i} \lambda(A \cap [0, \theta_i]) = 0.$$ $\theta_i$es positivo, se deduce que para cada .$\lambda(A \cap [0, \theta_i]) = 0$$i$

Ahora elija una subsecuencia of que converge a desde arriba (esto se puede hacer dado que es denso en ). Entonces como , por lo que por continuidad de medida concluimos que y entonces . Esto prueba el reclamo.$\{\theta_{i_k}\}_{k=1}^\infty$$\{\theta_i\}_{i=1}^\infty$$\theta$$\mathbb{Q}$$\mathbb{R}$$A \cap [0, \theta_{\theta_{i_k}}] \downarrow A \cap [0, \theta]$$k \to \infty$

$$\lambda(A \cap [0, \theta]) = \lim_{k \to \infty} \lambda(A \cap [0, \theta_{i_k}]) = 0,$$ $P_\theta(A) = 0$

Por lo tanto, en este ejemplo pudimos construir explícitamente una combinación convexa contable de medidas de probabilidad de nuestra familia dominada que aún domina a toda la familia. El Lema anterior garantiza que esto se puede hacer para cualquier familia dominada (al menos mientras la medida dominante sea -finite).$\sigma$

El teorema de Halmos-Savage

Así que ahora pasa al Teorema de Halmos-Savage (para el cual usaré una notación ligeramente diferente a la de la pregunta debido a preferencias personales). Dado el teorema de Halmos-Savage, el teorema de factorización de Fisher-Neyman es solo una aplicación del lema de Doob-Dynkin y la regla de la cadena para los derivados del radón-Nikodym.

Teorema de Halmos-Savage. Sea un modelo estadístico dominado (lo que significa que es un conjunto de medidas de probabilidad en y hay un -finite measure on tal que para todo ). Deje que sea ​​una función medible, donde es un Borel estándar espacio. Entonces los siguientes son equivalentes:$(\mathcal{X}, \mathcal{B}, \mathcal{P})$$\mathcal{P}$$\mathcal{B}$$\sigma$$\mu$$\mathcal{B}$$P \ll \mu$$P \in \mathcal{P}$$T : (\mathcal{X}, \mathcal{B}) \to (\mathcal{T}, \mathcal{C})$$(T, \mathcal{C})$

1. $T$ es suficiente para (lo que significa que existe un kernel de probabilidad tal que es una versión de para todos y ).$\mathcal{P}$$r : \mathcal{B} \times \mathcal{T} \to [0, 1]$$r(B, T)$$P(B \mid T)$$B \in \mathcal{B}$$P \in \mathcal{P}$
2. Existe una secuencia de números no negativos como y una secuencia de medidas de probabilidad en tal que para todas las , donde , y para cada existe una versión mensurable de .$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$$P \ll P^*$$P \in \mathcal{P}$$P^* = \sum_{i=1}^\infty c_i P_i$$P \in \mathcal{P}$$T$$dP/dP^*$

Prueba. Según el lema anterior, podemos reemplazar inmediatamente por para alguna secuencia de números no negativos de modo que y una secuencia de medidas de probabilidad en .$\mu$$P^* = \sum_{i=1}^\infty c_i P_i$$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$

(1. implica 2.) Suponga que es suficiente. Luego debemos demostrar que hay versiones mensurables de para todos los . Sea el núcleo de probabilidad en el enunciado del teorema. Para cada y tenemos Por lo tanto, es una versión de para todos .$T$$T$$dP/dP^*$$P \in \mathcal{P}$$r$$A \in \sigma(T)$$B \in \mathcal{B}$

$$\begin{aligned} P^*(A \cap B) &= \sum_{i=1}^\infty c_i P_i(A \cap B) \\ &= \sum_{i=1}^\infty c_i \int_A P_i(B \mid T) \, dP_i \\ &= \sum_{i=1}^\infty c_i \int_A r(B, T) \, dP_i \\ &= \int_A r(B, T) \, dP^*. \end{aligned}$$ $r(B, T)$$P^*(B \mid T)$$B \in \mathcal{B}$

Para cada , supongamos que denota una versión de la derivada Radon-Nikodym en el espacio medible (en particular, es medible). Entonces, para todos y tenemos Así, de hecho, es una$P \in \mathcal{P}$$f_P$$dP/dP^*$$(\mathcal{X}, \sigma(T))$$f_P$$T$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(B) &= \int_{\mathcal{X}} P(B \mid T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) f_P \, dP^* \\ &= \int_{\mathcal{X}} P^*(B \mid T) f_P \, dP^* \\ &= \int_{\mathcal{X}} E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_B f_P \, dP^*. \end{aligned}$$ $f_P$$T$-versión medible de en . Esto prueba que la primera condición del teorema implica la segunda.$dP/dP^*$$(\mathcal{X}, \mathcal{B})$

(2. implica 1.) Suponga que uno puede elegir una versión medible en de para cada . Para cada , supongamos que denota una versión particular de (por ejemplo, es una función tal que es una versión de ). Dado que es un espacio Borel estándar, podemos elegir de una manera que lo convierta en un núcleo de probabilidad (véase, por ejemplo, el Teorema B.32 en Teoría de la estadística de Schervish (1995)). Mostraremos que$T$$f_P$$dP/dP^*$$P \in \mathcal{P}$$B \in \mathcal{B}$$r(B, t)$$P^*(B \mid T = t)$$r(B, t)$$r(B, T)$$P^*(B \mid T)$$(T, \mathcal{C})$$r$r ( B , T )$r(B, T)$es una versión de para cualquier y cualquier . Por lo tanto, deje y . Entonces, para todas las tenemos Esto muestra que es una versión de para cualquier y cualquier , y la prueba es hecho.$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$$A \in \sigma(T)$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(A \cap B) &= \int_A \mathbf{1}_B f_P \, dP^* \\ &= \int_A E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_A P^*(B \mid T) f_P \, dP^* \\ &= \int_A r(B, T) f_P \, dP^* \\ &= \int_A r(B, T) \, dP. \end{aligned}$$ $r(B, T)$$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$

Resumen. El resultado técnico importante que subyace en el teorema de Halmos-Savage como se presenta aquí es el hecho de que una familia dominada de medidas de probabilidad está dominada en realidad por una combinación convexa contable de medidas de probabilidad de esa familia. Dado ese resultado, el resto del teorema de Halmos-Savage es principalmente manipulaciones con propiedades básicas de derivados de Radón-Nikodym y expectativas condicionales.