¿Cuál es el significado intuitivo detrás de conectar una variable aleatoria en su propio pdf o cdf?

Un pdf generalmente se escribe como , donde la minúscula se trata como una realización o resultado de la variable aleatoria que tiene ese pdf. Del mismo modo, un cdf se escribe como , que tiene el significado . Sin embargo, en algunas circunstancias, como la definición de la función de puntuación y esta derivación de que el cdf está distribuido uniformemente , parece que la variable aleatoria se está conectando a su propio pdf / cdf; Al hacerlo, obtenemos una nueva variable aleatoria o $f(x|\theta)$ $x$ $X$ $F_X(x)$ $P(X<x)$ $X$ $Y=f(X|\theta)$ $Z=F_X(X)$ . No creo que podamos llamar a esto un pdf o cdf ya que ahora es una variable aleatoria en sí misma, y en este último caso, la "interpretación" parece una tontería. $F_X(X)=P(X<X)$

Además, en el último caso anterior, no estoy seguro de entender la afirmación "el cdf de una variable aleatoria sigue una distribución uniforme". El cdf es una función, no una variable aleatoria, y por lo tanto no tiene una distribución. Más bien, lo que tiene una distribución uniforme es la variable aleatoria transformada usando la función que representa su propio cdf, pero no veo por qué esta transformación es significativa. Lo mismo ocurre con la función de puntuación, donde estamos conectando una variable aleatoria en la función que representa su propia probabilidad logarítmica.

He estado destrozándome el cerebro durante semanas tratando de encontrar un significado intuitivo detrás de estas transformaciones, pero estoy atascado. ¡Cualquier idea sería muy apreciada!

random-variable pdf cdf intuition mai
fuente

La notación puede confundirte. Por ejemplo, es exactamente tan significativo como lo sería aplicar cualquier función medible aPara una interpretación correcta, deberá tener muy claro qué es una variable aleatoria . Para cualquier variable aleatoria la función para es claramente una variable aleatoria y, por lo tanto, tiene una distribución(Observe los dos significados distintos del símbolo " " en " ".) es uniforme si y solo si tiene una distribución continua.

F_{X} (X)

$F_X(X)$

X

$X$

X : Ω \to R,

$X:\Omega\to\mathbb{R},$

Y : ω \to F_{X} (X (ω))

$Y:\omega\to F_X(X(\omega))$

ω \in Ω

$\omega\in\Omega$

F_{Y} .

$F_Y.$

X

$X$

F_{X} (X)

$F_X(X)$

F_{Y}

$F_Y$

X

$X$

whuber

Esto no es realmente un problema de medida teórica: para comprenderlo, puede ignorar con seguridad todas las referencias a la "mensurabilidad". Es posible que se beneficie al estudiar una pequeña teoría de conjuntos al principio de su carrera de posgrado: ahí es donde la mayoría de las personas aprende lo que realmente significa esta terminología y notación matemática básica (y omnipresente), por lo que es mejor no posponer el aprendizaje.

whuber

Tal vez una palabra sobre por qué uno debería hacer algo loco como esto: ¡insertar un RV en su propia densidad! Un ejemplo: digamos que desea estimar la densidad de X, entonces podría medir qué tan bueno es integrando sobre pero esto es "injusto": nunca logrará una buena aproximación cuando no tenga muchos ejemplos de datos (es decir, la densidad real es pequeña). Por lo tanto, una evaluación "justa" sería ponderar el término por la densidad verdadera. Esto es más o menos el efecto de insertar RV en sus propias densidades ...

f (x) - f_{X} (x)

$f(x)-f_X(x)$

Fabian Werner

Ver también stats.stackexchange.com/questions/324768/…

Fabian Werner

Respuestas:

Como usted dice, cualquier función (medible) de una variable aleatoria es en sí misma una variable aleatoria. Es más fácil pensar en y como "cualquier función antigua". Simplemente tienen algunas buenas propiedades. Por ejemplo, si es un RV exponencial estándar, entonces no hay nada particularmente extraño en la variable aleatoria Sucede que . El hecho de que tiene una distribución uniforme (teniendo en cuenta que es un RV continua) puede ser visto para el caso general mediante la derivación de la CDF de . $f(x)$ $F(x)$ $X$

Y = 1 - e^{- X}

$Y = 1 - e^{-X}$

Y = F_{X} (X)

$Y=F_X(X)$

Y

$Y$

X

$X$

Y

$Y$

\begin{aligned} F_{Y} (y) & = P (Y \leq y) \\ = P (F_{X} (X) \leq y) \\ = P (X \leq F_{X}^{- 1} (y)) \\ = F_{X} (F_{X}^{- 1} (y)) \\ = y \end{aligned}

$\begin{align*} F_Y(y) &= P(Y \leq y) \\ &= P(F_X(X) \leq y) \\ &= P(X \leq F^{-1}_X(y)) \\ &= F_X(F^{-1}_X(y)) \\ &= y \end{align*}$

Que es claramente el CDF de una variable aleatoria . Nota: Esta versión de la prueba supone que es estrictamente creciente y continua, pero no es mucho más difícil mostrar una versión más general. $U(0,1)$ $F_X(x)$

Knrumsey
fuente

Su conclusión es incorrecta para el aumento más estricto de : ha asumido que es la identidad, pero ese no es siempre el caso.

F_{X}

$F_X$

F_{X} \circ F_{X}^{- 1}

$F_X\circ F_X^{-1}$

whuber

Si, gracias. La variable aleatoria claramente debe ser continua. ¿Me estoy perdiendo algo ahora?

X

$X$

knrumsey

F_{X}

$F_X$ no necesita ser biyectivo. Tomemos, por ejemplo, el caso en el que tiene una distribución uniforme. El cierre de la imagen de debe ser el intervalo completo Esa es esencialmente la definición de una distribución continua.

X

$X$

F_{X}

$F_X$

[0, 1] .

$[0,1].$

whuber

Una transformación de una variable aleatoria por una función medible es otra variable aleatoria cuya distribución está dada por la transformada de probabilidad inversa para todos los conjuntos de tal manera que es medible bajo la distribución de . $X$ $T:\mathcal{X}\longrightarrow\mathcal{Y}$ $Y=T(X)$

P (Y \in A) = P (X \in {x; T (x) \in A}) \overset{def}{=} P (X \in T^{- 1} (A))

$\mathbb{P}(Y\in A) = \mathbb{P}(X\in\{x;\,T(x)\in A\})\stackrel{\text{def}}{=} \mathbb{P}(X\in T^{-1}(A))$

A

$A$

{x; T (x) \in A}

$\{x;\,T(x)\in A\}$

X

$X$

Esta propiedad se aplica al caso especial cuando es el cdf de la variable aleatoria : es una nueva variable aleatoria que toma sus realizaciones en . Como sucede, se distribuye como un Uniforme cuando es continuo. (Si es discontinuo, el rango de ya no es . Lo que siempre sucede es que cuando es un Uniforme , entonces tiene la misma distribución que , donde $F_X:\mathcal{X}\longrightarrow[0,1]$ $X$ $Y=F_X(X)$ $[0,1]$ $Y$ $\mathcal{U}([0,1])$ $F_X$ $F_X$ $Y=F_X(X)$ $[0,1]$ $U$ $\mathcal{U}([0,1])$ $F_X^{-}(U)$ $X$ $F_X^{-}$ denota el inverso generalizado de . Cuál es una forma formal de (a) entender las variables aleatorias como transformaciones medibles de un fundamental ya que es una variable aleatoria con cdf y (b ) generan variables aleatorias de una distribución dada con cdf .) $F_X$ $\omega\in\Omega$ $X(\omega)=F_X^{-}(\omega)$ $F_X$ $F_X$

Para comprender la paradoja de , tome la representación si es la medida dominante y la densidad correspondiente. Entonces es una variable aleatoria ya que el límite superior de La integral es aleatoria. (Esta es la única parte aleatoria de la expresión). La aparente contradicción en se debe a una confusión en las anotaciones. Para definirse adecuadamente, se necesitan dos versiones independientes de la variable aleatoria , y $\mathbb{P}(X\le X)$

F_{X} (x) = P (X \leq x) = \int_{0}^{x} d F_{X} (x) = \int_{0}^{x} f_{X} (x) d λ (x)

$F_X(x)=\mathbb{P}(X\le x)=\int_0^x \text{d}F_X(x) = \int_0^x f_X(x)\,\text{d}\lambda(x)$

d λ

$\text{d}\lambda$

f_{X}

$f_X$

F_{X} (X) = \int_{0}^{X} d F_{X} (x) = \int_{0}^{X} f_{X} (x) d λ (x)

$F_X(X)=\int_0^X \text{d}F_X(x) = \int_0^X f_X(x)\,\text{d}\lambda(x)$

P (X \leq X)

$\mathbb{P}(X\le X)$

X

$X$

X_{1}

$X_1$

X_{2}

$X_2$ , en cuyo caso la variable aleatoria está definida por calculando la probabilidad para la distribución de .

F_{X} (X_{1})

$F_X(X_1)$

F_{X} (X_{1}) = P^{X_{2}} (X_{2} \leq X_{1})

$F_X(X_1)=\mathbb{P}^{X_2}(X_2\le X_1)$

X_{2}

$X_2$

La misma observación se aplica a la transformación por la densidad (pdf), , que es una nueva variable aleatoria, excepto que no tiene una distribución fija cuando varía. Sin embargo, es útil para fines estadísticos cuando se considera, por ejemplo, una razón de probabilidad cuyo 2 x logaritmo es aproximadamente una variable aleatoria bajo algunas condiciones $f_X(X)$ $f_X$ $f_X(X|\hat{\theta}(X))/f_X(X|\theta_0)$ $\chi^2$

Y lo mismo vale para la función de puntuación que es una variable aleatoria tal que su expectativa es cero cuando se toma en el valor verdadero del parámetro , es decir,

\frac{\partial \log f_{X} (X | θ)}{\partial θ}

$\dfrac{\partial \log f_X(X|\theta)}{\partial \theta}$

θ

$\theta$

E_{θ_{0}} [\frac{\partial \log f_{X} (X | θ_{0})}{\partial θ}] = \int \frac{\partial \log f_{X} (x | θ_{0})}{\partial θ} f_{X} (x | θ_{0}) d λ (x) = 0

$\mathbb{E}_{\theta_0}\left[ \dfrac{\partial \log f_X(X|\theta_0)}{\partial \theta}\right]=\int \dfrac{\partial \log f_X(x|\theta_0)}{\partial \theta}f_X(x|\theta_0)\,\text{d}\lambda(x)=0$

[¡Respuesta escrita mientras @whuber y @knrumsey estaban escribiendo sus respectivas respuestas!]

Xi'an
fuente

¿Podría explicar con palabras cuál es el significado / interpretación de la declaración ? Todavía me parece que decir "el cdf de un rv tiene una distribución uniforme" no tiene ningún sentido.

F_{X} (X_{1}) = P (X_{2} \leq X_{1})

$F_X(X_1)=P(X_2 \leq X_1)$

mai

El cdf de un rv no es lo mismo que la transformación de un rv por el cdf de este rv, es decir, .

F_{X}

$F_X$

X

$X$

F_{X} (X)

$F_X(X)$

Xi'an

Sí, estoy de acuerdo en que no son lo mismo. En primera instancia no es un rv, mientras que en el segundo caso es un rv ¿Estoy en lo correcto?

mai

Sí, lo que se relaciona con los diferentes significados de en

X

$X$

F_{X} (X)

$F_X(X)$

Xi'an

¿Podría explicar qué quiere decir con "la expectativa es cero cuando se toma en el valor verdadero del parámetro ? Parece que está siendo tratada como una variable aquí. ¿Qué cambia si no está en su" valor verdadero "?

θ

$\theta$

θ

$\theta$

θ

$\theta$

mai