¿Cómo definir rigurosamente la probabilidad?

La probabilidad podría definirse de varias maneras, por ejemplo:

la función $L$ de $\Theta\times{\cal X}$ que mapea $(\theta,x)$ a $L(\theta \mid x)$ es decir, $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$ .
la función aleatoria $L(\cdot \mid X)$
también podríamos considerar que la probabilidad es solo la probabilidad "observada" $L(\cdot \mid x^{\text{obs}})$
en la práctica, la probabilidad trae información sobre $\theta$ solo hasta una constante multiplicativa, por lo tanto, podríamos considerar la probabilidad como una clase de funciones de equivalencia en lugar de una función

Otra pregunta ocurre cuando se considera el cambio de parametrización: si $\phi=\theta^2$ es la nueva parametrización que comúnmente denotamos por $L(\phi \mid x)$ la probabilidad en $\phi$ y esta no es la evaluación de la función previa $L(\cdot \mid x)$ en $\theta^2$ pero a $\sqrt{\phi}$ . Esta es una notación abusiva pero útil que podría causar dificultades a los principiantes si no se enfatiza.

¿Cuál es su definición rigurosa favorita de la probabilidad?

Además, ¿cómo se llama $L(\theta \mid x)$ ? Normalmente digo algo así como "la probabilidad de $\theta$ cuando se observa $x$ ".

EDITAR: en vista de algunos comentarios a continuación, me doy cuenta de que debería haber precisado el contexto. Considero un modelo estadístico dado por una familia paramétrica $\{f(\cdot \mid \theta), \theta \in \Theta\}$ de densidades con respecto a alguna medida dominante, con cada $f(\cdot \mid \theta)$ definida en el espacio de observaciones ${\cal X}$ . Por lo tanto, definimos $L(\theta \mid x)=f(x \mid \theta)$ y la pregunta es "¿qué es $L$ ? "(la pregunta no se trata de una definición general de la probabilidad)

mathematical-statistics likelihood likelihood-ratio parametric Stéphane Laurent
fuente

(1) Debido a que

para todo

, creo que incluso la constante en

está definida. (2) Si piensa que parámetros como

son meramente coordenadas de una variedad de distribuciones, entonces el cambio de parametrización no tiene un significado matemático intrínseco; Es simplemente un cambio de descripción. (3) Los hablantes nativos de inglés dirían más naturalmente "probabilidad de

" en lugar de "activado". (4) La cláusula "cuando se observa

" tiene dificultades filosóficas, porque la mayoría de

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$ nunca será observado ¿Por qué no solo decir "probabilidad de

dado

θ

$\theta$

x

$x$

whuber

@whuber: Para (1), no creo que la constante esté bien definida. Ver el libro de ET Jaynes donde escribe: "que una probabilidad no es una probabilidad porque su normalización es arbitraria".

Neil G

Parece que estás confundiendo dos tipos de normalización, Neil: Jaynes se refería a la normalización por integración sobre

, no

θ

$\theta$

x

$x$

whuber

@whuber: No creo que un factor de escala importará para el límite de Cramer-Rao porque cambiar

agrega una cantidad constante a la probabilidad logarítmica, que luego desaparece cuando se toma la derivada parcial.

k

$k$

Neil G

Estoy de acuerdo con Neil, no veo ninguna aplicación donde la constante juegue un papel

Stéphane Laurent

Respuestas:

Su tercer elemento es el que he visto que se usa con más frecuencia como definición rigurosa.

Los otros también son interesantes (+1). En particular, el primero es atractivo, con la dificultad de que el tamaño de la muestra no esté (todavía) definido, es más difícil definir el conjunto "desde".

Para mí, la intuición fundamental de la probabilidad es que es una función del modelo + sus parámetros, no una función de las variables aleatorias (también un punto importante para fines de enseñanza). Entonces me apegaría a la tercera definición.

La fuente del abuso de la notación es que el conjunto "de" de la probabilidad es implícito, lo que generalmente no es el caso para funciones bien definidas. Aquí, el enfoque más riguroso es darse cuenta de que después de la transformación, la probabilidad se relaciona con otro modelo. Es equivalente al primero, pero aún otro modelo. Entonces, la notación de probabilidad debería mostrar a qué modelo se refiere (por subíndice u otro). Por supuesto, nunca lo hago, pero para enseñar, podría hacerlo.

Finalmente, para ser coherente con mis respuestas anteriores, digo la "probabilidad de " en su última fórmula. $\theta$

gui11aume
fuente

Gracias. ¿Y cuál es su consejo sobre la igualdad hasta una constante multiplicativa?

Stéphane Laurent

Personalmente prefiero llamarlo cuando sea necesario en lugar de codificarlo en la definición. Y piense que para la selección / comparación de modelos, esta igualdad 'hasta una constante multiplicativa' no es válida.

gui11aume

Okay. Con respecto al nombre, puede imaginarse que discute sobre las probabilidades

para dos posibles observaciones. En tal caso, ¿diría "la probabilidad de

cuando

observó", o "la probabilidad de

para la observación

", o algo más?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

Stéphane Laurent

Si vuelve a parametrizar su modelo con

, en realidad calcula la probabilidad como una composición de funciones

Donde

. En este caso,

va de

por lo que el conjunto de definición (mencionado como conjunto "de") de la probabilidad ya no es el mismo. Podría llamar a la primera función

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$ y el segundo

porque no son las mismas funciones.

L_{2} (. |)

$L_2(.|)$

gui11aume

¿Cómo es rigurosa la tercera definición? ¿Y cuál es el problema con el tamaño de la muestra no se define? Dado que decimos

, que naturalmente da origen a un álgebra sigma correspondiente para el espacio muestral

, ¿por qué no podemos tener la definición paralela de probabilidades?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

Neil G

Creo que lo llamaría algo diferente. La probabilidad es la densidad de probabilidad para la x observada dado el valor del parámetro expresado en función de para la dada . No comparto la opinión sobre la constante de proporcionalidad. Creo que eso solo entra en juego porque maximizar cualquier función monotónica de la probabilidad da la misma solución para . Por lo tanto, puede maximizar para u otras funciones monótonas como $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$ que se hace comúnmente

Michael R. Chernick
fuente

No solo la maximización: la proporcionalidad también entra en juego en la noción de razón de probabilidad y en la fórmula de Bayes para las estadísticas bayesianas

Stéphane Laurent

Pensé que alguien podría rechazar mi respuesta. Pero creo que es bastante razonable definir la probabilidad de esta manera como una probabilidad definitiva sin llamar a nada propotional una probabilidad. @ StéphaneLaurent a su comentario sobre anteriores, si la función es integrable se puede normalizar a una densidad. La posterior es proporcional a la probabilidad multiplicada por la anterior. Dado que la parte posterior debe normalizarse dividiendo por una integral, también podríamos especificar la distribución previa. Es solo en un sentido extendido que esto se aplica a los antecedentes impropios.

Michael R. Chernick

No estoy muy seguro de por qué alguien rechazaría esta respuesta. Parece que está intentando responder más a la segunda pregunta y preguntas del OP que a la primera. Quizás eso no estaba del todo claro para otros lectores. Aclamaciones. :)

cardenal

@Michael No veo la necesidad de rechazar esta respuesta también. Con respecto a los antecedentes no informativos (esta es otra discusión y) tengo la intención de abrir una nueva discusión sobre este tema. No lo haré pronto, porque no soy fácil con el inglés, y esto es más difícil para mí escribir "filosofía" que las matemáticas.

Stéphane Laurent

@Stephane: si lo desea, considere publicar su otra pregunta directamente en francés. Tenemos varios hablantes nativos de francés en este sitio que probablemente ayudarían a traducir cualquier pasaje que no esté seguro. Esto incluye un moderador y también un editor de una de las principales revistas de estadísticas en inglés. Espero con interés la pregunta.

cardenal

Aquí hay un intento de una definición matemática rigurosa:

Sea un vector aleatorio que admite una densidad con respecto a alguna medida en , donde para , a be ; para mayor claridad, para cada tenemos $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ es una familia de densidades en con respecto a . Entonces, para cualquier definimos la función de probabilidad $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ . Uno puede pensar en ser un potencial particular, y para ser el "verdadero" valor de . $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ $\theta_0$ $\theta$

Un par de observaciones sobre esta definición:

La definición es lo suficientemente robusta como para manejar las clases discretas, continuas, y otros de familias de distribuciones de . $X$
Estamos definiendo la probabilidad a nivel de funciones de densidad en lugar de a nivel de distribuciones / medidas de probabilidad. La razón de esto es que las densidades no son únicas, y resulta que esta no es una situación en la que uno puede pasar a clases de densidades de equivalencia y aún así ser seguro: las diferentes elecciones de densidades conducen a diferentes MLE en el caso continuo. Sin embargo, en la mayoría de los casos hay una elección natural de la familia de densidades que son deseables teóricamente.
Me gusta esta definición porque incorpora las variables aleatorias con las que estamos trabajando y, por diseño, ya que tenemos que asignarles una distribución, también hemos construido rigurosamente la noción del valor "verdadero pero desconocido" de , aquí denotado . Para mí, como estudiante, el desafío de ser riguroso con respecto a la probabilidad siempre fue cómo conciliar los conceptos del mundo real de un "verdadero" y "observado" con las matemáticas; los instructores afirmaron que estos conceptos no eran formales, pero luego se dieron la vuelta y los usaron formalmente al probar cosas. Entonces los tratamos formalmente en esta definición. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDITAR: Por supuesto, somos libres de considerar los elementos aleatorios habituales , $L(\theta | X)$ e y bajo esta definición sin problemas reales de rigor siempre que tenga cuidado (o incluso si no lo eres si ese nivel de rigor no es importante para ti). $S(\theta | X)$ $\mathcal I(\theta | X)$

chico
fuente

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$

θ

$\theta$

@guy: gracias, no sabía sobre este interesante contraejemplo.

Xi'an

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0, \infty)} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in (0, \infty)} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

chico