Preguntas sobre el principio de probabilidad

17

Actualmente trato de entender el Principio de Probabilidad y francamente no lo entiendo en absoluto. Por lo tanto, escribiré todas mis preguntas como una lista, incluso si esas podrían ser preguntas bastante básicas.

  • ¿Qué significa exactamente la frase "toda la información" en el contexto de este principio? (como en toda la información en una muestra está contenida en la función de probabilidad).
  • ¿Está el principio conectado de alguna manera con el hecho comprobable de que ? ¿Es la "probabilidad" en el principio la misma cosa, como p ( y | x ) , o no?p(x|y)p(y|x)p(x)p(y|x)
  • ¿Cómo puede un teorema matemático ser "controvertido"? Mi (débil) comprensión de las matemáticas es que un teorema está probado o no está probado. ¿A qué categoría pertenece el Principio de Verosimilitud?
  • ¿Cómo es importante el Principio de Probabilidad para la inferencia bayesiana, que se basa en la fórmula ?p(x|y)p(y|x)p(x)
Karel Bílek
fuente
Karel, por favor, eche un vistazo: ime.usp.br/~pmarques/papers/redux.pdf
Zen
Ver también el sitio de Greg Gandenberger: gandenberger.org
Michael Lew - reinstalar a Monica el

Respuestas:

10

El principio de probabilidad se ha establecido de muchas maneras diferentes, con significado e inteligibilidad variables. El libro Probabilidad de AWF Edwards es a la vez una excelente introducción a muchos aspectos de probabilidad y aún está impreso. Así es como Edwards define el principio de probabilidad:

"En el marco de un modelo estadístico, toda la información que proporcionan los datos sobre los méritos relativos de dos hipótesis está contenida en la razón de probabilidad de esas hipótesis". (Edwards 1972, 1992 p. 30)

Así que ahora a las respuestas.

  1. "Toda la información en la muestra", como usted cita, es simplemente una expresión inadecuada de la parte relevante del principio de probabilidad. Edwards lo dice mucho mejor: el modelo importa y la información relevante es la información relacionada con los méritos relativos de las hipótesis. Es útil observar que la razón de probabilidad solo tiene sentido cuando las hipótesis en cuestión provienen del mismo modelo estadístico y son mutuamente excluyentes. En efecto, deben ser puntos en la misma función de probabilidad para que la relación sea útil.

  2. El principio de probabilidad está relacionado con el teorema de Bayes, como puede ver, pero es demostrable sin referencia al teorema de Bayes. Sí, p (x | y) es (proporcional a) una probabilidad siempre que x sea datos ey sea una hipótesis (que podría ser un valor de parámetro hipotético).

  3. El principio de probabilidad es controvertido porque su prueba ha sido impugnada. En mi opinión, las pruebas son defectuosas, pero no obstante es controvertido. (En un nivel diferente, se puede decir que el principio de probabilidad es controvertido porque implica que los métodos de inferencia frecuentes son de alguna manera defectuosos. A algunas personas no les gusta eso). El principio de probabilidad ha sido probado, pero su alcance de La relevancia puede ser más limitada de lo que imaginan sus críticos.

  4. El principio de probabilidad es importante para los métodos bayesianos porque los datos entran en la ecuación de Bayes por medio de las probabilidades. La mayoría de los métodos bayesianos cumplen con el principio de probabilidad, pero no todos. Algunas personas, como Edwards y Royall, sostienen que las inferencias pueden hacerse sobre la base de funciones de probabilidad sin el uso del teorema de Bayes, "inferencia de probabilidad pura". Eso también es controvertido. De hecho, es probablemente más controvertido que el principio de probabilidad porque los bayesianos tienden a estar de acuerdo con los frecuentas en que los métodos de probabilidad pura son inapropiados. (El enemigo de mi enemigo ...)

Michael Lew - reinstalar a Mónica
fuente
"Es útil observar que la razón de probabilidad solo tiene sentido cuando las hipótesis en cuestión provienen del mismo modelo estadístico", ¿qué significa eso exactamente? Parece que estás diciendo que no puedes comparar modelos de diferentes familias de distribuciones, lo cual no es así.
Scortchi - Restablece a Monica
Debido a que las probabilidades son solo proporcionales a * p * (x | y), siempre hay una constante de proporcionalidad desconocida. Diferentes modelos estadísticos permiten diferentes constantes de proporcionalidad y, por lo tanto, las probabilidades pueden ser inconmensurables.
Michael Lew - reinstalar a Mónica el
A veces, se pueden organizar diferentes modelos para obtener una función de probabilidad única (a menudo multidimensional) para que las probabilidades se puedan comparar de manera sensata, pero eso no siempre es posible.
Michael Lew - reinstalar a Monica el
1
Tal vez me estoy perdiendo algo de sutileza, pero entiendo que no hay constantes desconocidas en una probabilidad, solo constantes que se cancelan cuando se calcula la razón de probabilidad para modelos de la misma familia, y entonces se ignoran. De todos modos: para datosX y cualquier densidad F Y sol con parámetros θ Y ϕ, Llamaría a la estadística
F(X;θ^)sol(X;ϕ^)
una razón de probabilidad; & se puede usar para inferencia.
Scortchi - Restablece a Monica
1
Ver Cox (1961), Pruebas de familias separadas de hipótesis, Proc. 4to Berkeley Symp. en matemáticas Estadístico. y prob. 1 . Por supuesto, el teorema de Wilks no se aplica, por lo que dos veces su logaritmo no se distribuye comoχ2.
Scortchi - Restablece a Monica