Desde una perspectiva de probabilidad bayesiana, ¿por qué un intervalo de confianza del 95% no contiene el parámetro verdadero con una probabilidad del 95%?

Desde la página de Wikipedia sobre intervalos de confianza :

... si se construyen intervalos de confianza en muchos análisis de datos separados de experimentos repetidos (y posiblemente diferentes), la proporción de tales intervalos que contienen el valor verdadero del parámetro coincidirá con el nivel de confianza ...

Y de la misma página:

Un intervalo de confianza no predice que el valor verdadero del parámetro tiene una probabilidad particular de estar en el intervalo de confianza dados los datos realmente obtenidos.

Si lo entendí bien, esta última afirmación se hace con la interpretación frecuentista de la probabilidad en mente. Sin embargo, desde una perspectiva de probabilidad bayesiana, ¿por qué un intervalo de confianza del 95% no contiene el parámetro verdadero con una probabilidad del 95%? Y si no es así, ¿qué tiene de malo el siguiente razonamiento?

Si tengo un proceso que sé que produce una respuesta correcta el 95% del tiempo, entonces la probabilidad de que la siguiente respuesta sea correcta es 0.95 (dado que no tengo ninguna información adicional sobre el proceso). Del mismo modo, si alguien me muestra un intervalo de confianza creado por un proceso que contendrá el parámetro verdadero el 95% del tiempo, ¿no debería estar en lo cierto al decir que contiene el parámetro verdadero con probabilidad 0.95, dado lo que sé?

Esta pregunta es similar a, pero no la misma, ¿por qué un IC del 95% no implica una probabilidad del 95% de contener la media? Las respuestas a esa pregunta se han centrado en por qué un IC del 95% no implica una probabilidad del 95% de contener la media desde una perspectiva frecuentista. Mi pregunta es la misma, pero desde una perspectiva de probabilidad bayesiana.

Actualización : con el beneficio de una retrospectiva de algunos años, escribí un tratamiento más conciso de esencialmente el mismo material en respuesta a una pregunta similar.

---

Cómo construir una región de confianza

Comencemos con un método general para construir regiones de confianza. Se puede aplicar a un solo parámetro, para obtener un intervalo de confianza o un conjunto de intervalos; y se puede aplicar a dos o más parámetros, para obtener regiones de confianza dimensional más altas.

Afirmamos que las estadísticas observadas $D$ originan a partir de una distribución con parámetros $\theta$ , es decir, la distribución de muestreo $s(d|\theta)$ sobre posibles estadísticas $d$ , y buscamos una región de confianza para $\theta$ en el conjunto de valores posibles $\Theta$ . Defina una región de mayor densidad (HDR): el $h$ -HDR de un PDF es el subconjunto más pequeño de su dominio que admite la probabilidad $h$ . Denote el $h$ -HDR de $s(d|\psi)$ como $H_\psi$ , para cualquier $\psi \in \Theta$ . Entonces, laregión de confianza$h$ para$\theta$ , dados los datos$D$ , es el conjunto$C_D = \{ \phi : D \in H_\phi \}$ . Un valor típico de$h$ sería 0,95.

Una interpretación frecuente

De la definición anterior de una región de confianza se sigue

$$d \in H_\psi \longleftrightarrow \psi \in C_d$$ con $C_d = \{ \phi : d \in H_\phi \}$ . Ahora imagine un gran conjunto de ( imaginarios ) observaciones $\{D_i\}$ , tomada en circunstancias similares a $D$ . es decir, son muestras de $s(d|\theta)$ . Como $H_\theta$ admite la masa de probabilidad $h$ del PDF$s(d|\theta)$ ,$P(D_i \in H_\theta) = h$ para todo$i$ . Por lo tanto, la fracción de$\{D_i\}$ para la cual$D_i \in H_\theta$ es$h$ . Y así, usando la equivalencia anterior, la fracción de$\{D_i\}$ para la cual$\theta \in C_{D_i}$ también es$h$ .

Esto, entonces, es lo que el reclamo frecuentista de la región de confianza $h$ para $\theta$ equivale a:

Tomar un gran número de observaciones imaginarios $\{D_i\}$ de la distribución muestral $s(d|\theta)$ que dio lugar a la estadística observada $D$ . Entonces, $\theta$ encuentra dentro de una fracción $h$ de las regiones de confianza análogas pero imaginarias $\{C_{D_i}\}$ .

Por lo tanto, la región de confianza $C_D$ no hace ningún reclamo sobre la probabilidad de que $\theta$ encuentre en algún lugar. La razón es simplemente que no hay nada en la formulación que nos permita hablar de una distribución de probabilidad sobre $\theta$ . La interpretación es simplemente una superestructura elaborada, que no mejora la base. La base es solo $s(d | \theta)$ y $D$ , donde $\theta$ no aparece como una cantidad distribuida, y no hay información que podamos usar para abordar eso. Básicamente, hay dos formas de obtener una distribución sobre $\theta$ :

1. Asigne una distribución directamente de la información disponible: $p(\theta | I)$ .
2. Relacione $\theta$ con otra cantidad distribuida: $p(\theta | I) = \int p(\theta x | I) dx = \int p(\theta | x I) p(x | I) dx$ .

En ambos casos, $\theta$ debe aparecer a la izquierda en alguna parte. Los frecuentes no pueden usar ninguno de los métodos, porque ambos requieren un previo herético.

Una vista bayesiana

Lo más que un Bayesiano puede hacer de la región de confianza $h$$C_D$ , dada sin calificación, es simplemente la interpretación directa: que es el conjunto de $\phi$ para el cual $D$ cae en el $h$ -HDR $H_\phi$ de la distribución de muestreo $s(d|\phi)$ . No necesariamente nos dice mucho sobre $\theta$ , y he aquí por qué.

La probabilidad de que $\theta \in C_D$ , dada $D$ y la información de fondo $I$ , sea:

$$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} p(\theta | DI) d\theta \\ &= \int_{C_D} \frac{p(D | \theta I) p(\theta | I)}{p(D | I)} d\theta \end{align*}$$ Observe que, a diferencia de la interpretación frecuentista, inmediatamente exigimos una distribución sobre$\theta$. La información de fondo$I$nos dice, como antes, que la distribución de muestreo es$s(d | \theta)$: $$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} \frac{s(D | \theta) p(\theta | I)}{p(D | I)} d \theta \\ &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{p(D | I)} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{\int s(D | \theta) p(\theta | I) d\theta} \end{align*}$$ Ahora esta expresión en general no evalúa a$h$, es decir, laregión de confianza$h$$C_D$no siempre contiene$\theta$con probabilidad$h$. De hecho, puede ser muy diferente de$h$. Hay, sin embargo, muchas situaciones comunes en las quenose evalúan como$h$, que es la razón por regiones de confianza a menudo son consistentes con nuestras intuiciones probabilísticas.

Por ejemplo, suponga que el PDF conjunto anterior de $d$ y $\theta$ es simétrico en que $p_{d,\theta}(d,\theta | I) = p_{d,\theta}(\theta,d | I)$ . (Claramente, esto implica una suposición de que el PDF se extiende sobre el mismo dominio en $d$ y $\theta$ .) Entonces, si lo anterior es $p(\theta | I) = f(\theta)$ , tenemos $s(D | \theta) p(\theta | I) = s(D | \theta) f(\theta) = s(\theta | D) f(D)$ . Por lo tanto

$$\begin{align*} P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(\theta | D) d\theta}{\int s(\theta | D) d\theta} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \int_{C_D} s(\theta | D) d\theta \end{align*}$$ From the definition of an HDR we know that for any $\psi \in \Theta$ $$\begin{align*} \int_{H_\psi} s(d | \psi) dd &= h \\ \text{and therefore that} \quad\quad \int_{H_D} s(d | D) dd &= h \\ \text{or equivalently} \quad\quad \int_{H_D} s(\theta | D) d\theta &= h \end{align*}$$ Therefore, given that $s(d | \theta) f(\theta) = s(\theta | d) f(d)$, $C_D = H_D$ implies $P(\theta \in C_D | DI) = h$. The antecedent satisfies $$C_D = H_D \longleftrightarrow \forall \psi \; [ \psi \in C_D \leftrightarrow \psi \in H_D ]$$ Applying the equivalence near the top: $$C_D = H_D \longleftrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$$ Thus, the confidence region $C_D$ contains $\theta$ with probability $h$ if for all possible values $\psi$ of $\theta$, the $h$-HDR of $s(d | \psi)$ contains $D$ if and only if the $h$-HDR of $s(d | D)$ contains $\psi$.

Now the symmetric relation $D \in H_\psi \leftrightarrow \psi \in H_D$ is satisfied for all $\psi$ when $s(\psi + \delta | \psi) = s(D - \delta | D)$ for all $\delta$ that span the support of $s(d | D)$ and $s(d | \psi)$. We can therefore form the following argument:

1. $s(d | \theta) f(\theta) = s(\theta | d) f(d)$ (premise)
2. $\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ]$ (premise)
3. $\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ] \longrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
4. $\therefore \quad \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
5. $\forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ] \longrightarrow C_D = H_D$
6. $\therefore \quad C_D = H_D$
7. $[s(d | \theta) f(\theta) = s(\theta | d) f(d) \wedge C_D = H_D] \longrightarrow P(\theta \in C_D | DI) = h$
8. $\therefore \quad P(\theta \in C_D | DI) = h$

Let's apply the argument to a confidence interval on the mean of a 1-D normal distribution $(\mu, \sigma)$, given a sample mean $\bar{x}$ from $n$ measurements. We have $\theta = \mu$ and $d = \bar{x}$, so that the sampling distribution is

$$s(d | \theta) = \frac{\sqrt{n}}{\sigma \sqrt{2 \pi}} e^{-\frac{n}{2 \sigma^2} { \left( d - \theta \right) }^2 }$$ Suppose also that we know nothing about $\theta$ before taking the data (except that it's a location parameter) and therefore assign a uniform prior: $f(\theta) = k$. Clearly we now have $s(d | \theta) f(\theta) = s(\theta | d) f(d)$, so the first premise is satisfied. Let $s(d | \theta) = g\left( (d - \theta)^2 \right)$. (i.e. It can be written in that form.) Then $$\begin{gather*} s(\psi + \delta | \psi) = g \left( (\psi + \delta - \psi)^2 \right) = g(\delta^2) \\ \text{and} \quad\quad s(D - \delta | D) = g \left( (D - \delta - D)^2 \right) = g(\delta^2) \\ \text{so that} \quad\quad \forall \psi \; \forall \delta \; [s(\psi + \delta | \psi) = s(D - \delta | D)] \end{gather*}$$ whereupon the second premise is satisfied. Both premises being true, the eight-point argument leads us to conclude that the probability that $\theta$ lies in the confidence interval $C_D$ is $h$!

We therefore have an amusing irony:

1. The frequentist who assigns the $h$ confidence interval cannot say that $P(\theta \in C_D) = h$, no matter how innocently uniform $\theta$ looks before incorporating the data.
2. The Bayesian who would not assign an $h$ confidence interval in that way knows anyhow that $P(\theta \in C_D | DI) = h$.

Final Remarks

We have identified conditions (i.e. the two premises) under which the $h$ confidence region does indeed yield probability $h$ that $\theta \in C_D$. A frequentist will baulk at the first premise, because it involves a prior on $\theta$, and this sort of deal-breaker is inescapable on the route to a probability. But for a Bayesian, it is acceptable---nay, essential. These conditions are sufficient but not necessary, so there are many other circumstances under which the Bayesian $P(\theta \in C_D | DI)$ equals $h$. Equally though, there are many circumstances in which $P(\theta \in C_D | DI) \ne h$, especially when the prior information is significant.

We have applied a Bayesian analysis just as a consistent Bayesian would, given the information at hand, including statistics $D$. But a Bayesian, if he possibly can, will apply his methods to the raw measurements instead---to the $\{x_i\}$, rather than $\bar{x}$. Oftentimes, collapsing the raw data into summary statistics $D$ destroys information in the data; and then the summary statistics are incapable of speaking as eloquently as the original data about the parameters $\theta$.

from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability?

Two answers to this, the first being less helpful than the second

1. There are no confidence intervals in Bayesian statistics, so the question doesn't pertain.

2. In Bayesian statistics, there are however credible intervals, which play a similar role to confidence intervals. If you view priors and posteriors in Bayesian statistics as quantifying the reasonable belief that a parameter takes on certain values, then the answer to your question is yes, a 95% credible interval represents an interval within which a parameter is believed to lie with 95% probability.

If I have a process that I know produces a correct answer 95% of the time then the probability of the next answer being correct is 0.95 (given that I don't have any extra information regarding the process).

yes, the process guesses a right answer with 95% probability

Similarly if someone shows me a confidence interval that is created by a process that will contain the true parameter 95% of the time, should I not be right in saying that it contains the true parameter with 0.95 probability, given what I know?

Just the same as your process, the confidence interval guesses the correct answer with 95% probability. We're back in the world of classical statistics here: before you gather the data you can say there's a 95% probability of randomly gathered data determining the bounds of the confidence interval such that the mean is within the bounds.

With your process, after you've gotten your answer, you can't say based on whatever your guess was, that the true answer is the same as your guess with 95% probability. The guess is either right or wrong.

And just the same as your process, in the confidence interval case, after you've gotten the data and have an actual lower and upper bound, the mean is either within those bounds or it isn't, i.e. the chance of the mean being within those particular bounds is either 1 or 0. (Having skimmed the question you refer to it seems this is covered in much more detail there.)

How to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

There are a couple of ways of looking at this

1. Technically, the confidence interval hasn't been produced using a prior and Bayes theorem, so if you had a prior belief about the parameter concerned, there would be no way you could interpret the confidence interval in the Bayesian framework.

2. Another widely used and respected interpretation of confidence intervals is that they provide a "plausible range" of values for the parameter (see, e.g., here). This de-emphasises the "repeated experiments" interpretation.

Moreover, under certain circumstances, notably when the prior is uninformative (doesn't tell you anything, e.g. flat), confidence intervals can produce exactly the same interval as a credible interval. In these circumstances, as a Bayesianist you could argue that had you taken the Bayesian route you would have gotten exactly the same results and you could interpret the confidence interval in the same way as a credible interval.

I'll give you an extreme example where they are different.

Suppose I create my 95% confidence interval for a parameter $\theta$ as follows. Start by sampling the data. Then generate a random number between $0$ and $1$. Call this number $u$. If $u$ is less than $0.95$ then return the interval $(-\infty,\infty)$. Otherwise return the "null" interval.

Now over continued repititions, 95% of the CIs will be "all numbers" and hence contain the true value. The other 5% contain no values, hence have zero coverage. Overall, this is a useless, but technically correct 95% CI.

The Bayesian credible interval will be either 100% or 0%. Not 95%.

"from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability? "

In Bayesian Statistics the parameter is not a unknown value, it is a Distribution. There is no interval containing the "true value", for a Bayesian point of view it does not even make sense. The parameter it's a random variable, you can perfectly know the probability of that value to be between x_inf an x_max if you know the distribuition. It's just a diferent mindset about the parameters, usually Bayesians used the median or average value of the distribuition of the parameter as a "estimate". There is not a confidence interval in Bayesian Statistics, something similar is called credibility interval.

Now from a frequencist point of view, the parameter is a "Fixed Value", not a random variable, can you really obtain probability interval (a 95% one) ? Remember that it's a fixed value not a random variable with a known distribution. Thats why you past the text :"A confidence interval does not predict that the true value of the parameter has a particular probability of being in the confidence interval given the data actually obtained."

The idea of repeating the experience over and over... is not Bayesian reasoning it's a Frequencist one. Imagine a real live experiment that you can only do once in your life time, can you/should you built that confidence interval (from the classical point of view )?.

But... in real life the results could get pretty close ( Bayesian vs Frequencist), maybe thats why It could be confusing.