Tenemos N muestras, $X_i$ , de una distribución uniforme $[0,\theta]$ donde $\theta$ es desconocido. Estima $\theta$ partir de los datos.

Entonces, la regla de Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

y la probabilidad es:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (editar: cuando$0 \le X_i \le \theta$para todo$i$, y 0 de lo contrario, gracias whuber)

pero sin otra información sobre $\theta$ , parece que lo anterior debería ser proporcional a $1$ (es decir, uniforme) o a $\frac{1}{L}$ (¿Jeffreys antes?) En$[0,\infty]$pero luego mis integrales no convergen, y no estoy seguro de cómo proceder. ¿Algunas ideas?

Esto ha generado un debate interesante, pero tenga en cuenta que realmente no hace mucha diferencia a la pregunta de interés. Personalmente, creo que debido a que es un parámetro de escala, el argumento del grupo de transformación es apropiado, lo que lleva a un previo de$\theta$

$$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$$

Esta distribución tiene la misma forma al reescalar el problema (la probabilidad también sigue siendo "invariante" al reescalar). El núcleo de este anterior, puede obtenerse resolviendo la ecuación funcional . Los valores dependen del problema, y ​​realmente solo importan si el tamaño de la muestra es muy pequeño (como 1 o 2). El posterior es un pareto truncado, dado por:$f(y)=y^{-1}$$af(ay)=f(y)$$L,U$

$$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$$ Donde es el enésimo estadística de orden, o el valor máximo de la muestra. Obtenemos la media posterior de Si establezca y , obtenemos la expresión más simple .$X_{(N)}$ $$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$$ $U\to\infty$$L\to 0$$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Pero ahora supongamos que usamos un prior más general, dado por (tenga en cuenta que mantenemos los límites para garantizar que todo sea correcto; entonces no hay matemática singular) ) El posterior es el mismo que el anterior, pero con reemplazado por , siempre que . Repitiendo los cálculos anteriores, tenemos la media posterior simplificada de$p(\theta|cI)\propto\theta^{-c-1}$$L,U$$N$$c+N$$c+N\geq 0$

$$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$$

Entonces el uniforme anterior ( ) dará una estimación de siempre que (la media es infinita para ). Esto muestra que el debate aquí es un poco como si se usa o no o como divisor en la estimación de la varianza.$c=-1$$\frac{N-1}{N-2}X_{(N)}$$N\geq 2$$N=2$$N$$N-1$

Un argumento en contra del uso del uniforme incorrecto previo en este caso es que el posterior es incorrecto cuando , ya que es proporcional a . Pero esto solo importa si o es muy pequeño.$N=1$$\theta^{-1}$$N=1$

Dado que el propósito aquí es presumiblemente obtener una estimación válida y útil de , la distribución previa debe ser coherente con la especificación de la distribución de la población de la que proviene la muestra. Esto NO significa de ninguna manera que "calculemos" el uso previo de la muestra en sí; esto anularía la validez de todo el procedimiento. Sí sabemos que la población de la que proviene la muestra es una población de variables aleatorias uniformes iid, cada una de las cuales varía en . Esta es una suposición mantenida y es parte de la información previa que poseemos (y no tiene nada que ver con la muestra , es decir, con la realización específica de un subconjunto de estas variables aleatorias).$\theta$$[0,\theta]$

Ahora suponga que esta población consta de variables aleatorias (mientras que nuestra muestra consta de realizaciones de variables aleatorias). La suposición mantenida nos dice que $m$$n<m$$n$

$$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$$

Denote para compacidad . Luego tenemos que también se puede escribir $\max_{i=1,...,n}\{X_i\} \equiv X^*$$\theta \ge X^*$

$$\theta = cX^*\qquad c\ge 1$$

La función de densidad del de iid Uniform rv que varía en es $\max$$N$$[0,\theta]$

$$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$$

para el soporte y cero en otro lugar. Luego, usando y aplicando la fórmula de cambio de variable, obtenemos una distribución previa de que es consistente con el supuesto mantenido: $[0,\theta]$$\theta = cX^*$$\theta$

$$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$$

lo cual puede ser incorrecto si no especificamos la constante adecuadamente. Pero nuestro interés radica en tener un posterior apropiado para , y también, no queremos restringir los posibles valores de (más allá de la restricción implícita en el supuesto mantenido). Entonces dejamos indeterminado. Luego escribiendo el posterior es$c$$\theta$$\theta$$c$
$\mathbf X = \{x_1,..,x_n\}$

$$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$$

para alguna constante de normalización A. Queremos

$$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$$

$$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$$

Inserción en la parte posterior

$$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$$

Tenga en cuenta que la constante indeterminada de la distribución anterior se ha cancelado convenientemente.$c$

La parte posterior resume toda la información que la muestra específica puede darnos con respecto al valor de . Si queremos obtener un valor específico para , podemos calcular fácilmente el valor esperado de la parte posterior, $\theta$$\theta$

$$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$$

¿Hay alguna intuición en este resultado? Bueno, a medida que aumenta el número de , lo más probable es que la realización máxima entre ellos sea cada vez más cercana a su límite superior, , que es exactamente lo que refleja el valor medio posterior de : si, por ejemplo , , pero si . Esto muestra que nuestra táctica con respecto a la selección de lo anterior fue razonable y consistente con el problema en cuestión, pero no necesariamente "óptima" en algún sentido.$X$$\theta$$\theta$$N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$$N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

Teorema de distribución previa uniforme (caso de intervalo):

"Si la totalidad de Su información sobre externa a los datos es capturada por la proposición única entonces Su única especificación previa posible lógicamente internamente consistente es $\theta$$D$

$$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$$ $$f(\theta)=\text{Uniform}(a,b)$$

Por lo tanto, su especificación previa debe corresponder con la anterior de Jeffrey si realmente cree en el teorema anterior ".

No forma parte del teorema uniforme de distribución previa:

Alternativamente, puede especificar su distribución anterior como una distribución de Pareto, que es la distribución conjugada para el uniforme, sabiendo que su distribución posterior tendrá que ser otra distribución uniforme por conjugación. Sin embargo, si utiliza la distribución de Pareto, deberá especificar los parámetros de la distribución de Pareto de alguna forma.$f(\theta)$