Recientemente encontré el siguiente estimador cuantil para una variable aleatoria continua en un artículo (no estadístico, aplicado): para un vector 100 longitudes , el cuantil del 1% se estima con . Así es como funciona: a continuación se muestra un gráfico de densidad de kernel de realizaciones del estimador partir de 100,000 ejecuciones de simulación de muestras de 100 longitudes de distribución . La línea vertical es el valor verdadero, es decir, el cuantil teórico del 1% de la distribución de . También se proporciona el código para la simulación. $x$ $\min(x)$ $\min(x)$ $N(0,1)$ $N(0,1)$

M=10e5; n=100
quantiles=rep(NA,M)
for(i in 1:M){ set.seed(i); quantiles[i]=min(rnorm(n)) }
plot(density(quantiles),main="Kernel density estimate of quantiles from M=100,000 simulation runs"); abline(v=qnorm(1/n))

El gráfico se ve cualitativamente similar para una distribución (solo un ejemplo). En ambos casos, el estimador está sesgado hacia abajo. Sin comparación con algún otro estimador, sin embargo, es difícil decir qué tan bueno es de otra manera. De ahí mi pregunta: ¿hay algún estimador alternativo que sea mejor en, digamos, error absoluto esperado o sentido de error cuadrado esperado? $t(3)$

quantiles Richard Hardy
fuente

Bueno, el 1% de 100 es 1, entonces es el cuantil empírico del 1%.

min {X_{i}}

$\min\{X_i\}$

Xi'an

@ Xi'an, al mismo tiempo, es no tal punto a que el 1% de los datos tienen valores más bajos mientras que el 99% de los datos tienen valores mayores. De hecho, 0% de los datos tienen valores más bajos que por diseño de este estimador. Me pregunto si eso no es un problema. (En este ejemplo, podemos suponer que la distribución es continua).

min (x)

$\min(x)$

Richard Hardy

Por otro lado, estimar el 1% cuantil basado en 100 observaciones es pedir un poquito demasiado de los datos.

Xi'an

"Bueno" en qué sentido? ¿Cuál es su función de pérdida y cuál es su modelo de probabilidad subyacente?

whuber

El mínimo podría ser un estimador extremadamente bueno, como cuando las distribuciones tienen un límite inferior finito. Cuando la cola izquierda podría ser pesada, el mínimo podría tener una variación extremadamente grande y, por lo tanto, ser un estimador deficiente. La simetría no importa, porque la distribución del mínimo no se verá afectada de manera apreciable por la cola superior. Para problemas paramétricos, especialmente en familias de escala de ubicación, la respuesta de Aksakal sugiere cómo construir mejores estimadores de un percentil. Estos se conocen generalmente como intervalos de tolerancia. Para problemas no paramétricos, todo depende.

whuber

Se usa una muestra mínima de 100 observaciones como estimador del 1% cuantil en la práctica. Lo he visto llamado "percentil empírico".

Familia de distribución conocida

Si desea una estimación diferente Y tiene una idea sobre la distribución de los datos, le sugiero que mire las medianas de estadísticas de pedidos. Por ejemplo, este paquete R los usa para los coeficientes de correlación de la gráfica de probabilidad PPCC . Puede encontrar cómo lo hacen para algunas distribuciones como la normal. Puede ver más detalles en el documento de 1986 de Vogel "La prueba de coeficiente de correlación de la trama de probabilidad para la hipotética de distribución normal, lo normal y Gumbel" aquí en las medianas estadísticas de pedidos sobre distribuciones normales y lognormales.

Por ejemplo, a partir del artículo de Vogel, la ecuación 2 define la muestra min (x) de 100 observaciones de la distribución normal estándar de la siguiente manera: donde la estimación de la mediana de CDF:

M_{1} = Φ^{- 1} (F_{Y} (min (y)))

$M_1=\Phi^{-1}(F_Y(\min(y)))$

{\hat{F}}_{Y} (min (y)) = 1 - (1 / 2)^{1 / 100} = 0.0069

$\hat F_Y(\min(y))=1-(1/2)^{1/100}=0.0069$

Obtenemos el siguiente valor: para el estándar normal al que puede aplicar la ubicación y la escala para obtener su estimación del percentil 1: . $M_1=-2.46$ $\hat\mu-2.46\hat\sigma$

Aquí se compara esto con min (x) en distribución normal:

El gráfico en la parte superior es la distribución del estimador min (x) del percentil 1, y el que está en la parte inferior es el que sugerí mirar. También pegué el código a continuación. En el código, selecciono aleatoriamente la media y la dispersión de la distribución normal, luego genero una muestra de 100 observaciones de longitud. Luego, encuentro min (x), luego lo escalo a normal estándar usando parámetros verdaderos de la distribución normal. Para el método M1, calculo el cuantil usando la media y la varianza estimadas, luego lo vuelvo a escalar al estándar usando nuevamente los parámetros verdaderos . De esta manera puedo explicar el impacto del error de estimación de la media y la desviación estándar hasta cierto punto. También muestro el percentil verdadero con una línea vertical.

Puede ver cómo el estimador M1 es mucho más estricto que min (x). Es porque usamos nuestro conocimiento del tipo de distribución verdadero , es decir, normal. Todavía no conocemos los parámetros verdaderos, pero incluso saber que la familia de distribución mejoró enormemente nuestra estimación.

CODIGO OCTAVA

Puede ejecutarlo aquí en línea: https://octave-online.net/

N=100000
n=100

mus = randn(1,N);
sigmas = abs(randn(1,N));
r = randn(n,N).*repmat(sigmas,n,1)+repmat(mus,n,1);
muhats = mean(r);
sigmahats = std(r);

fhat = 1-(1/2)^(1/100)
M1 = norminv(fhat)
onepcthats = (M1*sigmahats + muhats - mus) ./ sigmas;

mins = min(r);
minonepcthats = (mins - mus) ./ sigmas;

onepct = norminv(0.01)

figure
subplot(2,1,1)
hist(minonepcthats,100)
title 'min(x)'
xlims = xlim;
ylims = ylim;
hold on
plot([onepct,onepct],ylims)

subplot(2,1,2)
hist(onepcthats,100)
title 'M1'
xlim(xlims)
hold on
plot([onepct,onepct],ylims)

Distribución desconocida

Si no sabe de qué distribución provienen los datos, existe otro enfoque que se utiliza en las aplicaciones de riesgo financiero . Hay dos distribuciones Johnson SU y SL. El primero es para casos ilimitados como Normal y t de Student, y el último es para límites inferiores como lognormal. Puede ajustar la distribución de Johnson a sus datos, luego, utilizando los parámetros estimados, calcule el cuantil requerido. Tuenter (2001) sugirió un procedimiento de ajuste de coincidencia de momento, que algunos utilizan en la práctica.

¿Será mejor que min (x)? No lo sé con certeza, pero a veces produce mejores resultados en mi práctica, por ejemplo, cuando no conoce la distribución pero sabe que tiene un límite inferior.

Aksakal
fuente

@ Richard Hardy, agregué una demostración para mostrar lo que estoy sugiriendo y cómo mejora con min (x). No, Vogel ni siquiera habla de min (x). Esa es mi aplicación del método de las medianas en su caso. PPCC utiliza los cuantiles del 1 al n enésimo en la muestra. En 100 muestras de observación min (x) es el primer percentil.

Aksakal

¡Gracias por la actualización! Lo que estaba preguntando era si el artículo de Vogel Eq.2 define la muestra min (x) de 100 observaciones : ¿debería haber lugar de min (x)? Dado que, de lo contrario, min (x) se redefine como algo diferente del literal min (x), esa es mi impresión.

M_{1}

$M_1$

Richard Hardy

@RichardHardy, reordenan las observaciones, por lo que M1 será min (x)

Aksakal

como estimador cuantil para el cuantil del 1% de

Respuestas:

Familia de distribución conocida

CODIGO OCTAVA

Distribución desconocida