¿Cuál tiene la cola más pesada, lognormal o gamma?

(Esto se basa en una pregunta que me llegó por correo electrónico; agregué algo de contexto de una breve conversación anterior con la misma persona).

El año pasado me dijeron que la distribución gamma tiene una cola más pesada que la lognormal, y desde entonces me dijeron que ese no es el caso.

• ¿Cuál es la cola más pesada?

• ¿Cuáles son algunos recursos que puedo usar para explorar la relación?

La cola (derecha) de una distribución describe su comportamiento en valores grandes. El objeto correcto de estudio no es su densidad - que en muchos casos prácticos no existe - sino más bien su función de distribución $F$ . Más específicamente, debido a que $F$ debe asintóticamente a $1$ para argumentos grandes $x$ (según la Ley de Probabilidad Total), estamos interesados ​​en qué tan rápido se acerca a esa asíntota: necesitamos investigar el comportamiento de su función de supervivencia $1- F(x)$ como $x \to \infty$ .

$F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

La curva roja en esta figura es la función de supervivencia para una distribución de Poisson . La curva azul es para una distribución Gamma , que tiene la misma varianza. Eventualmente, la curva azul siempre excede la curva roja, lo que muestra que esta distribución Gamma tiene una cola más pesada que esta distribución de Poisson. Estas distribuciones no se pueden comparar fácilmente usando densidades, porque la distribución de Poisson no tiene densidad.$(3)$$(3)$

Es cierto que cuando las densidades de y existir y para entonces es más pesado de cola de . Sin embargo, lo contrario es falso, y esta es una razón convincente para basar la definición de pesadez de cola en las funciones de supervivencia en lugar de las densidades, incluso si a menudo el análisis de las colas se puede llevar a cabo más fácilmente utilizando las densidades.$f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

Los contraejemplos pueden construirse tomando una distribución discreta de soporte positivo ilimitado que, sin embargo, no tiene una cola más gruesa que (discretizar servirá). Convierta esto en una distribución continua reemplazando la masa de probabilidad de en cada uno de sus puntos de soporte , escrita , por (digamos) una distribución Beta escalada con soporte en un intervalo adecuado y ponderado por . Dado un pequeño número positivo elija$H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$$h(k)$$\delta,$$\varepsilon(k)$suficientemente pequeño para asegurar que la densidad máxima de esta distribución Beta escalada excede . Por construcción, la mezcla es una distribución continua cuya cola se parece a la de (es uniformemente un poco menor en una cantidad ) pero tiene picos en su densidad en el soporte de y todos esos picos tienen puntos donde exceden la densidad de . Por lo tanto es más ligero de cola de pero no importa lo lejos en la cola vamos habrá puntos donde su densidad es superior a la de .$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$$G^\prime$$F$$F$

La curva roja es el PDF de una distribución Gamma , la curva dorada es el PDF de una distribución lognormal , y la curva azul (con puntas) es el PDF de una mezcla construida como en el contraejemplo. (Observe el eje de densidad logarítmica). La función de supervivencia de está cerca de la de una distribución Gamma (con movimientos rápidos de descomposición): eventualmente crecerá menos que la de , aunque su PDF siempre se disparará por encima de eso de sin importar cuán lejos entre las colas miremos.$G$$F$$G^\prime$$G^\prime$$F$$F$

Discusión

Por cierto, podemos realizar este análisis directamente sobre las funciones de supervivencia de las distribuciones lognormal y gamma, expandiéndolas alrededor de para encontrar su comportamiento asintótico, y concluir que todos los lognormales tienen colas más pesadas que todos los Gammas. Pero, debido a que estas distribuciones tienen densidades "agradables", el análisis se realiza más fácilmente al mostrar que para suficientemente grande , una densidad lognormal excede una densidad Gamma. Sin embargo, no confundamos esta conveniencia analítica con el significado de una cola pesada.$x=\infty$$x$

Del mismo modo, aunque los momentos más altos y sus variantes (como la asimetría y la curtosis) dicen un poco sobre las colas, no proporcionan información suficiente. Como un simple ejemplo, podemos truncar cualquier distribución lognormal a un valor tan grande que cualquier número dado de sus momentos apenas cambie, pero al hacerlo, habremos eliminado su cola por completo, haciéndola más ligera que cualquier distribución con límites ilimitados. soporte (como un Gamma).

Una objeción justa a estas contorsiones matemáticas sería señalar que el comportamiento hasta ahora en la cola no tiene aplicación práctica, porque nadie creería que ningún modelo de distribución será válido en valores tan extremos (tal vez físicamente inalcanzables). Sin embargo, eso muestra que en las aplicaciones debemos tener cuidado para identificar qué parte de la cola es preocupante y analizarla en consecuencia. (Los tiempos de recurrencia de inundaciones, por ejemplo, pueden entenderse en este sentido: inundaciones de 10 años, inundaciones de 100 años e inundaciones de 1000 años caracterizan secciones particulares de la cola de la distribución de inundaciones). Sin embargo, se aplican los mismos principios: El objeto fundamental de análisis aquí es la función de distribución y no su densidad.

La gamma y la lognormal son distribuciones sesgadas, de coeficiente de variación constante en , y a menudo son la base de modelos "competidores" para tipos particulares de fenómenos.$(0,\infty)$

Hay varias formas de definir el peso de una cola, pero en este caso creo que todas las habituales muestran que el lognormal es más pesado. (De lo que la primera persona podría haber estado hablando es de lo que sucede no en la cola lejana, sino un poco a la derecha del modo (por ejemplo, alrededor del percentil 75 en el primer gráfico a continuación, que para el lognormal está justo por debajo de 5 y la gamma justo por encima de 5.)

Sin embargo, exploremos la pregunta de una manera muy simple para comenzar.

A continuación se muestran las densidades gamma y lognormal con media 4 y varianza 4 (gráfico superior: gamma es verde oscuro, lognormal es azul), y luego el registro de la densidad (inferior), para que pueda comparar las tendencias en las colas:

Es difícil ver muchos detalles en la gráfica superior, porque toda la acción está a la derecha de 10. Pero está bastante claro en la segunda gráfica, donde el gamma se dirige hacia abajo mucho más rápido que el lognormal.

Otra forma de explorar la relación es mirar la densidad de los registros, como en la respuesta aquí ; vemos que la densidad de los registros para el lognormal es simétrica (¡es normal!), y que para el gamma está sesgada a la izquierda, con una cola ligera a la derecha.

Podemos hacerlo algebraicamente, donde podemos ver la relación de densidades como (o el registro de la relación). Sea una densidad gamma y lognormal:$x\rightarrow\infty$$g$$f$

El término en [] es un cuadrático en , mientras que el término restante disminuye linealmente en . No importa qué, ese eventualmente disminuirá más rápido que los aumentos cuadráticos independientemente de cuáles sean los valores de los parámetros . En el límite como , el logaritmo de la relación de densidades está disminuyendo hacia , lo que significa que el pdf gamma es finalmente mucho más pequeño que el pdf lognormal, y sigue disminuyendo, relativamente. Si toma la relación de la otra manera (con lognormal en la parte superior), eventualmente debe aumentar más allá de cualquier límite.$\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

Es decir, cualquier lognormal dado es eventualmente más pesado que cualquier gamma.

Otras definiciones de pesadez:

Algunas personas están interesadas en la asimetría o curtosis para medir el peso de la cola derecha. A un coeficiente de variación dado, el lognormal es más sesgado y tiene una curtosis más alta que la gamma . **

Por ejemplo, con asimetría , la gamma tiene una asimetría de 2CV mientras que la lognormal es 3CV + CV .$^3$

Hay algunas definiciones técnicas de varias medidas de cuán pesadas son las colas aquí . Puede probar algunos de estos con estas dos distribuciones. Lognormal es un caso especial interesante en la primera definición: todos sus momentos existen, pero su MGF no converge por encima de 0, mientras que el MGF para el Gamma sí converge en una vecindad alrededor de cero.

-

** Como Nick Cox menciona a continuación, la transformación habitual para aproximar la normalidad de la gamma, la transformación Wilson-Hilferty, es más débil que el registro: es una transformación de raíz cúbica. En valores pequeños del parámetro de forma, se ha mencionado la cuarta raíz; en cambio, vea la discusión en esta respuesta , pero en cualquier caso es una transformación más débil para lograr casi la normalidad.

La comparación de asimetría (o curtosis) no sugiere ninguna relación necesaria en la cola extrema; en cambio, nos dice algo sobre el comportamiento promedio; pero puede por eso funcionar mejor si el punto original no se hizo sobre la cola extrema.

Recursos : es fácil usar programas como R o Minitab o Matlab o Excel o lo que quiera para dibujar densidades y densidades logarítmicas y registros de proporciones de densidades ... y así sucesivamente, para ver cómo van las cosas en casos particulares. Eso es con lo que sugeriría comenzar.

Aunque la curtosis está relacionada con la pesadez de las colas, contribuiría más a la noción de distribuciones de cola gorda , y relativamente menos a la pesadez de la cola, como muestra el siguiente ejemplo. Aquí, ahora regurgito lo que he aprendido en las publicaciones anteriores y posteriores, que son comentarios realmente excelentes. Primero, el área de una cola derecha es el área de x a de una función de densidad , AKA la función de supervivencia, . Para la distribución lognormal y la distribución gamma$\infty$$f(x)$$1-F(t)$$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$, comparemos sus respectivas funciones de supervivencia y gráficamente. Para hacer esto, configuro arbitrariamente sus respectivas variaciones y , así como sus respectivas curtosas en exceso y igual eligiendo y resuelto para . Esta espectáculos$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

la función de supervivencia para la distribución lognormal (LND) en azul y la distribución gamma (GD) en naranja. Esto nos lleva a nuestra primera precaución. Es decir, si este gráfico fuera todo lo que examinaríamos, podríamos concluir que la cola para GD es más pesada que para LND. Que este no es el caso se muestra al extender los valores del eje x de la gráfica, por lo tanto

Este gráfico muestra que 1) incluso con curtosis iguales, las áreas de la cola derecha de LND y GD pueden diferir. 2) Esa interpretación gráfica por sí sola tiene sus peligros, ya que solo puede mostrar resultados para valores de parámetros fijos en un rango limitado. Por lo tanto, es necesario encontrar expresiones generales para la relación de función de supervivencia limitante de . No pude hacer esto con expansiones de series infinitas. Sin embargo, pude hacer esto usando el intermediario de funciones terminales o asintóticas, que no son funciones únicas y donde para las colas de la mano derecha entonces es suficiente para y$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$ser mutuamente asintótico. Con el cuidado apropiado para encontrar estas funciones, esto tiene el potencial de identificar un subconjunto de funciones más simples que las funciones de supervivencia en sí, que se pueden compartir o mantener en común con más de una función de densidad, por ejemplo, dos funciones de densidad diferentes pueden compartir Una cola exponencial limitante. En la versión anterior de esta publicación, esto es a lo que me refería como la "complejidad adicional de comparar funciones de supervivencia". Tenga en cuenta que, y (Incidentalmente y no necesariamente y$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$ . Es decir, no es necesario elegir un límite superior, solo una función asintótica). Aquí escribimos y donde la relación de los términos de la mano derecha tiene el mismo límite que como los términos de la mano izquierda. Simplificando la relación limitante de los rendimientos de los términos de la mano derecha$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$ lo que significa que para x suficientemente grande, el área de cola LND es tan grande como queramos en comparación con el área de cola GD, independientemente de los valores de los parámetros. Eso plantea otro problema, no siempre tenemos soluciones que sean verdaderas para todos los valores de los parámetros, por lo que usar solo ilustraciones gráficas puede ser engañoso. Por ejemplo, el área de cola derecha de la distribución gamma es mayor que el área de cola de la distribución exponencial cuando , menor que exponencial cuando y el GD es exactamente una distribución exponencial cuando .$\alpha < 1$$\alpha >1$$\alpha =1$

¿De qué sirve entonces tomar los logaritmos de la razón de las funciones de supervivencia, ya que obviamente no necesitamos tomar logaritmos para encontrar una razón límite? Muchas funciones de distribución contienen términos exponenciales que parecen más simples cuando se toma el logaritmo, y si la relación llega al infinito en el límite a medida que x aumenta, entonces el logaritmo también lo hará. En nuestro caso, eso nos permitiría inspeccionar , que algunas personas encontrarían más simple de ver. Por último, si la proporción de funciones de supervivencia llega a cero, entonces el logaritmo de esa proporción irá a$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$, y en todos los casos después de encontrar el límite de un logaritmo de una relación, tenemos que tomar el antilogaritmo de ese valor para comprender su relación con el valor límite de la relación ordinaria de la función de supervivencia.