¿Deberíamos enseñar curtosis en un curso de estadística aplicada? ¿Si es así, cómo?

La tendencia central, la propagación y la asimetría pueden definirse relativamente bien, al menos de manera intuitiva; Las medidas matemáticas estándar de estas cosas también corresponden relativamente bien a nuestras nociones intuitivas. Pero la curtosis parece ser diferente. Es muy confuso y no coincide bien con ninguna intuición sobre la forma de distribución.

Una explicación típica de la curtosis en un entorno aplicado sería este extracto de las estadísticas aplicadas para negocios y administración usando Microsoft Excel [ 1 ] :$^{[1]}$

La curtosis se refiere a cuán alta es una distribución o, por el contrario, qué tan plana es. Si hay más valores de datos en las colas, de lo que espera de una distribución normal, la curtosis es positiva. Por el contrario, si hay menos valores de datos en las colas, de lo que cabría esperar en una distribución normal, la curtosis es negativa. Excel no puede calcular esta estadística a menos que tenga al menos cuatro valores de datos.

Además de la confusión entre "curtosis" y "curtosis excesiva" (como en este libro, es común usar la primera palabra para referirse a lo que otros autores llaman la segunda), la interpretación en términos de "pico" o "planitud" luego se confunde con el cambio de atención a cuántos elementos de datos hay en las colas. Teniendo en cuenta tanto "pico" y "colas" es necesario - Kaplansky [ 2 ]$^{[2]}$se quejó en 1945 de que muchos libros de texto de la época afirmaban erróneamente que la curtosis tenía que ver con qué tan alto se compara el pico de la distribución con el de una distribución normal, sin considerar las colas. Pero claramente tener que considerar la forma tanto en el pico como en las colas hace que la intuición sea más difícil de comprender, un punto que el extracto citado anteriormente omite al pasar del pico a la pesadez de las colas como si estos conceptos fueran los mismos.

Además, esta explicación clásica de "cumbres y colas" de la curtosis solo funciona bien para distribuciones simétricas y unimodales (de hecho, los ejemplos ilustrados en ese texto son todos simétricos). Sin embargo, la forma general "correcta" de interpretar la curtosis, ya sea en términos de "picos", "colas" u "hombros", ha sido discutida durante décadas . [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]$^{[2][3][4][5][6]}$

¿Existe una forma intuitiva de enseñar curtosis en un entorno aplicado que no golpee contradicciones o contraejemplos cuando se adopta un enfoque más riguroso? ¿Es la curtosis incluso un concepto útil en el contexto de este tipo de cursos de análisis de datos aplicados, a diferencia de las clases de estadística matemática? Si el "pico" de una distribución es un concepto intuitivamente útil, ¿deberíamos enseñarlo a través de L-moments [ 7 ] en su lugar?$^{[7]}$

Herkenhoff, L. y Fogli, J. (2013). Estadística aplicada para negocios y administración usando Microsoft Excel. Nueva York, NY: Springer.$[1]$

Kaplansky, I. (1945). "Un error común con respecto a la curtosis". Revista de la Asociación Americana de Estadística,40(230): 259.$[2]$

Darlington, Richard B (1970). "¿Es la curtosis realmente 'pico'?". El estadístico estadounidense24(2): 19–22$[3]$

Moros, JJA. (1986) "El significado de la curtosis: Darlington reexaminado". El estadístico estadounidense40(4): 283–284$[4]$

Balanda, Kevin P. y MacGillivray, HL (1988). "Kurtosis: una revisión crítica". El estadístico estadounidense 42(2): 111–119$[5]$

DeCarlo, LT (1997). "Sobre el significado y uso de la curtosis". Métodos psicológicos,2(3), 292. Chicago$[6]$

Hosking, JRM (1992). "¿Momentos o momentos L? Un ejemplo que compara dos medidas de forma distributiva". El estadístico estadounidense46(3): 186-189$[7]$

La curtosis es realmente bastante simple ... y útil. Es simplemente una medida de valores atípicos, o colas. No tiene nada que ver con el pico, esa definición debe ser abandonada.

Aquí hay un conjunto de datos:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Tenga en cuenta que '999' es un valor atípico.

Aquí están los valores 4 del conjunto de datos:$z^4$

0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00,0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 360.98

Tenga en cuenta que solo el valor atípico da un $z^4$ que es notablemente diferente de 0.

El promedio de estos valores de 4 es la curtosis de la distribución empírica (reste 3 si lo desea, no importa para el punto que estoy haciendo): 18.05$z^4$

Debería ser obvio a partir de este cálculo que los datos cerca del "pico" (los datos no atípicos) no contribuyen casi nada a la estadística de curtosis.

La curtosis es útil como medida de valores atípicos. Los valores atípicos son importantes para los estudiantes de primaria y, por lo tanto, se debe enseñar la curtosis. Pero la curtosis prácticamente no tiene nada que ver con el pico, ya sea puntiagudo, plano, bimodal o infinito. Puede tener todo lo anterior con curtosis pequeña y todo lo anterior con curtosis grande. Entonces debería NUNCA debe presentarse como algo que tenga que ver con el pico, porque eso enseñará información incorrecta. También hace que el material sea innecesariamente confuso y aparentemente menos útil.

Resumen:

1. La curtosis es útil como medida de colas (valores atípicos).
2. La curtosis no tiene nada que ver con el pico.
3. La curtosis es prácticamente útil y debe enseñarse, pero solo como una medida de valores atípicos. No mencione pico cuando enseñe curtosis.

Este artículo explica claramente por qué la definición de "pico" ahora está oficialmente muerta.

Westfall, PH (2014). " Kurtosis como pico, 1905 - 2014. RIP " The American Statistician , 68 (3), 191-195.

Si bien la pregunta es algo vaga, es interesante. ¿A qué niveles se enseña la curtosis? Recuerdo que se mencionó en un curso (nivel de maestría) en modelos lineales (hace mucho tiempo, basado en la primera edición del libro de Seber). No era un tema importante, pero entra en temas como el estudio de la (falta de) robustez de la prueba de razón de probabilidad (prueba F) de igualdad de varianzas, donde (desde la memoria) el nivel correcto asintóticamente depende de tener la misma curtosis que la distribución normal, que es demasiado para suponer! Vimos un documento (pero nunca lo leí con detalles) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents por Oja, que trata de averiguar qué asimetría, curtosis y tales medidas realmente.

¿Por qué me parece interesante? Porque he estado enseñando en América Latina, donde parece que la asimetría y la curtosis son enseñadas por muchos como temas importantes, y tratando de decirles a los estudiantes de postgrado (muchos de economía) que la curtosis es una mala medida de la forma de distribución (principalmente porque la variabilidad del muestreo de las cuarta potencias simplemente es demasiado grande), fue difícil. Intenté hacer que usaran QQplots en su lugar. Entonces, para algunos de los comentaristas, sí, ¡esto se enseña en algunos lugares, probablemente demasiado!

Por cierto, esta no es solo mi opinión. La siguiente publicación de blog https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics contiene esta cita (atribuida al Dr. Wheeler):

En resumen, la asimetría y la curtosis son prácticamente inútiles. Shewhart hizo esta observación en su primer libro. Las estadísticas de asimetría y curtosis simplemente no proporcionan información útil más allá de la que ya proporcionan las medidas de ubicación y dispersión.

¡Deberíamos enseñar mejores técnicas para estudiar formas de distribuciones! tales como QQplots (o gráficos de distribución relativa). Y, si alguien todavía necesita medidas numéricas, las medidas basadas en momentos L son mejores. Citaré un pasaje del artículo JR Statist Soc B (1990) 52, No 1, pp 105-124 de JRM Hosking: "Momentos L: análisis y estimación de la distribución utilizando la combinación lineal de estadísticas de pedidos", página 109:

$\lambda_1$$\lambda_2$$\mu(F)$$\frac12 \sigma_1(F)$$\tau_3$$\tau_4$

(Por el momento, me refiero al documento para las definiciones de estas medidas, todas están basadas en momentos L). Lo interesante es que, la medida tradicional de curtosis, basada en cuartos momentos, no es una medida de curtosis en el sentido de Oja! (Lo editaré en referencias para ese reclamo cuando pueda encontrarlo).

En mi opinión, el coeficiente de asimetría es útil para motivar los términos: sesgo positivo y sesgo negativo. Pero, ahí es donde se detiene, si su objetivo es evaluar la normalidad. Las medidas clásicas de asimetría y curtosis a menudo no logran capturar varios tipos de desviación lejos de la normalidad. Por lo general, recomiendo a mis alumnos que utilicen técnicas gráficas para evaluar que es razonable evaluar la normalidad, como una gráfica qq o una gráfica de probabilidad normal. También con una muestra de tamaño adecuado, también se puede usar un histograma. Los diagramas de caja también son útiles para identificar valores atípicos o incluso colas pesadas.

Esto está en línea con las recomendaciones de un grupo de trabajo de 1999 de la APA:

" Suposiciones. Debe realizar esfuerzos para garantizar que los supuestos subyacentes necesarios para el análisis sean razonables dados los datos. Examine los residuos con cuidado. No utilice pruebas de distribución e índices estadísticos de forma (por ejemplo, asimetría, curtosis) como un sustituto para examinar gráficamente sus residuos. El uso de una prueba estadística para diagnosticar problemas en el ajuste del modelo tiene varias deficiencias. Primero, las pruebas de significación diagnóstica basadas en estadísticas resumidas (como las pruebas de homogeneidad de varianza) a menudo son poco sensibles; nuestras pruebas estadísticas de modelos son a menudo más robustas que nuestras pruebas estadísticas de supuestos. En segundo lugar, las estadísticas como la asimetría y la curtosis a menudo no pueden detectar irregularidades distributivas en los residuos. Tercero, las pruebas estadísticas dependen del tamaño de la muestra y, a medida que aumenta el tamaño de la muestra, Las pruebas a menudo rechazarán suposiciones inocuas. En general, no hay sustituto para el análisis gráfico de supuestos."

Referencia: Wilkinson, L., y Task Force sobre Inferencia Estadística. (1999) Métodos estadísticos en revistas de psicología: directrices y explicaciones. Psicólogo estadounidense, 54, 594-604.

Dependiendo de cómo se aplique el curso, puede surgir la cuestión de la precisión de las estimaciones. La precisión de la estimación de la varianza depende en gran medida de la curtosis. La razón por la que esto sucede es que con una curtosis alta, la distribución permite datos raros, extremos y potencialmente observables. Por lo tanto, el proceso de generación de datos producirá valores muy extremos en algunas muestras, y valores no tan extremos en otras. En el primer caso, obtienes una estimación de varianza muy grande, y en el segundo, una estimación de varianza pequeña.

Si se eliminara la interpretación anticuada e incorrecta de los "niveles máximos", y se prestara la atención por completo a los valores atípicos (es decir, observables raros y extremos), entonces sería más fácil enseñar curtosis en cursos introductorios. Pero las personas se tuercen en nudos tratando de justificar el "pico" porque se dice (incorrectamente) de esa manera en sus libros de texto, y extrañan las aplicaciones reales de la curtosis. Estas aplicaciones se refieren principalmente a valores atípicos y, por supuesto, los valores atípicos son importantes en los cursos de estadística aplicada.

Francamente, no entiendo por qué la gente quiere complicar las cosas simples. ¿Por qué no solo mostrar la definición (robada de Wikipedia ):

Puede reemplazar el operador de expectativa con estimadores basados ​​en suma $\frac 1 n \sum_{i=1}^n$, por supuesto. Ayuda a discutir las unidades de medida de$\mu,\sigma^2,\mu_4$, y muestre por qué el cuarto momento debe ser escalado por el cuadrado de la varianza para hacer que la curtosis sea la medida adimensional, es decir, un parámetro de forma. Entonces, ahora tenemos ubicación$\mu$escala $\sigma^2$y cualquier número de parámetros para describir la forma, como sesgo y curtosis. Siempre comenzaría con ecuaciones. Supuestamente, las explicaciones fáciles de entender en inglés simple solo hacen que todo sea más confuso. Verbosidad$\ne$ claridad.