¿Es la distribución de Cauchy de alguna manera una distribución "impredecible"?

¿Es la distribución de Cauchy de alguna manera una distribución "impredecible"?

Intenté hacer

cs <- function(n) {
  return(rcauchy(n,0,1))
}

en R para una multitud de n valores y noté que ocasionalmente generan valores bastante impredecibles.

Compare eso con, por ejemplo

as <- function(n) {
  return(rnorm(n,0,1))
}

que siempre parece dar una nube de puntos "compacta".

¿Por esta foto debería verse como la distribución normal? Sin embargo, tal vez solo lo haga para un subconjunto de valores. ¿O tal vez el truco es que las desviaciones estándar de Cauchy (en la imagen a continuación) convergen mucho más lentamente (a izquierda y derecha) y, por lo tanto, permite valores atípicos más severos, aunque con bajas probabilidades?

Aquí, como son los rvs y cs normales, son los rvs de Cauchy.

Pero por el extremo de los valores atípicos, ¿es posible que las colas del Cauchy pdf nunca converjan?

Si bien varias publicaciones en el sitio abordan varias propiedades del Cauchy, no pude localizar una que realmente las presentara juntas. Esperemos que este sea un buen lugar para recolectar algunos. Puedo ampliar esto.

Colas pesadas

Mientras que el Cauchy es simétrico y más o menos en forma de campana, algo así como la distribución normal, tiene colas mucho más pesadas (y menos de un "hombro"). Por ejemplo, hay una probabilidad pequeña pero distinta de que una variable aleatoria de Cauchy establezca más de 1000 rangos intercuartiles de la mediana, aproximadamente del mismo orden que una variable aleatoria normal con al menos 2,67 rangos intercuartiles de su mediana.

Diferencia

La varianza de Cauchy es infinita.

Editar: JG dice en los comentarios que no está definido. Si tomamos la varianza como el promedio de la mitad de la distancia al cuadrado entre pares de valores, que es idéntico a la varianza cuando ambos existen, entonces sería infinito. Sin embargo, según la definición habitual, JG es correcto. [Sin embargo, en contraste con los medios muestrales, que realmente no convergen a nada a medida que n se hace grande, la distribución de las variaciones muestrales sigue creciendo en tamaño a medida que aumenta el tamaño muestral; la escala aumenta proporcionalmente a n, o de manera equivalente, la distribución de la variación logarítmica crece linealmente con el tamaño de la muestra. Parece productivo considerar realmente que la versión de la varianza que produce infinito nos está diciendo algo.]

Las desviaciones estándar de la muestra existen, por supuesto, pero cuanto más grande es la muestra, más grandes tienden a ser (por ejemplo, la mediana de la desviación estándar de la muestra en n = 10 está cerca de 3.67 veces el parámetro de escala (la mitad del IQR), pero en n = 100 es aproximadamente 11.9).

Media

La distribución de Cauchy ni siquiera tiene una media finita; la integral para la media no converge. Como resultado, incluso las leyes de los grandes números no se aplican: a medida que crece n, los medios de muestra no convergen a una cantidad fija (de hecho, no hay nada para que converjan).

De hecho, la distribución de la media muestral de una distribución de Cauchy es la misma que la distribución de una sola observación (!). La cola es tan pesada que agregar más valores a la suma hace que un valor realmente extremo sea lo suficientemente probable como para compensar la división por un denominador mayor al tomar la media.

Previsibilidad

Ciertamente, puede producir intervalos de predicción perfectamente sensibles para las observaciones de una distribución de Cauchy; existen estimadores simples y bastante eficientes que funcionan bien para estimar la ubicación y la escala y se pueden construir intervalos de predicción aproximados, por lo que, en ese sentido, al menos, las variables de Cauchy son 'predecibles'. Sin embargo, la cola se extiende muy lejos, por lo que si desea un intervalo de alta probabilidad, puede ser bastante ancho.

Si está tratando de predecir el centro de la distribución (por ejemplo, en un modelo de tipo de regresión), eso puede ser, en cierto sentido, relativamente fácil. de predecir; el Cauchy tiene un pico máximo (hay mucha distribución "cerca" del centro para una medida típica de escala), por lo que el centro puede estimarse relativamente bien si tiene un estimador apropiado.

Aquí hay un ejemplo:

Generé datos a partir de una relación lineal con errores estándar de Cauchy (100 observaciones, intercepción = 3, pendiente = 1.5), y estimé líneas de regresión por tres métodos que son razonablemente robustos para los valores atípicos: línea de grupo Tukey 3 (rojo), regresión de Theil (verde oscuro) y regresión L1 (azul). Ninguno es especialmente eficiente en el Cauchy, aunque todos serían excelentes puntos de partida para un enfoque más eficiente.

Sin embargo, los tres son casi coincidentes en comparación con el ruido de los datos y se encuentran muy cerca del centro de donde se ejecutan los datos; en ese sentido, el Cauchy es claramente "predecible".

La mediana de los residuos absolutos es solo un poco mayor que 1 para cualquiera de las líneas (la mayoría de los datos se encuentran bastante cerca de la línea estimada); en ese sentido también, el Cauchy es "predecible".

Para la trama de la izquierda hay un gran valor atípico. Para ver mejor los datos, reduje la escala en el eje y hacia abajo a la derecha.

$\mu$$\sigma$$n\to\infty$$\mu\pm\sigma$$\mu\pm{636.62}\sigma$

$\sigma$

La distribución de Cauchy aparece bastante en la naturaleza, particularmente donde tienes alguna forma de crecimiento. También aparece donde las cosas giran, como rocas que ruedan cuesta abajo. Lo encontrará como la distribución central de una fea mezcla de distribuciones en los rendimientos del mercado de valores, aunque no en los rendimientos de cosas como antigüedades vendidas en subastas. Los rendimientos de las antigüedades también pertenecen a una distribución sin una media o una variación, pero no una distribución de Cauchy. Las diferencias son creadas por las diferencias en las reglas de la subasta. Si cambia las reglas de la NYSE, la distribución de Cauchy desaparecería y aparecería una diferente.

Para comprender por qué suele estar presente, imagine que fue un postor en un conjunto muy grande de postores y postores potenciales. Debido a que las acciones se venden en una subasta doble, la maldición del ganador no se aplica. En equilibrio, el comportamiento racional es ofertar el valor esperado. Una expectativa es una forma de la media. Una distribución de estimaciones medias convergerá a la normalidad a medida que el tamaño de la muestra llegue al infinito.

Esto hace que el mercado de valores sea muy volátil, si uno piensa que el mercado de valores debería tener una distribución normal o logarítmica normal, pero no inesperadamente volátil si espera colas pesadas.

He construido tanto las distribuciones predictivas bayesianas como las frequentistas para la distribución de Cauchy y, dado sus supuestos, funcionan bien. La predicción bayesiana minimiza la divergencia Kullback-Leibler, lo que significa que es lo más cercano posible a la naturaleza en una predicción, para un conjunto de datos dado. La predicción frecuente minimiza la divergencia promedio de Kullback-Leibler sobre muchas predicciones independientes de muchas muestras independientes. Sin embargo, no necesariamente funciona bien para ninguna muestra, como cabría esperar con una cobertura promedio. Las colas convergen, pero convergen lentamente.

El Cauchy multivariante tiene propiedades aún más molestas. Por ejemplo, aunque obviamente no puede covariar ya que no hay una media, no tiene nada similar a una matriz de covarianza. Los errores de Cauchy siempre son esféricos si no sucede nada más en el sistema. Además, si bien nada covaría, nada es independiente tampoco. Para comprender lo importante que podría ser en un sentido práctico, imagine dos países que están creciendo y que comercian entre sí. Los errores en uno no son independientes de los errores en el otro. Mis errores influyen en tus errores. Si un país es tomado por un loco, los errores de ese loco se sienten en todas partes. Por otro lado, dado que los efectos no son lineales como cabría esperar con una matriz de covarianza, los otros países pueden cortar las relaciones para minimizar el impacto.

Esto también es lo que hace que la guerra comercial de Trump sea tan peligrosa. La segunda economía más grande del mundo después de la Unión Europea declaró la guerra económica a través del comercio contra todas las demás economías y está financiando esa guerra tomando prestados el dinero para combatirlo de las naciones a las que declaró la guerra. Si esas dependencias se ven obligadas a relajarse, será feo de una manera que nadie tiene un recuerdo vivo. No habíamos tenido un problema similar desde la Administración Jackson cuando el Banco de Inglaterra embargó el comercio del Atlántico.

La distribución de Cauchy es fascinante porque aparece en sistemas de crecimiento exponencial y en curva S. Confunden a las personas porque su vida cotidiana está llena de densidades que tienen un significado y generalmente tienen una variación. Hace que la toma de decisiones sea muy difícil porque se aprenden las lecciones equivocadas.