¿Qué tan extraño es un grupo de accidentes de avión?

Pregunta original (25/7/14): ¿Tiene sentido esta cita de los medios de comunicación o hay una mejor manera estadística de ver la avalancha de accidentes aéreos recientes?

Sin embargo, Barnett también llama la atención sobre la teoría de la distribución de Poisson, lo que implica que los intervalos cortos entre choques son en realidad más probables que los largos.

"Suponga que hay un promedio de un accidente fatal por año, lo que significa que la probabilidad de un accidente en un día determinado es de uno en 365", dice Barnett. "Si hay un bloqueo el 1 de agosto, la probabilidad de que el próximo choque ocurra un día después, el 2 de agosto, es 1/365. Pero la posibilidad de que el próximo choque sea el 3 de agosto es (364/365) x (1/365) , porque el próximo bloqueo se produce el 3 de agosto solo si no hay bloqueo el 2 de agosto ".

"Parece contradictorio, pero la conclusión se sigue implacablemente de las leyes de probabilidad", dice Barnett.

Fuente: http://www.bbc.com/news/magazine-28481060

Aclaración (27/07/14): Lo que es contra intuitivo (para mí) es decir que los eventos raros tienden a ocurrir cerca en el tiempo. Intuitivamente, pensaría que los eventos raros no ocurrirían en el tiempo cercano. ¿Alguien puede señalarme una distribución teórica o empírica esperada del tiempo entre eventos bajo los supuestos de una distribución de Poisson? (Es decir, un histograma donde el eje y es la frecuencia o probabilidad y el eje x es el tiempo entre 2 eventos consecutivos agrupados en días, semanas, meses o años, o similares). Gracias.

Aclaración (28/7/14): el titular implica que es más probable que haya grupos de accidentes que accidentes espaciados ampliamente. Permite operacionalizar eso. Digamos que un grupo son 3 accidentes aéreos, y un período corto de tiempo es de 3 meses y un período largo de tiempo es de 3 años. Parece ilógico pensar que existe una mayor probabilidad de que ocurran 3 accidentes dentro de un período de 3 meses que dentro de un período de 3 años. Incluso si tomamos el primer accidente como un hecho, es ilógico pensar que ocurrirán 2 accidentes más en los próximos 3 meses en comparación con los próximos 3 años. Si eso es cierto, entonces el titular de los medios de comunicación es engañoso e incorrecto. ¿Me estoy perdiendo de algo?

Resumen: La primera oración en el párrafo citado de la BBC es descuidada y engañosa.

A pesar de que las respuestas y comentarios previos ya proporcionaron una excelente discusión, creo que la pregunta principal no ha sido respondida satisfactoriamente.

Así que supongamos que la probabilidad de un accidente aéreo en un día determinado es y que los accidentes son independientes el uno del otro. Supongamos además que un avión se estrelló el 1 de enero. ¿Cuándo se estrellaría el próximo avión?$p=1/365$

Bueno, hagamos una simulación simple: para cada día durante los próximos tres años, decidiré al azar si otro avión se estrelló con probabilidad y anotaré el día del próximo accidente; Repetiré este procedimiento$p$$100\,000$ veces. Aquí está el histograma resultante:

De hecho, la distribución de probabilidad simplemente viene dada por , donde $\mathrm{Pr}(t) = (1-p)^t p$$t$ es el número de días. Tracé esta distribución teórica como una línea roja, y se puede ver que se ajusta bien al histograma de Monte Carlo. Observación: si el tiempo se discretizara en contenedores cada vez más pequeños, estas distribuciones convergerían en una exponencial; pero realmente no importa para esta discusión.

Como muchas personas ya han comentado aquí, es una curva decreciente . Esto significa que la probabilidad de que el próximo avión se estrelle al día siguiente, el 2 de enero, es mayor que la probabilidad de que el próximo avión se estrelle en cualquier otro día, por ejemplo, el 2 de enero del próximo año (la diferencia es casi tres veces mayor: y 0.10 % ).$0.27\%$$0.10\%$

Sin embargo , si pregunta cuál es la probabilidad de que el próximo avión se estrelle en los próximos tres días, la respuesta es , pero si pregunta cuál es la probabilidad de que se estrelle después de tres días, pero en los próximos tres años, entonces La respuesta es 94 % . Entonces, obviamente, es más probable que se bloquee en los próximos tres años (pero después de los primeros tres días) que en los próximos tres días. La confusión surge porque cuando dices "eventos agrupados" te refieres a una porción inicial muy pequeña de la distribución, pero cuando dices eventos "muy espaciados" te refieres a una gran porción de ella.$0.8\%$$94\%$ Es por eso que incluso con una distribución de probabilidad monotónicamente decreciente, seguramente es posible que los "grupos" (por ejemplo, dos accidentes aéreos en tres días) sean muy improbables.

Aquí hay otro histograma para entender realmente este punto. Es simplemente una suma del histograma anterior durante varios períodos de tiempo que no se cruzan:

Lo que dice el periodista es que la ocurrencia aleatoria de un accidente aéreo puede modelarse como un proceso de Poisson, una situación en la que la probabilidad de que ocurra un evento durante un intervalo (pequeño) es proporcional a la duración de dicho intervalo y donde cada ocurrencia en Independiente de todos los demás.

¿Es este un modelo razonable para el escenario descrito?

Probablemente.

Claro, estos eventos podrían no ser 100% independientes, ya que otros pilotos probablemente alteren su comportamiento (aunque sea muy levemente) después de un choque. [No lo sé, tal vez algunos pilotos entrenan un poco más en el simulador o algo así]. Sin embargo, la asunción de la independencia sigue siendo completamente razonable.

¿Qué pasa con los grupos de accidentes de avión?

Si. Dado un proceso de Poisson (o incluso algún otro proceso aleatorio), que se esperar ver algunos grupos de ocurrencias.

De hecho, como lo describe el Oxford Dictionary of Statistics en su entrada para el Proceso de Poisson (que es una "descripción matemática de la aleatoriedad"):

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Por ejemplo, echa un vistazo a este sencillo código R :

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

que produce:

Aunque sabemos que esta es una gráfica de puntos aleatorios, parece que hay algunos bits no aleatorios, específicamente, en algunas partes del gráfico hay grupos de puntos, mientras que otras partes están completamente abiertas. Es el mismo tipo de comportamiento que el artículo está tratando de describir (solo con datos de series de tiempo y no datos espaciales ).

ACTUALIZAR:

@JoelW .: Entonces, por ejemplo, digamos que la probabilidad de que un avión se estrelle mañana (o cualquier día) es " p " (y, digamos que " p " es algo así como 1 en cien).

La razón por la cual es más probable que ocurra el próximo accidente de avión mañana de lo que es más probable que ocurra exactamente en un año (es decir, el 26 de julio de 2015 ) es porque la probabilidad de que el próximo accidente sea exactamente en un año es igual a:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

¿Tener sentido?

En última instancia, creo que la razón de que estas cosas son contra-intuitivo se debe a que por lo general cuando pensamos en una frase como: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Naturalmente, no consideramos de inmediato el período de 24 horas que comienza exactamente en un mes. En cambio, nosotros (o al menos yo lo hago) tendemos a pensar en ello de manera más flexible . Por lo tanto más como: a month ± a week. Eso y el hecho de que nos olvidamos de tener en cuenta las probabilidades de que no se produzca un bloqueo en el ínterin ... (Pero, de nuevo, tal vez solo soy yo ...).

¡Uf!

Recursos adicionales:

• Artículo de Wikipedia sobre la ilusión de agrupamiento
• Un pdf que menciona específicamente el "agrupamiento" de accidentes aéreos (en la página 8) y describe brevemente las matemáticas de un proceso de Poisson .

Si el número de accidentes de avión está distribuido por Poisson (como parece estar afirmando), el tiempo entre accidentes tiene una distribución exponencial. El pdf de la distribución exponencial es una función monótona decreciente del tiempo. Por lo tanto, los bloqueos anteriores son más probables que los bloqueos posteriores.

Las otras respuestas ya han tratado sobre cuán independiente se agrupan los eventos . (Leer el Caos de Gleick, hace tantos años, me abrió los ojos a esta idea).

Pero, de hecho, existe una fuerte evidencia de que los accidentes aéreos no son eventos independientes. La Influencia de Cialdini tiene un muy buen capítulo sobre esto (también mencionado aquí que tiene un par de enlaces a datos; y encontré un extracto de esa parte del libro ). Obviamente, esto es muy controvertido: básicamente dice que cuanto más publicitado sea un accidente aéreo, más probable es que influya en un piloto (consciente o inconscientemente) para que estrelle su avión. Pero las explicaciones psicológicas subyacentes a la hipótesis parecen plausibles, y los datos también parecen respaldarla.

(Los enlaces a la investigación de desacreditación basada en estadísticas serían bienvenidos, en los comentarios).