¿Es correcto mi meteorólogo?

Una pregunta que me molestó por algún tiempo, que no sé cómo abordar:

Todos los días, mi meteorólogo da un porcentaje de probabilidad de lluvia (supongamos que se calcula a 9000 dígitos y nunca ha repetido un número). Cada día posterior, llueve o no llueve.

Tengo años de datos: posibilidad de lluvia versus lluvia o no. Dada la historia de este meteorólogo , si él dice esta noche que la probabilidad de lluvia de mañana es X, entonces, ¿cuál es mi mejor suposición sobre cuál es realmente la probabilidad de lluvia?

En efecto, está pensando en un modelo en el que la verdadera probabilidad de lluvia, p , es una función de la probabilidad predicha q : p = p (q ). Cada vez que se realiza una predicción, se observa una realización de una variante de Bernoulli con probabilidad p (q) de éxito. Esta es una configuración de regresión logística clásica si está dispuesto a modelar la posibilidad real como una combinación lineal de funciones básicas f1 , f2 , ..., fk ; es decir, el modelo dice

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

con errores de iid e . Si eres agnóstico acerca de la forma de la relación (aunque si el hombre del tiempo es bueno p (q) - q debería ser razonablemente pequeño), considera usar un conjunto de splines para la base. La salida, como de costumbre, consiste en estimaciones de los coeficientes y una estimación de la varianza de e . Dada cualquier predicción futura q , simplemente conecte el valor en el modelo con los coeficientes estimados para obtener una respuesta a su pregunta (y use la varianza de e para construir un intervalo de predicción alrededor de esa respuesta si lo desea).

Este marco es lo suficientemente flexible como para incluir otros factores, como la posibilidad de cambios en la calidad de las predicciones a lo largo del tiempo. También le permite probar hipótesis, como si p = q (que es lo que el meteorólogo afirma implícitamente).

La comparación del pronóstico de probabilidad para el evento binario (o la Variable aleatoria discreta) se puede hacer con la puntuación de Brier

$\tau$$\tau$

Debes echar un vistazo a cómo funciona el centro europeo para el pronóstico del tiempo a mediano plazo ( ECMWF ).

Cuando el pronóstico dice "X por ciento de probabilidad de lluvia en (área)", significa que el modelo meteorológico numérico ha indicado lluvia en X por ciento del área, para el intervalo de tiempo en cuestión. Por ejemplo, normalmente sería preciso predecir "100 por ciento de probabilidad de lluvia en América del Norte". Tenga en cuenta que los modelos son buenos para predecir dinámicas y pobres para predecir termodinámica.

El enfoque de Brier Score es muy simple y la forma más directamente aplicable verifica la precisión de un resultado predicho frente a un evento binario.

No confíe solo en fórmulas ... trace los puntajes para diferentes períodos de tiempo, datos, errores, promedio variable [ponderado] de datos, errores ... es difícil decir qué podría revelar el análisis visual ... después de pensar Si ve algo, sabrá mejor qué tipo de prueba de hipótesis debe realizar hasta DESPUÉS de ver los datos.

El Brier Score asume inherentemente la estabilidad de la variación / distribución subyacente del clima y la tecnología que impulsa los modelos de pronóstico, falta de linealidad, sin sesgo, falta de cambio en el sesgo ... se supone que el mismo nivel general de precisión / inexactitud es consistente. A medida que el clima cambia de maneras que aún no se comprenden, la precisión de las predicciones meteorológicas disminuirá; Por el contrario, los científicos que suministran información al meteorólogo tienen más recursos, modelos más completos, más poder de cómputo, por lo que quizás la precisión de las predicciones aumentaría. Mirar los errores diría algo sobre la estabilidad, la linealidad y el sesgo de los pronósticos ... es posible que no tenga suficientes datos para ver las tendencias; puede aprender que la estabilidad, la linealidad y el sesgo no son un problema. Puede aprender que las previsiones meteorológicas se están volviendo más precisas ... o no.

¿Qué le parece simplemente agrupar las predicciones dadas y tomar las fracciones observadas como su estimación para cada bin?

Puede generalizar esto a un modelo continuo al sopesar todas las observaciones alrededor de su valor de interés (digamos la predicción para mañana) por un gaussiano y ver cuál es el promedio ponderado.

Puede adivinar un ancho para obtener una fracción dada de sus datos (o, digamos, nunca menos de 100 puntos para una buena estimación). Alternativamente, use un método como la validación cruzada de la probabilidad máxima para obtener el ancho gaussiano.

¿Quieres saber si su pronóstico es más preciso que otro pronóstico? Si es así, puede observar métricas de precisión básicas para la clasificación probabilística como entropía cruzada, precisión / recuperación, curvas ROC y la puntuación f1.

Determinar si el pronóstico es objetivamente bueno es una cuestión diferente. Una opción es mirar la calibración. De todos los días en que dijo que habría una probabilidad del 90% de lluvia, ¿aproximadamente el 90% de esos días llovió? Tómese todos los días en los que tiene un pronóstico y luego cúbrelos según su estimación de la probabilidad de lluvia. Para cada cubo, calcule el porcentaje de días en que realmente ocurrió la lluvia. Luego, para cada cubo, trace la probabilidad real de lluvia contra su estimación de la probabilidad de lluvia. La gráfica se verá como una línea recta si el pronóstico está bien calibrado.