Por Joannès Vermorel, junio de 2016Los pronósticos probabilísticos asignan una probabilidad a cada futuro posible. Aún así, estos pronósticos no tienen todos la misma precisión, y se necesitan métricas para evaluar la precisión respectiva de los distintos pronósticos probabilísticos. Métricas de precisión sencillas, como el MAE (error medio absoluto) o el MAPE (error absoluto medio relativo) no pueden aplicarse directamente a los pronósticos probabilísticos. Las
puntuaciones de rango de probabilidad continuo (CRPS) generalizan el MAE al caso de los pronósticos probabilísticos. Junto con la
entropía cruzada, las CRPS son una de las métricas de precisión más utilizadas cuando se trata de pronósticos probabilísticos.
Resumen
Las CRPS se utilizan a menudo para evaluar la precisión respectiva de dos
modelos de pronóstico probabilístico. En particular, esta métrica se puede combinar con un proceso de
análisis retrospectivo para estabilizar la evaluación de precisión aprovechando diferentes mediciones del mismo conjunto de datos.
Esta métrica difiere notablemente de métricas más simples, como el MAE, debido a su expresión asimétrica: mientras que los pronósticos son probabilísticos, las observaciones son deterministas. A diferencia de la
función de pérdida pinball, las CRPS no se concentran en un punto específico de la distribución de probabilidad, sino que consideran la distribución de los pronósticos en conjunto.
Definición formal
Supongamos que $X$ es una variable aleatoria
y que $F$ es la función de distribución acumulada(CDF) de $X$, como $F(y)=\mathbf{P}\left[X \leq y\right]$.
Supongamos que $x$ es la observación, y $F$ la CDF asociada con un pronóstico probabilístico empírico.
Las CRPS entre $x$ y $F$ se definen del siguiente modo:
$$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy$$
donde $𝟙$ es la función escalón de Heaviside y denota una función escalón junto con la línea real que alcanza
- el valor de 1 si el argumento real es positivo o cero,
- el valor de 0 en los demás casos.
Las CRPS se expresan en la misma unidad que la variable observada. Las CRPS generalizan el error medio absoluto; de hecho, reducen al error medio absoluto (MAE) si el pronóstico es determinista.
Propiedades conocidas
Gneiting y Raftery (2004) demuestran que las puntuaciones de rango de probabilidad continuo pueden escribirse del siguiente modo equivalente:
$$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$
donde
- $X$ y $X^*$ con copias independientes de una variable aleatoria lineal,
- $X$ es la variable aleatoria asociada a la función de distribución acumulada $F$,
- $\mathbf{E}[X]$ es el valor esperado de $X$.
Evaluación numérica
Desde una perspectiva numérica, un modo simple de calcular las CRPS consiste en desglosar la integral original en dos integrales con límites elegidos cuidadosamente para simplificar la función escalón de Heaviside, que da:
$$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$
En la práctica, debido a que $F$ es una distribución empírica obtenida a través de un modelo de pronóstico, la variable aleatoria correspondiente $X$ tiene un soporte compacto, lo que significa que solo un número finito de puntos donde $\mathbf{P}[X = x] \gt 0$. Por lo tanto, las integrales pueden convertirse en sumas finitas discretas.
Referencias
- Gneiting, T. y Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463 (Reglas de puntuación estrictamente propias, predicción y cálculo. Informe técnico nro. 463), Departamento de Estadística, Universidad de Washington, Seattle, Washington, EE. UU.
