Von Joannes Vermorel, Juni 2016Probabilistische Vorhersagen ordnen jedem möglichen Ereignis in der Zukunft eine Wahrscheinlichkeit zu. Dennoch ist die Genauigkeit nicht bei allen probabilistischen Vorhersagen gleich groß, weshalb man Kennzahlen benötigt, um die Genauigkeit der verschiedenen probabilistischen Vorhersagen zu bewerten. Einfache Genauigkeitskennzahlen wie der MAE (mittlerer absoluter Fehler) können bei probabilistischen Vorhersagen nicht direkt angewandt werden. Der
Continuous Ranked Probability Score (CRPS) verallgemeinert den MAE für den Fall der probabilistischen Vorhersagen. Der CPRS ist, gemeinsam mit der
Kreuzentropie, einer der meistgenutzten Kennzahlen für Genauigkeit, wenn es um probabilistische Vorhersagen geht.
Überblick
Der CRPS wird oft verwendet, um die jeweilige Genauigkeit zweier
probabilistischer Prognosemodelle zu bewerten. Insbesondere kann diese Kennzahl mit einem
Backtesting-Prozess kombiniert werden, um die Genauigkeitsbewertung zu stabilisieren, indem verschiedene Messungen bezüglich desselben Datasets durchgeführt werden.
Diese Kennzahl unterscheidet sich dank ihres asymmetrischen Ausdrucks deutlich von anderen einfacheren Kennzahlen, wie etwa dem MAE: während die Vorhersagen probabilistisch sind, sind die Beobachtungen deterministisch. Im Gegensatz zur
Pinball-Loss-Funktion, konzentriert sich der CPRS nicht auf einen spezifischen Punkt der Wahrscheinlichkeitsverteilung, sondern betrachtet die gesamte Verteilung der Prognose als Ganzes.
Formale Definition
Sei $X$ eine Zufallsvariable.
Sei $F$ die kumulative Verteilungsfunktion (CDF) von $X$, wie etwa $F(y)=\mathbf{P}\left[X \leq y\right]$.
Sei $x$ die Beobachtung und $F$ die einer empirischen probabilistischen Vorhersage zugeordnete CDF.
Der CRPS zwischen $x$ und $F$ wird, wie folgt, definiert:
$$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy$$
wobei $𝟙$ die Heaviside-Funktion ist und eine Treppenfunktion entlang der reellen Gerade bezeichnet, die Folgendes ergibt:
- den Wert 1, wenn das reelle Argument positiv oder null ist,
- andernfalls den Wert 0.
Der CRPS wird in der Einheit der beobachteten Variablen ausgedrückt. Der CRPS verallgemeinert den mittleren absoluten Fehler - genauer gesagt, kürzt er zum mittleren absoluten Fehler (MAE), wenn die Prognose deterministisch ist.
Bekannte Eigenschaften
Gneiting und Raftery (2004) zeigen, dass der Continuous Ranked Probability Score entsprechend, wie folgt, geschrieben werden kann:
$$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$
wobei
- $X$ und $X^*$ unabhängige Kopien einer linearen Zufallsvariable sind,
- $X$ die der kumulativen Verteilungsfunktion $F$ zugeordneten Zufallsvariable ist,
- $\mathbf{E}[X]$ der erwartete Wert von $X$ ist.
Nummerische Bewertung
Aus einer nummerischen Perspektive, lässt der der CPRS durch die Aufteilung des ursprünglichen Integrals in zwei Integrale mit gut gewählten Grenzen berechnen, um die Heaviside Funktion zu vereinfachen, wodurch Folgendes entsteht:
$$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$
Da $F$ eine empirische Verteilung ist, die durch ein Prognosemodell erhalten wird, hat die entsprechende Zufallsvariable $X$ in der Praxis einen kompakten Träger. Das heißt, dass es nur eine endliche Anzahl von Punkten gibt, in denen $\mathbf{P}[X = x] \gt 0$. Somit können die Integrale in diskrete endliche Summen verwandelt werden.
Literaturangaben
- Gneiting, T. and Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463, Department of Statistics, University of Washington, Seattle, Washington, USA.
