Par Joannès Vermorel, février 2012La fonction de perte pinball, aussi appelée perte quantile, est une métrique utilisée pour évaluer la précision d'une prévision quantile.
Evaluer la
précision d’une
prévision quantile est un problème subtil. En effet, contrairement aux prévisions classiques dont l’objectif est de produire une prévision se rapprochant le plus possible des valeurs observées, pour les prévisions quantiles la situation est
biaisée (volontairement). Par conséquent, la comparaison naïve
valeurs observées versus
prévisions n’est pas satisfaisante. La
fonction de perte pinball renvoie une valeur pouvant être interprétée comme la
précision d’un modèle de prévision quantile.
Formule
Soit $\tau$ le quantile cible, $y$ la valeur réelle, et $z$ la prévision quantile, alors $L_\tau$, la fonction de perte pinball, peut être écrite de la manière suivante :
$$
\begin{eqnarray}
L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ if } y \geq z \\\
& = & (z - y) (1 - \tau) & \textrm{ if } z > y
\end{eqnarray}
$$
Téléchargez : pinball-loss-function.xlsxLa feuille Excel illustre la manière de calculer la fonction de perte pinball dans Excel. La formule n’est pas plus compliquée que la plupart des indicateurs de précision tels que l'erreur MAPE.
Illustration
La fonction de perte pinball (en rouge) tient son nom de sa forme, qui ressemble à la trajectoire d'une boule de
flipper (pinball en anglais). La fonction est toujours positive et, plus on s’éloigne de la cible $y$, plus la valeur de $L_\tau(y,z)$ est grande. La
pente est utilisée pour refléter le
déséquilibre désiré dans la prévision quantile.
Le meilleur modèle quantile a la plus petite perte pinball
Le résultat le plus important associé à la fonction de perte pinball est que
plus la perte pinball est petite, plus la prévision quantile est précise.
On peut prouver que la fonction qui minimise la perte pinball donne également le quantile optimal. Cependant, le formalisme nécessaire à cette preuve dépasse le cadre de cet article.
Par conséquent, pour comparer la précision respective de deux modèles quantiles (par exemple celui de Lokad par rapport à un autre), il suffit de calculer la perte pinball
moyenne de chaque modèle sur suffisamment de séries temporelles pour s'assurer que la différence observée est statistiquement significative. En pratique, quelques centaines de séries temporelles suffisent à évaluer quel modèle quantile est le plus
précis.
L'approche de Lokad
L’apparente
simplicité de la notion de précision pour une prévision classique (c'est-à-dire une prévision moyenne) est, selon nous, largement surestimée. Les prévisions, qu'elles soient moyennes ou quantiles, sont sujettes à un phénomène d'
overfitting qui complique grandement la comparaison des modèles de prévision. Cependant, la fonction de perte pinball constitue une manière très simple d’évaluer la précision
relative de deux modèles de prévision quantile.
Pour en savoir plus
