Par Joannès Vermorel, Juin 2013Dans le domaine des statistiques, la précision d'une prévision est le degré de proximité entre la quantité
annoncée (prévue) et la valeur réelle (observée) de la quantité. La valeur réelle ne peut généralement pas être mesurée au moment où la prévision est faite, car celle-ci porte sur le futur. Pour la plupart des entreprises, une précision accrue sur les prévisions entraîne une plus grande effacité pour servir la demande, tout en réduisant globalement les coûts opérationnels.
Dans cet article, nous adoptons un point de vue statistique adapté avant tout au commerce et à la fabrication, et particulièrement pour les domaines de l'optimisation des stocks et de la planification de la demande.
A propos de l'usage des estimations de la précision
La précision, lorsqu'elle est calculée, fournit une
estimation quantitative de la qualité attendue des prévisions. Pour l'optimisation des stocks, l'estimation de la précision des prévisions peut avoir plusieurs intérêts. Elle peut permettre de :
- choisir le modèle à sélectionner parmi plusieurs modèles de prévision servant à estimer la demande outil.
- calculer le stock de sécurité, en faisant généralement l'hypothèse que les erreurs de prévision suivent une distribution normale.
- prioriser les items ayant le plus besoin d'attention, lorsque les prévisions "brutes" ne sont pas suffisamment fiables.
Dans d'autres contextes, tels que la planification stratégique, les estimations de la précision sont utilisées pour supporter les analyses d'hypothèses, en considérant les différents scénarios et leurs probabilités respectives.
Impact de l'agrégation sur la précision
C'est une idée fausse fréquente que d'interpréter la qualité des modèles de prévision comme le facteur premier de la précision des prévisions : c'est loin d'être le cas;
Le facteur le plus important de la valeur de la précision est la
volatilité intrinsèque du phénomène que l'on cherche à prévoir. En pratique, dans le commerce ou la fabrication, cette volatilité est étroitement corrélée au niveau d'agrégation :
- des zones plus vastes, par exemple des prévisions nationales versus des prévisions locales, offrent plus de précision.
- il en va de même pour des périodes plus longues, par exemple des prévisions mensuelles versus des prévisions journalières.
Retour d'expérience : A Lokad, nous observons régulièrement qu'il n'existe pas de bonne précision ; tout dépend du contexte. Lorsqu'il s'agissait pour nous de faire des prévisions pour 1 jour en avant sur la consommation nationale d'électricité pour un des plus gros pays d'Europe, 0.5% d'erreur était considéré comme relativement imprécis ; à l'inverse, parvenir à obtenir moins de 80% d'erreur pour des prévisions au niveau point de vente pour le premier jour de vente de produits frais nouvellement introduits sur le marché était considéré comme une grande réussite.
Par la suite, une fois que le niveau d'agrégation est donné, la qualité du modèle de prévision jour en effet un rôle important pour atteindre un bon degré de précision. Et pour finir, plus on regarde loin dans le futur, plus la précision décroît.
Précision empirique versus précision réelle
Le terme de
précision est utilisé le plus fréquemment pour faire référence à la qualité d'une mesure physique quelconque. Malheureusement, cette vision peut quelque peu prêter à confusion lorsqu'il s'agit de prévisions statistiques. En effet, à l'inverse d'une configuration physique où la mesure peut être comparée à des méthodes alternatives, la
précision réelle de la prévision devrait être strictement mesurée
par rapport aux données que l'on ne possède pas encore.
En effet, une fois que les données sont disponibles, il est toujours possible de produire des prévisions parfaitement précises ; il suffit simplement d'imiter les données. Ce point a
perturbé les statisticiens pendant plus d'un siècle ; un point de vue réellement satisfaisant n'a été trouvé qu'à la fin du 20ème siècle avec la découverte de la théorie Vapnik-Chervonenkis (1).
La précision des prévisions peut seulement être mesurée en pratique par rapport aux données disponibles ; cependant, si les données sont disponibles, ces
prévisions ne sont plus véritablement des prévisions, mais des valeurs annoncées sur le passé et non sur le futur. Par conséquent, on fait référence à ces mesures sous le terme de
précision empirique, par opposition à la
précision réelle.
Les problèmes de surapprentissage (overfitting) peuvent mener à des décalages importants entre la précision empirique et la précision réelle. En pratique, un usage prudent du
backtesting (test rétroactif de validité) peut nuancer la plupart des problèmes de surapprentissage lorsque l'on fait des prévisions de
séries temporelles.
Indicateurs populaires de précision
Il existe de nombreaux indicateurs permettant de mesurer la précision des prévisions. Les plus répandus sont les suivants :
En pratique, un indicateur doit être préféré à un autre en fonction de sa capacité à refléter les coûts subis par une entreprise du fait des imprécisions des prévisions.
L'approche de Lokad
Mieux vaut avoir approximativement raison qu'exactement tort. Dans nos relations avec des entreprises de commerce ou de fabrication, nous observons régulièrement qu'il n'est pas consacré suffisamment d'attention au choix de l'indicateur de précision.
En effet, l'indicateur
idéal ne devrait pas retourner des valeurs exprimées en pourcentages, mais en Euros ou en Dollars, pour
refléter précisément le coût des erreurs et des inefficacités causée par des prévisions imprécises. En particulier, alors que la plupart des indicateurs les plus populaires sont symétriques (la fonction de perte Pinball étant une exception notable), le risque de surprédire et le risque de sous-prédire ne sont pas symétriques en pratique. Nous suggérons d'adopter un point de vue où l'indicateur est plus proche d'une fonction économique de coût - soigneusement modélisée pour correspondre aux contraintes métier - plutôt qu'un indicateur statistique brut.
Par ailleurs, il est assez important de n'effectuer aucun
planning qui ferait l'hypothèse implicite que les prévisions sont
exactes. L'incertitude est inévitable et doit être prise en compte.
Pour en savoir plus
