Joannes Vermorel, Juni 2013In der Statistik entspricht die Genauigkeit einer Prognose dem Grad Genauigkeit der
Mengenangabe zum tatsächlichen Istwert dieser Menge. Der Istwert kann üblicherweise zum Zeitpunkt der Prognosedurchführung nicht ermittelt werden, da sich die Aussage auf die Zukunft bezieht. Für die meisten Unternehmen bedeuten präzisere Prognosen eine Steigerung ihrer Effizienz hinsichtlich der Nachfragebefriedigung, während gleichzeitig die allgemeinen Betriebskosten gesenkt werden.
In diesem Artikel nehmen wir einen statistischen Standpunkt an, der vor allem für den Handel und in der Herstellung relevant ist, insbesondere hinsichtlich der Lagerbestandsoptimierung und Bedarfsermittlung.
Einsatz der Genauigkeitsschätzungen
Die errechnete Genauigkeit bietet eine
quantitative Schätzung der voraussichtlichen Qualität der Prognosen.
Für die Lagerbestandsoptimierung kann die Schätzung der Prognosegenauigkeit mehreren Zwecken dienen:
- Auswahl zwischen mehreren Prognosemodellen, die der Abschätzung der Leitnachfrage dienen
- Berechnung des Sicherheitsbestands, unter der Annahme, dass die Prognosefehler einer Normalverteilung unterliegen.
- Priorisierung der Waren, auf die ein besonderes Augenmerk gelegt werden muss, da unbearbeitete statistische Prognosen nicht verlässlich genug sind.
In einem anderen Zusammenhang, wie z. B. der strategischen Planung, werden die Genauigkeitsschätzungen verwendet, um die WENN-Analyse, unter Berücksichtigung verschiedener Szenarien und der jeweiligen Wahrscheinlichkeit zu unterstützen.
Auswirkungen der Aggregation auf die Genauigkeit
Die Interpretation der Qualität des Prognosemodells als der treibende Hauptfaktor hinter der Prognosegenauigkeit ist eine häufige Fehleinschätzung: Dem ist nicht so!
Der treibende Hauptfaktor hinter dem Genauigkeitswert ist die
immanente Volatilität des prognostizierten Phänomens. In der Praxis, wie dem Handel oder der Herstellung, korrelierte diese Volatilität stark mit der Aggregationsebene:
- Je größer der Bereich, z. B. nationale vs. regionale Prognosen, desto höher die Genauigkeit.
- Je länger der Zeitraum, z. B. monatliche vs. tägliche Prognosen, desto höher die Genauigkeit.
Anekdotenhafter Nachweis: Wir von Lokad können regelmäßig beobachten, dass es so etwas wie eine gute Genauigkeit gar nicht gibt; es kommt auf die Umstände an. Bei der Prognose des nationalen Stromverbrauchs eines großen europäischen Landes für den nächsten Tag wurde ein Fehler von 0,5 % als relativ ungenau bezeichnet; während das Erreichen von weniger als 80 % Fehler für Filialprognosen des Umsatz von neuen Produkten am ersten Tag eine erhebliche Leistung betrachtet wurde.
Liegt einmal eine Aggregationsebene vor, trägt die Qualität des Prognosemodells primär zur erreichbaren Genauigkeit bei. Desto weiter man in die Zukunft schaut, desto niedriger die Genauigkeit.
Empirische vs. tatsächliche Genauigkeit
Der Begriff
Genauigkeit wird am häufigsten zur Bezeichnung der Qualität einer physischen Messtechnik verwendet. Leider ist diese Vision ein wenig irreführend. Anders als der physische Setup, bei dem die Bewertungen mit alternativen Methoden verglichen werden können, sollte die
tatsächliche Genauigkeit der Prognose ausschließlich
anhand der nicht vorhandenen Daten bewertet werden.
Liegen die Daten einmal vor, können durch einfache Nachahmung der Daten stets vollkommen präzise Prognosen erstellt werden.
Eine bestimmte Frage
beschäftigt Statistiker seit über einem Jahrhundert, da erst Ende des 20. Jahrhunderts mit dem Aufkommen der Vapnik-Chervonenkis-Theorie (1) eine äußerst zufriedenstellende Antwort erlangt wurde.
Die Genauigkeit der Prognosen können in der Praxis ausschließlich an vorhandenen Daten gemessen werden. Liegen jedoch Daten vor, sind diese
Prognosen keine echten Prognosen mehr, sondern Aussagen über die Vergangenheit, statt Aussagen über die Zukunft. Somit werden diese Messungen als
empirische Genauigkeit und nicht als
tatsächliche Genauigkeit bezeichnet.
Überanpassungsprobleme können zu großen Abweichungen zwischen der empirischen und der tatsächlichen Genauigkeit führen. In der Praxis können die meisten Überanpassungsprobleme bei der Prognoserstellung von
Zeitreihen durch sorgfältig ausgeführtes Backtesting gemindert werden.
Beliebte Genauigkeitsmetriken
Es gibt viele Metriken zur Messung der Prognosegenauigkeit. Die am häufigsten verwendeten Metriken sind:
- MAE (Mean Absolute Error; Durchschnittlicher absoluter Fehler)
- MAPE (Mean Absolute Percentage Error; Prozentsatz des absoluten Fehlers des Erwartungswertes)
- MSE (Mean Square Error; Mittlerer Quadratischer Fehler)
- sMAPE (Symmetric Mean Absolute Percentage Error; Symmetrischer Prozentsatz des absoluten Fehlers des Erwartungswertes)
- Pinball-Loss (eine Verallgemeinerunge des MAE für Quantil-Prognosen)
- CRPS (eine Verallgemeinerung des MAE für probabilistische Vorhersagen)
Aufgrund der Ungenauigkeiten in Prognosen sollte eine Metrik in der Praxis aufgrund ihrer Kapazität zur Wiedergabe der vom Unternehmen verursachten Kosten bevorzugt werden.
Lokad hat die Lösung
Ungefähr genau ist besser als absolut falsch. Erfahrungsgemäß können wir in der Zusammenarbeit mit dem Handel und Produktionsunternehmen immer wieder beobachten, dass der Auswahl der Genauigkeitsmetrik zu wenig Bedeutung beigemessen wird.
Tatsächlich sollte die
optimal Metrik keine Werte in Prozentsätzen, sondern in US-Dollar oder Euro liefern, und somit
die Kosten der durch ungenaue Prognosen verursachten Ineffizienz widerspiegeln. Obwohl die meisten und am häufigsten verwendeten Metriken symmetrisch sind (Pinball-Loss ist eine bemerkenswerte Ausnahme), ist das Risiko einer Überprognose vs. Unterprognose in der Praxis nicht symmetrisch. Wir empfehlen von daher einen Standpunkt einzunehmen, bei dem die Metrik (unter Berücksichtigung der betrieblichen Einschränkungen) eher einer wirtschaftlichen Kostenfunktion, anstelle eines statistischen Indikators entspricht.
Darüber hinaus ist es äußerst wichtig keine Planungen unter der impliziten Annahme durchzuführen, dass die Prognosen implicitly assuming
genau sind. Ungewissheit ist Teil der Geschäftswelt und sollte demnach berücksichtigt werden.
Weitere Informationen
