von Joannès Vermorel, letzte Revision August 2013Im Rahmen der Zeitreihen-Prognoseerstellung, bezieht sich der Begriff
Backtesting (bzw. Rückvergleich) auf den Prozess zur
Bewertung der Genauigkeit einer Prognosemethode anhand von existierenden historischen Daten. Das Verfahren ist typischerweise iterativ und wird an mehreren in den historischen Daten erfassten Tagen wiederholt. Backtesting dient der Schätzung der zu erwartenden, zukünftigen Genauigkeit einer Prognosemethode und trägt somit dazu bei das
präziseste Prognosemodell ausfindig zu machen.
Wie funktioniert Backtesting?
Der Backtesting-Prozess beginnt mit der Auswahl einer Liste der Daten (Grenzbereich) innerhalb eines Zeitraums, der in den historischen Daten erfasst ist. In der unten angezeigten Darstellung sind die Schwellenwerte mit T1, T2, T3 und T4 gekennzeichnet.
Für jeden Grenzbereich:
- werden die historischen Daten am jeweiligen Schwellenwert trunkiert;
- wird das Prognosemodell im jeweiligen Grenzbereich verwendet;
- werden die Prognosen mit den ursprünglichen, nicht-trunkierten Daten verglichen.
Zum Abschluss wird ein durchschnittlicher Prognosefehler auf alle Grenzbereiche angewandt.
Dieser Durchschnittsfehler kann als eine Schätzung des Fehlers interpretiert werden, der bei der Erstellung
wahrheitsgemäßer (Zukunfts-) Prognosen mit dem Modell in Verbindung gebracht wird. Für die Auswahl der richtigen Schwellenwerte ist normalerweise Know-how über das vorliegende Problem erforderlich. Als Faustregel gilt, dass durch eine Erhöhung der Anzahl von Schwellenwerten, der Prozess normalerweise widerstandsfähiger gegenüber
Überanpassungsproblemen wird.
Da im Regelfall Hunderte von SKUs verwendet werden, sind für die Lagerbestandsoptimierung nur wenige Schwellenwerte erforderlich, um mit möglichst hoher Sicherheit entscheiden zu können, welche Prognosemethode am besten geeignet ist.
Ein häufiger Fehler: einmal anlernen - viele Prognosen
Backtesting ist für die
Berechnung von Ressourcen ziemlich intensiv, da für jeden Schwellenwert ein neues Prognosemodell angelernt werden muss. Somit können wir häufig Fachleute beobachten, die Ihr Prognosemodell nur einmal anlernen, dabei alle historischen Daten nutzen und anschließend Backtesting-Wiederholungen durchführen. Der wahrnehmbare Vorteil darin liegt in der massiven Beschleunigung des Backtesting-Prozesses.
Dieser
Trick ist jedoch irreführend und resultiert in erheblichen Überanpassungsproblemen. Insbesondere da
zukünftige Daten dem Prognosemodell vorliegen, wird jegliche variable Schätzung in der Anlernphase dazu führen, dass das Modell Informationen über diese
Zukunft mit einbezieht. Somit gibt die aus den Backtest gemessene Genauigkeit nicht die Verallgemeinigungsfähigkeiten, sondern die
Erinnerungsfähigkeiten wieder, d. h. die Kapazität des Modells identische Situationen aus dem Anlern-Datensatz zu reproduzieren.
Lokad hat die Lösung
Backtesting ist das Herzstück der
Prognosetechnologie von Lokad. Wir wenden Backtesting für jede Zeitreihe an, um das Modell für die endgültige Prognose auswählen zu können. Im Einzelhandel und der Herstellung ist diese
in diesem Artikel präsentierte einfache Backtesting-Vision jedoch nicht auf alle Situationen anwendbar. Beispielsweise können die Zeitreihen von neu eingeführten Produkten zu kurz sein, um ein aussagekräftiges Backtesting durchführen zu können. Werbeaktionen und Produkteinführungen erfordern zudem dedizierte Ansätze.
