Por Joannès Vermorel, última revisión: agosto de 2013En el contexto del pronóstico de las series de tiempo, el concepto de
análisis retrospectivo hace referencia al proceso de
evaluación de la precisión del método de pronóstico mediante el uso de datos históricos existentes. El proceso es generalmente iterativo y se repite en varias fechas presentes en los datos históricos. El análisis retrospectivo se utiliza para calcular la precisión futura esperada de un método de pronóstico, lo que resulta útil para evaluar qué modelo de pronóstico debería considerarse
más preciso.
Cómo funciona el análisis retrospectivo
El proceso de análisis retrospectivo comienza con la selección de una lista de fechas umbral dentro de un período de tiempo cubierto por los datos históricos. En la ilustración a continuación, los umbrales están marcados como T1, T2, T3 y T4.
Para cada umbral
- se truncan los datos históricos en el umbral,
- se entrena al modelo de pronóstico y se lo aplica a los datos truncados,
- se comparan los pronósticos con los datos originales truncados.
Por último, se establece un error de pronóstico promedio para todos los umbrales.
Este error promediado se puede interpretar como una estima del error que se asociará al modelo cuando se elaboren pronósticos
verdaderos (sobre el futuro).
La elección de un conjunto apropiado de umbrales generalmente exige cierto conocimiento relacionado con el problema específico. Como regla general, el aumento de la cantidad de umbrales con frecuencia mejora la resistencia del proceso contra los problemas de
sobreajuste.
A los fines de la optimización del inventario, debido a que generalmente hay cientos de SKU involucradas, solo se necesita un puñado de umbrales para decidir, con mucha confianza, si un método de pronóstico es mejor que otro.
Un error habitual: pronosticar varias veces con un solo entrenamiento
El análisis retrospectivo es generalmente
bastante intensivo en términos de recursos informáticos, ya que es preciso entrenar un nuevo modelo de pronóstico para cada umbral. Como consecuencia, a menudo vemos a practicantes que entrenan el modelo de pronóstico solo una vez, generalmente aprovechando todo el rango de datos históricos, y luego pasan a las iteraciones de análisis retrospectivo. El beneficio percibido de este método es generalmente una gran aceleración de los tiempos del análisis.
Sin embargo, este
truco es engañoso y trae aparejados problemas de sobreajuste importantes. De hecho, implícitamente, debido a que los
datos futuros se envían al modelo de pronóstico, cualquier estima variable que tenga lugar durante la fase de aprendizaje hará que el modelo incluya información sobre este
futuro. Como resultado, la precisión medida por los análisis retrospectivos no reflejará las capacidades de generalización del modelo, sino sus capacidades de
memorización, es decir, la capacidad del modelo de reproducir situaciones idénticas a las encontradas en el conjunto de datos de entrenamiento.
La solución de Lokad
El análisis retrospectivo se encuentra en el centro de la
tecnología de pronóstico de Lokad. Lo utilizamos para cada serie de tiempo para seleccionar qué modelo se utilizará para entregar el pronóstico final. Sin embargo, la
simple visión del análisis retrospectivo presentada en este artículo puede no ser adecuada para todas las situaciones halladas en el comercio minorista y en el de fabricación. Por ejemplo, para productos recientemente lanzados al mercado, las series de tiempo podrían ser demasiado breves para poder realizar un análisis retrospectivo significativo. Las promociones y los lanzamientos de producto también requieren abordajes específicos.
