Классические прогнозы — вопросы

Болты и гайки       Какие модели прогнозирования вы используете?       Насколько точны ваши прогнозы?       Соревнования прогнозов. Есть ли у вас научная оценка вашей технологии?       Оцениваете ли вы точность своих прогнозов?       Какой объем исторических данных вам требуется?    Общие схемы       Как учитываются макротренды (ранее: финансовый кризис)?       Как учитываются сезонность и тренды?       Как учитываются Пасха, Рамадан, День матери и другие праздники?       Как учитывается жизненный цикл товара и запуск новой продукции?       Как учитываются товары с неравномерным спросом / низкими продажами?       Как учитывается погода?    Искажение спроса       Как учитываются упущенные продажи из-за дефицита товара?       Как учитываются крайне высокие продажи?       Объединение данных: сверху вниз или снизу вверх?

Болты и гайки

Какие модели прогнозирования вы используете?

Ответить на данный вопрос — нетривиальная задача. Во-первых, в связи с тем что технология прогнозирования является ключевой частью нашей интеллектуальной собственности, детали которой мы не готовы раскрывать. Во-вторых, наша технология является довольно сложной, включающей большое количество моделей. Кстати, Lokad использует широкоизвестную теорию Статистического обучения. Эта теория охватывает самые современные методы прогнозирования, такие как регрессию опорных векторов, байесовские сети, смешанные методы, методы бустинга и мета-эвристики, включая нейронные сети или генетические алгоритмы и т. д. Кроме того, мы не исключаем старые добрые классические модели, такие как: линейная авторегрессия, скользящее среднее значение, экспоненциальное сглаживание (двойное, тройное), модель Бокса-Дженкинса, модель Холт-Винтерса, ARMA, ARIMA. Тем не менее перечисленные классические модели, как правило, очень слабы, когда дело касается корреляции между временными рядами.

Насколько точны ваши прогнозы?

Точность прогнозов во многом зависит от конкретного набора данных. Мы сталкивались с ситуациями, когда отклонение в 0,5% считалось довольно значительным (например, прогноз ежечасного потребления электроэнергии в стране на 24 часа вперед), и со случаями, когда отклонение в 80% считалось хорошим результатом (проведение уникальной рекламной кампании при запуске нового продукта). Кроме того, точность зависит от горизонта прогнозирования: на чем более длительный период рассчитывается прогноз, тем он менее точен. Точность также зависит и от уровня обобщения: чем более агрегирован прогноз, тем он точнее.

Соревнования прогнозов. Есть ли у вас научная оценка вашей технологии?

Каждый год проводится множество соревнований по обработке данных. Lokad обычно следит за такими мероприятиями, и мы регулярно тестируем нашу технологию на подходящих данных, представленных в подобных соревнованиях (мы обрабатываем только временные ряды, а не графические файлы или профайлы клиентов). Тем не менее на текущий момент не существует ни одного общедоступного соревнования по обработке данных, которое бы представляло все сложности, с которыми мы сталкиваемся каждый день. Во-первых, академические наборы данных обычно бывают маленькими (менее нескольких сотен временных рядов) и с длинными временными рядами (сотни значений данных в одном временном ряду). Эта ситуация почти противоположна той, с которой мы сталкиваемся в розничной торговле: тысячи, если не миллионы временных рядов, но очень короткие, так как товары имеют довольно короткий жизненный цикл. Учитывая это, Lokad обычно показывает хорошие результаты на подобных соревнованиях, и даже очень хорошие, если учесть, что c Lokad работать легко, и для получения результата не требуется специальных технических знаний.

Оцениваете ли вы точность своих прогнозов?

Да. Тщательные количественные измерения точности прогнозов, получаемых по нашей технологии, составляют примерно половину ядра нашей технологии. Не вдаваясь в детали, скажем, что это очень сложная задача — нужно создать модель, которая подойдет не только для существующих данных, но и для таких, которых еще нет, то есть для данных будущих периодов. Смотрите также Чрезмерно близкая подгонка: когда измерение точности не срабатывает. Стандартное ежедневное задание для команды разработчиков Lokad — это бесчисленное количество тестов на данных клиентов для измерения погрешности прогнозов и ее уменьшения. Кроме того, отличительной чертой нашей технологии является то, что вы получаете не только прогнозы, но также и предполагаемую точность для каждого значения в них, которая выражается как средняя абсолютная ошибка в процентах. Следовательно, вам не нужно ждать, чтобы понять ненадежность прогноза — Lokad сразу же дает вам информацию о возможной ошибке, чтобы вы смогли соответствующим образом подстроить свою стратегию.

Какой объем исторических данных вам требуется?

Мы не устанавливаем минимальных требований по количеству исторических данных. Но поскольку технологии Lokad работают со статистикой, то чем больше исторических данных, тем выше точность прогнозов. На практике данные за 2 года считаются хорошим объемом, а за 3 или более лет — отличным. Если у вас есть данные менее чем за год, Lokad не сможет учесть в прогнозах сезонность, а эта величина важна для многих предприятий. Кроме того, для учета сезонности Lokad требуются данные не более чем за 1 год по каждому одиночному временному ряду (например, по продажам продукта). Нам требуется всего пара временных рядов с данными более чем за 1 год — чтобы определить профиль сезонности в вашем бизнесе. В стартапах и начинающих предприятиях технологии Lokad можно использовать с самого начала. В самом деле, мы предлагаем не только прогнозы, но и рассчитываем их ожидаемую точность. Таким образом, первые прогнозы обычно имеют очень высокий уровень погрешности, но со временем они улучшаются. Кроме того, Lokad предлагает вам способ подсчета неопределенности.

Общие схемы

Как учитываются макротренды (ранее: финансовый кризис)?

По нашему мнению, существуют две типичных ошибки относительно макротрендов. Во-первых, считается, что действие макротрендов можно учесть, только если сами эти макротренды могут быть точно спрогнозированы. Если бы банки могли спрогнозировать финансовый кризис, никакого кризиса не было бы. Прогнозирование макротрендов обычно является намного более сложной задачей, чем прогнозирование спроса для среднестатистического товара, так что эта опция часто недоступна. Во-вторых, экономический спад в 3% в год считается значительным макротрендом, но на практике это означает снижение на 0,06% в неделю. Для сравнения, мы часто наблюдаем еженедельные колебания продаж товара в 20%. Lokad наилучшим образом приспособлен для краткосрочных прогнозов, и на несколько недель вперед действие макротрендов обычно сводится на нет за счет таких микроэкономических факторов, как кампании по продвижению товара, каннибализация, рекламные акции и т. п. В заключение, Lokad обычно игнорирует большинство макротрендов, но по нашему опыту, это единственное разумное решение в 99% случаев.

Как учитываются сезонность и тренды?

Мы автоматически выявляем временные факторы. Вам не нужно сообщать Lokad о сезонности продукта. Сезонность — это распространенная модель, которая учитывается нашей технологией прогнозов. В действительности сезонность — это намного более сложный фактор, чем представляется многим. На наш взгляд, не существует единой сезонности, а скорее, есть множество цикличных моделей поведения, взаимодействующих между собой различными способами. Существует ежегодная сезонность, эффект дня недели, эффект дня выплаты заработной платы на уровне месяца, квазиежегодная сезонность, как например, День матери, который отмечается в США во второе воскресенье мая и т. д. Кроме того, рассматривая прогнозы объема продаж на уровне пункта продажи, цикличные модели поведения товаров комбинируются с цикличными моделями поведения самой торговой точки. На самом деле, каждая точка продажи имеет свою уникальную среду, которая генерирует свои модели спроса. Таким образом, сезонность — это не только отметка ДА/НЕТ, это довольно сложный набор взаимозависимых моделей поведения. К счастью, Lokad справляется со всеми этими сложностями за вас.

Как учитываются Пасха, Рамадан, День матери и другие праздники?

Некоторые временные модели поведения на жаргоне Lokad называются квазисезонными: они повторяются из года в год, но происходят не в один и тот же день года по григорианскому календарю (известному также как западный или христианский). Пасха, Рамадан, Китайский Новый год, День матери — как раз примеры таких квазисезонных событий. Lokad автоматически выявляет подобные модели поведения, так что вам не придется прилагать дополнительных усилий для их обработки. Как и в случае с классической сезонностью, Lokad анализирует множество временных рядов в поисках квазисезонных моделей для оптимизации аналитической модели.

Как учитывается жизненный цикл товара и запуск новой продукции?

Большинство потребительских товаров имеют определенный жизненный цикл. Товары выходят на рынок, их продажи растут, затем идут на спад и, наконец, продукция исчезает с рынка. Lokad может предоставить прогноз объема продаж при запуске товара, если известна дата его выхода на рынок. Очевидно, что на момент запуска товара отсутствуют данные об объеме продаж этого конкретного товара для составления прогнозов. В отличие от классических инструментов прогнозирования Lokad использует не только временные ряды. В частности, товары можно описать с помощью тегов. Тег может представлять почти любой атрибут товара: категория, подкатегория, группа товаров, бренд, цвет, размер и т. д. Для создания прогноза продаж запускаемого продукта Lokad анализирует запуск подобных товаров в прошлом, а схожие черты оцениваются на основании тегов, приписанных к каждому продукту. Мы применяем такой же принцип к другим товарам с жизненным циклом.

Как учитываются товары с неравномерным спросом / низкими продажами?

Если у вас есть товар, который продается один раз в год, то статистическое прогнозирование здесь мало чем поможет. На практике решение о наличии в магазине одной единицы товара или полном его отсутствии является во многих отношениях маркетинговым ходом. Тем не менее между наиболее и наименее продаваемыми товарами находится целая серая область товаров, продаваемых не очень часто, но и не так редко, чтобы потребовалась оптимизация запасов. Большинство классических инструментов прогнозирования плохо работают с нерегулярными продажами. Команда Lokad уделила большое внимание такой модели спроса, потому что многие компании, например интернет-магазины, для достижения прибыльности во многом полагаются на «длинные хвосты». При отсутствии надлежащего управления товаров с низким спросом может скопиться больше, чем тех, которые хорошо продаются. Для обработки данных по таким товарам мы рекомендуем использовать вероятностные прогнозы.

Как учитывается погода?

В некоторых сферах деятельности, например в торговле продуктами питания, погода является очень важным фактором, влияющим на спрос. На сегодняшний день Lokad не использует прогнозы погоды как входящие данные в своей технологии прогнозирования. Тем не менее мы планируем внедрить эту функцию в среднесрочной перспективе. Наша цель — не только поддержка данных о погоде, но также возможность автоматизации этого процесса, чтобы он не требовал почти никаких усилий от наших клиентов, но в то же время позволял бы значительно увеличить точность прогнозов.

Искажение спроса

Как учитываются упущенные продажи из-за дефицита товара?

Объем продаж не равен объему спроса. Дефицит товара — это искажение, из-за которого объем продаж сильнее расходится со спросом. Очевидно, что во время дефицита товара объем его продаж снижается, в спрос остается на том же уровне. В отличие от классических инструментов прогнозирования в Lokad не нужно изменять или подгонять имеющиеся данные, чтобы отразить продажи, которые были упущены из-за дефицита товара. Вместо этого случаи дефицита товара можно зафиксировать с помощью событий. Информация о дефиците товара используется для более точной оценки всех моделей спроса (сезонность, тренды и т. д.), на которые он мог повлиять. Если случаи дефицита не помечаются как события, Lokad отфильтровывает такие модели, как шумы. Наличие данных о случаях дефицита товара в прошлом приветствуется, но оно не является обязательным условием для начала работы с Lokad.

Как учитываются крайне высокие продажи?

В зависимости сферы деятельности у вас могут быть случаи исключительно высоких продаж. Поскольку объем таких продаж намного выше среднего, их обычно легко выявить с использованием простого статистического подхода. Поэтому мы не советуем удалять случаи крайне высоких продаж из данных за прошедшие периоды. Во-первых, обычно это пустая трата времени. Во-вторых, исключительные продажи сами по себе могут нести ценную информацию, которая поможет при прогнозировании спроса. Кроме этого, Lokad не может прогнозировать единичные случаи исключительно высоких продаж в будущем, если они, например, зависят от результата переговоров. Если в будущем предвидится резкий скачок продаж, рекомендуется дополнить прогноз Lokad подобной информацией вручную.

Объединение данных: сверху вниз или снизу вверх?

Некоторые компании прогнозируют спрос на уровне групп или семейств товаров, а затем делят эти прогнозы до отдельных наименований. Это метод прогнозирования «товар сверху вниз». Тот же принцип можно применить к частоте прогнозирования: некоторые компании сначала составляют прогноз на неделю, а затем применяют к результатам коэффициенты дней недели. В этом случае мы имеем дело с методом прогнозирования «частота сверху вниз». Кроме того, прогнозы на неделю могут быть получены путем объединения ежедневных прогнозов. Команда Lokad рекомендует настроить прогнозы для максимального соответствия вашим операционным потребностям: если в цепи поставок требуются еженедельные прогнозы для каждого товара, то именно их и нужно запрашивать у Lokad. Если вы выберете ежедневные прогнозы и будете их объединять, точность прогнозирования не станет выше. Таким же образом, не стоит просить Lokad прогнозировать продажи на уровне группы товаров, а затем вручную разбивать их по SKU, потому что из-за деления может появиться большая погрешность. В системе Lokad используется множество алгоритмов объединения / разделения данных, и мы, как правило, используем наиболее детализированные данные из доступных. Например, мы используем данные о ежедневных продажах для формирования прогнозов на месяц. Действительно, в месяце может быть 4 или 5 пар выходных, а это существенно влияет на большинство розничных компаний. Как обычно, вам не нужно беспокоиться об уровне агрегации — Lokad позаботится об этом за вас.