Het voorspellen van de toekomstige verkoopcijfers speelt een belangrijke rol in de productieplanning, het bepalen van de voorraadniveaus en beslissingen over nieuwe investeringen. In de loop der jaren werden tal van forecastmethodes ontwikkeld, van erg eenvoudige tot geavanceerde methodes op basis van artificiële intelligentie. De Griekse wiskundige Spyros Makridakis organiseert sinds 1982 forecasting-wedstrijden om te achterhalen welke methodes het beste zijn. Zijn onderzoek bracht een aantal interessante inzichten aan het licht.
Eenvoudige forecastmethodes
Kwantitatieve forecastmethodes steunen op historische gegevens om voorspellingen te maken. De meest eenvoudige forecastmethode is de naïeve methode. Deze methode voorspelt dat de waarde in de volgende periode simpelweg gelijk is aan de waarde uit de laatst gekende periode. Ondanks zijn eenvoud blijkt deze methode vaak verrassend goed te werken, in het bijzonder voor korte-termijnvoorspellingen. Zo is het weer over een kwartier zeer waarschijnlijk hetzelfde als nu.
Een andere eenvoudige methode is het berekenen van het gemiddelde van de laatste N periodes. Deze methode vlakt de fluctuaties uit, maar kent evenveel belang toe aan de waarde uit de laatste periode als aan een waarde uit een verder verleden. Hierdoor zal deze methode trends systematisch verkeerd inschatten. Een alternatief is het berekenen van een gewogen gemiddelde, waarbij er een groter gewicht wordt toegekend aan recente data. Een populaire variant hiervan is ‘exponential smoothing’ waarbij de gewichten volgens een exponentieel dalende functie worden toegekend. De ‘exponential triple smoothing’-methode is een verdere verfijning die rekening houdt met seizoenseffecten en trends. Deze functie is ook beschikbaar in Excel (FORECAST.ETS).
De verrassende kracht van eenvoudige methodes
Tijdens de eerste wedstrijd van Makridakis in 1982 bleek verrassend genoeg dat de meest eenvoudige methodes het beter deden dan de toenmalig geavanceerde methodes. Zo scoorde een eenvoudige exponential-smoothing-methode beter dan de gesofisticeerde ‘Box-Jenkins ARIMA’-methode. Deze conclusie werd meermaals bevestigd in de daaropvolgende wedstrijden. Een tweede inzicht was dat men de forecastfout kon verkleinen door simpelweg het gemiddelde te berekenen van meerdere forecastmethodes. Dit inzicht was destijds verrassend omdat men dacht dat er voor iedere tijdsreeks een best passende methode bestond die men kon bepalen door inspectie van de gegevens.
Pas in de wedstrijd van 2018 slaagde een gesofisticeerde methode, ontwikkeld door Slawek Smyl van Uber, erin om de benchmarkmethode (een gemiddelde van enkele eenvoudige exponential-smoothing-methodes) te overtreffen. De methode van Smyl kon de forecastfout van 12,6 procent reduceren naar 11,4 procent. Veertig jaar onderzoek door honderden wetenschappers had finaal geleid tot een verbetering van de forecastfout met 1,2 procent of een relatieve verbetering van 9,4 procent. De methode van Smyl was een hybride methode die een exponential-smoothing-methode combineerde met machine learning om de gewichten te bepalen. Opvallend in die wedstrijd was ook dat de pure machine-learning-methodes het slechter deden dan de benchmarkmethode. Slechts één pure machine-learning-inzending kon de naïeve forecastmethode overtreffen.
Triomf van machine learning
De laatste wedstrijd van Madridakis vond plaats in 2020. Tijdens deze wedstrijd moesten de deelnemers de verkoopcijfers van 3.049 producten van tien Walmart-winkels over een periode van 28 dagen voorspellen. Naast de historische verkoopcijfers van de laatste vijf jaar, beschikten de deelnemers ook over informatie over speciale dagen (feestdagen, sportwedstrijden) en promotionele acties. In totaal werden 88.136 inzendingen ingestuurd door 5.507 teams uit 101 landen.
De beste methode, een inzending van de Zuid-Koreaan Yeonjun In, verbeterde de relatieve forecastfout met 22,4 procent ten opzichte van de exponential-smoothing-benchmark. De top-50 inzendingen verbeterden allen de forecastfout met minstens 14 procent, wat aanzienlijk beter was dan de vorige wedstrijd. Voor het eerst waren de beste methodes allen pure machine-learning-methodes. De beste inzendingen berekenden de gemiddeldes van verschillende machine-learning-methodes, voornamelijk ‘lightGBM’-methodes.
Kanttekeningen
De laatste wedstrijd toont duidelijk de superioriteit aan van geavanceerde methodes, maar toch dienen hierbij enkele belangrijke bemerkingen te worden gemaakt:
- De overgrote meerderheid van de teams (92,5 procent) slaagde er niet in om beter te doen dan een eenvoudige exponential-smoothing-methode. Meer zelfs, slechts 48 procent van de teams deden het beter dan de naiëve methode en slechts 35 procent van de teams deed het beter dan een naïeve methode met een correctie voor het seizoenseffect.
- Veel teams stuurden meerdere inzendingen in, maar slaagden er vaak niet in om vooraf aan te geven welke inzending het best zou scoren.
- De verbetering van de forecastfout werd beoordeeld over verschillende aggregatieniveaus (verkoop per winkel, per categorie, per product) en de verbetering hangt sterk af van het aggregatieniveau. Zo kon de totale verkoop per winkel 31 procent beter worden voorspeld met de beste methode, terwijl de verkoop per artikel in een winkel slechts 3 procent beter kon worden voorspeld. Hoe specifieker de voorspelling, hoe kleiner de verbetering was.
Conclusies
De beste geavanceerde methodes doen het beduidend beter dan eenvoudige methodes, maar zijn daarom nog niet zaligmakend. Het is geen gemakkelijke taak om op voorhand een superieure methode te selecteren, en de meerwaarde - slechts enkele procenten voor een specifieke voorspelling - dient afgewogen te worden tegen de extra inspanning. Voor grote bedrijven met aanzienlijke voorraden (supermarkten, grote webshops,…) kunnen geavanceerde methodes de moeite lonen, maar voor de meeste productiebedrijven zullen eenvoudige en begrijpbare methodes de beste keuze zijn.
Meer weten?
Forecasting helpt om de capaciteit af te stemmen op de vraag, wat resulteert in korte doorlooptijden waar uw klanten veel baat bij hebben. Wilt u meer weten over het verkorten van doorlooptijden? Quick response manufacturing (QRM) is de strategie om uw bedrijf te laten groeien door doorlooptijden te verkorten. Ontdek deze strategie tijdens onze komende QRM Silver-opleidingen die starten in Gent (vanaf 27 oktober 2023) en in Diepenbeek (vanaf 17 november 2023).
