Een nieuwe studie wijst op een potentiële fout in veelgebruikte softwaretools die afhankelijk zijn van een gemeenschappelijke statistische modelleringstechniek genaamd ARIMA, wat zorgen oproept over de nauwkeurigheid van voorspellingen op gebieden variërend van financiën tot ecologie. Jesse Wheeler, een assistent-professor aan de Idaho State University, en zijn co-auteur, Edward Ionides, ontdekten dat de algoritmen die ARIMA-modellen aandrijven in twee populaire softwareomgevingen mogelijk onbetrouwbare schattingen produceren, wat mogelijk kan leiden tot gebrekkige voorspellingen en beslissingen.
ARIMA-modellen en hun belang begrijpen
ARIMA-modellen (Autoregressieve Integrated Moving Average) vormen een hoeksteen van tijdreeksanalyse: een methode die wordt gebruikt om gegevens te analyseren die in de loop van de tijd zijn verzameld. Ze werken door de huidige waarde van een maatstaf – zoals de prijs van eieren of de berenpopulatie in een bos – te relateren aan de waarden uit het verleden, waardoor onderzoekers patronen en trends kunnen identificeren en uiteindelijk toekomstige waarden kunnen voorspellen.
Waarom ARIMA zo gebruikelijk is
ARIMA-modellen zijn vaak de eerste tijdreeksmethode die aan studenten wordt geleerd en dienen als basisvergelijking bij het ontwikkelen van nieuwe statistische en machine learning-algoritmen. Door hun veelzijdigheid zijn ze essentiële hulpmiddelen geworden in verschillende disciplines, waaronder:
– Economie: Voorspellen van markttrends en economische indicatoren
– Zorg: Analyseren van patiëntgegevens en voorspellen van ziekte-uitbraken
– Weer: Voorspellen van temperatuur- en neerslagpatronen
– Ecologie: Modellering van dierenpopulaties en veranderingen in het milieu
De ontdekking: een potentieel probleem met parameterschatting
Het onderzoek van Wheeler en Ionides concentreerde zich op een cruciaal aspect van ARIMA-modellen: parameterschatting. Bij parameterschattingen worden verzamelde steekproefgegevens gebruikt om kenmerken van een grotere populatie af te leiden. De onderzoekers ontdekten een potentieel optimalisatieprobleem binnen het algoritme voor het schatten van de maximale waarschijnlijkheid (een proces dat wordt gebruikt om statistische modellen te passen) in de software die wordt gebruikt om ARIMA-modellen te implementeren.
“Dit is alsof je een rekenmachine hebt die beweert twee plus twee correct op te tellen, maar soms een onjuist antwoord geeft, zoals twee plus twee is drie”, legt Wheeler uit. “We vertrouwen vaak op statistische software zoals we dat doen met een rekenmachine, dus als de rekenmachine je vertelt dat hij je een specifieke parameterschatting geeft, kan hij dat maar beter met heel veel vertrouwen doen.”
De omvang van het probleem
De onderzoekers ontdekten dat de maximale waarschijnlijkheidsschattingen van de software in een verrassend groot aantal gevallen niet volledig waren geoptimaliseerd – tot wel 60% van de tijd, afhankelijk van de gegevens en het model. Dit betekent dat de algoritmen, ondanks dat ze beweren de waarschijnlijkheid van het model te maximaliseren, dit vaak niet deden. Ondermaatse parameterschattingen kunnen op hun beurt de nauwkeurigheid van de voorspellingen en de betrouwbaarheid van andere statistische analyses in gevaar brengen.
Het probleem en de weg voorwaarts aanpakken
Cruciaal is dat Wheeler en Ionides niet alleen het probleem hebben geïdentificeerd; ze stelden een nieuw algoritme voor om dit te corrigeren en demonstreerden de effectiviteit ervan met behulp van de programmeertaal R. Dit biedt een praktische oplossing voor onderzoekers en professionals die ARIMA-modellen gebruiken.
“ARIMA-modellen worden elke dag gebruikt door onderzoekers en professionals uit de industrie voor voorspellingen en wetenschappelijke analyses op vele terreinen… Als de software die deze modellen schat gebreken vertoont, kan dit mogelijk leiden tot onverwachte resultaten of misleidende beslissingen.”
Door deze tekortkomingen in de maximale waarschijnlijkheidsbenadering aan te pakken, vergroot dit onderzoek de betrouwbaarheid van ARIMA-modellen en draagt het bij aan beter geïnformeerde besluitvorming op een groot aantal gebieden, waardoor uiteindelijk zowel het wetenschappelijke inzicht als de praktische toepassingen worden verbeterd. Zelfs kleine verbeteringen in de nauwkeurigheid van schattingen kunnen aanzienlijke gevolgen in de praktijk hebben
