FFIs prediksjonsturnering – datagrunnlag og foreløpige resultater

All etterretningsvurdering og forsvarsplanlegging utleder eller baserer seg på noen antagelser om hvordan Norges forsvars- og sikkerhetspolitiske omgivelser vil utvikle seg i årene som kommer. Vi har imidlertid visst lite om hvor godt prediksjonene som legges til grunn faktisk treffer.

Hensikten med FFIs prediksjonsturnering (2017–2020) var å måle hvor presist det er mulig å forutsi forsvars- og sikkerhetspolitiske utviklinger av relevans for Norge, og hva som kjennetegner personer som treffer bedre enn andre. Deltagerne ble bedt om å forutsi spørsmål som: Vil russiske militære fly krenke norsk luftrom det neste året? Hva blir utfallet av Brexit? Hvor mange NATO-land vil bruke 2 % av BNP på forsvar i 2024? Vil Trump vinne det neste presidentvalget? Hvis vi kan forutsi svarene på spørsmål som dette flere måneder og år i forveien, kan vi også være relativt sikre på retningen på utviklingen i Norges strategiske omgivelser fremover. I FFIs turnering ble det stilt 240 slike spørsmål om blant annet krig og konflikt, Russland, USA, Europa, økonomi og teknologi. Totalt ble det samlet inn 465 673 prediksjoner fra 1375 deltagere. 

På den ene siden demonstrerer resultatene fra FFIs turnering hvor vanskelig det er å forutsi internasjonal politikk. Deltagerne sliter generelt med å treffe bedre enn tilfeldig gjetning, selv på kortsiktige spørsmål. Eksperter treffer bedre enn amatører, men forskjellene er små i praksis. Eksperter treffer heller ikke bedre på spørsmål innenfor sine egne fagområder enn eksperter med kompetanse på helt andre temaer. Kriteriene som vi normalt bruker til å avgjøre hvem vi skal høre på, som utdanningsnivå, relevant erfaring og spisskompetanse på aktuelle temaer, fremstår derfor som lite relevante i prediksjonssammenheng. 

På den annen side viser resultatene at det er systematiske forskjeller i treffsikkerheten på individuelt nivå. Deltagernes prediksjonsevne korrelerer med en rekke individuelle egenskaper som kan kartlegges på forhånd, som kognitiv kontroll, tallforståelse, politisk kunnskapsnivå og grad av fordomsfri tenkning. Mange av disse egenskapene er trolig også overførbare til prediksjon i den virkelige verdenen fordi de samsvarer med forskning om hva som korrelerer med høyere prestasjonsevne på helt andre områder og i andre situasjoner. Det identifiseres også et sett med spesifikke teknikker forbundet med bedre treffsikkerhet, som det å lete etter informasjon fra flere kilder og å bruke metoder som grunnfrekvens, referanseklasser og ekstrapolasjon. Andre teknikker som ofte trekkes frem i fremtidsforskningen, ser derimot ikke ut til å ha betydning. 

I stedet for å trekke et skarpt skille mellom prediksjonsturneringer og prediksjon i den virkelige verdenen, fremstår turneringer som et alternativ til dagens praksis i forsvars- og sikkerhetspolitiske analyser, der antagelser om den fremtidige utviklingen baseres på eksperter som ikke nødvendigvis har de riktige forutsetningene for å treffe best mulig. Det er nemlig mulig å bruke turneringer til å identifisere en gruppe deltagere som klarer å forutsi internasjonal politikk svært godt. De færreste av dem er profesjonelle eksperter. I stedet kjennetegnes de først og fremst av enda høyere scores på de individuelle egenskapene som korrelerer med bedre prediksjonsevne generelt og ved at de tenker på de riktige måtene når de predikerer.