Hvordan forbedre treffsikkerheten til prediksjoner av internasjonal politikk? - en litteraturgjennomgang

Eksisterende forskning om hvor presist det er mulig å forutsi konkrete politiske hendelser, som utfallet av Brexit-avstemningen, antall nordkoreanske atomprøvesprengninger og hvor raskt Kinas økonomi vil vokse, baserer seg i hovedsak på to store, amerikanske forskningsprosjekter: Expert Political Judgment (EPJ) fra 2005 og Good Judgment Project (GJP) fra 2011–2015.

På den ene siden var funnene fra EPJ nedslående. Her ble treffsikkerheten til 284 eksperter målt på spørsmål som så 2, 5, 10 eller 20 år fremover. Ekspertene slet med å slå tilfeldig gjetning når tidsperspektivet nærmet seg 3–5 år. Det viste seg også at utdannings- og erfaringsnivå hadde lite å si for treffsikkerheten. Selv eksperter som predikerte innenfor sine egne områder, traff ofte dårligere enn andre eksperter som predikerte utenfor sitt.

På den annen side var resultatene fra GJP-prosjektet langt mer lovende. GJP var ett av lagene som deltok i en fireårig turnering sponset av amerikansk etterretning. For å treffe best mulig ble det forsket på ulike metoder for å aggregere prediksjoner fra tusenvis av deltagere. Det ble stilt flere hundre spørsmål med et tidsperspektiv på rundt 100 dager i snitt. Allerede etter to år traff GJP så godt at andre lag ble lagt ned. Funnene fra GJP viste at det er mulig å forutsi utfall på spørsmål av betydning for amerikansk etterretning. Vinneroppskriften var en kombinasjon av å rekruttere de riktige folkene og tiltak som forbedret treffsikkerheten.

Et gjennomgående funn i både EPJ og GJP var at noen personer i utgangspunktet er bedre til å predikere enn andre. Bedre treffsikkerhet hang sammen med høyere score på tester av kognitive evner, politisk kunnskapsnivå og fordomsfri tenkning. De aller beste hadde også et høyere ønske om å treffe best, interesse for mentalt krevende aktiviteter og en mer vitenskapelig tilnærming til det å vurdere fremtidige hendelser. Samtidig fant GJP at det var mulig å forbedre treffsikkerheten ytterligere gjennom tre tiltak:

1) opplæring i probabilistisk tenkning, som bruk av grunnfrekvens,

2) interaksjon mellom deltagerne, både i form av samarbeid i grupper og av konkurranse i prediksjonsmarkeder og

3) algoritmer som vektla prediksjonene til personer som har truffet godt tidligere og nylig som har oppdatert prediksjonene sine.

Funnene fra EPJ og GJP er imidlertid ikke nødvendigvis overførbare til en norsk forsvars- og sikkerhetspolitisk kontekst. Deltagerne i begge studier var stort sett amerikanske. Det er ikke gitt at de samme individuelle variasjonene vil gjelde for norske eksperter og deltagere. Det er heller ikke gitt at funnene vil være de samme om spørsmålene tar utgangspunkt i de viktigste aktørene for norsk sikkerhet. Selv om ekspertene i EPJ slet mot tilfeldig gjetning når tidsperspektivet nærmet seg 3–5 år, traff også de bedre jo kortere tidsperspektivet var. I GJP var tidsperspektivet på rundt 100 dager langt kortere og dermed enklere å treffe innenfor. Hensikten med FFIs prediksjonsturnering (2017–2020), som denne rapporten danner det teoretiske grunnlaget for, var derfor å etterprøve funnene fra EPJ og GJP med norske deltagere på spørsmål av betydning for norsk sikkerhet og med et tidsperspektiv på mellom 100 dager og 3–5 år