– Å forutsi sikkerhetspolitiske hendelser er vanskelig, men ikke umulig.

Resultatet er et av verdens største datasett med prediksjoner av internasjonal politikk. Den eneste turneringen av tilsvarende størrelse som har blitt gjennomført tidligere, er Good Judgment Project (GJP), som ble arrangert av amerikansk etterretning fra 2011 og 2015. GJPs funn anses i dag som den ledende forskningen på området. 

– FFIs turnering har gitt oss en unik mulighet til å etterprøve det siste vi vet om mulighetene for å forutsi forsvars- og sikkerhetspolitiske hendelser, sier Alexander W. Beadle. Han har analysert de foreløpige resultatene i en ny forskningsrapport.

Funnene vil beskrives mer detaljert i tre artikler som vil bli publisert på Stratagem og på ffi.no de neste ukene. Beadle skal jobbe videre med dataene i en doktorgradsavhandling.

Vanskelig å treffe bedre enn tilfeldig gjetning

Resultatene tyder på at vi skal ta prediksjoner om framtiden med en klype salt.

– Deltagerne i turneringen slet med å treffe bedre enn tilfeldig gjetning, selv på relativt kortsiktige spørsmål, sier Beadle. 

Dette var i utgangspunktet overraskende. I GJP-turneringen var hovedfunnet at det er mulig å forutsi internasjonal politikk relativt godt. Ifølge Beadle skyldes imidlertid dette måten treffsikkerheten ble beregnet på i GJP-turneringen.

– Hvis vi kun måler treffsikkerheten basert på prediksjoner som gjøres ett bestemt tidspunkt, slik Etterretningstjenesten gjør i sine årlige trusselvurderinger og Forsvarsdepartementet gjør når de beskriver de sikkerhetspolitiske rammebetingelsene i Forsvarets langtidsplaner, ligger treffsikkerheten nær tilfeldig gjetning i begge turneringer. 

Ekspertene, som vi normalt hører på, treffer riktignok litt bedre enn forsvars- og sikkerhetspolitisk interesserte amatører, men forskjellene er små i praksis. Det mest overraskende er at eksperter ikke treffer bedre på spørsmål innenfor sine egne områder enn eksperter med kompetanse på helt andre temaer.

– Utdanningsnivå, relevant erfaring og spisskompetanse fremstår som irrelevant i prediksjonssammenheng, konkluderer Beadle. 

– Dette er et paradoks, siden det er nettopp disse kriteriene vi ofte bruker til å velge hvem vi hører på og til å skille mellom eksperter i andre sammenhenger.

Individuelle egenskaper henger sammen med treffsikkerhet

At ekspertene ikke skiller seg positivt ut betyr imidlertid ikke at det ikke finnes personer som er mer treffsikre enn andre. FFIs turnering bekrefter nemlig tidligere funn om at treffsikkerhet er en reell evne som varierer på individuelt nivå.

Høyere prediksjonsevne i turneringen henger sammen med en rekke individuelle egenskaper. Deltagere med god kognitiv kontroll, god tallforståelse, generelt politisk kunnskapsnivå og større grad av fordomsfri tekning er flinkere til å treffe på prediksjonene. Kognitiv kontroll – eller refleksjonsevne – handler om evnen til å unngå mentale snarveier som kan lede til gale svar, forklarer Beadle.

Personer med høyere scores på tester av disse egenskapene scorer oftere høyt også på hukommelse, reaksjonstid og risikovurdering. 

– Dette er også egenskaper som kan måles på forhånd gjennom psykologiske tester og som kan hjelpe oss til å identifisere personer som har bedre forutsetninger enn andre for å treffe best mulig, understreker Beadle.

Treffsikkerhet handler også om metode

I tillegg til de personlige egenskapene var det også forskjeller mellom deltagerne basert på hvordan de tenkte når de forsøkte å predikere utfall. 

Beadle har sett nærmere hvordan deltagerne gikk frem når de forsøkte å predikere i selve turneringen. Han fant noen «tenkemåter» som er forbundet med bedre treffsikkerhet

• Lete etter informasjon fra flere kilder
• Bruke grunnfrekvens (tenke statistikk og sannsynlighet)
• Bruke referanseklasser (empiri, se på hvordan utfallene har fordelt seg ved tilsvarende type hendelser tidligere)
• Ekstrapolasjon (fremskriving, hva skjer hvis dagens utvikling fortsetter)

Et av de mest overraskende funnene er at det ikke var forskjeller mellom hvor godt grunnlag deltagerne selv mente de hadde for å predikere hvert spørsmål og hvor godt de faktisk traff. Deltagernes treffsikkerhet var nemlig lik på spørsmålene hvor de oppgav at de bare gjettet og på spørsmålene hvor de følte seg helt sikre på prediksjonene sine.

Lytt til «superforcastere»

Et langt mer optimistisk funn fra både FFIs og GJPs turneringer er at det finnes en gruppe personer som er vesentlig bedre enn andre. Disse kan vi kalle «superforecastere». De treffer tilnærmet så godt som det synes å være mulig å forutsi sikkerhetspolitiske hendelser noen måneder og et par år i forveien. 

– I dag baserer vi oss ofte på råd fra eksperter som vi ikke kjenner prediksjonsevnen til. Ved å basere oss på prediksjonene til superforecastere i turneringer som dette, kan vi forvente en høyere treffsikkerheten enn vi kan ved kun å basere oss på eksperter, sier Beadle. 

Under halvparten av superforecasterne i FFIs undersøkelse var forsvars- og sikkerhetspolitiske eksperter. I stedet kjennetegnes de av litt høyere scores på de individuelle egenskapene som henger sammen med bedre treffsikkerhet generelt.

– Turneringer fremstår derfor som et relativt effektivt virkemiddel for å forbedre treffsikkerheten til dagens prediksjoner, også i den virkelige verdenen, avslutter Beadle.

Og vinneren ble…?

Her kan du finne resultatlisten og mer info om prediksjonsturneringen.

De tre beste i turneringen er alle ansatt ved FFI, men jobber med vidt ulike emner. Den med suverent best score, Simen Rustad, er matematiker og jobber med sensorer og kunstig intelligens FFI. Han tror mattebakgrunnen hjalp i begrenset grad.

– Det handler nok mer om evnen til å systematisere og sette sammen informasjon fra ulike kilder, sier Rustad.

– Hvordan tenkte du da du skulle svare?

– Jeg var forsiktig med å være for bastant. Det er som kjent umulig å vite noe sikkert om fremtiden. Hvis du var skråsikker og bommet ble du straffet hardt i scoringssystemet i prediksjonsturneringen. Ellers gjaldt det å få litt oversikt, se på statistikk fra tidligere hendelser og tenke på erfaringer fra sammenlignbare hendelser. Alle spørsmålene kom med en forklaring og litt statistikk eller bakgrunnsinformasjon. Jeg gikk som regel videre for å hente inn mer informasjon før jeg svarte.

Rustad mener han underveis i turneringen lærte seg mye om hvordan det var lurt å svare for å få god score.

– Det hjalp på resultatet at jeg var med og svarte på spørsmål hele veien fra start til slutt. Og så passet jeg på å lese spørsmålene nøye for å forstå hva de innebar. Hva var det egentlig det ble spurt om? De var ganske spesifikt stilt, men det var nok mulig å misforstå noen av spørsmålene hvis man ikke leste dem nøye.