Ekspertar treffer godt om Ukraina

– Sett i lys av tidlegare forsking er det overraskande at ekspertane trefte så godt på dei fleste spørsmåla, seier Noah Wicken, ein av forfattarane av rapporten.

Funnet er verdt å merke seg. Mange ekspertar fekk hard medfart etter invasjonen av Ukraina i februar 2022, fordi dei hadde hevda at Russland ikkje ville gå til åtak på nabolandet.

– Studien vår syner at akkurat den innleiande fasen av krigen er unntaket. Ekspertar har stort sett treft med predikasjonane sine etterpå. Den gjennomsnittlege treffprosenten er på 81 prosent.

Ingen skilnad etter invasjonen

Rapporten «Norske eksperters prediksjoner om krigen i Ukraina – hvor godt har de truffet?» gir detaljert innsikt i kor treffsikre dei mest siterte ekspertane har vore frå månadane før invasjonen og fram til sommaren 2023.

Ekspertane trefte spesielt godt på spørsmål om bruk av atomvåpen, stabiliteten til det russiske regimet og om krigen vil eskalere til andre land. Dei har også treft på dei fleste spørsmål om sjansane for fred og utfallet av militære offensivar.

Et interessant poeng er at det ikkje er nokon skilnad i kor treffsikre ekspertane som bomma eller trefte på invasjonsspørsmålet har vore på seinare predikasjonar om den videre utviklinga i krigen, seier seniorforskar Alexander William Beadle, den andre forfattaren av rapporten.

Lite kunnskap

Ifølgje Wicken og Beadle har ein generelt lite kunnskap om kor godt fagfolk evnar å føreseie ei framtidig utvikling, spesielt om internasjonal politikk. Tidlegare studiar har målt kor treffsikre dei er gjennom spørjeundersøkingar. Der har ekspertar blitt bedne om å talfeste predikasjonane sine, for eksempel om ein russisk invasjon var 60 prosent eller 90 prosent sannsynleg. Slike studiar har vist at ekspertar ikkje treffer særleg betre enn rein gjetting ville ha gjort.

Samstundes er ikkje slike undersøkingar representative for måten ekspertar normalt uttaler seg om framtida på. Dei uttaler seg oftast berre om tema dei har kompetanse på, og bruker ord snarare enn tal når dei skal seie kor sannsynleg noko er eller ikkje er.

Prosjektet denne rapporten inngår i, «Globale trender og militære operasjoner», har tidlegare sett på kor treffsikre ekspertar er. Det blei gjort gjennom FFIs prediksjonsturnering, som varte frå 2017 til 2020. Her blei hundrevis av norske ekspertar bedne om å talfeste kor sannsynleg de meinte ulike utfall var. Dei fekk over 200 spørsmål om ulike tema.

Eigne utsegner

I den nye rapporten har Wicken og Beadle målt kor treffsikre fagfolka på feltet var, basert på deira eigne utsegner i norske medier. Rapporten er basert på 173 Ukraina-predikasjonar frå ti av dei mest siterte ekspertane i norske medium.

«Predikasjonar» blir her definert som utsegner om framtidige utfall som er etterprøvbare og inkluderer ei vurdering av kor sannsynlege dei er. Ord og uttrykk som seier kor sannsynleg utfallet er kan til dømes vere «lite sannsynleg» eller «truleg». Basert på desse påstandane har forskarane målt kor ofte det utfallet som ekspertane peika på som det mest sannsynlege, faktisk skjedde.

Ti kjende fjes

Dei ti ekspertane som har blitt målt er alle godt kjende frå radio, fjernsyn og aviser. Dei med flest søketreff i mediene var, i denne rekkefølga, Julie Wilhelmsen, Nupi, Tormod Heier, Forsvarets høgskole, Tor Bukkvoll, FFI, Jakub Godzimirski, Nupi, Tom Røseth, Palle Ydstebø og Geir Hågen Karlsen, alle ved Forsvarets høgskole, Karsten Friis, Nupi, Karen-Anna Eggen,  Forsvarets høgskole og Cecilie Hellestveit, Folkerettsinstituttet.

Vanskeleg å skille

Forskarane kan likevel ikkje peike ut kven som eventuelt har gjort dei aller beste predikasjonane. Beadle peikar på at ekspertane i studien berre er vurderte ut frå språklege formuleringar.

– Det er særs vanskeleg å skille enkeltekspertar når dei berre nyttar ord som «truleg» til å skildre kor sannsynleg dei meiner noko er. Det kan til dømes tenkast at somme av ekspertane i lista gjennomgåande vurderte dei rette utfalla som 90 prosent sannsynlege, medan andre vurderte dei som berre 60 prosent sannsynlege. Den første eksperten er då tydeleg og treffsikker, medan den andre tenker at svaret ligg rundt femti-femti-gjetting, men hamnar likevel på riktig side. Vi veit frå tidlegare forsking at det er systematiske skilnadar i kor treffsikre enkeltpersonar er, men for å identifisere ekspertane vi bør høyre meir på enn andre må dei talfeste predikasjonane sine.

Høg treffprosent

Wicken og Beadle legg til at dei her fann ein overraskande høg treffprosent, samanlikna med tidlegare forsking.

– Eit kjent sitat frå tidlegare forsking er at ekspertar er ikkje noko betre til å predikere politikk enn ein pilkastende ape med bind for auga, der det er heilt tilfeldig kor godt dei treffer. Ei mogleg forklaring er at ekspertpåstandane vi har klart å måle treffsikkerheita til her stort sett handlar om lite sannsynlege hendingar, av typen atomkrig og krig med Nato, seier dei to.

– Faktisk hadde ein treft like godt som ekspertane – 80 prosent – om ein alltid hadde predikert ei vidareføring av dagens situasjon: «Viss ikkje noko skjedde det førre året, så vil det heller ikkje skje det neste». Vi veit derfor ikkje noko om kor godt ekspertane hadde treft på andre spørsmål om vanlegare typar hendingar.