De første forskningsresultatene fra turneringen er nå publisert.

Sammendrag

• På den ene siden demonstrerer resultatene fra FFIs turnering hvor vanskelig det er å forutsi internasjonal politikk. Deltagerne sliter generelt med å treffe bedre enn tilfeldig gjetning, selv på kortsiktige spørsmål. Eksperter treffer bedre enn amatører, men forskjellene er små i praksis. Eksperter treffer heller ikke bedre på spørsmål innenfor sine egne fagområder enn eksperter med kompetanse på helt andre temaer. Kriteriene som vi normalt bruker til å avgjøre hvem vi skal høre på, som utdanningsnivå, relevant erfaring og spisskompetanse på aktuelle temaer, fremstår derfor som lite relevante i prediksjonssammenheng. 

• På den annen side viser resultatene at det er systematiske forskjeller i treffsikkerheten på individuelt nivå. Deltagernes prediksjonsevne korrelerer med en rekke individuelle egenskaper som kan kartlegges på forhånd, som kognitiv kontroll, tallforståelse, politisk kunnskapsnivå og grad av fordomsfri tenkning. Mange av disse egenskapene er trolig også overførbare til prediksjon i den virkelige verdenen fordi de samsvarer med forskning om hva som korrelerer med høyere prestasjonsevne på helt andre områder og i andre situasjoner. Det identifiseres også et sett med spesifikke teknikker forbundet med bedre treffsikkerhet, som det å lete etter informasjon fra flere kilder og å bruke metoder som grunnfrekvens, referanseklasser og ekstrapolasjon. Andre teknikker som ofte trekkes frem i fremtidsforskningen, ser derimot ikke ut til å ha betydning. 

• I stedet for å trekke et skarpt skille mellom prediksjonsturneringer og prediksjon i den virkelige verdenen, fremstår turneringer som et alternativ til dagens praksis i forsvars- og sikkerhetspolitiske analyser, der antagelser om den fremtidige utviklingen baseres på eksperter som ikke nødvendigvis har de riktige forutsetningene for å treffe best mulig. Det er nemlig mulig å bruke turneringer til å identifisere en gruppe deltagere som klarer å forutsi internasjonal politikk svært godt. De færreste av dem er profesjonelle eksperter. I stedet kjennetegnes de først og fremst av enda høyere scores på de individuelle egenskapene som korrelerer med bedre prediksjonsevne generelt og ved at de tenker på de riktige måtene når de predikerer.

Ønsker du å lese mer?

Alle funnene er oppsummert på ffi.no:

• – Å forutsi sikkerhetspolitiske hendelser er vanskelig, men ikke umulig.

Utvalgte funnene diskuteres mer detaljert i tre artikler på Stratagem:

• Prediksjon og presisjon: Hvor godt kan vi forutsi sikkerhetspolitiske hendelser?
• Arv og miljø: Hva kjennetegner personer som er bedre til å forutsi sikkerhetspolitiske hendelser?
• Fra lek til alvor: Kan turneringer brukes til å forutsi krig?

Alle funnene og hele datagrunnlaget er beskrevet i en egen FFI-rapport:

• Alexander William Beadle (2021), ‘FFIs prediksjonsturnering – foreløpige resultater og datagrunnlag’, FFI-rapport 21/00737

Turneringen er nå avsluttet. Det vil ikke bli sendt ut nye spørsmål. Det gjenstår 90 spørsmål som vil bli avgjort de neste årene. Resultatene fra disse vil ikke publiseres på denne nettsiden, men inngå i det endelige datagrunnlaget som skal analyseres videre. Deltagere som ønsker svar på disse spørsmålene, må oppgi dette i undersøkelsen som ble sendt ut i jan. 2021 (“Dine refleksjoner”).

Fremover vil det forskes på resultatene fra turneringen. Våren 2021 kommer en FFI-rapport med foreløpige resultater om den generelle treffsikkerheten og hva som kjennetegnet deltagerne som traff bedre enn andre. Deretter vil det publiseres flere artikler om utvalgte problemstillinger.

Tusen takk til alle som deltok i turneringen!

De endelige resultatene fra turneringen er nå klare. Til sammen er det avgjort 150 spørsmål fra 2017 til 2020. I denne perioden er det samlet inn rundt 300,000 prediksjoner fra 1354 deltagere.

Her presenteres foreløpige observasjoner fra turneringsresultatene og alle de sammenlagte vinnerne innenfor alle kategorier.

• I gjennomsnitt traff deltagerne omtrent akkurat like presist som tilfeldig gjetning. Snittet skjuler imidlertid betydelige variasjoner i treffsikkerheten blant deltagerne, og at flertallet traff bedre enn Apen på to tredeler av spørsmålene.
• Forskere, eksperter i media og den eldste aldersgruppen traff i snitt best. Ellers var det små forskjeller mellom kjønn og øvrige aldersgrupper, men høyere utdanningsnivå ser ut til å henge sammen med bedre treffsikkerhet.
• Deltagerne traff best på spørsmål om terrorisme og det norske forsvaret, og dårligst på spørsmål om Øst-Asia, norsk utenrikspolitikk og Russland/nordområdene.
• Deltagerne traff best på de mest kortsiktige spørsmålene (0-99 dager). På spørsmålene som så lenger enn dette, var forskjellene relativt små.
• Det var systematiske individuelle forskjeller i hvor godt deltagerne klarer å predikere, og denne evnen holdt seg overraskende stabil gjennom hele turneringen. Det synes også å være mulig å identifisere deltagere som treffer bedre enn andre basert på relativt få spørsmål.
• Beste deltager i hele turneringen ble Simen E Rustad (med stor margin), etterfulgt av Atle Onar Knapskog og Halvor Kippe. I tillegg ble det kåret en rekke andre individuelle vinnere, som beste lekmann, offiser og ekspert.
• Beste forsvars- og fagmiljø ble deltagerne fra Norges teknisk-naturvitenskapelige universitet (NTNU), etterfulgt av Forsvarets forskningsinstitutt (FFI) og Forsvarsdepartementet.

Alle som har svart på minst ett spørsmål, har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant de beste, og hva plasseringen deres ville vært dersom treffsikkerheten hadde blitt målt på en annen måte.

Resultatene fra turneringens tredje runde er klare. Til sammen ble det avgjort 66 spørsmål i turneringsåret 2020, med rundt 130,000 prediksjoner fra 1284 deltagere.

• I gjennomsnitt traff deltagerne omtrent like godt som tilfeldig gjetning. Det var likevel et flertall av deltagerne som traff bedre enn tilfeldig gjetning ved ulike beregninger av sammenlagt score.
• En liten gruppe grenaderer/konstabler traff best av alle deltagergruppene. De ble etterfulgt av forskere og de eldste deltagerne. Ekspertene i media, som var best i 2019, og nest best i 2018, var den fjerde beste deltagergruppen i i 2020.
• Ellers var det generelt liten forskjell mellom kjønn og de resterende aldersgruppene, men som i tidligere år ser høyere utdanningsnivå ut til å henge sammen med bedre treffsikkerhet.
• Den beste deltageren i 2020 ble Jon Kåre Hellan, etterfulgt av Atle Onar Knapskog og Simen Medhus. I tillegg ble det kåret en rekke andre individuelle vinnere, som beste fagperson, offiser og ekspert.
• Beste forsvars- og fagmiljø ble NTNU, etterfulgt av Universitetet i Oslo og FFI. Samtidig var det to andre miljøer som traff bedre, men ikke hadde nok deltagere som oppfylte minstekravene.

Alle som har svart på minst ett spørsmål har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant de beste, og hva plasseringen deres ville vært dersom treffsikkerheten hadde blitt målt på en annen måte.