De første forskningsresultatene fra turneringen er nå publisert.

Sammendrag

• På den ene siden demonstrerer resultatene fra FFIs turnering hvor vanskelig det er å forutsi internasjonal politikk. Deltagerne sliter generelt med å treffe bedre enn tilfeldig gjetning, selv på kortsiktige spørsmål. Eksperter treffer bedre enn amatører, men forskjellene er små i praksis. Eksperter treffer heller ikke bedre på spørsmål innenfor sine egne fagområder enn eksperter med kompetanse på helt andre temaer. Kriteriene som vi normalt bruker til å avgjøre hvem vi skal høre på, som utdanningsnivå, relevant erfaring og spisskompetanse på aktuelle temaer, fremstår derfor som lite relevante i prediksjonssammenheng. 

• På den annen side viser resultatene at det er systematiske forskjeller i treffsikkerheten på individuelt nivå. Deltagernes prediksjonsevne korrelerer med en rekke individuelle egenskaper som kan kartlegges på forhånd, som kognitiv kontroll, tallforståelse, politisk kunnskapsnivå og grad av fordomsfri tenkning. Mange av disse egenskapene er trolig også overførbare til prediksjon i den virkelige verdenen fordi de samsvarer med forskning om hva som korrelerer med høyere prestasjonsevne på helt andre områder og i andre situasjoner. Det identifiseres også et sett med spesifikke teknikker forbundet med bedre treffsikkerhet, som det å lete etter informasjon fra flere kilder og å bruke metoder som grunnfrekvens, referanseklasser og ekstrapolasjon. Andre teknikker som ofte trekkes frem i fremtidsforskningen, ser derimot ikke ut til å ha betydning. 

• I stedet for å trekke et skarpt skille mellom prediksjonsturneringer og prediksjon i den virkelige verdenen, fremstår turneringer som et alternativ til dagens praksis i forsvars- og sikkerhetspolitiske analyser, der antagelser om den fremtidige utviklingen baseres på eksperter som ikke nødvendigvis har de riktige forutsetningene for å treffe best mulig. Det er nemlig mulig å bruke turneringer til å identifisere en gruppe deltagere som klarer å forutsi internasjonal politikk svært godt. De færreste av dem er profesjonelle eksperter. I stedet kjennetegnes de først og fremst av enda høyere scores på de individuelle egenskapene som korrelerer med bedre prediksjonsevne generelt og ved at de tenker på de riktige måtene når de predikerer.

Ønsker du å lese mer?

Alle funnene er oppsummert på ffi.no:

• – Å forutsi sikkerhetspolitiske hendelser er vanskelig, men ikke umulig.

Utvalgte funnene diskuteres mer detaljert i tre artikler på Stratagem:

• Prediksjon og presisjon: Hvor godt kan vi forutsi sikkerhetspolitiske hendelser?
• Arv og miljø: Hva kjennetegner personer som er bedre til å forutsi sikkerhetspolitiske hendelser?
• Fra lek til alvor: Kan turneringer brukes til å forutsi krig?

Alle funnene og hele datagrunnlaget er beskrevet i en egen FFI-rapport:

• Alexander William Beadle (2021), ‘FFIs prediksjonsturnering – foreløpige resultater og datagrunnlag’, FFI-rapport 21/00737

Turneringen er nå avsluttet. Det vil ikke bli sendt ut nye spørsmål. Det gjenstår 90 spørsmål som vil bli avgjort de neste årene. Resultatene fra disse vil ikke publiseres på denne nettsiden, men inngå i det endelige datagrunnlaget som skal analyseres videre. Deltagere som ønsker svar på disse spørsmålene, må oppgi dette i undersøkelsen som ble sendt ut i jan. 2021 (“Dine refleksjoner”).

Fremover vil det forskes på resultatene fra turneringen. Våren 2021 kommer en FFI-rapport med foreløpige resultater om den generelle treffsikkerheten og hva som kjennetegnet deltagerne som traff bedre enn andre. Deretter vil det publiseres flere artikler om utvalgte problemstillinger.

Tusen takk til alle som deltok i turneringen!

De endelige resultatene fra turneringen er nå klare. Til sammen er det avgjort 150 spørsmål fra 2017 til 2020. I denne perioden er det samlet inn rundt 300,000 prediksjoner fra 1354 deltagere.

Her presenteres foreløpige observasjoner fra turneringsresultatene og alle de sammenlagte vinnerne innenfor alle kategorier.

• I gjennomsnitt traff deltagerne omtrent akkurat like presist som tilfeldig gjetning. Snittet skjuler imidlertid betydelige variasjoner i treffsikkerheten blant deltagerne, og at flertallet traff bedre enn Apen på to tredeler av spørsmålene.
• Forskere, eksperter i media og den eldste aldersgruppen traff i snitt best. Ellers var det små forskjeller mellom kjønn og øvrige aldersgrupper, men høyere utdanningsnivå ser ut til å henge sammen med bedre treffsikkerhet.
• Deltagerne traff best på spørsmål om terrorisme og det norske forsvaret, og dårligst på spørsmål om Øst-Asia, norsk utenrikspolitikk og Russland/nordområdene.
• Deltagerne traff best på de mest kortsiktige spørsmålene (0-99 dager). På spørsmålene som så lenger enn dette, var forskjellene relativt små.
• Det var systematiske individuelle forskjeller i hvor godt deltagerne klarer å predikere, og denne evnen holdt seg overraskende stabil gjennom hele turneringen. Det synes også å være mulig å identifisere deltagere som treffer bedre enn andre basert på relativt få spørsmål.
• Beste deltager i hele turneringen ble Simen E Rustad (med stor margin), etterfulgt av Atle Onar Knapskog og Halvor Kippe. I tillegg ble det kåret en rekke andre individuelle vinnere, som beste lekmann, offiser og ekspert.
• Beste forsvars- og fagmiljø ble deltagerne fra Norges teknisk-naturvitenskapelige universitet (NTNU), etterfulgt av Forsvarets forskningsinstitutt (FFI) og Forsvarsdepartementet.

Alle som har svart på minst ett spørsmål, har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant de beste, og hva plasseringen deres ville vært dersom treffsikkerheten hadde blitt målt på en annen måte.

Resultatene fra turneringens tredje runde er klare. Til sammen ble det avgjort 66 spørsmål i turneringsåret 2020, med rundt 130,000 prediksjoner fra 1284 deltagere.

• I gjennomsnitt traff deltagerne omtrent like godt som tilfeldig gjetning. Det var likevel et flertall av deltagerne som traff bedre enn tilfeldig gjetning ved ulike beregninger av sammenlagt score.
• En liten gruppe grenaderer/konstabler traff best av alle deltagergruppene. De ble etterfulgt av forskere og de eldste deltagerne. Ekspertene i media, som var best i 2019, og nest best i 2018, var den fjerde beste deltagergruppen i i 2020.
• Ellers var det generelt liten forskjell mellom kjønn og de resterende aldersgruppene, men som i tidligere år ser høyere utdanningsnivå ut til å henge sammen med bedre treffsikkerhet.
• Den beste deltageren i 2020 ble Jon Kåre Hellan, etterfulgt av Atle Onar Knapskog og Simen Medhus. I tillegg ble det kåret en rekke andre individuelle vinnere, som beste fagperson, offiser og ekspert.
• Beste forsvars- og fagmiljø ble NTNU, etterfulgt av Universitetet i Oslo og FFI. Samtidig var det to andre miljøer som traff bedre, men ikke hadde nok deltagere som oppfylte minstekravene.

Alle som har svart på minst ett spørsmål har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant de beste, og hva plasseringen deres ville vært dersom treffsikkerheten hadde blitt målt på en annen måte.

Etter planen blir 2020 det siste året i turneringen. Alle spørsmål som du har svart på og som avgjøres før 15. januar 2021, vil inngå i dine sammenlagte resultater for 2020-runden og for turneringen som helhet. Da vil vi også kåre de endelige vinnerne.

Etter dette vil det imidlertid være flere spørsmål som ennå ikke er avgjort. Med mindre du melder deg av, vil du fortsatt få tilsendt score og plassering på spørsmålene dine etter 2020. Dette gjøres for at du skal få vite hvordan du ender opp med å gjøre det til slutt, men svarene vil sendes i bolker, ikke fortløpende, og resultatene vil ikke lenger publiseres på hjemmesiden.

Resultatene fra turneringens andre runde er klare! Til sammen ble det avgjort 44 spørsmål i 2019, med over 87 000 prediksjoner fra rundt 1100 deltagere.

• I snitt traff deltagerne omtrent akkurat like godt som tilfeldig gjetning på alle spørsmålene.
• Ekspertene traff i snitt best, etterfulgt av forskerne. I 2018 var det omvendt.
• Som i fjor var det små forskjeller mellom kjønn, alder og militær grad, men det var en sammenheng mellom høyere utdanningsnivå og bedre treffsikkerhet.
• Den beste deltageren i 2019 var Tormod Ryeng, etterfulgt av Lloyd Andreassen og Svenn Torgersen. I tillegg ble det kåret en rekke andre individuelle vinnere, som beste fagperson, offiser og ekspert.
• Beste forsvars- og fagmiljø ble (mistenkelig nok) FFI selv, etterfulgt av Forsvarsdepartementet og Forsvarets høgskole. Samtidig var det flere andre miljøer som traff bedre, men ikke hadde nok deltagere.

Her kan du lese mer om de overordnede resultatene, og se hvem som vant de individuelle titlene og prisen for beste forsvars- og fagmiljø. Alle som har svart på minst ett spørsmål har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant de beste, og hva plasseringen deres ville vært dersom treffsikkerheten hadde blitt målt på en annen måte.

Resultatene fra turneringens andre runde (2019) vil bli basert på alle spørsmål som er stilt senest 31. desember 2019, og som det foreligger svar på senest 14. januar 2020.

Etter 14. januar vil det kåres vinnere for 2019, og alle deltagere vil motta en mail med oppsummering av sine individuelle resultater for dette året. Fra 15. januar vil deltagernes sammenlagte resultater for inneværende år nullstilles, og det vil bli kåret nye vinnere for året 2020. Sammenlagte resultater fra turneringen som helhet videreføres.

Du kan lese mer om vinnerkategorier og -kriterier her.

I en ny rapport (Globale trender mot 2040 – et oppdatert fremtidsbilde) har FFI oppsummert hva forskere og eksperter mener om utviklingen i Norges omgivelser de neste 15-25 årene. Her analyseres implikasjoner for Forsvaret og norsk sikkerhetspolitikk på bakgrunn av dagens globale trender og den videre utviklingen innenfor seks aktører (Russland, NATO, USA, FN, Kina og ikke-statlige aktører) og fem regioner (Arktis, Norden, Europa, Midtøsten og Nord-Afrika, og Afrika sør for Sahara).

I forbindelse med denne studien har gjennomsnittsprediksjoner fra turneringen blitt brukt som eksempler på hvor sannsynlig ulike hendelser vurderes å være.

Du kan lese mer om rapporten på www.ffi.no.

Hele studien er tilgjengelig her:
Beadle, Alexander William; Diesen, Sverre; Nyhamar, Tore; og Bostad, Eline Knarrum (2019), “Globale trender mot 2040 – et oppdatert fremtidsbilde”, FFI-rapport 19/00045 (Kjeller: Forsvarets forskningsinstitutt)

Det er nå laget en oversikt over spørsmål som ikke er avgjort ennå.

Her finner du en liste med alle spørsmålene, rangert ut fra sluttdatoen.

Vinnerne i turneringens første runde er klare! Til sammen er det avgjort 40 spørsmål med over 80 000 prediksjoner fra 1005 deltagere. Alle som har svart på minst ett spørsmål har fått en mail med individuelle resultater, inkludert beste og verste plassering, hvor ofte de var blant 100, 50 og 10 på topp, og plassering dersom treffsikkerheten hadde blitt målt på en annen måte.

Her kan du lese mer om de overordnede resultatene – og ikke minst se hvem som vant de individuelle titlene og prisen for beste forsvars- og fagmiljø! Én vinner får vi imidlertid aldri svaret på…