Hva fant vi ut i forrige turnering?

Resultatene fra FFIs første prediksjonsturnering (2017–2020) er oppsummert i en egen FFI-rapport fra 2022.

På den ene siden viste resultatene hvor vanskelig det er å forutsi internasjonal politikk. Deltagerne slet generelt med å treffe bedre enn tilfeldig gjetning, selv på de mest kortsiktige spørsmålene. Eksperter treffer bedre enn amatører, men forskjellene er små i praksis. Eksperter treffer imidlertid ikke bedre på spørsmål innenfor sine egne fagområder enn eksperter med kompetanse på helt andre temaer. Kriteriene som normalt brukes til å avgjøre hvem vi skal høre på, som utdanningsnivå, relevant erfaring og spisskompetanse på aktuelle temaer, fremstår derfor som lite relevante i prediksjonssammenheng.

På den annen side viste resultatene at det er systematiske forskjeller i treffsikkerheten på individuelt nivå. Deltagernes prediksjonsevne korrelerer med en rekke individuelle egenskaper som kan måles på forhånd, for eksempel kognitiv kontroll, tallforståelse, politisk kunnskapsnivå og grad av fordomsfri tenkning. Mange av disse egenskapene er trolig også overførbare til prediksjon i den virkelige verdenen, fordi de samsvarer med forskning om hva som korrelerer med høyere prestasjonsevne på helt andre områder og i andre situasjoner. Det ble også identifisert et sett med teknikker forbundet med bedre treffsikkerhet, som det å lete etter informasjon fra flere kilder og å bruke metoder som grunnfrekvens, referanseklasser og ekstrapolasjon.

I stedet for å trekke et skarpt skille mellom prediksjonsturneringer og prediksjon i den virkelige verdenen, fremstår turneringer som et supplement til dagens forsvars- og sikkerhetspolitiske analyser, der antagelser om fremtidig utvikling ofte baseres på et lite antall eksperter som ikke nødvendigvis har de egenskapene som er mest relevante for treffsikkerhet. Det er nemlig mulig å bruke turneringer til å identifisere en gruppe deltagere som klarer å forutsi internasjonal politikk svært godt, ofte omtalt som «superforecastere». De kan være, men er ikke nødvendigvis eksperter. De kjennetegnes først og fremst av høyere scores på en rekke egenskaper som korrelerer med bedre prediksjonsevne generelt og ved at de tenker på de riktige måtene når de predikerer.