Verdens største av sitt slag
Inspirert av tidligere forskning av Philip E. Tetlock, arrangerte Alexander W. Beadle ved FFI en av verdens største prediksjonsturneringer fra 2017 til 2020.
Hensikten var å måle hvor godt eksperter, offiserer, byråkrater og andre kan forutsi konkrete hendelser – som hvorvidt Russland vil invadere et naboland – og hva som kjennetegner personer som treffer bedre enn andre på langsiktige prediksjoner.
I dag er FFIs prediksjonsturnering det største datasettet som finnes med prediksjoner om politiske hendelser og utviklinger flere måneder og år frem i tid. Til sammen ble det samlet inn 464,342 probabilistiske prediksjoner fra 1375 deltagere på 240 spørsmål om et bredt spekter av temaer, inkludert innenrikspolitikk, økonomi, utenrikspolitikk, og krig og konflikt.
Ny turnering i 2026
Etter sommeren 2026 vil FFI arrangere en ny, stor prediksjonsturnering, der du kan bidra til å forbedre treffsikkerheten til norske forsvars- og sikkerhetspolitiske analyser.
Spørsmålene vil utvikles av fageksperter og utgjøre relevante indikatorer på utviklingen i Norges strategiske omgivelser. Det vil være mulig å delta alene og på lag med andre. Du vil få vite hvor godt du treffer sammenlignet med andre deltagere innenfor ulike kategorier, og det vil gjennomføres flere tiltak som hjelper deg med å treffe best mulig.
Registreringen til den nye turneringen vil åpne i juni 2026.
Hva fant vi ut i forrige turnering?
De første resultatene fra FFIs prediksjonsturnering (2017–2020) er oppsummert i en egen FFI-rapport fra 2022.
- På den ene siden demonstrerte resultatene hvor vanskelig det er å forutsi internasjonal politikk. Deltagerne slet generelt med å treffe bedre enn tilfeldig gjetning, selv på de mest kortsiktige spørsmålene. Eksperter treffer bedre enn amatører, men forskjellene er små i praksis. Eksperter treffer imidlertid ikke bedre på spørsmål innenfor sine egne fagområder enn eksperter med kompetanse på helt andre temaer. Kriteriene som vi normalt bruker til å avgjøre hvem vi skal høre på, som utdanningsnivå, relevant erfaring og spisskompetanse på aktuelle temaer, fremstår derfor som lite relevante i prediksjonssammenheng.
- På den annen side viste resultatene at det er systematiske forskjeller i treffsikkerheten på individuelt nivå. Deltagernes prediksjonsevne korrelerer med en rekke individuelle egenskaper som kan måles på forhånd, som kognitiv kontroll, tallforståelse, politisk kunnskapsnivå og grad av fordomsfri tenkning. Mange av disse egenskapene er trolig også overførbare til prediksjon i den virkelige verdenen, fordi de samsvarer med forskning om hva som korrelerer med høyere prestasjonsevne på helt andre områder og i andre situasjoner.
- Det ble også identifisert et sett med spesifikke teknikker forbundet med bedre treffsikkerhet, som det å lete etter informasjon fra flere kilder og å bruke metoder som grunnfrekvens, referanseklasser og ekstrapolasjon. Andre teknikker som ofte trekkes frem i fremtidsforskningen, ser derimot ikke ut til å ha betydning.
- I stedet for å trekke et skarpt skille mellom prediksjonsturneringer og prediksjon i den virkelige verdenen, fremstår turneringer som et alternativ til dagens praksis i forsvars- og sikkerhetspolitiske analyser, der antagelser om fremtidig utvikling ofte baseres på et lite antall eksperter som ikke nødvendigvis har de egenskapene som er mest relevant for treffsikkerhet. Det er nemlig mulig å bruke turneringer til å identifisere en gruppe deltagere som klarer å forutsi internasjonal politikk svært godt, ofte omtalt som «superforecastere». De er ikke nødvendigvis eksperter. I stedet kjennetegnes de først og fremst av enda høyere scores på de individuelle egenskapene som korrelerer med bedre prediksjonsevne generelt og ved at de tenker på de riktige måtene når de predikerer.
Kontakt
For alle spørsmål om FFIs prediksjonsturnering, kontakt:
- Alexander W. Beadle
alexander.beadle@ffi.no