Spørsmål og svar | FFIs prediksjonsturnering

Her følger en liste med vanlige spørsmål og svar om turneringen.

Generelt

Hva er en prediksjonsturnering?

En prediksjonsturnering er en konkurranse der det er om å gjøre å forutsi (predikere) hva som vil skje i fremtiden. I denne turneringen vil du ikke bare bli bedt om svare på om du tror noe vil skje eller ikke, men å tallfeste hvor sannsynlig du tror det er. For å gjøre det bra må du oppgi høye sannsynligheter til hendelser som skjer og lave sannsynligheter til de som ikke gjør det.

I forkant av det amerikanske presidentvalget kunne du f.eks. ha blitt spurt: «Vil Donald Trump vinne det amerikanske presidentvalget i 2016?». La oss si at du svarte at det var 90 % sannsynlig at Trump kom til å vinne. Trump vant som kjent valget. Du ville da ha fått en bedre score enn en annen som svarte at det var 60 % sannsynlig, selv om dere begge hadde «riktig» fordi dere trodde han kom til å vinne.

Hva er hensikten med FFIs prediksjonsturnering?

FFIs prediksjonsturnering er et treårig forskningsprosjekt der hensikten er å måle hvor gode eller dårlige det norske forsvars- og sikkerhetspolitiske miljøet er til å forutsi hendelser og utviklinger av relevans for det norske forsvaret. Spesielt ønsker vi å sammenligne prediksjonsevnen til:

Ulike forsvars- og fagmiljøer, f.eks. Forsvarsdepartementet, grener og avdelinger i Forsvaret og forskningsinstitutter både i og utenfor forsvarssektoren.
Ulike grupper deltagere, f.eks. kvinner og menn, unge og gamle, offiserer og forskere, profesjonelle eksperter og forsvarsinteresserte amatører.

Hvem kan delta?

Alle som vil kan delta. Turneringen er ikke bare ment for personer som jobber med forsvars- og sikkerhetspolitikk til daglig. Tvert imot har tidligere studier av «eksperter» vist at formell bakgrunn, som utdanning og tidligere arbeidserfaring, har lite å si for hvor god man er til å predikere. Andre studier har også vist at personer helt uten arbeidserfaring fra forsvars- og sikkerhetspolitikk kan hevde seg blant profesjonelle forsvarseksperter og etterretningsanalytikere med tilgang på gradert informasjon. Derfor er turneringen åpen for absolutt alle som er interessert.

Er jeg anonym?

Ingen navn vil bli offentliggjort, med unntak av de beste deltagerne på et bestemt spørsmål og sammenlagt gjennom turneringen. Her er det ingen som vil bli hengt ut for å gjøre det dårlig. Vi ønsker bare å hedre de som gjør det bra og motivere andre til å bli bedre. Du kan selvfølgelig også reservere deg mot å bli navngitt på «topp»-listen under registreringen. Alle andre vil forbli anonyme og vi vil bare publisere grupperesultater der enkeltpersoner ikke kan identifiseres.

Er det en premie?

Nei, dette er et forskningsprosjekt der det bare deles ut heder og ære. Én gang i året vil vi kåre de beste prognosemakerne innenfor ulike kategorier, som beste ekspert, offiser og amatør. Det er imidlertid ikke så verst å kunne vise til en systematisk evne til å forutsi forsvars- og sikkerhetspolitiske utviklinger i profesjonelle sammenhenger (eller på fest).

Om spørsmålene og svarene

Hva slags spørsmål kan jeg få?

Etter at du har registrert deg, vil du få tilsendt en mail med fem spørsmål i begynnelsen av hver måned. Du kan få to typer spørsmål:

Ja/nei-spørsmål. Her skal du oppgi hvor sannsynlig du tror det er at svaret blir ja. F.eks.: «Vil Donald Trump vinne det amerikanske presidentvalget i 2016?». Du svarer: Ja: 40 %. Det betyr samtidig at du tror det er 60 % sannsynlighet for at Trump ikke vinner valget.
Spørsmål med flere alternativer. Her skal du oppgi sannsynligheten til hvert alternativ. F.eks.: «Fra hvilket parti vil forsvarsministeren komme fra etter Stortingsvalget 2013?». Du svarer: Ap: 30 %. H: 30 %. Frp: 15 %. KrF: 5 %. V: 5 %. Sp: 5 %. SV: 5 %. MDG: 5 %. Summen av alle svarene dine må bli 100 %.

Hvor kommer spørsmålene fra?

Spørsmålene i turneringen hentes fra en rekke ulike kilder der fremtidens forsvars- og sikkerhetspolitiske utvikling beskrives og diskuteres, inkludert forskningsrapporter og fremtidsstudier, Etterretningstjenestens trusselvurderinger og Forsvarets langtidsplaner.

Flere av spørsmålene vil også hentes fra den amerikanske prediksjonsturneringen GJ Open, hvis de er relevante i en norsk forsvars- og sikkerhetspolitisk sammenheng. Spørsmålene vil også ta utgangspunkt i aktuelle saker i nyhetsbildet eller i den norske forsvarsdebatten. Du kan også foreslå dine egne spørsmål og tema her.

Hvordan må spørsmålene formuleres?

For at et spørsmål kan være med i turneringen, må det oppfylle to kriterier.

For det første må spørsmålet være falsifiserbart. Det betyr at spørsmålet må formuleres på en måte som gjør det mulig å slå fast om hendelsen skjer eller ikke. Derfor vil det ikke være mulig å ha med spørsmål som: «Vil den fremtidige økonomiske utviklingen i Norge være god eller dårlig?», fordi dette spørsmålet kan tolkes og besvare på ulike måter. Et falsifiserbart spørsmål om norsk økonomisk utvikling kan i stedet være: «Hvor mye vil bruttonasjonalproduktet for fastlands-Norge vokse de neste fem årene?». Det må også spesifiseres hvordan det endelige svaret skal avgjøres, f.eks. basert på SSBs årlige nasjonalregnskap.

For det andre må alle spørsmålene ha en start- og sluttdato. Normalt vil startdatoen være tidspunktet spørsmålet stilles. For spørsmålet om BNP-vekst vil sluttdatoen være fem år etter at spørsmålet blir stilt. Et annet eksempel er: «Vil et norsk F-35-fly avfyre våpen mot et fiendtlig mål i en internasjonal operasjon før 2025?». Hvis ikke spørsmålene avgrenses på denne måten, vil det alltid være mulig at hendelsen kan skje på et senere tidspunkt og dermed ikke være mulig å falsifisere. Tidsperspektivene i denne turneringen vil variere fra noen uker og måneder til flere år.

Hva om jeg ikke kan svare?

Du må ikke svare på alle spørsmålene. Du kan hoppe over et spørsmål ved å trykke videre. Du blir heller ikke diskvalifisert om du ikke svarer på noen spørsmål en bestemt måned. Det er imidlertid en fordel å svare på så mange spørsmål som mulig, hvis du klarer å gjøre det bedre enn gjennomsnittet. Da vil du få en bedre sammenlagt score.

Hvordan kan jeg se hvordan jeg ligger an?

Etter at en ny spørsmålsrunde er avsluttet vil alle som har svart få tilsendt en «prediksjonskupong» med alle egne prediksjoner, samt gjennomsnittsestimatet til alle deltagerne som svarte på samme spørsmål. Denne kupongen kan brukes til å huske hva du selv predikerte etter hvert som fremtiden avslører svarene.

Hver gang et spørsmål som du har predikert blir avgjort, vil du få tilsendt en mail der det står hvilken score du fikk og hvilken plass du havnet på. I tillegg vil du få vite hvilken sammenlagt score og plassering du nå har i turneringen som helhet.

I tillegg vil det bli publisert grupperesultater fra både enkeltspørsmål og sammenlagt, slik at du også kan sjekke hvordan gruppene eller institusjonene du tilhører gjør det.

Hvordan grupperes deltagere?

Etter at et spørsmål er avgjort vil det publiseres figurer som sammenligner prediksjonsevnen til ulike grupper deltagere. Alle deltagere vil grupperes etter kjønn, aldersgruppe og utdanningsnivå. I tillegg vil alle ansatte i forsvarssektoren grupperes etter stillingstitler som forskere, offiserer, befal og grenaderer/konstabler, hvis de innehar noen av disse. Alle som har svart ja på spørsmålet om de har blitt intervjuet av media som eksperter på forsvars- og sikkerhetspolitiske spørsmål vil havne i gruppen «eksperter», mens de som svarte nei i gruppen «ikke-eksperter», men begge utgjør deltagere som arbeider eller har arbeidet med forsvars- og sikkerhetspolitiske spørsmål som en del av jobben sin.

NB! Alle deltagere kan tilhøre forskjellige grupper samtidig.

Hvordan måles prediksjonsevnen?

Prediksjonsevnen som beregnes i denne turneringen måler to ting:

Hvor god du er til å predikere generelt. Dette måles ved hjelp av Brier score, som sier noe om hvor langt unna du er fra å predikere helt riktig. Brier score måles på en skala fra 0 til 2, der lavest mulig score er best. Hvis du predikerer «helt riktig», ved å anslå 100 % sannsynlighet for noe som skjer, får du en score på 0. Hvis du predikerer «helt feil», ved å anslå 100 % sannsynlighet for noe som ikke skjer, får du en score på 2. Hvis du bare gjetter på et ja/nei-spørsmål ved å anslå 50 % sannsynlighet for begge alternativene, får du en Brier score på 0,5. Det betyr at Brier scoren din vil variere mellom 0 og 0,5 hvis du predikerer på «riktig side» av 50/50, mens den vil variere mellom 0,5 og 2 på «feil side». Du straffes dermed hardt for å bomme mye.
Hvor god du er til å predikere sammenlignet med andre. Dette måles ved hjelp av Accuracy score, som beregnes ved å trekke medianen av Brier scoren til alle deltagerne på samme spørsmål fra din individuelle Brier score. Det betyr at hvis du får en negativ Accuracy score, predikerte du bedre enn de fleste. Det er denne scoren du vanligvis vil se, og er den du vil få tilsendt på mail etter at et spørsmål er avgjort. Målet er å oppnå lavest mulig Accuracy score.

Over flere spørsmål vil disse målene si noe om din systematiske evne til å forutsi forsvars- og sikkerhetspolitiske utviklinger og hendelser, både objektivt sett og sammenlignet med andre.

En detaljert forklaring på hvordan prediksjonsevnen måles i FFIs turnering er beskrevet her. Denne metoden er en tilpasset versjon av beregningen av prediksjonsevne som ble benyttet i P. E. Tetlocks opprinnelige forskning og som brukes i dag i GJ Open-turneringen

Hva er det resultatene fra turneringen ikke kan si noe om?

Prediksjonsevnen som måles i denne turneringen er ikke et mål på generelt kunnskapsnivå. Det går an å predikere godt, uten å kunne forklare hvorfor noe skjedde. I tidligere studier har man imidlertid funnet en sammenheng mellom høyt kunnskapsnivå om internasjonal politikk og evne til å predikere spørsmål innenfor samme tema.

Prediksjonsevnen som måles her sier heller ikke noe om evnen til å identifisere eller forutsi hendelser som ingen andre kommer på å spørre om, men som likevel kan få store konsekvenser hvis de skulle skje (såkalte «sorte svaner»). Evnen til å stille de gode spørsmålene er derfor ikke den samme som evnen til å forutsi dem.

Praktisk informasjon

Hvordan behandles personopplysningene mine?

Det innhentes ingen sensitive opplysninger i forbindelse med dette prosjektet og all deltagelse er basert på samtykke fra hver enkelt person. Det eneste du blir bedt om å oppgi er navn, epostadresse, alder, utdanningsnivå og arbeidssted eller bransje, samt noen spørsmål om din ekspertise og interesse for forsvars- og sikkerhetspolitikk. Alle opplysningene behandles konfidensielt. Selve prediksjonsevnen beregnes i et datasett hos FFI. Det er derfor bare de ansvarlige forskerne ved FFI som har tilgang på opplysninger om både deltagere og prediksjonsevne.

Prosjektet er meldt inn til FFIs personvernombud (godkjent av Datatilsynet) som kontrollerer at personopplysninger blir behandlet i tråd med regelverket. Hverken personopplysninger eller resultater fra prediksjonsturneringen vil bli overlevert eller behandlet av andre enn FFI. Fordi noen av spørsmålene i turneringen vil handle om hendelser 20 år frem i tid og fordi de endelige resultatene ikke vil foreligge før alle spørsmål er avgjort, er det ikke lagt planer for å slette datamaterialet ved endt turnering.

For en mer detaljert beskrivelse, se turneringens personvernerklæring.

Jeg har endret epostadresse. Hvordan får jeg oppdatert den?

Hvis du ønsker å endre epostadressen din, send oss en mail så vil vi oppdatere den for deg.

Jeg har registrert meg, men har ikke fått tilsendt spørsmål

Etter at du har registrert deg vil du først motta en epost i begynnelsen av den påfølgende måneden. Det vil si at hvis du registrerte deg 10. januar vil du få første spørsmålsrunde tilsendt 1. februar. Deltakerlistene oppdateres dagen før en ny runde blir sendt ut. Det betyr at hvis du registrerer deg ila. den siste dagen i måneden er det en fare for at du vil måtte vente til neste runde en måned senere. Hvis du har registrert deg og likevel ikke får tilsendt spørsmål i begynnelsen av måneden, kan det skyldes at feil epostadresse er registrert. Ta i så fall kontakt, så kan vi endre adressen for deg.

Hvordan melder jeg meg av turneringen?

Hvis du ikke lenger ønsker å delta i turneringen, fyll ut skjemaet her for å melde deg av.

Epostadressen din vil da bli slettet fra distribusjonslisten og du vil ikke lenger motta eposter fra denne turneringen. Hvis du i tillegg ønsker å anonymisere dine tidligere prediksjoner i det eksisterende datasettet, kan du også be om dette.