Om spørsmålene og svarene

Hva slags spørsmål kan jeg få?

Etter at du har registrert deg, vil du få tilsendt en mail med fem spørsmål i begynnelsen av hver måned. Du kan få to typer spørsmål:

• Ja/nei-spørsmål. Her skal du oppgi hvor sannsynlig du tror det er at svaret blir ja. Eksempel: «Vil JD Vance vinne det amerikanske presidentvalget i 2028?». Du svarer: Ja: 40 %. Det betyr samtidig at du tror det er 60 % sannsynlighet for at Vance ikke vinner valget.
• Spørsmål med flere alternativer. Her skal du oppgi sannsynligheten til hvert alternativ. Eksempel: «Hvor mange land vil være medlem av NATO i 2030?». Du svarer: 31 land eller færre: 20 %. 32 land (som i dag): 50 %. 33 land eller flere: 30 %. Summen av alle svarene dine må bli 100 %.

Hvor kommer spørsmålene fra?

Spørsmålene i turneringen baseres på temaer som er identifisert av nasjonale og internasjonale eksperter som relevante for utviklingen i Norges strategiske omgivelser. I tillegg baseres de på ulike kilder der forsvars- og sikkerhetspolitiske utviklinger beskrives og diskuteres, inkludert forskningsrapporter og fremtidsstudier, Etterretningstjenestens trusselvurderinger og Forsvarets langtidsplaner.

Hvordan må spørsmålene formuleres?

For at et spørsmål kan være med i turneringen, må det oppfylle to kriterier.

For det første må spørsmålet være falsifiserbart. Det betyr at spørsmålet må formuleres på en måte som gjør det mulig å slå fast om hendelsen skjer eller ikke. Derfor vil det ikke være mulig å ha med spørsmål som: «Vil den fremtidige økonomiske utviklingen i Norge være god eller dårlig?», fordi dette spørsmålet kan tolkes og besvare på ulike måter. Et falsifiserbart spørsmål om norsk økonomisk utvikling kan i stedet være: «Hvor mye vil bruttonasjonalproduktet for fastlands-Norge vokse de neste fem årene?». Det må også spesifiseres hvordan det endelige svaret skal avgjøres, f.eks. basert på SSBs årlige nasjonalregnskap.

For det andre må alle spørsmålene ha en start- og sluttdato. Normalt vil startdatoen være tidspunktet spørsmålet stilles. For spørsmålet om BNP-vekst vil sluttdatoen være fem år etter at spørsmålet blir stilt. Et annet eksempel er: «Vil et norsk F-35-fly avfyre våpen mot et fiendtlig mål i en internasjonal operasjon før 2025?». Hvis ikke spørsmålene avgrenses på denne måten, vil det alltid være mulig at hendelsen kan skje på et senere tidspunkt og dermed ikke være mulig å falsifisere. Tidsperspektivene i denne turneringen vil variere fra noen uker og måneder til flere år.

Hva om jeg ikke kan svare?

Du må ikke svare på alle spørsmålene. Du kan hoppe over et spørsmål ved å trykke videre. Du blir heller ikke diskvalifisert om du ikke svarer på noen spørsmål en bestemt måned. Det er imidlertid en fordel å svare på så mange spørsmål som mulig, hvis du klarer å gjøre det bedre enn halvparten. Da vil du få en bedre sammenlagt score.

Hvordan kan jeg se hvordan jeg ligger an?

Etter at en ny spørsmålsrunde er avsluttet vil alle som har svart få tilsendt en «prediksjonskupong» med alle egne prediksjoner, samt gjennomsnittsestimatet til alle deltagerne som svarte på samme spørsmål. Denne kupongen kan brukes til å huske hva du selv predikerte etter hvert som fremtiden avslører svarene.

Hver gang et spørsmål som du har predikert blir avgjort, vil du få tilsendt en mail der det står hvilken score du fikk og hvilken plass du havnet på. I tillegg vil du få vite hvilken sammenlagt score og plassering du nå har i turneringen som helhet.

I tillegg vil det bli publisert grupperesultater fra både enkeltspørsmål og sammenlagt, slik at du også kan sjekke hvordan gruppene du tilhører gjør det.

Hvordan måles prediksjonsevnen?

Prediksjonsevnen som beregnes i denne turneringen måler to ting:

• Hvor god du er til å predikere generelt. Dette måles ved hjelp av Brier score, som sier noe om hvor langt unna du er fra å predikere helt riktig. Brier score måles på en skala fra 0 til 2, der lavest mulig score er best. Hvis du predikerer «helt riktig», ved å anslå 100 % sannsynlighet for noe som skjer, får du en score på 0. Hvis du predikerer «helt feil», ved å anslå 100 % sannsynlighet for noe som ikke skjer, får du en score på 2. Hvis du bare gjetter på et ja/nei-spørsmål ved å anslå 50 % sannsynlighet for begge alternativene, får du en Brier score på 0,5. Det betyr at Brier scoren din vil variere mellom 0 og 0,5 hvis du predikerer på «riktig side» av 50/50, mens den vil variere mellom 0,5 og 2 på «feil side». Du straffes dermed hardt for å bomme mye.
• Hvor god du er til å predikere sammenlignet med andre. Dette måles ved hjelp av Accuracy score, som beregnes ved å trekke medianen av Brier scoren til alle deltagerne på samme spørsmål fra din individuelle Brier score. Det betyr at hvis du får en negativ Accuracy score, predikerte du bedre enn de fleste. Det er denne scoren du vanligvis vil se, og er den du vil få tilsendt på mail etter at et spørsmål er avgjort. Målet er å oppnå lavest mulig Accuracy score.

Over flere spørsmål vil disse målene si noe om din systematiske evne til å forutsi forsvars- og sikkerhetspolitiske utviklinger og hendelser, både objektivt sett og sammenlignet med andre.

Hva er det resultatene fra turneringen ikke kan si noe om?

Prediksjonsevnen som måles i denne turneringen er ikke et mål på generelt kunnskapsnivå. Det går an å predikere godt, uten å kunne forklare hvorfor noe skjedde. I tidligere studier har man imidlertid funnet en sammenheng mellom høyt kunnskapsnivå om internasjonal politikk og evne til å predikere spørsmål innenfor samme tema.

Prediksjonsevnen som måles her sier heller ikke noe om evnen til å identifisere eller forutsi hendelser som ingen andre kommer på å spørre om, men som likevel kan få store konsekvenser hvis de skulle skje (såkalte «sorte svaner»). Evnen til å stille de gode spørsmålene er derfor ikke den samme som evnen til å forutsi dem.

---