Slik gjennomgår du en prognose: En sjekkliste for simuleringsresultater

For å gjennomgå en simuleringsprognose, sjekk sju ting i rekkefølge: om spørsmålet var godt formulert, om dokumentene var fullstendige og nøyaktige, om kunnskapsgrafen gikk glipp av viktige aktører, hvilke antagelser som styrer konklusjonen, om resultatet overlever sensitivitetsgjennomganger, hvor sikker du ærlig talt kan være, og hva som må verifiseres i den virkelige verden før du handler. En prognose som består disse kontrollene er en gjennomgåbar hypotese du kan forsvare; en som ikke består dem er bare en historie.

Hvorfor alle prognoser trenger en gjennomgang

En simuleringsrapport er overbevisende å lese. Den har en fortelling, sitater fra agenter og klare konklusjoner. Denne flyten er nettopp grunnen til at den trenger en gjennomgang: en velskrevet rapport bygget på et hull i inndataene kan se like solid ut som en bygget på godt materiale.

I InfoDome kommer en prognose fra en kjede av trinn. Du laster opp dokumenter og beskriver hva du skal forutsi; tjenesten bygger en kunnskapsgraf over personer, organisasjoner, grupper og relasjoner; den oppretter hundrevis av agenter med sin egen karakter, posisjon og hukommelse; de samhandler i et valgt antall runder på en Twitter -lignende feed og et Reddit -lignende forum; deretter skriver en analytiker rapporten. Hvert ledd i den kjeden kan sjekkes, og gjennomgangen nedenfor følger.

Sjekklisten, steg for steg

1. Innramming: ble det riktige spørsmålet stilt?

Start med selve spørsmålet, for et vagt spørsmål gir et vagt svar.

• Er resultatet spesifikt? «Hvordan vil folk reagere?» er svakt. «Vil lokale foreldregrupper motsette seg skolesammenslåingen den første måneden, og hvilket argument vil de bruke?» er sterkt.
• Er tidshorisonten tydelig? Antall runder (for eksempel 10, 20 eller 40) bør samsvare med perioden du er interessert i, for eksempel de første dagene etter en kunngjøring eller en lengre debatt.
• Er målgruppen definert? Hvis reaksjonen varierer fra land til land, sjekk at de riktige målgruppelandene ble valgt. Du kan velge opptil 10, og agentene fordeles likt mellom dem.
• Er spørsmålet nøytralt? En ledetekst som allerede inneholder det forventede svaret, bekrefter det gjerne.

2. Dokumentkvalitet: hva visste simuleringen egentlig?

Agenter vet bare hva dokumentene og grafen gir dem. Les innspillene dine slik en skeptiker ville gjort.

• Er faktaene oppdaterte? En utdatert pris, dato eller navn vil spre seg gjennom hele løpeperioden.
• Er materialet ensidig? Hvis alle dokumentene kommer fra din egen organisasjon, kan kritikere være underrepresentert eller karikert.
• Er viktige detaljer til stede? Den vanligste skjulte årsaken til et merkelig resultat er en detalj som dokumentene rett og slett aldri nevner.
• Er det støy? Lange vedlegg eller urelatert innhold kan trekke agenter mot sidetemaer.

3. Grafhull: hvem mangler?

Se på enhetene og relasjonene systemet ekstraherte. Spør hvem som realistisk sett ville si ifra i denne situasjonen, og sjekk at de finnes i grafen.

• Regulatorer, fagforeninger, lokale medier, konkurrenter, innflytelsesrike individer, opposisjonsgrupper.
• Relasjoner som betyr noe: hvem finansierer hvem, hvem konkurrerer, hvem har en historie med konflikter.
• Grupper som er berørt, men sjelden nevnt i offisielle dokumenter, som nattarbeidere eller brukere på landsbygda.

Hvis en viktig aktør mangler, legg til et dokument som beskriver dem og kjør dem på nytt. Dette ene trinnet endrer ofte resultatet mer enn noe annet.

4. Antagelser: hva ligger til grunn for konklusjonen?

Hver rapport hviler på noen få bærende antagelser. Finn dem tydelig.

• Spør rapportens analytiker: «Hvilke tre antagelser påvirker konklusjonen din mest?»
• Intervju to eller tre agenter med motsatte standpunkter og spør hvorfor de reagerte som de gjorde. Hvis begrunnelsene deres er basert på et faktum som ikke er sant, har du funnet et svakt ledd.
• Skill mekanismer (for eksempel «forvirringen om kvalifisering sprer seg gjennom foreldrefora») fra størrelsesordener (for eksempel «de fleste agenter ble negative»). Mekanismer er vanligvis mer pålitelige enn størrelser.

5. Repriser av sensitivitet: holder resultatet?

En konklusjon som snur når én detalj endrer seg, er skjør. Test den.

• Kjør uendret på nytt for å se hvor mye variasjon som kommer fra selve simuleringen.
• Endre én variabel om gangen : ordlyden i nøkkelsetningen, timingen, prisen, tilstedeværelsen av én kritiker.
• Varier antall runder for å se om en reaksjon er en kort topp eller et varig skifte.
• Sammenlign rapportene side om side. Det som forblir det samme på tvers av kjøringene er ditt robuste funn; det som endrer seg er usikkerhet.

Vårt «hva hvis»-analysescenario er utformet for nettopp denne typen sammenligning.

6. Selvtillit: hvor sikker kan du ærlig talt være?

Skriv ned et konfidensnivå for hver konklusjon, ikke for rapporten som helhet.

• Høy: funnet dukker opp i hver reprise, har en klar mekanisme og er ikke avhengig av et omstridt faktum.
• Middels: den vises i de fleste løp, men styrken varierer eller den avhenger av én antagelse du ikke kunne sjekke.
• Lav: den forekommer én gang, eller er avhengig av et manglende dokument eller et usikkert faktum.

Simuleringer er gjennomgåbare hypoteser som støtter vurdering, ikke sikkerhet. Å si «middels sikkerhet, avhenger av hvordan fagforeninger leser klausul 4» er mer nyttig for en beslutningstaker enn en sikker, men uutforsket prediksjon.

7. Verifisering i den virkelige verden: hva du bør sjekke før du handler

Det siste trinnet gjør prognosen om til handlinger. For hver konklusjon med stor innvirkning, bestem deg for hvordan du skal teste den billig i virkeligheten.

• Spør noen få ekte personer fra den kritiske gruppen, for eksempel i korte intervjuer.
• Kjør en liten avstemning om det ene spørsmålet simuleringen flagget som avgjørende.
• Vis den reviderte formuleringen til en kollega som ikke var involvert.
• Sett overvåkingssignaler for lanseringsdagen: hvilke fraser eller grupper vil fortelle deg at det simulerte scenariet utfolder seg.

Et praktisert eksempel: gjennomgang av en prognose for skolesammenslåing

En kommune planlegger å slå sammen to barneskoler. Den første simuleringen spår en moderat negativ reaksjon som avtar innen to uker.

• Innramming: spørsmålet som stilles om «beboere» generelt. Teamet snevrer det inn til foreldre, lærere og lokale medier over 20 runder.
• Dokumenter: De eneste innspillene var kommunestyrets vedtak og en pressemelding. Teamet legger til et sammendrag av transportplanen for barn.
• Grafhull: lærerforeningen og foreldrerådet ved den mindre skolen manglet. Et kort dokument som beskriver dem er lagt til.
• Gjentakelse: den nye prognosen er skarpere. Foreldrerådet til den mindre skolen blir den første forsterkeren, og hovedargumentet er den lengre, mindre trygge veien til skolen, ikke selve sammenslåingen.
• Sensitivitet: Med en publisert skolebussplan krymper den negative bølgen merkbart i tre av tre repriser; uten den vedvarer bølgen.
• Konfidens: høy for mekanismen (sikkerheten til ruten), middels for reaksjonens størrelse.
• Verifisering: Teamet har to samtaler med ekte foreldre, som bekrefter bekymringen rundt ruten. Busplanen publiseres sammen med avgjørelsen.

Den første rapporten var ikke feil, bare ufullstendig. Gjennomgangen gjorde den til noe kommunestyret kunne handle ut fra. For beslutningssammenligninger som denne, se beslutningsstøttescenarioet .

Bruk av sjekklisten i praksis

Hold sjekklisten kort nok til å kunne brukes hver gang. En typisk gjennomgang tar kortere tid enn møtet der prognosen presenteres, og den beskytter deg mot den vanligste feilen: å stole på en flytende rapport bygget på tynt materiale. Du kan forberede og kjøre scenarier på nytt i InfoDome konsollen ; planen er €29 per måned med et månedlig AI-bruksbudsjett på €9 og ubegrensede prosjekter.