Sådan gennemgår du en prognose: En tjekliste til simuleringsresultater

For at gennemgå en simuleringsprognose skal du kontrollere syv ting i rækkefølge: om spørgsmålet var formuleret godt, om dokumenterne var komplette og nøjagtige, om vidensgrafen overså vigtige aktører, hvilke antagelser der driver konklusionen, om resultatet overlever gentagelser af følsomhedstesten, hvor sikker du ærligt kan være, og hvad der skal verificeres i den virkelige verden, før du handler. En prognose, der består disse kontroller, er en hypotese, der kan gennemgås, og som du kan forsvare; en, der ikke lever op til dem, er bare en historie.

Hvorfor enhver prognose skal gennemgås

En simuleringsrapport er overbevisende at læse. Den har en fortælling, citater fra agenter og klare konklusioner. Denne flydende tekst er netop grunden til, at den skal gennemgås: en velskrevet rapport bygget på et hul i inputtet kan se lige så solid ud som en, der er bygget på godt materiale.

I InfoDome kommer en prognose fra en række trin. Du uploader dokumenter og beskriver, hvad du skal forudsige; tjenesten opbygger en vidensgraf over personer, organisationer, grupper og relationer; den opretter hundredvis af agenter med deres egen karakter, position og hukommelse; de interagerer i et valgt antal runder på et Twitter -lignende feed og et Reddit -lignende forum; derefter skriver en analytiker rapporten. Hvert led i den kæde kan kontrolleres, og nedenstående gennemgang følger.

Tjeklisten, trin for trin

1. Indramning: Blev det rigtige spørgsmål stillet?

Start med selve spørgsmålet, for et vagt spørgsmål giver et vagt svar.

• Er resultatet specifikt? "Hvordan vil folk reagere?" er svagt. "Vil lokale forældregrupper modsætte sig skolesammenlægningen i den første måned, og hvilket argument vil de bruge?" er stærkt.
• Er tidshorisonten klar? Antallet af runder (for eksempel 10, 20 eller 40) bør stemme overens med den periode, du er interesseret i, f.eks. de første dage efter en annoncering eller en længere debat.
• Er målgruppen defineret? Hvis reaktionen varierer fra land til land, skal du kontrollere, at de rigtige målgruppelande er valgt. Du kan vælge op til 10, og agenterne fordeles ligeligt mellem dem.
• Er spørgsmålet neutralt? En prompt, der allerede indeholder det forventede svar, har en tendens til at bekræfte det.

2. Dokumentkvalitet: Hvad vidste simuleringen egentlig?

Agenter ved kun, hvad dokumenterne og grafen giver dem. Læs dine input, som en skeptiker ville gøre.

• Er fakta opdaterede? En forældet pris, dato eller navn vil sprede sig gennem hele løbet.
• Er materialet ensidigt? Hvis alle dokumenter kommer fra din egen organisation, kan kritikere være underrepræsenteret eller karikeret.
• Er nøgledetaljer til stede? Den mest almindelige skjulte årsag til et mærkeligt resultat er en detalje, som dokumenterne simpelthen aldrig nævner.
• Er der støj? Lange bilag eller urelateret indhold kan trække agenter hen i retning af sideemner.

3. Grafhuller: hvem mangler?

Se på de enheder og relationer, som systemet udtrak. Spørg, hvem der realistisk set ville tale i denne situation, og tjek, om de findes i grafen.

• Regulatorer, fagforeninger, lokale medier, konkurrenter, indflydelsesrige individer, oppositionsgrupper.
• Relationer der betyder noget: hvem finansierer hvem, hvem konkurrerer, hvem har en historie med konflikter.
• Grupper, der er berørt, men sjældent nævnt i officielle dokumenter, såsom natarbejdere eller brugere på landet.

Hvis en vigtig aktør mangler, tilføj et dokument, der beskriver vedkommende, og kør processen igen. Dette ene trin ændrer ofte resultatet mere end noget andet.

4. Antagelser: hvad ligger til grund for konklusionen?

Enhver rapport hviler på et par bærende antagelser. Find dem eksplicit.

• Spørg rapportens analytiker: "Hvilke tre antagelser påvirker din konklusion mest?"
• Interview to eller tre agenter med modsatrettede holdninger, og spørg, hvorfor de reagerede, som de gjorde. Hvis deres begrundelser er baseret på en kendsgerning, der ikke er sand, har du fundet et svagt led.
• Adskil mekanismer (for eksempel "forvirringen omkring berettigelse spreder sig gennem forældrefora") fra størrelsesordener (for eksempel "de fleste agenter blev negative"). Mekanismer er normalt mere pålidelige end størrelser.

5. Gentagelser af følsomhedstests: holder resultatet?

En konklusion, der vender og drejer sig, når én detalje ændrer sig, er skrøbelig. Test den.

• Kør uændret igen for at se, hvor meget variation der kommer fra selve simuleringen.
• Ændr én variabel ad gangen : ordlyden af nøglesætningen, timingen, prisen, tilstedeværelsen af én kritiker.
• Varier antallet af runder for at se, om en reaktion er en kortvarig stigning eller et varigt skift.
• Sammenlign rapporterne side om side. Det, der forbliver det samme på tværs af kørsler, er dit robuste fund; det, der ændrer sig, er usikkerheden.

Vores "hvad nu hvis"-analysescenarie er designet til præcis denne type sammenligning.

6. Selvtillid: hvor sikker kan du ærligt talt være?

Skriv et konfidensniveau for hver konklusion, ikke for rapporten som helhed.

• Høj: fundet optræder i hver genudsendelse, har en klar mekanisme og afhænger ikke af en omstridt kendsgerning.
• Medium: den forekommer i de fleste løb, men dens styrke varierer, eller den afhænger af én antagelse, du ikke kunne kontrollere.
• Lav: den forekommer én gang, eller er baseret på et manglende dokument eller en usikker kendsgerning.

Simuleringer er gennemgåelige hypoteser, der understøtter vurdering, ikke sikkerhed. At sige "middel sikkerhed, afhænger af, hvordan fagforeninger læser paragraf 4" er mere nyttigt for en beslutningstager end en sikker, men uundersøgt forudsigelse.

7. Verifikation i den virkelige verden: hvad skal man kontrollere, før man handler

Det sidste trin omsætter prognosen til handlinger. For hver konklusion med stor effekt skal du beslutte, hvordan du billigt kan teste den i virkeligheden.

• Spørg et par rigtige personer fra den kritiske gruppe, for eksempel i korte interviews.
• Kør en lille afstemning om det ene spørgsmål, som simuleringen markerede som afgørende.
• Vis den reviderede formulering til en kollega, der ikke var involveret.
• Indstil overvågningssignaler for lanceringsdagen: hvilke sætninger eller grupper ville fortælle dig, at det simulerede scenarie udfolder sig.

Et eksempel: gennemgang af en prognose for en skolefusion

En kommune planlægger at fusionere to folkeskoler. Den første simulering forudsiger en moderat negativ reaktion, der aftager inden for to uger.

• Framing: spørgsmålet stillet om "beboere" generelt. Holdet indsnævrer det til forældre, lærere og lokale medier over 20 runder.
• Dokumenter: De eneste input var byrådets beslutning og en pressemeddelelse. Teamet tilføjer et resumé af transportplanen for børn.
• Grafmangler: Lærerforeningen og forældrerådet på den mindre skole manglede. Et kort dokument, der beskriver dem, er tilføjet.
• Gentagelse: Den nye prognose er skarpere. Forældrerådet på den mindre skole bliver den første forstærker, og hovedargumentet er den længere, mindre sikre rute til skolen, ikke selve fusionen.
• Følsomhed: Med en offentliggjort skolebusplan skrumper den negative bølge mærkbart i tre ud af tre genudsendelser; uden den fortsætter bølgen.
• Konfidens: høj for mekanismen (vejens sikkerhed), middel for reaktionens størrelse.
• Verifikation: Teamet afholder to samtaler med rigtige forældre, som bekræfter bekymringen vedrørende ruten. Busplanen offentliggøres sammen med beslutningen.

Den første rapport var ikke forkert, bare ufuldstændig. Gennemgangen gjorde den til noget, som byrådet kunne handle på. For beslutningssammenligninger som denne, se beslutningsstøttescenariet .

Brug af tjeklisten i praksis

Hold tjeklisten kort nok til at kunne bruges hver gang. En typisk gennemgang tager kortere tid end det møde, hvor prognosen præsenteres, og den beskytter dig mod den mest almindelige fejl: at stole på en flydende rapport bygget på tyndt materiale. Du kan forberede og gentage scenarier i InfoDome konsollen ; planen er €29 pr. måned med et månedligt AI-forbrugsbudget på €9 og ubegrænsede projekter.