Hur man granskar en prognos: En checklista för simuleringsresultat

För att granska en simuleringsprognos, kontrollera sju saker i ordning: om frågan var väl formulerad, om dokumenten var fullständiga och korrekta, om kunskapsgrafen missade viktiga aktörer, vilka antaganden som driver slutsatsen, om resultatet överlever känslighetskontroller, hur säker du ärligt kan vara och vad som måste verifieras i verkligheten innan du agerar. En prognos som klarar dessa kontroller är en granskningsbar hypotes som du kan försvara; en som inte klarar dem är bara en historia.

Varför varje prognos behöver ses över

En simuleringsrapport är övertygande läsbar. Den har en berättelse, citat från agenter och tydliga slutsatser. Det är just den flytande texten som behöver granskas: en välskriven rapport som bygger på en lucka i indata kan se lika gedigen ut som en som bygger på bra material.

I InfoDome kommer en prognos från en kedja av steg. Du laddar upp dokument och beskriver vad du ska förutsäga; tjänsten bygger en kunskapsgraf över personer, organisationer, grupper och relationer; den skapar hundratals agenter med sin egen karaktär, position och minne; de interagerar under ett valt antal omgångar på ett Twitter -liknande flöde och ett Reddit -liknande forum; sedan skriver en analytiker rapporten. Varje länk i den kedjan kan kontrolleras, och granskningen nedan följer den.

Checklistan, steg för steg

1. Inramning: Ställdes rätt fråga?

Börja med själva frågan, eftersom en vag fråga ger ett vagt svar.

• Är resultatet specifikt? ”Hur kommer folk att reagera?” är svagt. ”Kommer lokala föräldragrupper att motsätta sig skolsammanslagningen under den första månaden, och vilket argument kommer de att använda?” är starkt.
• Är tidshorisonten tydlig? Antalet omgångar (till exempel 10, 20 eller 40) bör matcha den period du bryr dig om, till exempel de första dagarna efter ett tillkännagivande eller en längre debatt.
• Är målgruppen definierad? Om reaktionen skiljer sig åt mellan olika länder, kontrollera att rätt målgruppsländer har valts. Du kan välja upp till 10, och agenterna delas lika mellan dem.
• Är frågan neutral? En prompt som redan innehåller det förväntade svaret tenderar att bekräfta det.

2. Dokumentkvalitet: vad visste simuleringen egentligen?

Agenter vet bara vad dokumenten och grafen ger dem. Läs dina indata som en skeptiker skulle göra.

• Är fakta aktuella? Ett föråldrat pris, datum eller namn kommer att sprida sig genom hela loppet.
• Är materialet ensidigt? Om alla dokument kommer från din egen organisation kan kritiker vara underrepresenterade eller karikatyriserade.
• Finns viktiga detaljer? Den vanligaste dolda orsaken till ett konstigt resultat är en detalj som dokumenten helt enkelt aldrig nämner.
• Finns det brus? Långa bilagor eller orelaterat innehåll kan dra agenter till sidoämnen.

3. Diagramgap: vem saknas?

Titta på de entiteter och relationer som systemet extraherade. Fråga vem som realistiskt sett skulle uttala sig i den här situationen och kontrollera att de existerar i grafen.

• Tillsynsmyndigheter, fackföreningar, lokala medier, konkurrenter, inflytelserika individer, oppositionsgrupper.
• Relationer som spelar roll: vem finansierar vem, vem konkurrerar, vem har en historia av konflikter.
• Grupper som berörs men sällan nämns i officiella dokument, såsom nattarbetare eller användare på landsbygden.

Om en viktig aktör saknas, lägg till ett dokument som beskriver dem och kör om. Detta enda steg förändrar ofta resultatet mer än något annat.

4. Antaganden: vad ligger till grund för slutsatsen?

Varje rapport vilar på ett fåtal bärande antaganden. Hitta dem tydligt.

• Fråga rapportens analytiker: "Vilka tre antaganden påverkar din slutsats mest?"
• Intervjua två eller tre agenter med motsatta ståndpunkter och fråga varför de reagerade som de gjorde. Om deras skäl vilar på ett faktum som inte är sant har du hittat en svag länk.
• Separera mekanismer (till exempel "förvirringen kring behörighet sprider sig via föräldrarnas forum") från magnituder (till exempel "de flesta aktörer blev negativa"). Mekanismer är vanligtvis mer tillförlitliga än storlekar.

5. Känslighetsrepriser: håller resultatet?

En slutsats som blir omvänd när en detalj ändras är skör. Testa den.

• Kör om oförändrad för att se hur mycket variation som kommer från själva simuleringen.
• Ändra en variabel i taget : formuleringen av nyckelmeningen, tidpunkten, priset, närvaron av en kritiker.
• Variera antalet omgångar för att se om en reaktion är en kortvarig topp eller en varaktig förändring.
• Jämför rapporterna sida vid sida. Det som förblir detsamma över körningarna är ditt robusta resultat; det som förändras är osäkerheten.

Vårt "tänk om"-analysscenario är utformat för just den här typen av jämförelse.

6. Självförtroende: hur säker kan du ärligt talat vara?

Skriv ner en konfidensnivå för varje slutsats, inte för rapporten som helhet.

• Hög: fyndet förekommer i varje repris, har en tydlig mekanism och är inte beroende av ett omtvistat faktum.
• Medel: den förekommer i de flesta körningar, men dess styrka varierar eller så beror den på ett antagande som du inte kunde kontrollera.
• Låg: den förekommer en gång, eller förlitar sig på ett saknat dokument eller ett osäkert faktum.

Simuleringar är granskningsbara hypoteser som stöder bedömning, inte säkerhet. Att säga "medelhög tillförlitlighet, beror på hur fackföreningar tolkar klausul 4" är mer användbart för en beslutsfattare än en säker men ogranskad förutsägelse.

7. Verifiering i verkligheten: vad man bör kontrollera innan man agerar

Det sista steget omvandlar prognosen till handling. För varje slutsats med stor inverkan, bestäm hur du billigt kan testa den i verkligheten.

• Fråga några riktiga personer från den kritiska gruppen, till exempel i korta intervjuer.
• Kör en liten omröstning om den fråga som simuleringen flaggade som avgörande.
• Visa den reviderade formuleringen för en kollega som inte var inblandad.
• Ställ in övervakningssignaler för lanseringsdagen: vilka fraser eller grupper skulle tala om för dig att det simulerade scenariot utvecklas.

Ett fungerande exempel: granskning av en prognos för skolsammanslagningar

En kommun planerar att slå samman två grundskolor. Den första simuleringen förutspår en måttlig negativ reaktion som avtar inom två veckor.

• Inramning: frågan som ställs om "invånare" i allmänhet. Teamet begränsar den till föräldrar, lärare och lokala medier under 20 omgångar.
• Dokument: de enda inputen var kommunfullmäktiges beslut och ett pressmeddelande. Teamet bifogar en sammanfattning av transportplanen för barn.
• Diagrambrister: lärarfacket och föräldrarådet för den mindre skolan saknades. Ett kort dokument som beskriver dem har lagts till.
• Repris: den nya prognosen är skarpare. Föräldrarådet för den mindre skolan blir den första förstärkaren, och huvudargumentet är den längre, mindre säkra vägen till skolan, inte själva sammanslagningen.
• Känslighet: med en publicerad skolbussplan krymper den negativa vågen märkbart i tre av tre repriser; utan den kvarstår vågen.
• Konfidens: hög för mekanismen (säkerheten för reaktionsvägen), medel för reaktionens storlek.
• Verifiering: teamet har två samtal med riktiga föräldrar, som bekräftar ruttens problem. Busplanen publiceras tillsammans med beslutet.

Den första rapporten var inte felaktig, bara ofullständig. Granskningen gjorde den till något som kommunen kunde agera utifrån. För beslutsjämförelser som denna, se beslutsstödsscenariot .

Använda checklistan i praktiken

Håll checklistan tillräckligt kort för att kunna användas varje gång. En typisk granskning tar kortare tid än mötet där prognosen presenteras, och den skyddar dig från det vanligaste misstaget: att lita på en flytande rapport byggd på tunt material. Du kan förbereda och köra om scenarier i InfoDome konsolen ; planen kostar 29 euro per månad med en månatlig AI-användningsbudget på 9 euro och obegränsade projekt.