Een prognose beoordelen: een checklist voor simulatieresultaten

Om een simulatieprognose te beoordelen, moet je zeven dingen in de juiste volgorde controleren: of de vraag goed geformuleerd was, of de documenten volledig en accuraat waren, of de kennisgrafiek belangrijke actoren miste, welke aannames de conclusie onderbouwen, of het resultaat standhoudt bij gevoeligheidsanalyses, hoe zeker je kunt zijn van het resultaat en wat er in de praktijk geverifieerd moet worden voordat je actie onderneemt. Een prognose die aan deze criteria voldoet, is een toetsbare hypothese die je kunt verdedigen; een prognose die niet aan alle criteria voldoet, is slechts een verhaal.

Waarom elke voorspelling een herziening nodig heeft

Een simulatieverslag leest overtuigend. Het bevat een verhaal, citaten van betrokkenen en duidelijke conclusies. Juist die vlotte schrijfstijl is de reden waarom een evaluatie nodig is: een goed geschreven verslag dat gebaseerd is op een hiaat in de input kan net zo degelijk overkomen als een verslag dat gebaseerd is op goed materiaal.

In InfoDome wordt een voorspelling gegenereerd via een reeks stappen. Je uploadt documenten en beschrijft wat je wilt voorspellen; de dienst bouwt een kennisgrafiek van personen, organisaties, groepen en relaties; er worden honderden agenten gecreëerd met elk hun eigen karakter, positie en geheugen; deze agenten communiceren een gekozen aantal rondes via een Twitter -achtige feed en een Reddit -achtig forum; vervolgens schrijft een analist het rapport. Elke schakel in die keten kan worden gecontroleerd, en de onderstaande review volgt daarop.

De checklist, stap voor stap

1. Kadering: werd de juiste vraag gesteld?

Begin met de vraag zelf, want een vage vraag levert een vaag antwoord op.

• Is de uitkomst specifiek? "Hoe zullen mensen reageren?" is een zwakke vraag. "Zullen lokale ouderverenigingen zich in de eerste maand verzetten tegen de schoolfusie, en welk argument zullen ze gebruiken?" is een sterke vraag.
• Is de tijdshorizon duidelijk? Het aantal rondes (bijvoorbeeld 10, 20 of 40) moet overeenkomen met de periode die voor u relevant is, zoals de eerste dagen na een aankondiging of een langer debat.
• Is de doelgroep gedefinieerd? Als de reactie per land verschilt, controleer dan of de juiste landen voor de doelgroep zijn geselecteerd. Je kunt er maximaal 10 selecteren en de agenten worden er gelijk over verdeeld.
• Is de vraag neutraal? Een vraag die het verwachte antwoord al bevat, bevestigt dat meestal.

2. Documentkwaliteit: wat wist de simulatie nu eigenlijk?

Agenten weten alleen wat de documenten en de grafiek hen vertellen. Lees je input alsof je een scepticus bent.

• Zijn de feiten actueel? Een verouderde prijs, datum of naam zal door de hele reeks heen worden overgenomen.
• Is het materiaal eenzijdig? Als alle documenten afkomstig zijn van uw eigen organisatie, kunnen critici ondervertegenwoordigd of karikaturaal afgeschilderd worden.
• Zijn er belangrijke details aanwezig? De meest voorkomende verborgen oorzaak van een vreemd resultaat is een detail dat simpelweg niet in de documenten wordt vermeld.
• Is er sprake van ruis? Lange bijlagen of irrelevante inhoud kunnen agenten afleiden naar bijzaken.

3. Grafiekhiaten: wie ontbreekt er?

Bekijk de entiteiten en relaties die het systeem heeft geëxtraheerd. Vraag jezelf af wie er in deze situatie realistisch gezien het woord zou voeren en controleer of die personen in de grafiek voorkomen.

• Toezichthouders, vakbonden, lokale media, concurrenten, invloedrijke personen, oppositiegroepen.
• Belangrijke relaties: wie financiert wie, wie concurreert, wie heeft een conflictverleden.
• Groepen die getroffen worden maar zelden in officiële documenten worden genoemd, zoals nachtploegwerkers of gebruikers op het platteland.

Als een belangrijke actor ontbreekt, voeg dan een document toe met een beschrijving van die actor en voer het programma opnieuw uit. Deze ene stap heeft vaak een groter effect op het resultaat dan wat dan ook.

4. Aannames: waarop ligt de conclusie ten grondslag?

Elk rapport is gebaseerd op een aantal fundamentele aannames. Zoek deze expliciet op.

• Vraag de analist van het rapport: "Welke drie aannames hebben de grootste invloed op uw conclusie?"
• Interview twee of drie agenten met tegengestelde standpunten en vraag waarom ze zo reageerden. Als hun redenen gebaseerd zijn op een onjuist feit, dan heb je een zwakke schakel gevonden.
• Maak onderscheid tussen mechanismen (bijvoorbeeld: "de verwarring over de toelatingseisen verspreidt zich via ouderforums") en grootheden (bijvoorbeeld: "de meeste agenten werden negatief"). Mechanismen zijn doorgaans betrouwbaarder dan grootheden.

5. Gevoeligheidstest opnieuw uitgevoerd: blijft het resultaat geldig?

Een conclusie die omslaat zodra één detail verandert, is fragiel. Test het.

• Voer de simulatie ongewijzigd opnieuw uit om te zien hoeveel variatie er door de simulatie zelf wordt veroorzaakt.
• Verander één variabele tegelijk : de formulering van de kernzin, de timing, de prijs, de aanwezigheid van een criticus.
• Varieer het aantal rondes om te zien of een reactie een korte piek is of een blijvende verschuiving.
• Vergelijk de rapporten naast elkaar. Wat in alle runs hetzelfde blijft, is je betrouwbare bevinding; wat verandert, is de onzekerheid.

Ons scenario voor de 'wat-als'-analyse is precies voor dit soort vergelijkingen ontworpen.

6. Zelfvertrouwen: hoe zeker kun je werkelijk zijn?

Noteer voor elke conclusie een betrouwbaarheidsniveau, niet voor het rapport als geheel.

• Hoog: de bevinding komt in elke herhaling voor, heeft een duidelijk mechanisme en is niet afhankelijk van een betwist feit.
• Medium: het komt in de meeste runs voor, maar de sterkte ervan varieert of hangt af van een aanname die je niet kon controleren.
• Laag: het komt slechts één keer voor, of is gebaseerd op een ontbrekend document of een onzeker feit.

Simulaties zijn toetsbare hypothesen die een oordeel ondersteunen, geen zekerheid. Zeggen "gemiddeld vertrouwen, afhankelijk van hoe vakbonden clausule 4 interpreteren" is nuttiger voor een besluitnemer dan een zelfverzekerde maar niet-getoetste voorspelling.

7. Controle in de praktijk: wat te controleren voordat je actie onderneemt

De laatste stap is het omzetten van de voorspelling in acties. Bepaal voor elke belangrijke conclusie hoe je deze op een goedkope manier in de praktijk kunt testen.

• Vraag het bijvoorbeeld aan een paar echte mensen uit de kritische groep, via korte interviews.
• Houd een kleine peiling over de ene vraag die de simulatie als doorslaggevend heeft aangemerkt.
• Laat de herziene tekst zien aan een collega die er niet bij betrokken was.
• Stel monitoringsignalen in voor de lanceringsdag: welke zinnen of groepen geven aan dat het gesimuleerde scenario zich ontvouwt?

Een uitgewerkt voorbeeld: het beoordelen van een prognose voor een schoolfusie.

Een gemeente is van plan twee basisscholen samen te voegen. De eerste simulatie voorspelt een gematigd negatieve reactie die binnen twee weken afneemt.

• Kadering: de vraag ging over "bewoners" in het algemeen. Het team wist de doelgroep in twintig rondes te beperken tot ouders, leerkrachten en lokale media.
• Documenten: de enige input bestond uit het raadsbesluit en een persbericht. Het team voegt daar een samenvatting van het vervoersplan voor kinderen aan toe.
• Ontbrekende gegevens in de grafiek: de lerarenvakbond en de ouderraad van de kleinere school ontbraken. Een kort document met een beschrijving hiervan is toegevoegd.
• Herhaling: de nieuwe voorspelling is scherper. De ouderraad van de kleinere school wordt de eerste die het argument aanvoert, en het belangrijkste argument is de langere, minder veilige route naar school, niet de fusie zelf.
• Gevoeligheid: met een gepubliceerd schoolbusplan neemt de negatieve golf in drie van de drie herhalingen merkbaar af; zonder plan blijft de golf aanhouden.
• Vertrouwen: hoog voor het mechanisme (veiligheid van de route), gemiddeld voor de omvang van de reactie.
• Verificatie: het team voert twee gesprekken met echte ouders, die de bezorgdheid over de route bevestigen. Het busplan wordt samen met het besluit gepubliceerd.

Het eerste rapport was niet onjuist, alleen onvolledig. De herziening maakte er iets van waar de raad mee aan de slag kon. Zie het scenario voor besluitvormingsondersteuning voor meer vergelijkingen zoals deze.

Het toepassen van de checklist in de praktijk

Houd de checklist kort genoeg zodat u deze elke keer kunt gebruiken. Een typische evaluatie duurt minder lang dan de vergadering waarin de prognose wordt gepresenteerd, en het beschermt u tegen de meest voorkomende fout: vertrouwen op een vloeiend rapport gebaseerd op mager materiaal. U kunt scenario's voorbereiden en opnieuw uitvoeren in de InfoDome console ; het abonnement kost € 29 per maand met een maandelijks AI-gebruiksbudget van € 9 en onbeperkt aantal projecten.