Jak zkontrolovat prognózu: Kontrolní seznam pro výsledky simulace

Chcete-li zkontrolovat simulační prognózu, zkontrolujte postupně sedm věcí: zda byla otázka dobře formulována, zda byly dokumenty úplné a přesné, zda graf znalostí přehlédl důležité aktéry, které předpoklady vedou k závěru, zda výsledek přežije opakované testy citlivosti, jak si můžete být upřímně jisti a co je třeba ověřit v reálném světě, než budete jednat. Prognóza, která těmito kontrolami projde, je přezkoumatelná hypotéza, kterou můžete obhájit; ta, která jimi neprojde, je jen příběh.

Proč je třeba každou prognózu přezkoumat

Simulační zpráva se čte přesvědčivě. Obsahuje příběh, citace agentů a jasné závěry. Právě tato plynulost je důvodem, proč si zaslouží revizi: dobře napsaná zpráva postavená na mezerách ve vstupech může vypadat stejně solidně jako zpráva postavená na kvalitním materiálu.

V InfoDome se předpověď vytvoří řetězcem kroků. Nahrajete dokumenty a popíšete, co chcete předpovědět; služba vytvoří znalostní graf lidí, organizací, skupin a vztahů; vytvoří stovky agentů s jejich vlastním charakterem, pozicí a pamětí; ti interagují po zvolený počet kol na kanálu podobném Twitter a fóru podobném Reddit ; poté analytický agent napíše zprávu. Každý článek v tomto řetězci lze zkontrolovat a na něj navazuje níže uvedená recenze.

Kontrolní seznam krok za krokem

1. Rámování: byla položena správná otázka?

Začněte samotnou otázkou, protože vágní otázka vyvolá vágní odpověď.

• Je výsledek konkrétní? „Jak budou lidé reagovat?“ je slabá otázka. „Budou se místní rodičovské skupiny v prvním měsíci postavit proti sloučení škol a jaký argument použijí?“ je silná otázka.
• Je časový horizont jasný? Počet kol (například 10, 20 nebo 40) by měl odpovídat období, které vás zajímá, například prvním dnům po oznámení nebo delší debatě.
• Je cílová skupina definována? Pokud se reakce v jednotlivých zemích liší, zkontrolujte, zda byly vybrány správné země cílové skupiny. Můžete vybrat až 10 zemí a agenti jsou mezi ně rovnoměrně rozděleni.
• Je otázka neutrální? Výzva, která již obsahuje očekávanou odpověď, ji obvykle potvrzuje.

2. Kvalita dokumentu: co simulace vlastně věděla?

Agenti vědí jen to, co jim dokumenty a graf ukazují. Čtěte své vstupy jako skeptik.

• Jsou fakta aktuální? Zastaralá cena, datum nebo název se budou šířit v celém cyklu.
• Je materiál jednostranný? Pokud všechny dokumenty pocházejí z vaší vlastní organizace, kritici mohou být nedostatečně zastoupeni nebo karikovaní.
• Jsou přítomny klíčové detaily? Nejčastější skrytou příčinou podivného výsledku je detail, který se v dokumentech prostě nikdy nezmiňuje.
• Je tam šum? Dlouhé dodatky nebo nesouvisející obsah mohou agenty přivést k vedlejším tématům.

3. Mezery v grafu: kdo chybí?

Podívejte se na entity a vztahy, které systém extrahoval. Zeptejte se, kdo by se v této situaci realisticky ozval, a ověřte, zda tyto entity v grafu existují.

• Regulační orgány, odbory, místní média, konkurenti, vlivní jednotlivci, opoziční skupiny.
• Vztahy, na kterých záleží: kdo koho financuje, kdo si konkuruje, kdo má historii konfliktů.
• Skupiny, které jsou dotčeny, ale v oficiálních dokumentech jsou zřídka zmiňovány, jako například pracovníci na noční směny nebo uživatelé na venkově.

Pokud chybí důležitý aktér, přidejte dokument, který ho popisuje, a spusťte to znovu. Tento jediný krok často změní výsledek více než cokoli jiného.

4. Předpoklady: co ovlivňuje závěr?

Každá zpráva se opírá o několik nosných předpokladů. Najděte je explicitně.

• Zeptejte se analytika zprávy: „Které tři předpoklady nejvíce ovlivňují váš závěr?“
• Vyslechněte dva nebo tři agenty s opačnými postoji a zeptejte se jich, proč reagovali tak, jak reagovali. Pokud se jejich důvody opírají o fakt, který není pravdivý, našli jste slabý článek.
• Oddělte mechanismy (například „zmatek ohledně způsobilosti se šíří prostřednictvím rodičovských fór“) od magnitud (například „většina agentů se stala negativní“). Mechanismy jsou obvykle spolehlivější než velikosti.

5. Opakované testy citlivosti: platí výsledek?

Závěr, který se zvrtne, když se změní jeden detail, je křehký. Otestujte ho.

• Spusťte simulaci beze změny a zjistěte, kolik odchylek pochází ze samotné simulace.
• Měňte jednu proměnnou najednou : formulaci klíčové věty, načasování, cenu, přítomnost jednoho kritika.
• Měňte počet kol , abyste zjistili, zda je reakce krátkodobým vzestupem nebo trvalým posunem.
• Porovnejte zprávy vedle sebe. Co zůstává napříč sériemi stejné, je váš robustní nález; co se mění, je nejistota.

Náš scénář analýzy „co kdyby“ je navržen přesně pro tento druh srovnání.

6. Důvěra: jak jistý si můžete být upřímně?

Pro každý závěr uveďte míru spolehlivosti, nikoli pro zprávu jako celek.

• Vysoká: nález se objevuje v každé repríze, má jasný mechanismus a nezávisí na sporné skutečnosti.
• Střední: objevuje se ve většině běhů, ale jeho síla se liší nebo závisí na jednom předpokladu, který jste nemohli ověřit.
• Nízká: objeví se jednou nebo se opírá o chybějící dokument či nejistou skutečnost.

Simulace jsou přezkoumatelné hypotézy, které podporují úsudek, nikoli jistotu. Výrok „střední jistota, záleží na tom, jak odbory interpretují klauzuli 4“ je pro osobu s rozhodovací pravomocí užitečnější než sebevědomá, ale neprověřená předpověď.

7. Ověření v reálném světě: co je třeba zkontrolovat před jednáním

Poslední krok promění prognózu v činy. Pro každý závěr s velkým dopadem se rozhodněte, jak jej levně otestovat v praxi.

• Zeptejte se několika skutečných lidí z kritické skupiny, například v krátkých rozhovorech.
• Spusťte malou anketu na jednu otázku, kterou simulace označila za rozhodující.
• Ukažte revidované znění kolegovi, který se nezúčastnil.
• Nastavte monitorovací signály pro den spuštění: které fráze nebo skupiny by vám napověděly, že se simulovaný scénář odehrává.

Praktický příklad: kontrola prognózy sloučení škol

Obec plánuje sloučení dvou základních škol. První simulace předpovídá mírnou negativní reakci, která odezní do dvou týdnů.

• Rámování: otázka se týká „obyvatel“ obecně. Tým ji v průběhu 20 kol zúží na rodiče, učitele a místní média.
• Dokumenty: jedinými vstupy bylo rozhodnutí rady a tisková zpráva. Tým přidává shrnutí dopravního plánu pro děti.
• Mezery v grafu: chyběla odborová organizace učitelů a rada rodičů menší školy. Je přidán krátký dokument s jejich popisem.
• Opakování: nová prognóza je ostřejší. Rada rodičů menší školy se stává prvním zesilovačem a hlavním argumentem je delší a méně bezpečná cesta do školy, nikoli samotné sloučení.
• Citlivost: se zveřejněným plánem školních autobusů se negativní vlna znatelně zmenší ve třech ze tří repríz; bez něj vlna přetrvává.
• Důvěra: vysoká pro mechanismus (bezpečnost trasy), střední pro velikost reakce.
• Ověření: tým vede dva rozhovory se skutečnými rodiči, kteří potvrdí problém s trasou. Plán autobusové dopravy je zveřejněn spolu s rozhodnutím.

První zpráva nebyla špatná, jen neúplná. Přezkum z ní udělal něco, na čem rada mohla jednat. Pro srovnání rozhodování, jako je toto, viz scénář podpory rozhodování .

Používání kontrolního seznamu v praxi

Kontrolní seznam udržujte dostatečně krátký, abyste ho mohli použít pokaždé. Typická kontrola trvá kratší dobu než schůzka, na které je prezentována prognóza, a chrání vás před nejčastější chybou: důvěřováním plynulé zprávě postavené na chabém materiálu. Scénáře si můžete připravit a znovu spustit v konzoli InfoDome ; tarif je 29 EUR měsíčně s měsíčním rozpočtem na využití umělé inteligence 9 EUR a neomezeným počtem projektů.