Ako skontrolovať prognózu: Kontrolný zoznam výsledkov simulácie

Ak chcete skontrolovať simulačnú prognózu, skontrolujte sedem vecí v tomto poradí: či bola otázka dobre formulovaná, či boli dokumenty úplné a presné, či graf znalostí prehliadol dôležitých aktérov, ktoré predpoklady ovplyvňujú záver, či výsledok prežije opakované testy citlivosti, akí ste si istí a čo je potrebné overiť v reálnom svete predtým, ako budete konať. Prognóza, ktorá prejde týmito kontrolami, je preskúmateľná hypotéza, ktorú môžete obhájiť; tá, ktorá ich neprejde, je len príbeh.

Prečo je potrebné každú prognózu skontrolovať

Simulačná správa sa číta presvedčivo. Obsahuje naratív, citáty od agentov a jasné závery. Práve táto plynulosť je dôvodom, prečo si vyžaduje kontrolu: dobre napísaná správa postavená na medzere vo vstupoch môže vyzerať rovnako solídne ako správa postavená na dobrom materiáli.

V InfoDome sa predpoveď vytvára reťazcom krokov. Nahráte dokumenty a popíšete, čo chcete predpovedať; služba vytvorí graf znalostí o ľuďoch, organizáciách, skupinách a vzťahoch; vytvorí stovky agentov s ich vlastným charakterom, pozíciou a pamäťou; interagujú počas zvoleného počtu kôl na kanáli podobnom Twitter a fóre podobnom Reddit ; potom analytický agent napíše správu. Každý článok v tomto reťazci je možné skontrolovať a nasleduje nasledujúca recenzia.

Kontrolný zoznam krok za krokom

1. Rámovanie: bola položená správna otázka?

Začnite samotnou otázkou, pretože vágna otázka vedie k vágnej odpovedi.

• Je výsledok konkrétny? „Ako budú ľudia reagovať?“ je slabá otázka. „Budú miestne rodičovské skupiny v prvom mesiaci namietať proti zlúčeniu škôl a aký argument použijú?“ je silná otázka.
• Je časový horizont jasný? Počet kôl (napríklad 10, 20 alebo 40) by mal zodpovedať obdobiu, ktoré vás zaujíma, napríklad prvým dňom po oznámení alebo dlhšej debate.
• Je cieľová skupina definovaná? Ak sa reakcia líši v závislosti od krajiny, skontrolujte, či boli vybrané správne krajiny cieľovej skupiny. Môžete vybrať až 10 krajín a agenti sú medzi ne rozdelení rovnomerne.
• Je otázka neutrálna? Výzva, ktorá už obsahuje očakávanú odpoveď, ju zvyčajne potvrdí.

2. Kvalita dokumentu: čo simulácia vlastne vedela?

Agenti vedia len to, čo im poskytujú dokumenty a graf. Čítajte svoje vstupy ako skeptik.

• Sú fakty aktuálne? Zastaraná cena, dátum alebo názov sa budú šíriť počas celého cyklu.
• Je materiál jednostranný? Ak všetky dokumenty pochádzajú z vašej vlastnej organizácie, kritici môžu byť nedostatočne zastúpení alebo karikovaní.
• Sú prítomné kľúčové detaily? Najčastejšou skrytou príčinou zvláštneho výsledku je detail, ktorý sa v dokumentoch jednoducho nikdy nespomína.
• Je tam šum? Dlhé dodatky alebo nesúvisiaci obsah môžu agentov odlákať k vedľajším témam.

3. Medzery v grafe: kto chýba?

Pozrite sa na entity a vzťahy, ktoré systém extrahoval. Opýtajte sa, kto by sa v tejto situácii realisticky ozval, a overte, či existujú v grafe.

• Regulačné orgány, odbory, miestne médiá, konkurenti, vplyvní jednotlivci, opozičné skupiny.
• Vzťahy, na ktorých záleží: kto koho financuje, kto súťaží, kto má v minulosti konflikty.
• Skupiny, ktoré sú dotknuté, ale v oficiálnych dokumentoch sa o nich zriedkavo hovorí, ako napríklad pracovníci v nočných zmenách alebo vidieckí užívatelia.

Ak chýba dôležitý aktér, pridajte dokument, ktorý ho popisuje, a spustite proces znova. Tento jediný krok často zmení výsledok viac ako čokoľvek iné.

4. Predpoklady: čo riadi záver?

Každá správa sa opiera o niekoľko nosných predpokladov. Nájdite ich explicitne.

• Opýtajte sa analytika správy: „Ktoré tri predpoklady najviac ovplyvňujú váš záver?“
• Vypočujte si dvoch alebo troch agentov s opačnými postojmi a opýtajte sa ich, prečo reagovali tak, ako reagovali. Ak sa ich dôvody opierajú o fakt, ktorý nie je pravdivý, našli ste slabý článok.
• Oddeľte mechanizmy (napríklad „zmätok ohľadom oprávnenosti sa šíri prostredníctvom rodičovských fór“) od veľkostí (napríklad „väčšina činiteľov sa stala negatívnou“). Mechanizmy sú zvyčajne spoľahlivejšie ako veľkosti.

5. Opakované testy citlivosti: je výsledok platný?

Záver, ktorý sa zmení pri zmene jedného detailu, je krehký. Otestujte ho.

• Spustite to znova bez zmien , aby ste zistili, aká veľká odchýlka pochádza zo samotnej simulácie.
• Zmeňte jednu premennú naraz : znenie kľúčovej vety, načasovanie, cenu, prítomnosť jedného kritika.
• Zmeňte počet kôl , aby ste zistili, či je reakcia krátkodobým prudkým nárastom alebo trvalým posunom.
• Porovnajte správy vedľa seba. Čo zostáva v priebehu analýz rovnaké, je váš robustný nález; čo sa mení, je neistota.

Náš scenár analýzy „čo ak“ je navrhnutý presne pre tento druh porovnania.

6. Sebavedomie: nakoľko si tým môžete byť úprimne istí?

Pre každý záver uveďte úroveň spoľahlivosti, nie pre správu ako celok.

• Vysoká: zistenie sa objavuje v každej repríze, má jasný mechanizmus a nezávisí od sporného faktu.
• Stredná: objavuje sa vo väčšine behov, ale jej sila sa líši alebo závisí od jedného predpokladu, ktorý ste nedokázali overiť.
• Nízka: objaví sa raz alebo sa opiera o chýbajúci dokument či neistú skutočnosť.

Simulácie sú preskúmateľné hypotézy, ktoré podporujú úsudok, nie istotu. Tvrdenie „stredná istota, závisí od toho, ako odbory interpretujú klauzulu 4“ je pre osobu s rozhodovacou právomocou užitočnejšie ako sebavedomá, ale nepreskúmaná predpoveď.

7. Overenie v reálnom svete: čo skontrolovať pred konaním

Posledný krok premení prognózu na činy. Pre každý záver s vysokým dopadom sa rozhodnite, ako ho lacno otestovať v realite.

• Opýtajte sa niekoľkých skutočných ľudí z kritickej skupiny, napríklad v krátkych rozhovoroch.
• Spustite krátku anketu o jednej otázke, ktorú simulácia označila za rozhodujúcu.
• Ukážte revidované znenie kolegovi, ktorý sa nezúčastnil.
• Nastavte monitorovacie signály pre deň spustenia: ktoré frázy alebo skupiny by vám naznačili, že sa simulovaný scenár odohráva.

Praktický príklad: preskúmanie prognózy zlúčenia škôl

Obec plánuje zlúčenie dvoch základných škôl. Prvá simulácia predpovedá mierne negatívnu reakciu, ktorá odzneje do dvoch týždňov.

• Rámovanie: otázka sa kladie o „obyvateľoch“ vo všeobecnosti. Tím ju v 20 kolách zužuje na rodičov, učiteľov a miestne médiá.
• Dokumenty: jedinými vstupmi bolo rozhodnutie rady a tlačová správa. Tím pridáva zhrnutie dopravného plánu pre deti.
• Medzery v grafe: chýbala odborová organizácia učiteľov a rodičovská rada menšej školy. Pridáva sa krátky dokument s ich popisom.
• Opakovanie: nová predpoveď je ostrejšia. Rodičovská rada menšej školy sa stáva prvým zosilňovačom a hlavným argumentom je dlhšia a menej bezpečná cesta do školy, nie samotné zlúčenie.
• Citlivosť: so zverejneným plánom školských autobusov sa negatívna vlna v troch z troch repríz citeľne zmenší; bez neho vlna pretrváva.
• Dôvera: vysoká pre mechanizmus (bezpečnosť trasy), stredná pre rozsah reakcie.
• Overenie: tím uskutoční dva rozhovory so skutočnými rodičmi, ktorí potvrdia problém s trasou. Plán autobusovej dopravy sa zverejní spolu s rozhodnutím.

Prvá správa nebola chybná, len neúplná. Preskúmanie z nej urobilo niečo, na čom rada mohla konať. Porovnania rozhodnutí, ako je toto, nájdete v scenári podpory rozhodovania .

Používanie kontrolného zoznamu v praxi

Kontrolný zoznam udržujte dostatočne krátky, aby ste ho mohli použiť vždy. Typická kontrola trvá kratšie ako stretnutie, na ktorom sa prezentuje prognóza, a chráni vás pred najčastejšou chybou: dôverovať plynulému prehľadu postavenému na chabom materiáli. Scenáre si môžete pripraviť a znova spustiť v konzole InfoDome ; plán stojí 29 € mesačne s mesačným rozpočtom na používanie umelej inteligencie 9 € a neobmedzeným počtom projektov.