Kako preveriti napoved: kontrolni seznam za rezultate simulacije

Napoved simulacije preverite v sedmih korakih: ali je vprašanje dobro zastavljeno, ali so dokumenti popolni in točni, ali graf znanja ni spregledal pomembnih akterjev, katere predpostavke določajo sklep, ali rezultat zdrži ponovne zagone s spremenjenimi izhodišči, kako zanesljivo lahko pošteno trdite in kaj morate pred odločitvijo preveriti v resničnosti. Napoved, ki prestane te korake, je utemeljena hipoteza, ki jo lahko zagovarjate. Tista, ki jih ne, je le lepa zgodba.

Zakaj vsaka napoved potrebuje pregled

Poročilo simulacije se bere prepričljivo: ima zgodbo, citate agentov in jasne sklepe. Prav zato ga je treba pregledati. Dobro napisano poročilo, ki temelji na vrzeli v vhodnih podatkih, je lahko videti enako trdno kot poročilo na kakovostnem gradivu.

V InfoDome napoved nastane kot veriga korakov. Naložite dokumente in opišete, kaj napovedati; storitev zgradi graf znanja iz ljudi, organizacij, skupin in odnosov; ustvari več sto agentov z lastnim značajem, stališčem in spominom; agenti izbrano število krogov delujejo v viru, podobnem Twitterju, in na forumu, podobnem Redditu; nato agent analitik napiše poročilo. Vsak člen je mogoče preveriti in spodnji seznam sledi tej verigi.

Kontrolni seznam po korakih

1. Zastavitev: ali je vprašanje pravo?

Začnite pri vprašanju samem, saj nejasno vprašanje prinese nejasen odgovor.

• Je izid konkreten? »Kako se bodo ljudje odzvali?« je šibko. »Ali bodo sveti staršev v prvem mesecu nasprotovali združitvi šol in s katerim argumentom?« je močno.
• Je časovni okvir jasen? Število krogov (na primer 10, 20 ali 40) naj ustreza obdobju, ki vas zanima: prvim dnem po objavi ali daljši razpravi.
• Je občinstvo določeno? Če se odziv razlikuje po državah, preverite izbor držav občinstva. Izberete jih lahko do 10, agenti pa se razdelijo enakomerno.
• Je vprašanje nevtralno? Zastavitev, ki že vsebuje pričakovani odgovor, ga običajno tudi potrdi.

2. Kakovost dokumentov: kaj je simulacija dejansko vedela?

Agenti vedo le to, kar jim dajo dokumenti in graf. Vhodno gradivo preberite kot skeptik.

• So dejstva aktualna? Zastarela cena, datum ali ime se razširijo skozi celoten zagon.
• Je gradivo enostransko? Če so vsi dokumenti iz vaše organizacije, so kritiki lahko premalo zastopani ali karikirani.
• So ključne podrobnosti prisotne? Najpogostejši skriti vzrok čudnega rezultata je podrobnost, ki je dokumenti preprosto ne omenijo.
• Je v gradivu šum? Dolge priloge in nepovezana vsebina agente odvlečejo k stranskim temam.

3. Vrzeli v grafu: kdo manjka?

Oglejte si izluščene entitete in odnose. Vprašajte se, kdo bi se v takem položaju realno oglasil, in preverite, ali so v grafu.

• Regulatorji, sindikati, lokalni mediji, konkurenti, vplivni posamezniki, opozicijske skupine.
• Pomembni odnosi: kdo koga financira, kdo s kom tekmuje, kdo ima zgodovino sporov.
• Prizadete skupine, ki se v uradnih dokumentih redko pojavljajo, na primer delavci v nočnih izmenah ali prebivalci podeželja.

Če pomemben akter manjka, dodajte dokument z njegovim opisom in zaženite znova. Ta korak pogosto spremeni rezultat bolj kot kateri koli drug.

4. Predpostavke: na čem stoji sklep?

Vsako poročilo sloni na nekaj nosilnih predpostavkah. Poiščite jih izrecno.

• Analitika poročila vprašajte: »Katere tri predpostavke najbolj vplivajo na vaš sklep?«
• Intervjuvajte dva ali tri agente z nasprotnimi stališči in jih vprašajte, zakaj so se tako odzvali. Če njihovi razlogi temeljijo na neresničnem dejstvu, ste našli šibki člen.
• Ločite mehanizme (»zmeda glede upravičenosti se širi prek forumov staršev«) od obsega (»večina agentov je postala negativna«). Mehanizmi so običajno zanesljivejši od velikosti.

5. Analiza občutljivosti: ali rezultat zdrži?

Sklep, ki se obrne ob eni spremembi, je krhek. Preizkusite ga.

• Zaženite znova brez sprememb, da vidite, koliko nihanja povzroči simulacija sama.
• Spreminjajte eno spremenljivko naenkrat: besedilo ključnega stavka, časovnico, ceno, prisotnost enega kritika.
• Spreminjajte število krogov, da vidite, ali gre za kratek sunek ali trajen premik.
• Poročila primerjajte drugo ob drugem. Kar ostaja enako v vseh zagonih, je vaša trdna ugotovitev; kar se spreminja, je negotovost.

Za tovrstne primerjave je namenjen scenarij analiza »kaj če«.

6. Zaupanje: kako prepričani ste lahko?

Raven zaupanja zapišite za vsak sklep posebej, ne za poročilo kot celoto.

• Visoka: ugotovitev se pojavi v vseh zagonih, ima jasen mehanizem in ni odvisna od spornega dejstva.
• Srednja: pojavi se v večini zagonov, a njena moč niha ali je odvisna od ene nepreverjene predpostavke.
• Nizka: pojavi se enkrat ali sloni na manjkajočem dokumentu oziroma negotovem dejstvu.

Simulacija je preverljiva hipoteza v podporo presoji, ne gotovost. Zapis »srednja zanesljivost, odvisno od tega, kako bodo sindikati razumeli 4. člen« je odločevalcu bolj koristen kot samozavestna, a nepreverjena napoved.

7. Preverjanje v resničnosti: kaj storiti pred odločitvijo

Zadnji korak napoved spremeni v dejanja. Za vsak pomemben sklep se odločite, kako ga poceni preizkusiti v resničnosti.

• Pogovorite se z nekaj resničnimi predstavniki ključne skupine, na primer v kratkih intervjujih.
• Izvedite manjšo anketo o enem vprašanju, ki ga je simulacija označila za odločilno.
• Novo besedilo pokažite sodelavcu, ki pri delu ni sodeloval.
• Določite signale za spremljanje na dan objave: katere besedne zveze ali skupine bodo pokazale, da se dogodki razvijajo po simuliranem scenariju.

Primer: pregled napovedi o združitvi šol

Občina namerava združiti dve osnovni šoli. Prva simulacija napove zmerno negativen odziv, ki v dveh tednih zamre.

• Zastavitev: vprašanje je zadevalo »prebivalce« na splošno. Ekipa ga zoži na starše, učitelje in lokalne medije v 20 krogih.
• Dokumenti: na vhodu sta bila le sklep sveta in sporočilo za javnost. Ekipa doda opis načrta prevoza otrok.
• Vrzeli v grafu: manjkala sta sindikat učiteljev in svet staršev manjše šole. Doda se kratek dokument o njiju.
• Ponovni zagon: nova napoved je ostrejša. Prvi ojačevalec postane svet staršev manjše šole, glavni argument pa daljša in manj varna pot do šole, ne združitev sama.
• Občutljivost: z objavljenim načrtom šolskega avtobusa je negativni val v vseh treh zagonih opazno manjši; brez njega vztraja.
• Zaupanje: visoko za mehanizem (varnost poti), srednje za obseg odziva.
• Preverjanje: ekipa opravi dva pogovora z resničnimi starši, ki potrdita skrb glede poti. Načrt avtobusa je objavljen skupaj s sklepom.

Prvo poročilo ni bilo napačno, le nepopolno. Pregled ga je spremenil v nekaj, na podlagi česar je mogoče odločati. Za primerjavo možnosti odločitev je primeren scenarij podpora odločanju.

Uporaba seznama v praksi

Seznam naj bo dovolj kratek, da ga uporabite vsakič. Pregled običajno traja manj časa kot sestanek, na katerem napoved predstavite, in vas varuje pred najpogostejšo napako: zaupanjem v gladko poročilo na skopem gradivu. Scenarije lahko pripravite in znova zaženete v konzoli InfoDome; paket stane 29 € na mesec z mesečnim proračunom za umetno inteligenco 9 € in neomejenim številom projektov.