Kako pregledati prognozu: Kontrolna lista za rezultate simulacije

Za pregled simulacijske prognoze, provjerite sedam stvari redom: je li pitanje dobro postavljeno, jesu li dokumenti potpuni i točni, je li graf znanja propustio važne aktere, koje pretpostavke vode do zaključka, preživi li rezultat ponovne provjere osjetljivosti, koliko možete biti iskreno sigurni i što se mora provjeriti u stvarnom svijetu prije nego što djelujete. Prognoza koja prolazi ove provjere je hipoteza koju možete preispitati i braniti; ona koja ih ne prođe je samo priča.

Zašto svaku prognozu treba pregledati

Izvješće o simulaciji uvjerljivo se čita. Ima narativ, citate agenata i jasne zaključke. Upravo ta tečnost je razlog zašto mu je potrebna recenzija: dobro napisano izvješće izgrađeno na praznini u ulaznim podacima može izgledati jednako čvrsto kao i ono izgrađeno na dobrom materijalu.

U InfoDome prognoza dolazi iz lanca koraka. Prenesete dokumente i opišete što predviđate; usluga gradi graf znanja o ljudima, organizacijama, grupama i odnosima; stvara stotine agenata s vlastitim karakterom, položajem i pamćenjem; oni međusobno komuniciraju odabrani broj rundi na feedu sličnom Twitter i forumu sličnom Reddit ; zatim analitički agent piše izvješće. Svaka karika u tom lancu može se provjeriti, a nakon toga slijedi pregled u nastavku.

Kontrolna lista, korak po korak

1. Uokviravanje: je li postavljeno pravo pitanje?

Počnite sa samim pitanjem, jer nejasno pitanje proizvodi nejasan odgovor.

• Je li ishod specifičan? "Kako će ljudi reagirati?" je slabo pitanje. "Hoće li se lokalne roditeljske skupine protiviti spajanju škola u prvom mjesecu i koji će argument upotrijebiti?" je snažno pitanje.
• Je li vremenski horizont jasan? Broj rundi (na primjer 10, 20 ili 40) trebao bi odgovarati razdoblju koje vas zanima, kao što su prvi dani nakon objave ili dulje rasprave.
• Je li publika definirana? Ako se reakcija razlikuje ovisno o zemlji, provjerite jesu li odabrane prave zemlje publike. Možete odabrati do 10 zemalja, a agenti su podjednako raspoređeni među njima.
• Je li pitanje neutralno? Uputa koja već sadrži očekivani odgovor obično ga potvrđuje.

2. Kvaliteta dokumenta: što je simulacija zapravo znala?

Agenti znaju samo ono što im dokumenti i graf daju. Čitajte svoje unose kao što bi to učinio skeptik.

• Jesu li činjenice ažurne? Zastarjela cijena, datum ili naziv širit će se kroz cijelo razdoblje.
• Je li materijal jednostran? Ako svi dokumenti dolaze iz vaše vlastite organizacije, kritičari mogu biti nedovoljno zastupljeni ili karikirani.
• Jesu li prisutni ključni detalji? Najčešći skriveni uzrok čudnog rezultata je detalj koji dokumenti jednostavno nikada ne spominju.
• Ima li šuma? Dugi dodaci ili nepovezani sadržaj mogu odvući agente prema sporednim temama.

3. Praznine u grafu: tko nedostaje?

Pogledajte entitete i relacije koje je sustav izdvojio. Pitajte tko bi realno progovorio u ovoj situaciji i provjerite postoje li oni u grafu.

• Regulatori, sindikati, lokalni mediji, konkurenti, utjecajni pojedinci, oporbene skupine.
• Odnosi koji su važni: tko koga financira, tko se natječe, tko ima povijest sukoba.
• Skupine koje su pogođene, ali se rijetko spominju u službenim dokumentima, poput radnika u noćnoj smjeni ili korisnika u ruralnim područjima.

Ako nedostaje važan akter, dodajte dokument koji ga opisuje i ponovno pokrenite postupak. Ovaj jedan korak često mijenja rezultat više od svega ostalog.

4. Pretpostavke: što potiče zaključak?

Svako izvješće počiva na nekoliko temeljnih pretpostavki. Pronađite ih eksplicitno.

• Pitajte analitičara izvješća: "Koje tri pretpostavke najviše utječu na vaš zaključak?"
• Intervjuirajte dva ili tri agenta sa suprotnim stavovima i pitajte ih zašto su reagirali onako kako jesu. Ako se njihovi razlozi temelje na činjenici koja nije istinita, pronašli ste slabu kariku.
• Odvojite mehanizme (na primjer, „zbunjenost oko podobnosti širi se putem roditeljskih foruma“) od veličina (na primjer, „većina agenata postala je negativna“). Mehanizmi su obično pouzdaniji od veličina.

5. Ponovljena mjerenja osjetljivosti: je li rezultat tačan?

Zaključak koji se preokrene kada se promijeni jedan detalj je krhak. Testirajte ga.

• Ponovno pokrenite bez promjena kako biste vidjeli koliko varijacija dolazi iz same simulacije.
• Mijenjajte jednu varijablu odjednom : formulaciju ključne rečenice, vrijeme, cijenu, prisutnost jednog kritičara.
• Promijenite broj rundi kako biste vidjeli je li reakcija kratki skok ili trajna promjena.
• Usporedite izvješća jedno pored drugog. Ono što ostaje isto kroz sva izvješća je vaš robusni nalaz; ono što se mijenja je nesigurnost.

Naš scenarij analize "što ako" osmišljen je upravo za ovu vrstu usporedbe.

6. Samopouzdanje: koliko možete biti sigurni u to?

Zapišite razinu pouzdanosti za svaki zaključak, a ne za izvješće u cjelini.

• Visoko: nalaz se pojavljuje u svakoj reprizi, ima jasan mehanizam i ne ovisi o spornoj činjenici.
• Srednje: pojavljuje se u većini prolaza, ali mu jačina varira ili ovisi o jednoj pretpostavci koju niste mogli provjeriti.
• Nisko: pojavljuje se jednom ili se oslanja na nedostajući dokument ili neizvjesnu činjenicu.

Simulacije su hipoteze koje se mogu preispitati i podupiru prosudbu, a ne sigurnost. Izjava "srednja pouzdanost, ovisi o tome kako sindikati tumače klauzulu 4" korisnija je donositelju odluka od pouzdanog, ali neprovjerenog predviđanja.

7. Provjera u stvarnom svijetu: što provjeriti prije djelovanja

Posljednji korak pretvara predviđanje u djela. Za svaki zaključak s velikim utjecajem odlučite kako ga jeftino testirati u stvarnosti.

• Pitajte nekoliko stvarnih ljudi iz kritične skupine, na primjer u kratkim intervjuima.
• Pokrenite malu anketu o jednom pitanju koje je simulacija označila kao presudno.
• Pokažite revidirani tekst kolegi koji nije bio uključen.
• Postavite signale za praćenje za dan lansiranja: koje bi vam fraze ili skupine rekle da se simulirani scenarij odvija.

Razrađeni primjer: pregled prognoze spajanja škola

Općina planira spojiti dvije osnovne škole. Prva simulacija predviđa umjerenu negativnu reakciju koja će nestati unutar dva tjedna.

• Uokviravanje: pitanje postavljeno o "stanovnicima" općenito. Tim ga sužava na roditelje, učitelje i lokalne medije tijekom 20 krugova.
• Dokumenti: jedini unosi bili su odluka vijeća i priopćenje za medije. Tim dodaje sažetak plana prijevoza za djecu.
• Praznine u grafu: nedostajali su sindikat učitelja i vijeće roditelja manje škole. Dodan je kratki dokument koji ih opisuje.
• Repriza: nova prognoza je oštrija. Vijeće roditelja manje škole postaje prvi pojačivač, a glavni argument je dulji, manje siguran put do škole, a ne samo spajanje.
• Osjetljivost: s objavljenim planom školskog autobusa negativni val znatno se smanjuje u tri od tri reprize; bez njega val opstaje.
• Pouzdanost: visoka za mehanizam (sigurnost puta), srednja za veličinu reakcije.
• Provjera: tim održava dva razgovora sa stvarnim roditeljima koji potvrđuju zabrinutost oko rute. Plan autobusa objavljuje se zajedno s odlukom.

Prvo izvješće nije bilo pogrešno, samo nepotpuno. Pregledom je postalo nešto na temelju čega vijeće može djelovati. Za usporedbe odluka poput ove, pogledajte scenarij podrške odlučivanju .

Korištenje kontrolne liste u praksi

Kontrolna lista neka bude dovoljno kratka da se može koristiti svaki put. Tipičan pregled traje kraće od sastanka na kojem se predstavlja prognoza i štiti vas od najčešće pogreške: povjerenja u tečno izvješće izgrađeno na tankom materijalu. Scenarije možete pripremiti i ponovno pokrenuti u InfoDome konzoli ; plan je 29 € mjesečno s mjesečnim proračunom za korištenje umjetne inteligencije od 9 € i neograničenim projektima.