Kako pregledati prognozu: Kontrolna lista za rezultate simulacije

Da biste pregledali prognozu simulacije, provjerite sedam stvari redom: da li je pitanje dobro formulisano, da li su dokumenti potpuni i tačni, da li je graf znanja propustio važne aktere, koje pretpostavke vode do zaključka, da li rezultat preživi ponovne provjere osjetljivosti, koliko možete biti iskreno sigurni i šta se mora provjeriti u stvarnom svijetu prije nego što djelujete. Prognoza koja prođe ove provjere je hipoteza koju možete preispitati i braniti; ona koja ih ne prođe je samo priča.

Zašto je potrebno pregledati svaku prognozu

Izvještaj o simulaciji se čita uvjerljivo. Ima narativ, citate agenata i jasne zaključke. Upravo ta tečnost je razlog zašto mu je potrebna recenzija: dobro napisan izvještaj izgrađen na praznini u ulaznim podacima može izgledati jednako solidno kao i onaj izgrađen na dobrom materijalu.

U InfoDome prognoza dolazi iz lanca koraka. Vi postavljate dokumente i opisujete šta treba predvidjeti; servis gradi graf znanja o ljudima, organizacijama, grupama i odnosima; kreira stotine agenata sa svojim karakterom, pozicijom i pamćenjem; oni međusobno komuniciraju odabrani broj rundi na feedu sličnom Twitter i forumu sličnom Reddit ; zatim analitički agent piše izvještaj. Svaka karika u tom lancu se može provjeriti, a nakon toga slijedi pregled u nastavku.

Kontrolna lista, korak po korak

1. Uokviravanje: da li je postavljeno pravo pitanje?

Počnite sa samim pitanjem, jer nejasno pitanje proizvodi nejasan odgovor.

• Je li ishod specifičan? "Kako će ljudi reagovati?" je slabo pitanje. "Hoće li se lokalne roditeljske grupe protiviti spajanju škola u prvom mjesecu i koji će argument koristiti?" je snažno pitanje.
• Je li vremenski horizont jasan? Broj rundi (na primjer 10, 20 ili 40) treba da odgovara periodu koji vas zanima, kao što su prvi dani nakon objave ili duže debate.
• Da li je publika definirana? Ako se reakcija razlikuje od zemlje do zemlje, provjerite da li su odabrane prave zemlje publike. Možete odabrati do 10 zemalja, a agenti su podjednako raspoređeni među njima.
• Je li pitanje neutralno? Uputa koja već sadrži očekivani odgovor obično ga potvrđuje.

2. Kvalitet dokumenta: šta je simulacija zapravo znala?

Agenti znaju samo ono što im dokumenti i grafikon daju. Čitajte svoje unose kao što bi to učinio skeptik.

• Jesu li činjenice ažurne? Zastarjela cijena, datum ili naziv će se širiti kroz cijelo razdoblje.
• Da li je materijal jednostran? Ako svi dokumenti potiču iz vaše vlastite organizacije, kritičari mogu biti nedovoljno zastupljeni ili karikirani.
• Jesu li ključni detalji prisutni? Najčešći skriveni uzrok čudnog rezultata je detalj koji dokumenti jednostavno nikada ne spominju.
• Ima li šuma? Dugi dodaci ili nepovezani sadržaj mogu odvući agente prema sporednim temama.

3. Praznine u grafu: ko nedostaje?

Pogledajte entitete i relacije koje je sistem izdvojio. Pitajte ko bi realno progovorio u ovoj situaciji i provjerite da li oni postoje u grafu.

• Regulatori, sindikati, lokalni mediji, konkurenti, utjecajni pojedinci, opozicione grupe.
• Odnosi koji su važni: ko koga finansira, ko se takmiči, ko ima historiju sukoba.
• Grupe koje su pogođene, ali se rijetko spominju u službenim dokumentima, kao što su radnici u noćnoj smjeni ili korisnici u ruralnim područjima.

Ako nedostaje važan akter, dodajte dokument koji ga opisuje i ponovo pokrenite postupak. Ovaj jedan korak često mijenja rezultat više od bilo čega drugog.

4. Pretpostavke: šta pokreće zaključak?

Svaki izvještaj počiva na nekoliko nosećih pretpostavki. Pronađite ih eksplicitno.

• Pitajte analitičara izvještaja: "Koje tri pretpostavke najviše utiču na vaš zaključak?"
• Intervjuirajte dva ili tri agenta sa suprotnim stavovima i pitajte ih zašto su reagovali onako kako jesu. Ako se njihovi razlozi zasnivaju na činjenici koja nije istinita, pronašli ste slabu kariku.
• Odvojite mehanizme (na primjer, „konfuzija oko podobnosti širi se putem foruma roditelja“) od veličina (na primjer, „većina agenata postala je negativna“). Mehanizmi su obično pouzdaniji od veličina.

5. Ponovljena mjerenja osjetljivosti: da li je rezultat tačan?

Zaključak koji se preokrene kada se promijeni jedan detalj je krhak. Testirajte ga.

• Ponovo pokrenite bez promjena da vidite koliko varijacija dolazi iz same simulacije.
• Mijenjajte jednu varijablu istovremeno : formulaciju ključne rečenice, tajming, cijenu, prisustvo jednog kritičara.
• Promijenite broj rundi kako biste vidjeli je li reakcija kratkotrajni skok ili trajna promjena.
• Uporedite izvještaje jedan pored drugog. Ono što ostaje isto kroz sva istraživanja je vaš robusni nalaz; ono što se mijenja je nesigurnost.

Naš scenario analize „šta ako“ je osmišljen upravo za ovu vrstu poređenja.

6. Samopouzdanje: koliko zaista možete biti sigurni?

Zapišite nivo pouzdanosti za svaki zaključak, a ne za izvještaj u cjelini.

• Visoko: nalaz se pojavljuje u svakoj reprizi, ima jasan mehanizam i ne zavisi od sporne činjenice.
• Srednje: pojavljuje se u većini prolaza, ali mu jačina varira ili zavisi od jedne pretpostavke koju niste mogli provjeriti.
• Nisko: pojavljuje se jednom ili se oslanja na nedostajući dokument ili neizvjesnu činjenicu.

Simulacije su hipoteze koje se mogu preispitati i podržavaju procjenu, a ne sigurnost. Izjava "srednja pouzdanost, zavisi od toga kako sindikati tumače klauzulu 4" je korisnija donosiocu odluke nego pouzdana, ali neprovjerena predviđanja.

7. Verifikacija u stvarnom svijetu: šta provjeriti prije djelovanja

Posljednji korak pretvara prognozu u djela. Za svaki zaključak s velikim utjecajem, odlučite kako ga jeftino testirati u stvarnosti.

• Pitajte nekoliko stvarnih ljudi iz kritične grupe, na primjer u kratkim intervjuima.
• Pokrenite malu anketu o jednom pitanju koje je simulacija označila kao odlučujuće.
• Pokažite revidiranu formulaciju kolegi koji nije bio uključen.
• Postavite signale za praćenje za dan lansiranja: koje fraze ili grupe bi vam rekle da se simulirani scenario odvija.

Razrađen primjer: pregled prognoze spajanja škola

Općina planira spojiti dvije osnovne škole. Prva simulacija predviđa umjerenu negativnu reakciju koja će nestati u roku od dvije sedmice.

• Uokviravanje: pitanje postavljeno o "stanovnicima" općenito. Tim ga sužava na roditelje, nastavnike i lokalne medije tokom 20 rundi.
• Dokumenti: jedini inputi bili su odluka vijeća i saopštenje za javnost. Tim dodaje sažetak plana prevoza za djecu.
• Praznine u grafikonu: nedostajali su sindikat nastavnika i vijeće roditelja manje škole. Dodan je kratki dokument koji ih opisuje.
• Repriza: nova prognoza je oštrija. Vijeće roditelja manje škole postaje prvi pojačivač, a glavni argument je duži, manje siguran put do škole, a ne samo spajanje.
• Osjetljivost: s objavljenim planom školskog autobusa negativni val se primjetno smanjuje u tri od tri reprize; bez njega val opstaje.
• Pouzdanost: visoka za mehanizam (sigurnost putanje), srednja za veličinu reakcije.
• Verifikacija: tim održava dva razgovora sa stvarnim roditeljima, koji potvrđuju zabrinutost u vezi s rutom. Plan autobusa se objavljuje zajedno s odlukom.

Prvi izvještaj nije bio pogrešan, samo nepotpun. Pregledom je postao nešto na osnovu čega vijeće može djelovati. Za ovakva poređenja odluka, pogledajte scenario podrške odlučivanju .

Korištenje kontrolne liste u praksi

Kontrolna lista treba biti dovoljno kratka da se može koristiti svaki put. Tipičan pregled traje kraće od sastanka na kojem se predstavlja prognoza i štiti vas od najčešće greške: povjerenja u tečan izvještaj izgrađen na tankom materijalu. Možete pripremiti i ponovo pokrenuti scenarije u InfoDome konzoli ; plan iznosi 29 eura mjesečno s mjesečnim budžetom za korištenje umjetne inteligencije od 9 eura i neograničenim brojem projekata.