Lai pārskatītu simulācijas prognozi, pārbaudiet septiņas lietas secībā: vai jautājums bija labi formulēts, vai dokumenti bija pilnīgi un precīzi, vai zināšanu grafikā nebija iekļauti svarīgi dalībnieki, kādi pieņēmumi ir secinājuma pamatā, vai rezultāts iztur jutīguma atkārtotu pārbaudi, cik pārliecināts jūs patiesībā varat būt un kas ir jāpārbauda reālajā pasaulē, pirms rīkojaties. Prognoze, kas iztur šīs pārbaudes, ir pārskatāma hipotēze, ko varat aizstāvēt; tāda, kas tās neiztur, ir tikai stāsts.
Kāpēc katra prognoze ir jāpārskata
Simulācijas ziņojums ir pārliecinoši lasāms. Tam ir stāstījums, aģentu citāti un skaidri secinājumi. Tieši šī plūdums ir iemesls, kāpēc tam ir nepieciešama pārskatīšana: labi uzrakstīts ziņojums, kas balstīts uz ievades datu nepilnībām, var izskatīties tikpat pamatots kā ziņojums, kas balstīts uz labu materiālu.
InfoDome platformā prognoze rodas no virknes soļu. Jūs augšupielādējat dokumentus un aprakstāt, ko prognozēt; pakalpojums izveido cilvēku, organizāciju, grupu un attiecību zināšanu grafu; tas izveido simtiem aģentu ar savu raksturu, pozīciju un atmiņu; viņi mijiedarbojas izvēlētu kārtu skaitu Twitter līdzīgā plūsmā un Reddit līdzīgā forumā; pēc tam analītiķis aģents raksta ziņojumu. Katru posmu šajā ķēdē var pārbaudīt, un tam seko tālāk sniegtā pārskatīšana.
Kontrolsaraksts, soli pa solim
1. Jautājuma formulējums: vai tika uzdots pareizais jautājums?
Sāciet ar pašu jautājumu, jo neskaidrs jautājums rada neskaidru atbildi.
- Vai rezultāts ir konkrēts? "Kā cilvēki reaģēs?" ir vājš jautājums. "Vai vietējās vecāku grupas pirmajā mēnesī iebildīs pret skolu apvienošanu, un kādu argumentu tās izmantos?" ir spēcīgs jautājums.
- Vai laika horizonts ir skaidrs? Kārtu skaitam (piemēram, 10, 20 vai 40) jāatbilst periodam, kas jūs interesē, piemēram, pirmajām dienām pēc paziņojuma vai ilgākām debatēm.
- Vai auditorija ir definēta? Ja reakcija dažādās valstīs atšķiras, pārbaudiet, vai ir izvēlētas pareizās auditorijas valstis. Varat atlasīt līdz 10 valstīm, un aģenti starp tām tiek sadalīti vienādi.
- Vai jautājums ir neitrāls? Uzvedne, kurā jau ir ietverta paredzētā atbilde, to parasti apstiprina.
2. Dokumenta kvalitāte: ko simulācija patiesībā zināja?
Aģenti zina tikai to, ko viņiem sniedz dokumenti un grafiks. Izlasiet jūsu ievades datus kā skeptiķis.
- Vai fakti ir aktuāli? Novecojusi cena, datums vai nosaukums izplatīsies visā pārdošanas periodā.
- Vai materiāls ir vienpusējs? Ja visi dokumenti ir no jūsu organizācijas, kritiķi var būt nepietiekami pārstāvēti vai kariķēti.
- Vai ir atrodamas galvenās detaļas? Visbiežākais dīvainā rezultāta slēptais iemesls ir detaļa, kas dokumentos vienkārši nekad nav pieminēta.
- Vai ir troksnis? Gari pielikumi vai nesaistīts saturs var pamudināt aģentus pievērsties blakus tēmām.
3. Grafiku nepilnības: kas trūkst?
Apskatiet sistēmas iegūtās entītijas un relācijas. Pajautājiet, kurš reāli izteiktos šajā situācijā, un pārbaudiet, vai tie pastāv grafikā.
- Regulatori, arodbiedrības, vietējie plašsaziņas līdzekļi, konkurenti, ietekmīgas personas, opozīcijas grupas.
- Attiecības, kurām ir nozīme: kas kuru finansē, kas konkurē, kam ir konfliktu vēsture.
- Grupas, kuras tiek skartas, bet oficiālos dokumentos reti pieminētas, piemēram, nakts maiņu darbinieki vai lauku lietotāji.
Ja trūkst kāda svarīga dalībnieka, pievienojiet dokumentu, kas to apraksta, un atkārtojiet procesu. Šis vienīgais solis bieži vien maina rezultātu vairāk nekā jebkas cits.
4. Pieņēmumi: kas nosaka secinājumu?
Katrs ziņojums balstās uz dažiem būtiskiem pieņēmumiem. Atrodiet tos skaidri.
- Pajautājiet ziņojuma analītiķim: "Kuri trīs pieņēmumi visvairāk ietekmē jūsu secinājumu?"
- Intervējiet divus vai trīs aģentus ar pretējiem viedokļiem un pajautājiet, kāpēc viņi reaģēja tā, kā reaģēja. Ja viņu iemesli balstās uz faktu, kas nav patiess, esat atradis vājo posmu.
- Atdaliet mehānismus (piemēram, "neskaidrības par atbilstību izplatās vecāku forumos") no apjomiem (piemēram, "lielākā daļa aģentu kļuva negatīvi"). Mehānismi parasti ir uzticamāki nekā apjomi.
5. Jūtīguma atkārtota testēšana: vai rezultāts ir atbilstošs?
Secinājums, kas mainās, mainoties vienai detaļai, ir trausls. Pārbaudiet to.
- Atkārtoti palaidiet nemainītu , lai redzētu, cik liela variācija rodas no pašas simulācijas.
- Mainiet vienu mainīgo vienlaikus : galvenā teikuma formulējumu, laiku, cenu, viena kritiķa klātbūtni.
- Mainiet raundu skaitu , lai redzētu, vai reakcija ir īslaicīgs pieaugums vai ilgstoša maiņa.
- Salīdziniet ziņojumus blakus. Tas, kas paliek nemainīgs visās izmēģinājuma versijās, ir jūsu stabilais atklājums; izmaiņas ir nenoteiktība.
Mūsu " kas būtu, ja" analīzes scenārijs ir izstrādāts tieši šāda veida salīdzinājumam.
6. Pārliecība: cik pārliecināts jūs patiesībā varat būt?
Pierakstiet ticamības līmeni katram secinājumam, nevis visam ziņojumam kopumā.
- Augsts: atradums parādās katrā atkārtojumā, tam ir skaidrs mehānisms un tas nav atkarīgs no apstrīdama fakta.
- Vidējs: tas parādās lielākajā daļā sēriju, bet tā stiprums mainās vai arī tas ir atkarīgs no viena pieņēmuma, ko nevarējāt pārbaudīt.
- Zems: tas parādās vienreiz vai balstās uz trūkstošu dokumentu vai neskaidru faktu.
Simulācijas ir pārskatāmas hipotēzes, kas pamato spriedumus, nevis pārliecību. Apgalvojums "vidēja pārliecība, atkarīgs no tā, kā arodbiedrības interpretē 4. punktu" lēmumu pieņēmējam ir noderīgāks nekā pārliecināta, bet nepārbaudīta prognoze.
7. Pārbaude reālajā pasaulē: kas jāpārbauda pirms rīcības
Pēdējais solis pārvērš prognozi darbībās. Katram ietekmīgajam secinājumam izlemiet, kā to lēti pārbaudīt realitātē.
- Pajautājiet dažiem reāliem cilvēkiem no kritiskās grupas, piemēram, īsās intervijās.
- Veiciet nelielu aptauju par vienu jautājumu, ko simulācija atzīmēja kā izšķirošu.
- Parādiet pārskatīto formulējumu kolēģim, kurš nebija iesaistīts.
- Iestatiet uzraudzības signālus palaišanas dienai: kuras frāzes vai grupas norādītu, ka simulētais scenārijs risinās.
Praktisks piemērs: skolu apvienošanās prognozes pārskatīšana
Pašvaldība plāno apvienot divas pamatskolas. Pirmā simulācija paredz mērenu negatīvu reakciju, kas izzudīs divu nedēļu laikā.
- Kadrējums: jautājums tika uzdots par "iedzīvotājiem" kopumā. Komanda 20 kārtās sašaurina to līdz vecākiem, skolotājiem un vietējiem plašsaziņas līdzekļiem.
- Dokumenti: vienīgie ievades materiāli bija domes lēmums un preses relīze. Komanda pievieno bērnu transporta plāna kopsavilkumu.
- Grafika nepilnības: trūka skolotāju arodbiedrības un mazākās skolas vecāku padomes. Pievienots īss dokuments ar to aprakstu.
- Atkārtojums: jaunā prognoze ir asāka. Mazākās skolas vecāku padome kļūst par pirmo pastiprinātāju, un galvenais arguments ir garāks, mazāk drošais ceļš uz skolu, nevis pati apvienošanās.
- Jūtīgums: ar publicētu skolas autobusa raidījuma plānu negatīvais vilnis ievērojami sarūk trijos no trim atkārtojumiem; bez tā vilnis saglabājas.
- Pārliecība: augsta mehānismam (maršruta drošība), vidēja reakcijas apjomam.
- Verifikācija: komanda veic divas sarunas ar īstiem vecākiem, kuri apstiprina maršruta problēmu. Autobusu kustības grafiks tiek publicēts kopā ar lēmumu.
Pirmais ziņojums nebija nepareizs, tikai nepilnīgs. Pārskats to pārvērta par kaut ko tādu, uz ko dome varēja reaģēt. Šāda veida lēmumu salīdzinājumus skatiet lēmumu atbalsta scenārijā.
Kontrolsaraksta izmantošana praksē
Kontrolsarakstam jābūt pietiekami īsam, lai to varētu izmantot katru reizi. Tipiska pārskatīšana aizņem mazāk laika nekā sanāksme, kurā tiek prezentēta prognoze, un tā pasargā jūs no visizplatītākās kļūdas: uzticēšanās plūstošam ziņojumam, kas balstīts uz vāju materiālu. Scenārijus varat sagatavot un atkārtoti palaist InfoDome konsolē ; plāns ir 29 eiro mēnesī ar 9 eiro mēneša mākslīgā intelekta lietošanas budžetu un neierobežotu projektu skaitu.
Bieži uzdotie jautājumi
Cik atkārtojumu ir pietiekami?
Vairumam lēmumu pietiek ar vienu nemainītu atkārtotu testēšanu plus divām vai trim testēšanas reizēm ar vienu mainītu mainīgo, lai atdalītu stabilus atklājumus no trokšņa. Pievienojiet vairāk testēšanas reižu tikai svarīgu secinājumu gadījumā.
Kāds ir visbiežākais iemesls, kāpēc prognoze ir nepareiza?
Trūkstoša informācija ievaddatos: grafikā nav redzams kāds dalībnieks vai dokumentos nekad nav minēts svarīgs fakts. Grafika pārbaude, lai atrastu trūkstošas grupas, parasti atmaksājas vairāk nekā jebkurš cits solis.
Vai es varu uzticēties simulācijas ziņojumā norādītajiem procentiem?
Uztveriet tos kā virziena un relatīvā spēka rādītājus, nevis kā statistiski reprezentatīvus skaitļus. Ja precīza daļa ir svarīga, izmēriet to ar reālu aptauju.
Vai man vajadzētu lūgt analītiķim kritizēt savu ziņojumu?
Jā. Viens no ātrākajiem veidiem, kā atrast prognozes vājās vietas, ir jautāt, kuri pieņēmumi ir vissvarīgākie vai kas mainītu secinājumu.