Kaip peržiūrėti prognozę: modeliavimo rezultatų kontrolinis sąrašas

Norėdami peržiūrėti modeliavimo prognozę, patikrinkite septynis dalykus iš eilės: ar klausimas buvo gerai suformuluotas, ar dokumentai buvo išsamūs ir tikslūs, ar žinių grafe praleido svarbius veikėjus, kokios prielaidos lemia išvadą, ar rezultatas atlaiko pakartotinius jautrumo patikrinimus, kiek iš tikrųjų galite būti tikri dėl savo rezultato ir ką reikia patikrinti realiame pasaulyje prieš imantis veiksmų. Prognozė, kuri praeina šiuos patikrinimus, yra peržiūrima hipotezė, kurią galite apginti; ta, kuri jų neatitiks, tėra istorija.

Kodėl kiekvieną prognozę reikia peržiūrėti

Simuliacijos ataskaita yra įtikinamai skaitoma. Joje pateikiamas pasakojimas, agentų citatos ir aiškios išvados. Būtent dėl šio sklandumo jai reikalinga peržiūra: gerai parašyta ataskaita, paremta įvesties spragomis, gali atrodyti taip pat tvirta, kaip ir parengta remiantis gera medžiaga.

InfoDome sistemoje prognozė sudaroma iš tam tikrų žingsnių grandinės. Įkeliate dokumentus ir aprašote, ką prognozuoti; paslauga sukuria žmonių, organizacijų, grupių ir santykių žinių grafiką; ji sukuria šimtus agentų su savo charakteriu, pozicija ir atmintimi; jie sąveikauja pasirinktą skaičių raundų Twitter tipo sklaidos kanale ir Reddit tipo forume; tada analitikas agentas parašo ataskaitą. Kiekviena šios grandinės grandis gali būti patikrinta, o po jos pateikiama apžvalga.

Kontrolinis sąrašas, žingsnis po žingsnio

1. Įrėminimas: ar buvo užduotas tinkamas klausimas?

Pradėkite nuo paties klausimo, nes neaiškus klausimas sukuria neaiškų atsakymą.

• Ar rezultatas konkretus? „Kaip žmonės reaguos?“ yra silpnas klausimas. „Ar vietos tėvų grupės priešinsis mokyklų sujungimui pirmąjį mėnesį ir kokį argumentą jos pateiks?“ yra stiprus klausimas.
• Ar aiškus laiko horizontas? Raundų skaičius (pavyzdžiui, 10, 20 arba 40) turėtų atitikti jums rūpimą laikotarpį, pavyzdžiui, pirmąsias dienas po pranešimo arba ilgesnius debatus.
• Ar auditorija apibrėžta? Jei reakcija skiriasi priklausomai nuo šalies, patikrinkite, ar pasirinktos tinkamos auditorijos šalys. Galite pasirinkti iki 10, o agentai tarp jų bus paskirstyti po lygiai.
• Ar klausimas neutralus? Užduota eilutė, kurioje jau yra laukiamas atsakymas, paprastai jį patvirtina.

2. Dokumento kokybė: ką iš tikrųjų žinojo simuliacija?

Agentai žino tik tai, ką jiems rodo dokumentai ir grafikas. Jūsų įvestus duomenis skaitykite kaip skeptikas.

• Ar faktai yra aktualūs? Pasenusi kaina, data ar pavadinimas išplis per visą laikotarpį.
• Ar medžiaga yra vienpusė? Jei visi dokumentai yra iš jūsų organizacijos, kritikai gali būti nepakankamai atstovaujami arba sukarikatūrinti.
• Ar yra svarbių detalių? Dažniausia paslėpta keisto rezultato priežastis yra detalė, apie kurią dokumentuose tiesiog neužsimenama.
• Ar yra triukšmo? Ilgi priedai arba nesusijęs turinys gali patraukti agentus prie šalutinių temų.

3. Grafikų spragos: ko trūksta?

Pažvelkite į sistemos išskirtus esybes ir ryšius. Paklauskite, kas realiai pasisakytų šioje situacijoje, ir patikrinkite, ar jie egzistuoja grafe.

• Reguliavimo institucijos, profesinės sąjungos, vietos žiniasklaida, konkurentai, įtakingi asmenys, opozicinės grupės.
• Svarbūs santykiai: kas ką finansuoja, kas konkuruoja, kas turi konfliktų istoriją.
• Grupės, kurios yra paveiktos, bet retai minimos oficialiuose dokumentuose, pavyzdžiui, naktinės pamainos darbuotojai ar kaimo gyventojai.

Jei trūksta svarbaus veikėjo, pridėkite dokumentą, kuriame jį aprašoma, ir pakartokite procesą. Šis vienas žingsnis dažnai pakeičia rezultatą labiau nei bet kas kita.

4. Prielaidos: kas lemia išvadą?

Kiekviena ataskaita remiasi keliomis svarbiomis prielaidomis. Aiškiai jas raskite.

• Paklauskite ataskaitos analitiko: „Kurios trys prielaidos labiausiai veikia jūsų išvadą?“
• Apklauskite du ar tris priešingas pozicijas užimančius agentus ir paklauskite, kodėl jie reagavo taip, kaip reagavo. Jei jų priežastys remiasi netiesa, radote silpną grandį.
• Atskirkite mechanizmus (pavyzdžiui, „painiava dėl tinkamumo plinta tėvų forumuose“) nuo dydžių (pavyzdžiui, „dauguma agentų tapo neigiami“). Mechanizmai paprastai yra patikimesni nei dydžiai.

5. Jautrumo pakartojimai: ar rezultatas išlieka?

Išvada, kuri apsiverčia aukštyn kojomis pasikeitus vienai detalei, yra trapi. Patikrinkite ją.

• Pakartokite nepakeistą, kad pamatytumėte, kiek variacijos atsiranda dėl pačios simuliacijos.
• Keiskite po vieną kintamąjį : pagrindinio sakinio formuluotę, laiką, kainą, vieno kritiko buvimą.
• Keiskite raundų skaičių , kad pamatytumėte, ar reakcija yra trumpalaikis šuolis, ar ilgalaikis pokytis.
• Palyginkite ataskaitas greta. Tai, kas išlieka tas pats visuose bandymuose, yra jūsų patikimas rezultatas; kas keičiasi, yra neapibrėžtumas.

Mūsų „kas būtų, jeigu“ analizės scenarijus yra sukurtas būtent tokio tipo palyginimui.

6. Pasitikėjimas: kiek iš tikrųjų galite būti tikri?

Užrašykite kiekvienos išvados, o ne visos ataskaitos, patikimumo lygį.

• Aukštas: išvada pateikiama kiekviename pakartojime, turi aiškų mechanizmą ir nepriklauso nuo ginčijamo fakto.
• Vidutinis: pasirodo daugumoje bandymų, tačiau jo stiprumas kinta arba priklauso nuo vienos prielaidos, kurios negalėjote patikrinti.
• Žemas: pasirodo vieną kartą arba remiasi trūkstamu dokumentu ar neaiškiu faktu.

Modeliavimas yra peržiūrimos hipotezės, kurios patvirtina vertinimą, o ne tikrumą. Teiginys „vidutinis pasitikėjimas priklauso nuo to, kaip profesinės sąjungos interpretuoja 4 straipsnį“ sprendimus priimančiam asmeniui yra naudingesnis nei patikima, bet nepatikrinta prognozė.

7. Tikrinimas realiomis sąlygomis: ką reikia patikrinti prieš imantis veiksmų

Paskutinis žingsnis paverčia prognozę veiksmais. Kiekvienai didelės įtakos išvadai nuspręskite, kaip ją pigiai patikrinti realybėje.

• Paklauskite kelių realių žmonių iš kritinės grupės, pavyzdžiui, trumpų interviu metu.
• Atlikite nedidelę apklausą vienu klausimu, kurį simuliacija pažymėjo kaip lemiamą.
• Parodykite pataisytą formuluotę kolegai, kuris su tuo nesusidūrė.
• Nustatykite stebėjimo signalus paleidimo dienai: kurios frazės ar grupės parodytų, kad modeliuojamas scenarijus vyksta.

Praktinis pavyzdys: mokyklų sujungimo prognozės peržiūra

Savivaldybė planuoja sujungti dvi pradines mokyklas. Pirmoji simuliacija prognozuoja vidutinę neigiamą reakciją, kuri išnyks per dvi savaites.

• Įrėminimas: klausimas užduodamas apie „gyventojus“ apskritai. Komanda per 20 raundų susiaurina apimtį iki tėvų, mokytojų ir vietos žiniasklaidos.
• Dokumentai: vieninteliai įvesti duomenys buvo tarybos sprendimas ir pranešimas spaudai. Komanda pridėjo vaikų transporto plano santrauką.
• Grafiko spragos: trūko mažesnės mokyklos mokytojų sąjungos ir tėvų tarybos. Pridedamas trumpas jų aprašymas.
• Pakartojimas: nauja prognozė yra aštresnė. Mažesnės mokyklos tėvų taryba tampa pirmuoju stiprintuvu, o pagrindinis argumentas yra ilgesnis, mažiau saugus kelias į mokyklą, o ne pats susijungimas.
• Jautrumas: paskelbus mokyklinio autobuso planą, neigiama banga pastebimai susitraukia trijuose iš trijų pakartojimų; be jo banga išlieka.
• Pasitikėjimas: didelis mechanizmo (maršruto saugumas) atveju, vidutinis reakcijos masto atveju.
• Patvirtinimas: komanda du kartus pasikalba su tikrais tėvais, kurie patvirtina maršruto problemą. Autobusų tvarkaraštis skelbiamas kartu su sprendimu.

Pirmoji ataskaita nebuvo klaidinga, tiesiog nepilna. Peržiūros metu taryba galėjo imtis veiksmų. Norėdami palyginti tokius sprendimus, žr. sprendimų priėmimo scenarijų.

Kontrolinio sąrašo naudojimas praktikoje

Kontrolinis sąrašas turi būti pakankamai trumpas, kad jį būtų galima naudoti kiekvieną kartą. Įprasta peržiūra trunka trumpiau nei susitikimas, kurio metu pristatoma prognozė, ir tai apsaugo jus nuo dažniausios klaidos: pasitikėjimo sklandžia ataskaita, paremta plona medžiaga. Scenarijus galite ruošti ir pakartotinai vykdyti InfoDome konsolėje ; planas kainuoja 29 € per mėnesį, o mėnesinis dirbtinio intelekto naudojimo biudžetas – 9 €, o projektų skaičius neribotas.