Како да се прегледа прогноза: Контролна листа за резултати од симулација

За да прегледате симулациска прогноза, проверете седум работи по редослед: дали прашањето е добро формулирано, дали документите се комплетни и точни, дали графиконот на знаење пропуштил важни актери, кои претпоставки го водат заклучокот, дали резултатот ги преживува повторувањата на чувствителноста, колку искрено можете да бидете сигурни и што мора да се потврди во реалниот свет пред да дејствувате. Прогнозата што ги поминува овие проверки е хипотеза што може да се прегледа и можете да ја браните; онаа што не ги исполнува е само приказна.

Зошто секоја прогноза треба да се прегледа

Извештајот за симулација се чита убедливо. Има наратив, цитати од агенти и јасни заклучоци. Токму таа течност е причината зошто му е потребен преглед: добро напишан извештај изграден врз празнина во влезните податоци може да изгледа исто толку солиден како и оној изграден врз добар материјал.

Во InfoDome прогнозата доаѓа од низа чекори. Вие прикачувате документи и опишувате што да предвидите; услугата гради графикон на знаење за луѓе, организации, групи и односи; создава стотици агенти со свој карактер, позиција и меморија; тие комуницираат во текот на одреден број рунди на фид сличен на Twitter и форум сличен Reddit ; потоа агент-аналитичар го пишува извештајот. Секоја алка во тој синџир може да се провери, а прегледот подолу следи по неа.

Контролна листа, чекор по чекор

1. Врамување: дали беше поставено вистинското прашање?

Започнете со самото прашање, бидејќи нејасно прашање произведува нејасен одговор.

• Дали исходот е специфичен? Прашањето „Како ќе реагираат луѓето?“ е слабо. Прашањето „Дали локалните групи родители ќе се спротивстават на спојувањето на училиштата во првиот месец и кој аргумент ќе го користат?“ е силно.
• Дали временскиот хоризонт е јасен? Бројот на рунди (на пример 10, 20 или 40) треба да се совпаѓа со периодот што ве интересира, како што се првите денови по објава или подолга дебата.
• Дали е дефинирана публиката? Ако реакцијата се разликува во зависност од земјата, проверете дали се избрани вистинските земји за публиката. Можете да изберете до 10, а агентите се поделени меѓу нив подеднакво.
• Дали прашањето е неутрално? Прашањето кое веќе го содржи очекуваниот одговор има тенденција да го потврди.

2. Квалитет на документот: што всушност знаеше симулацијата?

Агентите знаат само што им даваат документите и графиконот. Читајте ги вашите информации како што би направил еден скептик.

• Дали фактите се актуелни? Застарена цена, датум или име ќе се шири низ целата серија.
• Дали материјалот е едностран? Ако сите документи доаѓаат од вашата организација, критичарите може да бидат недоволно застапени или карикатурирани.
• Дали се присутни клучни детали? Најчестата скриена причина за чуден резултат е детаљ што документите едноставно никогаш не го споменуваат.
• Дали има бучава? Долгите додатоци или неповрзаната содржина можат да ги привлечат агентите кон споредни теми.

3. Празнини во графиконот: кој недостасува?

Погледнете ги ентитетите и релациите што ги извлече системот. Прашајте кој реално би проговорил во оваа ситуација и проверете дали тие постојат во графиконот.

• Регулатори, синдикати, локални медиуми, конкуренти, влијателни поединци, опозициски групи.
• Односи што се важни: кој кого финансира, кој се натпреварува, кој има историја на конфликти.
• Групи кои се засегнати, но ретко се споменуваат во официјалните документи, како што се работниците во ноќна смена или руралните корисници.

Доколку недостасува важен актер, додадете документ што го опишува и извршете го повторно. Овој еден чекор често го менува резултатот повеќе од сè друго.

4. Претпоставки: што го води заклучокот?

Секој извештај се потпира на неколку претпоставки за носивост. Пронајдете ги експлицитно.

• Прашајте го аналитичарот на извештајот: „Кои три претпоставки најмногу влијаат на вашиот заклучок?“
• Интервјуирајте двајца или тројца агенти со спротивставени ставови и прашајте ги зошто реагирале на тој начин. Ако нивните причини се потпираат на факт што не е вистинит, сте пронашле слаба алка.
• Одделни механизми (на пример, „конфузијата околу подобноста се шири низ форумите на родителите“) од магнитудите (на пример, „повеќето агенти станаа негативни“). Механизмите обично се посигурни од големините.

5. Повторувања на чувствителноста: дали резултатот е валиден?

Заклучокот што се менува кога еден детаљ се менува е кревок. Тестирај го.

• Повторно стартувајте непроменето за да видите колку варијации доаѓаат од самата симулација.
• Менувајте една по една променлива : формулацијата на клучната реченица, времето, цената, присуството на еден критичар.
• Менувајте го бројот на рунди за да видите дали реакцијата е краток скок или трајно поместување.
• Споредете ги извештаите еден до друг. Она што останува исто низ сите циклуси е вашиот робустен наод; она што се менува е неизвесноста.

Нашето сценарио за анализа „што ако“ е дизајнирано токму за ваков вид споредба.

6. Самодоверба: колку искрено можете да бидете сигурни?

Запишете ниво на доверба за секој заклучок, а не за извештајот како целина.

• Високо: наодот се појавува во секое повторување, има јасен механизам и не зависи од спорен факт.
• Средно: се појавува во повеќето трчања, но неговата јачина варира или зависи од една претпоставка што не можете да ја проверите.
• Ниско: се појавува еднаш или се потпира на недостасувачки документ или на несигурен факт.

Симулациите се хипотези што можат да се прегледаат и кои ја поддржуваат проценката, а не сигурноста. Да се каже „средна доверба зависи од тоа како синдикатите ја толкуваат клаузулата 4“ е покорисно за лицето кое донесува одлуки отколку сигурно, но неиспитано предвидување.

7. Верификација во реалниот свет: што да проверите пред да дејствувате

Последниот чекор ја претвора прогнозата во акции. За секој заклучок со големо влијание, одлучете како ефтино да го тестирате во реалноста.

• Прашајте неколку вистински луѓе од критичната група, на пример на кратки интервјуа.
• Спроведете мала анкета за единственото прашање што симулацијата го означи како одлучувачко.
• Покажете ја ревидираната формулација на колега кој не бил вклучен.
• Поставете сигнали за следење за денот на лансирање: кои фрази или групи би ви кажале дека симулираното сценарио се одвива.

Еден работен пример: преглед на прогнозата за спојување на училишта

Една општина планира да спои две основни училишта. Првата симулација предвидува умерена негативна реакција која исчезнува во рок од две недели.

• Формулирање: прашањето поставено за „жителите“ воопшто. Тимот го стеснува на родители, наставници и локални медиуми во текот на 20 рунди.
• Документи: единствените влезни податоци беа одлуката на советот и соопштението за медиумите. Тимот додава резиме на планот за транспорт за деца.
• Празнини во графиконот: недостасуваа синдикатот на наставници и советот на родители на помалото училиште. Додаден е краток документ во кој се опишани.
• Повторување: новата прогноза е поостра. Советот на родители на помалото училиште станува првиот засилувач, а главниот аргумент е подолгиот, помалку безбеден пат до училиштето, а не самото спојување.
• Чувствителност: со објавен план за училишен автобус, негативниот бран значително се намалува во три од три повторувања; без него, бранот опстојува.
• Доверба: висока за механизмот (безбедност на патот), средна за големината на реакцијата.
• Верификација: тимот води два разговора со вистински родители, кои ја потврдуваат загриженоста за маршрутата. Планот на автобусот се објавува заедно со одлуката.

Првиот извештај не беше погрешен, туку само нецелосен. Прегледот го претвори во нешто врз основа на кое советот можеше да дејствува. За споредби на одлуки како оваа, видете го сценариото за поддршка на одлуките .

Користење на контролната листа во пракса

Листата за проверка држете ја доволно кратка за да ја користите секој пат. Типичниот преглед трае помалку време од состанокот каде што се презентира прогнозата и ве штити од најчестата грешка: доверба во течен извештај изграден на слаб материјал. Можете да подготвувате и повторно да извршувате сценарија во конзолата InfoDome ; планот е 29 евра месечно со 9 евра месечен буџет за користење на вештачка интелигенција и неограничени проекти.