Како прегледати прогнозу: Контролна листа за резултате симулације

Да бисте прегледали прогнозу симулације, проверите седам ствари редом: да ли је питање добро формулисано, да ли су документи потпуни и тачни, да ли је графикон знања пропустио важне актере, које претпоставке воде до закључка, да ли резултат преживљава поновне провере осетљивости, колико можете бити искрено сигурни и шта се мора проверити у стварном свету пре него што делујете. Прогноза која прође ове провере је хипотеза коју можете преиспитати и бранити; она која их не прође је само прича.

Зашто је свака прогноза потребна ревизија

Извештај о симулацији се чита убедљиво. Има наратив, цитате агената и јасне закључке. Управо та течност је разлог зашто му је потребна рецензија: добро написан извештај заснован на празнинама у улазним подацима може изгледати једнако солидно као и онај заснован на добром материјалу.

У InfoDome прогноза долази из ланца корака. Отпремате документе и описујете шта треба предвидети; сервис гради граф знања о људима, организацијама, групама и односима; креира стотине агената са сопственим карактером, позицијом и памћењем; они интерагују током одабраног броја рунди на фиду сличном Twitter и форуму сличном Reddit ; затим аналитички агент пише извештај. Свака карика у том ланцу може се проверити, а преглед испод следи након тога.

Контролна листа, корак по корак

1. Уоквиривање: да ли је постављено право питање?

Почните са самим питањем, јер нејасно питање производи нејасан одговор.

• Да ли је исход конкретан? „Како ће људи реаговати?“ је слабо питање. „Хоће ли се локалне родитељске групе противити спајању школа у првом месецу и који аргумент ће користити?“ је јако питање.
• Да ли је временски хоризонт јасан? Број рунди (на пример 10, 20 или 40) треба да одговара периоду који вас занима, као што су први дани након објаве или дуже дебате.
• Да ли је публика дефинисана? Ако се реакција разликује у зависности од земље, проверите да ли су изабране исправне земље публике. Можете изабрати до 10, а агенти су подједнако подељени међу њима.
• Да ли је питање неутрално? Подсетник који већ садржи очекивани одговор тежи да га потврди.

2. Квалитет документа: шта је симулација заправо знала?

Агенти знају само оно што им документи и графикон дају. Читајте своје уносе као што би то учинио скептик.

• Да ли су чињенице актуелне? Застарела цена, датум или име ће се ширити кроз целу серију.
• Да ли је материјал једностран? Ако сви документи долазе из ваше организације, критичари могу бити недовољно заступљени или карикирани.
• Да ли су присутни кључни детаљи? Најчешћи скривени узрок чудног резултата је детаљ који документи једноставно никада не помињу.
• Да ли постоји бука? Дуги додаци или неповезан садржај могу одвући агенте ка споредним темама.

3. Празнине у графикону: ко недостаје?

Погледајте ентитете и релације које је систем извукао. Питајте ко би реално проговорио у овој ситуацији и проверите да ли они постоје на графикону.

• Регулатори, синдикати, локални медији, конкуренти, утицајни појединци, опозиционе групе.
• Односи који су важни: ко кога финансира, ко се такмичи, ко има историју сукоба.
• Групе које су погођене, али се ретко помињу у званичним документима, као што су радници у ноћној смени или корисници у руралним подручјима.

Ако недостаје важан актер, додајте документ који га описује и поново покрените поступак. Овај један корак често мења резултат више од било чега другог.

4. Претпоставке: шта покреће закључак?

Сваки извештај почива на неколико кључних претпоставки. Пронађите их експлицитно.

• Питајте аналитичара извештаја: „Које три претпоставке највише утичу на ваш закључак?“
• Интервјуишите два или три агента са супротним ставовима и питајте их зашто су реаговали онако како јесу. Ако се њихови разлози заснивају на чињеници која није истинита, пронашли сте слабу карику.
• Одвојите механизме (на пример, „забуна око подобности се шири кроз форуме родитеља“) од величина (на пример, „већина агената је постала негативна“). Механизми су обично поузданији од величина.

5. Поновљена испитивања осетљивости: да ли је резултат тачан?

Закључак који се мења када се промени један детаљ је крхак. Тестирајте га.

• Поново покрените без промена да бисте видели колико варијација долази из саме симулације.
• Мењајте једну променљиву у исто време : формулацију кључне реченице, време, цену, присуство једног критичара.
• Промените број рунди да бисте видели да ли је реакција кратак скок или трајна промена.
• Упоредите извештаје један поред другог. Оно што остаје исто кроз циклусе је ваш робусни налаз; оно што се мења је неизвесност.

Наш сценарио „шта ако“ анализе је дизајниран управо за ову врсту поређења.

6. Самопоуздање: колико заиста можете бити сигурни?

Запишите ниво поузданости за сваки закључак, а не за извештај у целини.

• Високо: налаз се појављује у свакој репризи, има јасан механизам и не зависи од спорне чињенице.
• Средње: појављује се у већини серија, али му јачина варира или зависи од једне претпоставке коју нисте могли да проверите.
• Ниско: појављује се једном или се ослања на недостајући документ или неизвесну чињеницу.

Симулације су хипотезе које се могу преиспитати и подржавају процену, а не сигурност. Изјава „средње поверење, зависи од тога како синдикати тумаче клаузулу 4“ је кориснија за доносиоца одлуке него поуздано, али непроверено предвиђање.

7. Верификација у стварном свету: шта проверити пре деловања

Последњи корак претвара прогнозу у акције. За сваки закључак са великим утицајем, одлучите како га јефтино тестирати у стварности.

• Питајте неколико стварних људи из критичне групе, на пример у кратким интервјуима.
• Покрените малу анкету о једном питању које је симулација означила као одлучујуће.
• Покажите ревидирану формулацију колеги који није био укључен.
• Поставите сигнале за праћење за дан лансирања: које фразе или групе би вам рекле да се симулирани сценарио одвија.

Пример рада: преглед прогнозе спајања школа

Општина планира да споји две основне школе. Прва симулација предвиђа умерено негативну реакцију која ће нестати у року од две недеље.

• Уоквиривање: питање постављено о „становницима“ уопште. Тим га сужава на родитеље, наставнике и локалне медије током 20 кругова.
• Документи: једини улазни подаци били су одлука већа и саопштење за штампу. Тим додаје резиме плана превоза деце.
• Празнине у графикону: недостајали су синдикат наставника и родитељски савет мање школе. Додат је кратак документ који их описује.
• Реприза: нова прогноза је оштрија. Савет родитеља мање школе постаје први појачавач, а главни аргумент је дужи, мање безбедан пут до школе, а не само спајање.
• Осетљивост: са објављеним планом школског аутобуса негативни талас се приметно смањује у три од три репризе; без њега талас опстаје.
• Поузданост: висока за механизам (безбедност путање), средња за величину реакције.
• Верификација: тим води два разговора са стварним родитељима, који потврђују забринутост у вези са рутом. План аутобуса се објављује заједно са одлуком.

Први извештај није био погрешан, само непотпун. Прегледом је претворен у нешто на шта је веће могло да реагује. За поређења одлука попут овог, погледајте сценарио подршке одлучивању .

Коришћење контролне листе у пракси

Контролна листа треба да буде довољно кратка да бисте је могли користити сваки пут. Типичан преглед траје мање времена него састанак на којем се представља прогноза и штити вас од најчешће грешке: поверења у течан извештај заснован на танком материјалу. Можете припремити и поново покренути сценарије у InfoDome конзоли ; план је 29 евра месечно са месечним буџетом за коришћење вештачке интелигенције од 9 евра и неограниченим пројектима.