Як прааналізаваць прагноз: кантрольны спіс вынікаў мадэлявання

Каб прааналізаваць прагноз, атрыманы на аснове мадэлявання, праверце сем рэчаў па парадку: ці правільна было сфармулявана пытанне, ці былі дакументы поўнымі і дакладнымі, ці не ўлічыў граф ведаў важных удзельнікаў, якія здагадкі ляжаць у аснове высновы, ці вытрымлівае вынік паўторныя праверкі адчувальнасці, наколькі вы можаце быць упэўнены ў ім і што трэба праверыць у рэальным свеце, перш чым дзейнічаць. Прагноз, які праходзіць гэтыя праверкі, — гэта гіпотэза, якую можна абараніць; той, які іх не праходзіць, — гэта проста гісторыя.

Чаму кожны прагноз патрабуе перагляду

Справаздача аб мадэляванні чытаецца пераканаўча. У ёй ёсць апавяданне, цытаты агентаў і выразныя высновы. Менавіта гэтая плаўнасць і патрабуе перагляду: добра напісаная справаздача, пабудаваная на прабелах ва ўваходных дадзеных, можа выглядаць гэтак жа грунтоўнай, як і тая, што пабудавана на добрым матэрыяле.

У InfoDome прагноз складаецца з ланцужка крокаў. Вы загружаеце дакументы і апісваеце, што прагназаваць; сэрвіс будуе граф ведаў пра людзей, арганізацыі, групы і адносіны; ён стварае сотні агентаў з іх уласным характарам, пазіцыяй і памяццю; яны ўзаемадзейнічаюць на працягу абранай колькасці раўндаў у стужцы, падобнай да Twitter , і на форуме, падобным да Reddit ; затым агент-аналітык піша справаздачу. Кожнае звяно ў гэтым ланцужку можна праверыць, і за ім ідзе агляд ніжэй.

Кантрольны спіс, крок за крокам

1. Фрэймінг: ці было правільна зададзена пытанне?

Пачніце з самога пытання, бо расплывістае пытанне спараджае расплывісты адказ.

• Ці канкрэтны вынік? «Як адрэагуюць людзі?» — слабае пытанне. «Ці будуць мясцовыя бацькоўскія групы выступаць супраць аб'яднання школ у першы месяц, і які аргумент яны выкарыстаюць?» — моцнае пытанне.
• Ці зразумелыя часавыя рамкі? Колькасць раўндаў (напрыклад, 10, 20 або 40) павінна адпавядаць перыяду, які вас цікавіць, напрыклад, першым дням пасля аб'явы або больш працяглых дэбатаў.
• Ці вызначана аўдыторыя? Калі рэакцыя адрозніваецца ў залежнасці ад краіны, праверце, ці былі выбраны правільныя краіны аўдыторыі. Вы можаце выбраць да 10, і агенты будуць размеркаваны паміж імі пароўну.
• Ці з'яўляецца пытанне нейтральным? Падказка, якая ўжо змяшчае чаканы адказ, як правіла, пацвярджае яго.

2. Якасць дакумента: што насамрэч ведала мадэляванне?

Агенты ведаюць толькі тое, што ім паказваюць дакументы і графікі. Чытайце свае ўводы як скептык.

• Ці актуальныя факты? Састарэлая цана, дата або назва будуць распаўсюджвацца на працягу ўсяго цыкла.
• Ці з'яўляецца матэрыял аднабаковым? Калі ўсе дакументы паходзяць з вашай арганізацыі, крытыкі могуць быць недастаткова прадстаўлены або выказаць іх карыкатурна.
• Ці прысутнічаюць ключавыя дэталі? Найбольш распаўсюджанай схаванай прычынай дзіўнага выніку з'яўляецца дэталь, якая проста ніколі не згадваецца ў дакументах.
• Ці ёсць шум? Доўгія дадаткі або незвязаны кантэнт могуць адцягнуць агентаў да другарадных тэм.

3. Прабелы ў графіку: каго не хапае?

Паглядзіце на сутнасці і адносіны, якія вылучыла сістэма. Спытайце, хто б рэалістычна выказаўся ў гэтай сітуацыі, і праверце, ці прысутнічаюць яны на графе.

• Рэгулятары, прафсаюзы, мясцовыя СМІ, канкурэнты, уплывовыя асобы, апазіцыйныя групы.
• Адносіны, якія маюць значэнне: хто каго фінансуе, хто канкуруе, у каго ёсць гісторыя канфліктаў.
• Групы, якія закранаюцца, але рэдка згадваюцца ў афіцыйных дакументах, такія як работнікі начной змены або сельскія жыхары.

Калі адсутнічае важны ўдзельнік, дадайце дакумент, які яго апісвае, і паўтарыце працэс. Гэты адзіны крок часта змяняе вынік больш, чым што-небудзь іншае.

4. Дапушчэнні: што ляжыць у аснове высновы?

Кожная справаздача грунтуецца на некалькіх асноўных здагадках. Знайдзіце іх у відавочным выглядзе.

• Спытайце аналітыка справаздачы: «Якія тры здагадкі найбольш уплываюць на вашу выснову?»
• Апытайце двух-трох агентаў з процілеглымі пазіцыямі і спытайце, чаму яны адрэагавалі менавіта так. Калі іх прычыны грунтуюцца на факце, які не адпавядае рэчаіснасці, вы знайшлі слабое звяно.
• Аддзяліце механізмы (напрыклад, «блытаніна адносна права на ўдзел распаўсюджваецца праз бацькоўскія форумы») ад велічынь (напрыклад, «большасць агентаў сталі адмоўнымі»). Механізмы звычайна больш надзейныя, чым памеры.

5. Паўторныя праверкі адчувальнасці: ці вынік актуальны?

Выснова, якая мяняецца пры змене адной дэталі, вельмі далікатная. Праверце яе.

• Запусціце без зменаў , каб убачыць, наколькі вялікая варыяцыя вынікае з самой сімуляцыі.
• Змяняйце па адной зменнай за раз : фармулёўку ключавога сказа, час, цану, прысутнасць аднаго крытыка.
• Змяняйце колькасць раўндаў , каб убачыць, ці з'яўляецца рэакцыя кароткім пікам ці працяглым зрухам.
• Параўнайце справаздачы побач. Тое, што застаецца нязменным падчас прагонаў, — гэта вашы ўстойлівыя вынікі; тое, што змяняецца, — гэта нявызначанасць.

Наш сцэнар аналізу «што, калі» распрацаваны менавіта для такога параўнання.

6. Упэўненасць: наколькі вы можаце быць сапраўды ўпэўненыя?

Запішыце ўзровень даверу для кожнай высновы, а не для справаздачы ў цэлым.

• Высокі: вынік з'яўляецца ў кожным паўторы, мае зразумелы механізм і не залежыць ад спрэчнага факта.
• Сярэдні: з'яўляецца ў большасці прабегаў, але яго сіла змяняецца або залежыць ад аднаго здагадкі, якую вы не змаглі праверыць.
• Нізкі: з'яўляецца адзін раз, альбо абапіраецца на адсутны дакумент ці нявызначаны факт.

Мадэляванне — гэта гіпотэзы, якія можна перагледзець і якія падмацоўваюць меркаванне, а не ўпэўненасць. Фраза «сярэдняя ўпэўненасць залежыць ад таго, як прафсаюзы інтэрпрэтуюць пункт 4» больш карысная для асобы, якая прымае рашэнні, чым упэўнены, але неправераны прагноз.

7. Праверка ў рэальных умовах: што праверыць перад тым, як дзейнічаць

Апошні крок ператварае прагноз у дзеянні. Для кожнай высновы з вялікім уплывам вырашыце, як танна праверыць яе ў рэальнасці.

• Спытайце ў некалькіх рэальных людзей з крытычнай групы, напрыклад, у кароткіх інтэрв'ю.
• Правядзіце невялікае апытанне па адным пытанні, якое мадэляванне пазначыла як вырашальнае.
• Пакажыце перагледжаную фармулёўку калегу, які не ўдзельнічаў.
• Усталюйце сігналы маніторынгу для дня запуску: якія фразы або групы падкажуць вам, што мадэляваны сцэнар разгортваецца.

Працоўны прыклад: разгляд прагнозу аб'яднання школ

Муніцыпалітэт плануе аб'яднаць дзве пачатковыя школы. Першае мадэляванне прагназуе ўмераную негатыўную рэакцыю, якая знікне на працягу двух тыдняў.

• Фрэймінг: пытанне, якое задаецца пра «жыхароў» у цэлым. Каманда звужае яго да бацькоў, настаўнікаў і мясцовых СМІ на працягу 20 раўндаў.
• Дакументы: адзінымі матэрыяламі былі рашэнне савета і прэс-рэліз. Каманда дадае кароткі змест плана транспарту для дзяцей.
• Прабелы ў графіку: адсутнічалі прафсаюз настаўнікаў і бацькоўскі савет меншай школы. Дададзены кароткі дакумент з іх апісаннем.
• Паўтор: новы прагноз больш рэзкі. Бацькоўскі савет меншай школы становіцца першым узмацняльнікам, і галоўным аргументам з'яўляецца больш доўгі і менш бяспечны шлях да школы, а не само аб'яднанне.
• Адчувальнасць: пры апублікаваным плане школьнага аўтобуса негатыўная хваля прыкметна памяншаецца ў трох з трох паўтораў; без яго хваля захоўваецца.
• Упэўненасць: высокая для механізму (бяспека маршруту), сярэдняя для памеру рэакцыі.
• Праверка: каманда праводзіць дзве размовы з рэальнымі бацькамі, якія пацвярджаюць праблему з маршрутам. Разам з рашэннем публікуецца графік руху аўтобуса.

Першая справаздача не была памылковай, проста няпоўнай. У выніку агляду яна стала магчымым для савета. Параўнанне рашэнняў, падобных да гэтага, глядзіце ў сцэнарыі падтрымкі прыняцця рашэнняў .

Выкарыстанне кантрольнага спісу на практыцы

Трымайце кантрольны спіс дастаткова кароткім, каб выкарыстоўваць яго кожны раз. Тыповы агляд займае менш часу, чым сустрэча, на якой прадстаўляецца прагноз, і гэта абараняе вас ад найбольш распаўсюджанай памылкі: давяраць плыўнай справаздачы, пабудаванай на слабым матэрыяле. Вы можаце рыхтаваць і перазапускаць сцэнарыі ў кансолі InfoDome ; тарыфны план каштуе 29 еўра ў месяц з штомесячным бюджэтам на выкарыстанне штучнага інтэлекту ў памеры 9 еўра і неабмежаванай колькасцю праектаў.