Як переглянути прогноз: контрольний список результатів моделювання

Щоб переглянути прогноз симуляції, перевірте сім речей по порядку: чи було правильно сформульовано питання, чи були документи повними та точними, чи граф знань не врахував важливих дійових осіб, які припущення зумовлюють висновок, чи витримує результат повторні перевірки чутливості, наскільки ви можете бути впевнені в ньому та що потрібно перевірити в реальному світі, перш ніж діяти. Прогноз, який проходить ці перевірки, є гіпотезою, яку можна перевірити, і яку можна захистити; той, який їх не проходить, — це просто історія.

Чому кожен прогноз потребує перегляду

Звіт про симуляцію читається переконливо. Він містить наратив, цитати агентів та чіткі висновки. Саме ця плавність і є причиною, чому він потребує перегляду: добре написаний звіт, побудований на прогалині у вхідних даних, може виглядати так само солідним, як і той, що побудований на хорошому матеріалі.

В InfoDome прогноз складається з ланцюжка кроків. Ви завантажуєте документи та описуєте, що передбачати; сервіс будує граф знань про людей, організації, групи та відносини; він створює сотні агентів з їхнім власним характером, посадою та пам'яттю; вони взаємодіють протягом вибраної кількості раундів у стрічці, подібній до Twitter , та на форумі, подібному до Reddit ; потім агент-аналітик пише звіт. Кожну ланку в цьому ланцюжку можна перевірити, а нижче наведено огляд.

Контрольний список, крок за кроком

1. Фреймінг: чи було поставлено правильне питання?

Почніть із самого питання, бо розпливчасте питання породжує розпливчасту відповідь.

• Чи є результат конкретним? «Як відреагують люди?» – слабке запитання. «Чи будуть місцеві батьківські групи виступати проти об’єднання шкіл у перший місяць, і який аргумент вони використовуватимуть?» – сильне запитання.
• Чи чітко визначений часовий горизонт? Кількість раундів (наприклад, 10, 20 або 40) має відповідати періоду, який вас цікавить, наприклад, першим дням після оголошення або тривалішим дебатам.
• Чи визначена аудиторія? Якщо реакція відрізняється залежно від країни, перевірте, чи вибрано правильні країни аудиторії. Ви можете вибрати до 10, і агенти розподіляються між ними порівну.
• Чи є питання нейтральним? Підказка, яка вже містить очікувану відповідь, як правило, підтверджує її.

2. Якість документа: що насправді знало моделювання?

Агенти знають лише те, що їм надають документи та графіки. Читайте свої дані як скептик.

• Чи актуальні факти? Застаріла ціна, дата чи назва поширюватимуться протягом усього циклу.
• Чи матеріал однобокий? Якщо всі документи надходять від вашої власної організації, критики можуть бути недостатньо представлені або карикатурно висловлені.
• Чи присутні ключові деталі? Найпоширенішою прихованою причиною дивного результату є деталь, про яку документи просто ніколи не згадують.
• Чи є шум? Довгі додатки або непов'язаний контент можуть відволікати агентів на другорядні теми.

3. Прогалини в графіку: кого не вистачає?

Розгляньте сутності та відношення, які витягла система. Запитайте, хто б реально висловився в цій ситуації, і перевірте, чи вони присутні на графіку.

• Регулятори, профспілки, місцеві ЗМІ, конкуренти, впливові особи, опозиційні групи.
• Відносини, які мають значення: хто кого фінансує, хто конкурує, хто має історію конфліктів.
• Групи, на які це впливає, але які рідко згадуються в офіційних документах, такі як працівники нічної зміни або користувачі сільської місцевості.

Якщо важливий учасник відсутній, додайте документ, який його описує, та повторіть спробу. Цей єдиний крок часто змінює результат більше, ніж будь-що інше.

4. Припущення: що зумовлює висновок?

Кожен звіт базується на кількох важливих припущеннях. Знайдіть їх чітко.

• Запитайте аналітика звіту: «Які три припущення найбільше впливають на ваш висновок?»
• Опитайте двох-трьох агентів з протилежними позиціями та запитайте, чому вони відреагували саме так. Якщо їхні причини ґрунтуються на факті, який не відповідає дійсності, ви знайшли слабку ланку.
• Розділіть механізми (наприклад, «плутанина щодо права на участь поширюється через батьківські форуми») від величин (наприклад, «більшість агентів стали негативними»). Механізми зазвичай надійніші, ніж розміри.

5. Повторні вимірювання чутливості: чи результат актуальний?

Висновок, який змінюється, коли змінюється одна деталь, є крихким. Перевірте його.

• Запустіть без змін, щоб побачити, наскільки велика варіація походить від самої симуляції.
• Змінюйте по одній змінній за раз : формулювання ключового речення, час, ціну, присутність одного критика.
• Змінюйте кількість раундів , щоб побачити, чи є реакція коротким сплеском чи тривалим зрушенням.
• Порівняйте звіти поруч. Що залишається незмінним у всіх циклах, так це ваш надійний висновок; що змінюється, так це невизначеність.

Наш сценарій аналізу «що, якщо» розроблений саме для такого порівняння.

6. Впевненість: наскільки ви можете бути впевнені?

Запишіть рівень достовірності для кожного висновку, а не для звіту в цілому.

• Високий: висновок з'являється в кожному повторі, має чіткий механізм і не залежить від спірного факту.
• Середній: з'являється в більшості прогонів, але його сила варіюється або залежить від одного припущення, яке ви не змогли перевірити.
• Низький: з'являється один раз, або спирається на відсутній документ чи невизначений факт.

Моделювання – це гіпотези, які можна переглянути та підтверджують судження, а не впевненість. Фраза «середня впевненість залежить від того, як профспілки тлумачать пункт 4» корисніша для особи, яка приймає рішення, ніж впевнений, але неперевірений прогноз.

7. Перевірка в реальних умовах: що перевірити перед початком дій

Останній крок перетворює прогноз на дії. Для кожного висновку з високим рівнем впливу вирішіть, як дешево перевірити його на практиці.

• Запитайте кількох реальних людей з критичної групи, наприклад, у коротких інтерв'ю.
• Проведіть невелике опитування щодо одного питання, яке симуляція позначила як вирішальне.
• Покажіть перероблене формулювання колезі, який не брав участі.
• Встановіть сигнали моніторингу для дня запуску: які фрази або групи підкажуть вам, що розгортається змодельований сценарій.

Практичний приклад: перегляд прогнозу злиття шкіл

Муніципалітет планує об'єднати дві початкові школи. Перше моделювання прогнозує помірну негативну реакцію, яка зникне протягом двох тижнів.

• Фреймінг: питання, яке ставиться про «мешканців» загалом. Команда звужує його до батьків, вчителів та місцевих ЗМІ протягом 20 раундів.
• Документи: єдиними вхідними даними були рішення ради та прес-реліз. Команда додає короткий виклад плану транспортування дітей.
• Прогалини в графіку: відсутні профспілка вчителів та батьківська рада меншої школи. Додано короткий документ з їх описом.
• Повторення: новий прогноз чіткіший. Батьківська рада меншої школи стає першим підсилювачем, і головним аргументом є довший і менш безпечний шлях до школи, а не саме об'єднання.
• Чутливість: з опублікованим планом руху шкільних автобусів негативна хвиля помітно зменшується у трьох із трьох повторів; без нього хвиля зберігається.
• Впевненість: висока для механізму (безпека маршруту), середня для розміру реакції.
• Перевірка: команда проводить дві розмови зі справжніми батьками, які підтверджують проблему з маршрутом. План руху автобуса публікується разом із рішенням.

Перший звіт не був помилковим, просто неповним. Огляд перетворив його на те, на що рада могла б діяти. Для порівняння рішень, подібних до цього, дивіться сценарій підтримки прийняття рішень .

Використання контрольного списку на практиці

Зробіть контрольний список достатньо коротким, щоб використовувати його щоразу. Типовий огляд займає менше часу, ніж зустріч, на якій презентується прогноз, і це захищає вас від найпоширенішої помилки: довіри до чіткого звіту, побудованого на нечіткому матеріалі. Ви можете готувати та повторно запускати сценарії в консолі InfoDome ; тарифний план коштує 29 євро на місяць з щомісячним бюджетом на використання штучного інтелекту в розмірі 9 євро та необмеженою кількістю проектів.