Как проверить прогноз: чек-лист для результатов симуляции

Чтобы проверить прогноз симуляции, пройдите по семи пунктам: правильно ли поставлен вопрос, полны и точны ли документы, не упустил ли граф знаний важных участников, какие допущения определяют вывод, выдерживает ли результат повторные прогоны с изменёнными вводными, насколько честно можно быть уверенным и что нужно проверить в реальности перед решением. Прогноз, прошедший эти шаги, — обоснованная гипотеза, которую можно защитить. Не прошедший — просто красивая история.

Зачем проверять любой прогноз

Отчёт симуляции читается убедительно: в нём есть сюжет, цитаты агентов и чёткие выводы. Именно поэтому его нужно проверять. Хорошо написанный отчёт, построенный на пробеле во вводных, может выглядеть так же солидно, как отчёт на качественных материалах.

В InfoDome прогноз получается цепочкой шагов. Вы загружаете документы и описываете, что спрогнозировать; сервис строит граф знаний из людей, организаций, групп и связей; создаёт сотни агентов с собственным характером, позицией и памятью; агенты взаимодействуют выбранное число раундов в ленте наподобие Twitter и на форуме наподобие Reddit; затем агент-аналитик пишет отчёт. Каждое звено можно проверить, и чек-лист ниже идёт по этой цепочке.

Чек-лист по шагам

1. Постановка: тот ли вопрос задан?

Начните с самого вопроса: расплывчатый вопрос даёт расплывчатый ответ.

• Конкретен ли результат? «Как отреагируют люди?» — слабая формулировка. «Выступят ли родительские комитеты против объединения школ в первый месяц и каким аргументом?» — сильная.
• Понятен ли горизонт? Число раундов (например, 10, 20 или 40) должно соответствовать нужному периоду: первые дни после объявления или затяжная дискуссия.
• Определена ли аудитория? Если реакция зависит от страны, проверьте выбор стран аудитории. Их можно выбрать до 10, агенты делятся между ними поровну.
• Нейтрален ли вопрос? Формулировка, в которой уже заложен ожидаемый ответ, обычно его и подтверждает.

2. Качество документов: что на самом деле знала симуляция?

Агенты знают только то, что дали документы и граф. Прочитайте вводные глазами скептика.

• Актуальны ли факты? Устаревшая цена, дата или имя разойдутся по всему прогону.
• Не однобок ли материал? Если все документы от вашей организации, критики могут быть недопредставлены или карикатурны.
• Есть ли ключевые детали? Самая частая скрытая причина странного результата — деталь, о которой документы просто молчат.
• Нет ли шума? Длинные приложения и посторонний текст уводят агентов в боковые темы.

3. Пробелы графа: кого не хватает?

Посмотрите на извлечённые сущности и связи. Спросите себя, кто реально выскажется в такой ситуации, и проверьте, есть ли они в графе.

• Регуляторы, профсоюзы, местные СМИ, конкуренты, влиятельные персоны, оппозиционные группы.
• Важные связи: кто кого финансирует, кто с кем конкурирует, у кого история конфликтов.
• Затронутые группы, которые редко упоминаются в официальных документах, например работники ночных смен или жители сельской местности.

Если важного участника нет, добавьте документ с его описанием и перезапустите. Этот шаг часто меняет результат сильнее любого другого.

4. Допущения: на чём держится вывод?

Любой отчёт опирается на несколько несущих допущений. Найдите их явно.

• Спросите аналитика отчёта: «Какие три допущения сильнее всего влияют на ваш вывод?»
• Возьмите интервью у двух-трёх агентов с противоположными позициями и спросите, почему они так отреагировали. Если их доводы опираются на неверный факт, слабое звено найдено.
• Разделяйте механизмы («путаница с правом на льготу распространяется через родительские форумы») и масштабы («большинство агентов настроены негативно»). Механизмы обычно надёжнее размеров.

5. Анализ чувствительности: держится ли результат?

Вывод, который переворачивается от одной детали, хрупок. Проверьте его.

• Перезапустите без изменений, чтобы увидеть разброс, который даёт сама симуляция.
• Меняйте по одной переменной: формулировку ключевой фразы, сроки, цену, присутствие одного критика.
• Варьируйте число раундов, чтобы понять, разовый ли это всплеск или устойчивый сдвиг.
• Сравните отчёты рядом. Что повторяется во всех прогонах, то и есть устойчивый вывод; что меняется — зона неопределённости.

Для таких сравнений предназначен сценарий анализа «что если».

6. Уверенность: насколько можно быть уверенным?

Записывайте уровень уверенности для каждого вывода, а не для отчёта в целом.

• Высокая: вывод есть во всех прогонах, у него понятный механизм, и он не зависит от спорного факта.
• Средняя: вывод есть в большинстве прогонов, но его сила меняется или он зависит от одного непроверенного допущения.
• Низкая: вывод появился один раз или опирается на отсутствующий документ либо сомнительный факт.

Симуляция — это проверяемая гипотеза в поддержку решения, а не гарантия. Формулировка «средняя уверенность, зависит от того, как профсоюзы прочтут пункт 4» полезнее руководителю, чем уверенный, но не проверенный прогноз.

7. Проверка в реальности: что сделать до решения

Последний шаг превращает прогноз в действия. Для каждого значимого вывода решите, как недорого проверить его в жизни.

• Поговорите с несколькими реальными представителями критической группы, например в коротких интервью.
• Проведите небольшой опрос по одному вопросу, который симуляция отметила как решающий.
• Покажите новую формулировку коллеге, не участвовавшему в работе.
• Задайте сигналы мониторинга на день запуска: какие фразы или группы покажут, что события развиваются по смоделированному сценарию.

Пример: проверка прогноза по объединению школ

Муниципалитет планирует объединить две начальные школы. Первая симуляция предсказывает умеренно негативную реакцию, которая затухает за две недели.

• Постановка: вопрос касался «жителей» вообще. Команда сужает его до родителей, учителей и местных СМИ на 20 раундов.
• Документы: на входе были только решение совета и пресс-релиз. Команда добавляет описание плана подвоза детей.
• Пробелы графа: не хватало профсоюза учителей и родительского совета меньшей школы. Добавляется короткий документ о них.
• Перезапуск: новый прогноз точнее. Первым усилителем становится родительский совет меньшей школы, а главный аргумент — более длинная и менее безопасная дорога в школу, а не само объединение.
• Чувствительность: при опубликованном плане школьного автобуса негативная волна заметно меньше во всех трёх прогонах; без плана она держится.
• Уверенность: высокая для механизма (безопасность дороги), средняя для масштаба реакции.
• Проверка: команда проводит две встречи с реальными родителями, и те подтверждают опасения насчёт дороги. План автобуса публикуется вместе с решением.

Первый отчёт не был ошибочным, он был неполным. Проверка сделала его пригодным для решения. Для сравнения вариантов решений подойдёт сценарий поддержки решений.

Как применять чек-лист на практике

Держите чек-лист настолько коротким, чтобы пользоваться им каждый раз. Обычно проверка занимает меньше времени, чем совещание, на котором прогноз представляют, и защищает от главной ошибки — доверия гладкому отчёту на скудных материалах. Готовить и перезапускать сценарии можно в консоли InfoDome; тариф стоит €29 в месяц с ежемесячным бюджетом на ИИ €9 и неограниченным числом проектов.