Как да прегледате прогноза: Контролен списък за резултатите от симулацията

За да прегледате симулационна прогноза, проверете седем неща по ред: дали въпросът е добре формулиран, дали документите са пълни и точни, дали графът на знанието е пропуснал важни участници, кои допускания водят до заключението, дали резултатът оцелява при повторни проверки за чувствителност, колко уверени можете да бъдете и какво трябва да се провери в реалния свят, преди да действате. Прогноза, която преминава тези проверки, е преразглеждаема хипотеза, която можете да защитите; такава, която не ги преминава, е просто история.

Защо всяка прогноза се нуждае от преглед

Докладът от симулацията се чете убедително. Той има разказ, цитати от агенти и ясни заключения. Именно тази плавност е причината, поради която се нуждае от преглед: добре написан доклад, изграден върху пропуски във входните данни, може да изглежда толкова солиден, колкото и такъв, изграден върху добър материал.

В InfoDome прогнозата се получава от верига от стъпки. Качвате документи и описвате какво да се предскаже; услугата изгражда граф на знания за хора, организации, групи и взаимоотношения; създава стотици агенти със собствен характер, позиция и памет; те взаимодействат за избран брой рундове в канал, подобен на Twitter , и форум, подобен Reddit ; след това агент-аналитик пише доклада. Всяко звено във веригата може да бъде проверено и прегледът по-долу е последван от него.

Контролен списък, стъпка по стъпка

1. Рамкиране: зададен ли беше правилният въпрос?

Започнете със самия въпрос, защото един неясен въпрос води до неясен отговор.

• Конкретен ли е резултатът? „Как ще реагират хората?“ е слаб въпрос. „Ще се противопоставят ли местните родителски групи на сливането на училищата през първия месец и какъв аргумент ще използват?“ е силен въпрос.
• Ясен ли е времевият хоризонт? Броят на рундовете (например 10, 20 или 40) трябва да съответства на периода, който ви интересува, като например първите дни след обявяване или по-дълъг дебат.
• Дефинирана ли е аудиторията? Ако реакцията се различава в различните държави, проверете дали са избрани правилните държави за аудиторията. Можете да изберете до 10, а агентите са разпределени поравно между тях.
• Въпросът неутрален ли е? Подкана, която вече съдържа очаквания отговор, обикновено го потвърждава.

2. Качество на документа: какво всъщност знаеше симулацията?

Агентите знаят само това, което им дават документите и графиката. Четете въведените данни като скептик.

• Актуални ли са фактите? Остаряла цена, дата или име ще се разпространят през целия период.
• Материалът едностранчив ли е? Ако всички документи идват от вашата собствена организация, критиците може да са недостатъчно представени или окарикатурени.
• Налице ли са ключови детайли? Най-честата скрита причина за странен резултат е детайл, който документите просто никога не споменават.
• Има ли шум? Дългите приложения или несвързаното съдържание могат да привлекат вниманието на агентите към странични теми.

3. Пропуски в графиките: кой липсва?

Разгледайте обектите и отношенията, които системата е извлякла. Попитайте кой би се изказал реално в тази ситуация и проверете дали те съществуват в графиката.

• Регулатори, синдикати, местни медии, конкуренти, влиятелни личности, опозиционни групи.
• Взаимоотношения, които имат значение: кой кого финансира, кой се конкурира, кой има история на конфликти.
• Групи, които са засегнати, но рядко се споменават в официални документи, като например работници на нощна смяна или потребители в селските райони.

Ако липсва важен участник, добавете документ, който го описва, и изпълнете отново. Тази единична стъпка често променя резултата повече от всичко друго.

4. Предположения: какво определя заключението?

Всеки доклад се основава на няколко основни допускания. Намерете ги изрично.

• Попитайте анализатора на доклада: „Кои три предположения най-много влияят на вашето заключение?“
• Интервюирайте двама или трима агенти с противоположни позиции и ги попитайте защо са реагирали по този начин. Ако причините им се основават на факт, който не е верен, значи сте открили слабо звено.
• Разделете механизмите (например „объркването относно допустимостта се разпространява чрез родителските форуми“) от величините (например „повечето агенти станаха отрицателни“). Механизмите обикновено са по-надеждни от размерите.

5. Повторни тестове за чувствителност: валиден ли е резултатът?

Заключение, което се променя, когато се промени дори един детайл, е крехко. Тествайте го.

• Изпълнете отново без промяна, за да видите колко вариации идват от самата симулация.
• Променяйте по една променлива наведнъж : формулировката на ключовото изречение, времето, цената, присъствието на един критик.
• Променяйте броя на циклите , за да видите дали реакцията е кратък пик или трайна промяна.
• Сравнете отчетите един до друг. Това, което остава същото във всички серии, е вашата стабилна констатация; това, което се променя, е несигурността.

Нашият сценарий за анализ „какво би станало, ако“ е предназначен точно за този вид сравнение.

6. Увереност: колко сигурни можете да бъдете наистина?

Запишете ниво на доверие за всяко заключение, а не за доклада като цяло.

• Високо: констатацията се появява във всяко повторение, има ясен механизъм и не зависи от оспорван факт.
• Среден: появява се в повечето серии, но силата му варира или зависи от едно предположение, което не сте могли да проверите.
• Ниско: появява се веднъж или се основава на липсващ документ или несигурен факт.

Симулациите са преразглеждаеми хипотези, които подкрепят преценката, а не сигурността. Твърдението „средна увереност, зависи от това как синдикатите тълкуват клауза 4“ е по-полезно за вземащия решения, отколкото уверена, но непроверена прогноза.

7. Проверка в реалния свят: какво да проверите преди да действате

Последната стъпка превръща прогнозата в действия. За всяко заключение с голямо въздействие решете как да го тествате евтино в реалността.

• Попитайте няколко реални хора от критичната група, например в кратки интервюта.
• Направете малка анкета по единствения въпрос, който симулацията е определила като решаващ.
• Покажете преработения текст на колега, който не е участвал.
• Задайте сигнали за наблюдение за деня на стартиране: кои фрази или групи биха ви казали, че симулираният сценарий се развива.

Разработен пример: преглед на прогноза за сливане на училища

Община планира да слее две начални училища. Първата симулация прогнозира умерена негативна реакция, която отшумява в рамките на две седмици.

• Оформяне: въпросът, зададен за „жители“ като цяло. Екипът го стеснява до родители, учители и местни медии в рамките на 20 кръга.
• Документи: единствените входящи данни бяха решението на съвета и прессъобщението. Екипът добавя обобщение на транспортния план за деца.
• Пропуски в графиката: липсваха учителският синдикат и родителският съвет на по-малкото училище. Добавен е кратък документ, който ги описва.
• Повторение: новата прогноза е по-остра. Родителският съвет на по-малкото училище се превръща в първия усилвател, а основният аргумент е по-дългият и по-небезопасен път до училище, а не самото сливане.
• Чувствителност: с публикуван план за движение на училищните автобуси отрицателната вълна се свива осезаемо в три от три повторения; без него вълната продължава да съществува.
• Достоверност: висока за механизма (безопасност на маршрута), средна за размера на реакцията.
• Проверка: екипът провежда два разговора с реални родители, които потвърждават проблема с маршрута. Планът на автобуса се публикува заедно с решението.

Първият доклад не беше грешен, просто непълен. Прегледът го превърна в нещо, по което съветът може да действа. За сравнения на решения като това вижте сценария за подкрепа на вземането на решения .

Използване на контролния списък на практика

Поддържайте контролния списък достатъчно кратък, за да го използвате всеки път. Типичният преглед отнема по-малко време от срещата, на която се представя прогнозата, и ви предпазва от най-често срещаната грешка: доверяването на плавен отчет, изграден върху оскъден материал. Можете да подготвяте и изпълнявате сценарии отново в конзолата InfoDome ; планът е 29 евро на месец с месечен бюджет за използване на изкуствен интелект от 9 евро и неограничени проекти.