Jak przeglądać prognozę: lista kontrolna wyników symulacji

Aby przeanalizować prognozę symulacji, sprawdź kolejno siedem rzeczy: czy pytanie zostało dobrze sformułowane, czy dokumenty były kompletne i dokładne, czy graf wiedzy pominął ważnych aktorów, które założenia doprowadziły do wniosku, czy wynik jest odporny na powtórne analizy wrażliwości, na ile możesz być pewny siebie oraz co należy zweryfikować w świecie rzeczywistym przed podjęciem działań. Prognoza, która przejdzie te testy, to hipoteza, którą można zweryfikować i obronić; ta, która ich nie przejdzie, to tylko historia.

Dlaczego każda prognoza wymaga przeglądu

Raport symulacyjny czyta się przekonująco. Zawiera narrację, cytaty agentów i jasne wnioski. Właśnie ta płynność jest powodem, dla którego raport wymaga przeglądu: dobrze napisany raport oparty na lukach w danych wejściowych może wydawać się równie solidny, jak ten oparty na dobrym materiale.

W InfoDome prognoza powstaje w wyniku szeregu kroków. Przesyłasz dokumenty i opisujesz, co należy przewidzieć; usługa buduje graf wiedzy o ludziach, organizacjach, grupach i relacjach; tworzy setki agentów z własnym charakterem, stanowiskiem i pamięcią; wchodzą oni w interakcje przez określoną liczbę rund na kanale podobnym do Twitter i forum podobnym Reddit ; następnie agent analityk sporządza raport. Każde ogniwo w tym łańcuchu można sprawdzić, a poniższa recenzja jest jego kontynuacją.

Lista kontrolna krok po kroku

1. Sformułowanie: czy zadano właściwe pytanie?

Zacznij od samego pytania, ponieważ niejasne pytanie rodzi niejasną odpowiedź.

• Czy wynik jest konkretny? Pytanie „Jak zareagują ludzie?” jest słabe. Pytanie „Czy lokalne grupy rodziców sprzeciwią się fuzji szkół w pierwszym miesiącu i jakiego argumentu użyją?” jest mocne.
• Czy horyzont czasowy jest jasny? Liczba rund (na przykład 10, 20 lub 40) powinna odpowiadać okresowi, który Cię interesuje, na przykład pierwszym dniom po ogłoszeniu lub dłuższej debacie.
• Czy grupa docelowa jest zdefiniowana? Jeśli reakcja różni się w zależności od kraju, sprawdź, czy wybrano właściwe kraje docelowe. Możesz wybrać maksymalnie 10, a agenci zostaną podzieleni między nie po równo.
• Czy pytanie jest neutralne? Monit, który zawiera już oczekiwaną odpowiedź, zazwyczaj ją potwierdza.

2. Jakość dokumentu: co tak naprawdę wiedziała symulacja?

Agenci wiedzą tylko to, co dają im dokumenty i wykresy. Czytaj swoje dane wejściowe jak sceptyk.

• Czy fakty są aktualne? Nieaktualna cena, data lub nazwa będą się powtarzać przez cały czas.
• Czy materiał jest jednostronny? Jeśli wszystkie dokumenty pochodzą z Twojej organizacji, krytycy mogą być niedoreprezentowani lub karykaturalni.
• Czy kluczowe szczegóły są obecne? Najczęstszą ukrytą przyczyną dziwnego wyniku jest szczegół, o którym dokumenty po prostu nie wspominają.
• Czy jest jakiś szum? Długie dodatki lub niepowiązane treści mogą przyciągać agentów do tematów pobocznych.

3. Luki w wykresie: kogo brakuje?

Przyjrzyj się encjiom i relacjom wyodrębnionym przez system. Zapytaj, kto realistycznie zabrałby głos w tej sytuacji i sprawdź, czy te osoby znajdują się na grafie.

• Organy regulacyjne, związki zawodowe, lokalne media, konkurenci, wpływowe osoby, grupy opozycyjne.
• Ważne są relacje: kto kogo finansuje, kto konkuruje, kto ma historię konfliktów.
• Grupy, na które to zjawisko ma wpływ, ale rzadko wymieniane w oficjalnych dokumentach, np. pracownicy zmian nocnych lub użytkownicy wiejscy.

Jeśli brakuje ważnego aktora, dodaj dokument, który go opisuje i powtórz. Ten pojedynczy krok często zmienia wynik bardziej niż cokolwiek innego.

4. Założenia: co stanowi podstawę wniosku?

Każdy raport opiera się na kilku założeniach dotyczących nośności. Znajdź je wyraźnie.

• Zapytaj analityka raportu: „Które trzy założenia mają największy wpływ na twoje wnioski?”
• Przeprowadź wywiady z dwoma lub trzema agentami o przeciwstawnych stanowiskach i zapytaj, dlaczego zareagowali w taki sposób. Jeśli ich argumenty opierają się na fakcie, który nie jest prawdziwy, znalazłeś słabe ogniwo.
• Oddziel mechanizmy (na przykład „zamieszanie wokół kwalifikowalności rozprzestrzenia się na forach rodzicielskich”) od wielkości (na przykład „większość agentów stała się negatywna”). Mechanizmy są zazwyczaj bardziej wiarygodne niż wielkości.

5. Powtórki badania wrażliwości: czy wynik się utrzymuje?

Wniosek, który zmienia się wraz ze zmianą jednego szczegółu, jest kruchy. Przetestuj go.

• Uruchom ponownie bez zmian , aby zobaczyć, jak duże zmiany wynikają z samej symulacji.
• Zmieniaj jedną zmienną na raz : brzmienie zdania kluczowego, moment, cenę, obecność jednego krytyka.
• Zmień liczbę rund , aby sprawdzić, czy reakcja będzie krótkotrwałym skokiem czy trwałą zmianą.
• Porównaj raporty obok siebie. To, co pozostaje niezmienne w kolejnych edycjach, to Twoje solidne ustalenia; zmienia się natomiast niepewność.

Nasz scenariusz analizy „co by było, gdyby” został zaprojektowany właśnie do tego rodzaju porównań.

6. Pewność siebie: jak bardzo możesz być tego pewien?

Zapisz poziom pewności dla każdego wniosku, a nie dla całego raportu.

• Wysoki: odkrycie pojawia się przy każdym powtórzeniu, ma jasny mechanizm i nie zależy od kwestionowanego faktu.
• Średni: pojawia się w większości przebiegów, ale jego siła jest zmienna lub zależy od jakiegoś założenia, którego nie można sprawdzić.
• Niski: pojawia się raz lub opiera się na brakującym dokumencie lub niepewnym fakcie.

Symulacje to weryfikowalne hipotezy, które wspierają osąd, a nie pewność. Stwierdzenie „średnie przekonanie, zależy od tego, jak związki zawodowe interpretują klauzulę 4” jest bardziej przydatne dla decydenta niż pewna, ale niesprawdzona prognoza.

7. Weryfikacja w warunkach rzeczywistych: co sprawdzić przed podjęciem działania

Ostatni krok to przekształcenie prognozy w działania. Dla każdego wniosku o dużym znaczeniu, zdecyduj, jak tanio przetestować go w rzeczywistości.

• Zapytaj kilka prawdziwych osób z grupy krytycznej, np. w krótkich wywiadach.
• Przeprowadź małą ankietę dotyczącą tego jednego pytania, które symulacja oznaczyła jako rozstrzygające.
• Pokaż zmienione brzmienie tekstu koledze, który nie był zaangażowany w sprawę.
• Ustaw sygnały monitorujące na dzień premiery: jakie frazy lub grupy będą sygnalizować, że symulowany scenariusz się rozwija.

Przykład praktyczny: przeglądanie prognozy połączenia szkół

Gmina planuje połączenie dwóch szkół podstawowych. Pierwsza symulacja przewiduje umiarkowaną negatywną reakcję, która ustąpi w ciągu dwóch tygodni.

• Ujęcie: pytanie dotyczyło „mieszkańców” w ogólności. Zespół zawęża zakres do rodziców, nauczycieli i lokalnych mediów w 20 rundach.
• Dokumenty: jedynymi danymi wejściowymi były decyzja rady i komunikat prasowy. Zespół dodał podsumowanie planu transportu dla dzieci.
• Luki w wykresie: brakowało związku nauczycieli i rady rodziców w mniejszej szkole. Dodano krótki dokument opisujący je.
• Powtórka: nowa prognoza jest ostrzejsza. Rada rodziców mniejszej szkoły staje się pierwszym wzmacniaczem, a głównym argumentem jest dłuższa i mniej bezpieczna droga do szkoły, a nie samo połączenie.
• Czułość: w przypadku opublikowanego planu autobusu szkolnego fala negatywna zauważalnie się kurczy w trzech na trzy powtórki; bez niego fala utrzymuje się.
• Pewność: wysoka jeśli chodzi o mechanizm (bezpieczeństwo drogi), średnia jeśli chodzi o wielkość reakcji.
• Weryfikacja: zespół przeprowadza dwie rozmowy z prawdziwymi rodzicami, którzy potwierdzają obawy dotyczące trasy. Plan autobusowy jest publikowany wraz z decyzją.

Pierwszy raport nie był błędny, tylko niekompletny. Analiza przekształciła go w coś, na co rada mogła zareagować. Aby porównać takie decyzje, zobacz scenariusz wsparcia decyzji .

Wykorzystanie listy kontrolnej w praktyce

Lista kontrolna powinna być na tyle krótka, aby można było z niej korzystać za każdym razem. Typowy przegląd zajmuje mniej czasu niż spotkanie, na którym prezentowana jest prognoza, i chroni przed najczęstszym błędem: zaufaniem do płynnego raportu zbudowanego na podstawie mało szczegółowego materiału. Możesz przygotowywać i ponownie uruchamiać scenariusze w konsoli InfoDome ; plan kosztuje 29 euro miesięcznie, z miesięcznym budżetem na wykorzystanie sztucznej inteligencji w wysokości 9 euro i nieograniczoną liczbą projektów.