Előrejelzés áttekintése: Ellenőrzőlista a szimulációs eredményekhez

Egy szimulációs előrejelzés áttekintéséhez hét dolgot kell ellenőrizni sorrendben: a kérdés jól volt-e megfogalmazva, a dokumentumok teljesek és pontosak voltak-e, a tudásgráfból hiányoztak-e fontos szereplők, mely feltételezések vezérlik a következtetést, az eredmény túléli-e az érzékenységi tesztek megismétlését, mennyire lehetünk őszintén biztosak benne, és mit kell a való világban ellenőrizni, mielőtt cselekszünk. Egy olyan előrejelzés, amely megfelel ezeknek az ellenőrzéseknek, egy felülvizsgálható hipotézis, amelyet meg tudunk védeni; egy, amelyik nem felel meg ezeknek, csak egy történet.

Miért van szükség minden előrejelzés felülvizsgálatára?

Egy szimulációs jelentés meggyőzően olvasható. Tartalmaz narratívát, idézeteket az ügynököktől és világos következtetéseket. Pontosan ez a gördülékeny érthetőség az oka annak, hogy át kell nézni: egy jól megírt jelentés, amely a bemeneti adatok hiányosságaira épül, ugyanolyan szilárdnak tűnhet, mint egy jó anyagra épülő.

InfoDome ban egy előrejelzés egy lépésekből álló láncolatból születik. Feltöltesz dokumentumokat és leírod, hogy mit jósolsz; a szolgáltatás tudásgráfot épít fel emberekről, szervezetekről, csoportokról és kapcsolatokról; több száz ügynököt hoz létre saját karakterrel, pozícióval és memóriával; ezek egy kiválasztott számú körben interakcióba lépnek egymással egy Twitter -szerű hírfolyamban és egy Reddit -szerű fórumon; majd egy elemző ügynök megírja a jelentést. A lánc minden egyes láncszeme ellenőrizhető, és az alábbi áttekintés ezt követi.

Ellenőrzőlista, lépésről lépésre

1. Keretezés: a megfelelő kérdést tették fel?

Kezdjük magával a kérdéssel, mert egy homályos kérdés homályos választ eredményez.

• Konkrét az eredmény? A „Hogyan fognak reagálni az emberek?” kérdés gyenge. Az „Ellenőzni fognak-e a helyi szülői csoportok az iskolaegyesítés ellen az első hónapban, és milyen érvet fognak felhasználni?” kérdés erős.
• Világos az időhorizont? A fordulók számának (például 10, 20 vagy 40) meg kell egyeznie a számodra fontos időszakkal, például egy bejelentés utáni első napokkal vagy egy hosszabb vitával.
• Meg van határozva a közönség? Ha a reakció országonként eltérő, ellenőrizd, hogy a megfelelő célközönség-országokat választottad-e ki. Legfeljebb 10 országot választhatsz ki, és az ügynökök egyenlően oszlanak meg közöttük.
• Semleges a kérdés? Egy olyan prompt, ami már tartalmazza a várt választ, általában megerősíti azt.

2. Dokumentumminőség: mit tudott valójában a szimuláció?

Az ügynökök csak azt tudják, amit a dokumentumok és a grafikon mutat nekik. Olvasd el a bemeneteidet úgy, mint egy szkeptikus.

• Aktuálisak a tények? Egy elavult ár, dátum vagy név fog terjedni a teljes futamidő alatt.
• Egyoldalú az anyag? Ha minden dokumentum a saját szervezetedtől származik, a kritikusok alulreprezentáltak vagy karikírozottak lehetnek.
• Vannak kulcsfontosságú részletek? A furcsa eredmény leggyakoribb rejtett oka egy olyan részlet, amelyet a dokumentumok egyszerűen soha nem említenek.
• Van zaj? A hosszú függelékek vagy a nem kapcsolódó tartalom melléktémák felé terelheti az ügynököket.

3. Grafikonbeli hiányosságok: ki hiányzik?

Nézd meg a rendszer által kinyert entitásokat és relációkat. Kérdezd meg, hogy ki szólalna meg reálisan ebben a helyzetben, és ellenőrizd, hogy léteznek-e a gráfban.

• Szabályozó hatóságok, szakszervezetek, helyi média, versenytársak, befolyásos személyek, ellenzéki csoportok.
• A fontos kapcsolatok: ki finanszíroz kit, ki versenyez, kinek van konfliktusos múltja.
• Az érintett, de hivatalos dokumentumokban ritkán említett csoportok, mint például az éjszakai műszakban dolgozók vagy a vidéki felhasználók.

Ha egy fontos szereplő hiányzik, adj hozzá egy dokumentumot, amely leírja őt, és futtasd újra a folyamatot. Ez az egyetlen lépés gyakran jobban megváltoztatja az eredményt, mint bármi más.

4. Feltételezések: mi vezérli a következtetést?

Minden jelentés néhány feltételezésen alapul. Keresd meg ezeket explicit módon.

• Kérdezd meg a jelentés elemzőjét: „Melyik három feltételezés befolyásolja leginkább a következtetésedet?”
• Interjúztass két vagy három, ellentétes álláspontot képviselő ügynököt, és kérdezd meg tőlük, hogy miért reagáltak úgy, ahogy. Ha az indokaik egy nem igaz tényen alapulnak, akkor gyenge láncszemet találtál.
• Válassza szét a mechanizmusokat (például „a jogosultsággal kapcsolatos zűrzavar a szülői fórumokon keresztül terjed”) a nagyságrendektől (például „a legtöbb ügynök negatív lett”). A mechanizmusok általában megbízhatóbbak, mint a méretek.

5. Érzékenységi mérések ismétlése: az eredmény tartós?

Egy olyan következtetés, ami egyetlen részlet változására is megváltozik, törékeny. Teszteld!

• Futtasd újra változatlanul, hogy lásd, mennyi variáció származik magából a szimulációból.
• Egyszerre egy változót változtass : a kulcsmondat megfogalmazását, az időzítést, az árat, egyetlen kritikus jelenlétét.
• Változtasd a körök számát , hogy lásd, a reakció rövid kiugrás vagy tartós eltolódás-e.
• Hasonlítsa össze a jelentéseket egymás mellett. Ami változatlan marad a futtatások között, az a robusztus megállapítás; ami változik, az a bizonytalanság.

A mi lenne, ha elemzési forgatókönyvünket pontosan az ilyen típusú összehasonlításra terveztük.

6. Magabiztosság: mennyire lehetsz biztos magadban őszintén?

Írj le egy megbízhatósági szintet minden egyes következtetéshez, ne a jelentés egészére vonatkozóan.

• Magas: a megállapítás minden ismétlésben megjelenik, egyértelmű mechanizmussal rendelkezik, és nem függ vitatott ténytől.
• Közepes: a legtöbb futtatásban megjelenik, de az erőssége változó, vagy egyetlen olyan feltételezésen múlik, amit nem tudsz ellenőrizni.
• Alacsony: egyszer jelenik meg, vagy hiányzó dokumentumon, illetve bizonytalan tényen alapul.

A szimulációk felülvizsgálható hipotézisek, amelyek ítéletet, nem pedig bizonyosságot alátámasztanak. A „közepes bizonyosság, attól függ, hogyan értelmezik a szakszervezetek a 4. záradékot” kijelentés hasznosabb a döntéshozó számára, mint egy magabiztos, de nem ellenőrzött előrejelzés.

7. Valós körülmények közötti ellenőrzés: mit kell ellenőrizni a cselekvés előtt

Az utolsó lépés az előrejelzést cselekvéssé alakítja. Minden nagy hatású következtetés esetében döntsd el, hogyan teszteled olcsón a valóságban.

• Kérdezz meg néhány valódi embert a kritikus csoportból, például rövid interjúk során.
• Végezz el egy kis közvélemény-kutatást az egyetlen kérdésről, amelyet a szimuláció döntőnek jelölt meg.
• Mutasd meg a módosított szöveget egy olyan kollégának, aki nem vett részt benne.
• Állítson be monitorozó jeleket az indítás napjára: mely kifejezések vagy csoportok jelzik, hogy a szimulált forgatókönyv kibontakozik.

Egy kidolgozott példa: iskolai egyesülési előrejelzés felülvizsgálata

Egy önkormányzat két általános iskola összevonását tervezi. Az első szimuláció mérsékelt negatív reakciót jósol, amely két héten belül elmúlik.

• Keretezés: a kérdés általánosságban a „lakosokra” vonatkozott. A csapat 20 forduló alatt leszűkíti a kört a szülőkre, a tanárokra és a helyi médiára.
• Dokumentumok: az egyetlen bemeneti adat a tanácsi határozat és egy sajtóközlemény volt. A csapat kiegészítette a gyermekek szállítására vonatkozó terv összefoglalóját.
• Grafikonhiányok: hiányzott a kisebb iskola tanári szakszervezete és szülői tanácsa. Mellékeltünk egy rövid dokumentumot, amely leírja őket.
• Ismétlés: az új előrejelzés élesebb. A kisebb iskola szülői tanácsa lesz az elsődleges erősítő, és a fő érv a hosszabb, kevésbé biztonságos iskolába vezető út, nem maga az összevonás.
• Érzékenység: egy közzétett iskolabusz-tervvel a negatív hullám az ismétlések háromszorosában észrevehetően zsugorodik; enélkül a hullám továbbra is fennáll.
• Bizonyosság: magas a mechanizmus (az útvonal biztonságossága), közepes a reakció méretét tekintve.
• Ellenőrzés: a csapat két beszélgetést folytat valódi szülőkkel, akik megerősítik az útvonallal kapcsolatos aggályokat. A buszútvonalat a döntéssel együtt közzéteszik.

Az első jelentés nem volt hibás, csak hiányos. A felülvizsgálat során a tanács cselekedni tudott rajta. Az ehhez hasonló döntés-összehasonlításokat lásd a döntéstámogatási forgatókönyvben.

Az ellenőrzőlista használata a gyakorlatban

Tartsa az ellenőrzőlistát elég röviden ahhoz, hogy minden alkalommal használni tudja. Egy átlagos áttekintés kevesebb időt vesz igénybe, mint az a megbeszélés, ahol az előrejelzést bemutatják, és megvédi Önt a leggyakoribb hibától: attól, hogy egy vékony anyagra épülő, gördülékeny jelentésre bízza magát. A forgatókönyveket az InfoDome konzolon készítheti elő és futtathatja újra; a csomag havi 29 euróba kerül, 9 eurós havi mesterséges intelligencia-felhasználási költségvetéssel és korlátlan számú projekttel.