Wie man eine Prognose überprüft: Eine Checkliste für Simulationsergebnisse

Um eine Simulationsprognose zu überprüfen, sollten Sie sieben Punkte nacheinander prüfen: Wurde die Fragestellung gut formuliert? Waren die Dokumente vollständig und korrekt? Wurden im Wissensgraphen wichtige Akteure übersehen? Welchen Annahmen liegt die Schlussfolgerung zugrunde? Hält das Ergebnis Sensitivitätsanalysen stand? Wie sicher können Sie sich Ihrer Prognose sein? Und was muss in der Praxis überprüft werden, bevor Sie handeln? Eine Prognose, die diese Prüfungen besteht, ist eine überprüfbare Hypothese, die Sie verteidigen können; eine, die sie nicht besteht, ist nichts weiter als eine Geschichte.

Warum jede Prognose einer Überprüfung bedarf

Ein Simulationsbericht liest sich überzeugend. Er enthält eine Erzählung, Zitate von Agenten und klare Schlussfolgerungen. Gerade diese flüssige Darstellung ist der Grund, warum er einer Überprüfung bedarf: Ein gut geschriebener Bericht, der auf einer Lücke in den Eingangsdaten beruht, kann genauso solide wirken wie einer, der auf gutem Material basiert.

In InfoDome entsteht eine Prognose durch eine Reihe von Schritten. Sie laden Dokumente hoch und beschreiben, was vorhergesagt werden soll. Der Dienst erstellt daraufhin einen Wissensgraphen mit Personen, Organisationen, Gruppen und Beziehungen. Anschließend werden Hunderte von Agenten mit jeweils eigenem Charakter, eigener Position und eigenem Gedächtnis generiert. Diese interagieren über eine festgelegte Anzahl von Runden in einem Twitter -ähnlichen Feed und einem Reddit -ähnlichen Forum. Abschließend verfasst ein Analyst den Bericht. Jeder Schritt dieser Kette ist nachvollziehbar, und die folgende Rezension folgt dem Ablauf.

Die Checkliste, Schritt für Schritt

1. Fragestellung: Wurde die richtige Frage gestellt?

Man sollte mit der Frage selbst beginnen, denn eine vage Frage führt zu einer vagen Antwort.

• Ist das Ergebnis konkret? Die Frage „Wie werden die Leute reagieren?“ ist zu schwach. Die Frage „Werden sich die örtlichen Elterngruppen im ersten Monat gegen die Schulfusion aussprechen, und mit welchem Argument werden sie argumentieren?“ ist hingegen aussagekräftig.
• Ist der Zeithorizont klar definiert? Die Anzahl der Runden (z. B. 10, 20 oder 40) sollte dem relevanten Zeitraum entsprechen, etwa den ersten Tagen nach einer Ankündigung oder einer längeren Debatte.
• Ist die Zielgruppe definiert? Falls die Reaktionen je nach Land unterschiedlich ausfallen, überprüfen Sie, ob die richtigen Zielgruppenländer ausgewählt wurden. Sie können bis zu 10 Länder auswählen, und die Agenten werden gleichmäßig auf diese verteilt.
• Ist die Frage neutral? Eine Fragestellung, die bereits die erwartete Antwort enthält, bestätigt dies tendenziell.

2. Dokumentqualität: Was wusste die Simulation tatsächlich?

Agenten kennen nur das, was ihnen die Dokumente und die Grafik liefern. Betrachten Sie Ihre Eingaben mit der Skepsis eines Skeptikers.

• Sind die Fakten aktuell? Ein veralteter Preis, ein veraltetes Datum oder ein veralteter Name wird sich durch die gesamte Produktreihe verbreiten.
• Ist das Material einseitig? Wenn alle Dokumente aus der eigenen Organisation stammen, könnten Kritiker unterrepräsentiert oder karikiert sein.
• Sind wichtige Details vorhanden? Die häufigste versteckte Ursache für ein unerwartetes Ergebnis ist ein Detail, das in den Dokumenten schlichtweg nicht erwähnt wird.
• Gibt es Störfaktoren? Lange Anhänge oder themenfremde Inhalte können Agenten zu Nebenthemen ablenken.

3. Lücken im Diagramm: Wer fehlt?

Betrachten Sie die vom System extrahierten Entitäten und Beziehungen. Fragen Sie sich, wer in dieser Situation realistischerweise das Wort ergreifen würde, und überprüfen Sie, ob diese Personen im Graphen vorhanden sind.

• Regulierungsbehörden, Gewerkschaften, lokale Medien, Wettbewerber, einflussreiche Einzelpersonen, Oppositionsgruppen.
• Beziehungen, die von Bedeutung sind: Wer finanziert wen, wer konkurriert mit anderen, wer hat eine Geschichte von Konflikten?
• Gruppen, die betroffen sind, aber in offiziellen Dokumenten selten erwähnt werden, wie zum Beispiel Nachtschichtarbeiter oder Nutzer ländlicher Gebiete.

Falls eine wichtige Person fehlt, fügen Sie ein Dokument mit einer Beschreibung dieser Person hinzu und führen Sie den Vorgang erneut aus. Dieser einzelne Schritt verändert das Ergebnis oft stärker als alles andere.

4. Annahmen: Was führt zu der Schlussfolgerung?

Jeder Bericht basiert auf einigen grundlegenden Annahmen. Ermitteln Sie diese explizit.

• Fragen Sie den Analysten des Berichts: „Welche drei Annahmen beeinflussen Ihre Schlussfolgerung am stärksten?“
• Befragen Sie zwei oder drei Agenten mit gegensätzlichen Positionen und fragen Sie nach den Gründen für ihre Reaktionen. Wenn ihre Begründungen auf einer falschen Tatsache beruhen, haben Sie eine Schwachstelle gefunden.
• Man sollte Mechanismen (z. B. „Die Verwirrung über die Anspruchsberechtigung verbreitet sich in Elternforen“) von Größenordnungen (z. B. „Die meisten Agenten wurden negativ“) trennen. Mechanismen sind in der Regel zuverlässiger als Größenordnungen.

5. Wiederholungsläufe der Sensitivitätsanalyse: Bleibt das Ergebnis bestehen?

Eine Schlussfolgerung, die sich bei der Änderung eines einzigen Details ändert, ist fragil. Überprüfen Sie sie.

• Führen Sie den Vorgang unverändert erneut durch, um zu sehen, wie viel der Abweichung von der Simulation selbst herrührt.
• Verändern Sie jeweils nur eine Variable : den Wortlaut des Schlüsselsatzes, den Zeitpunkt, den Preis, die Anwesenheit eines Kritikers.
• Variieren Sie die Anzahl der Runden, um festzustellen, ob es sich bei der Reaktion um einen kurzfristigen Anstieg oder eine anhaltende Veränderung handelt.
• Vergleichen Sie die Berichte nebeneinander. Was sich über alle Durchläufe hinweg nicht ändert, ist Ihr verlässliches Ergebnis; was sich ändert, ist die Unsicherheit.

Unser Was-wäre-wenn-Analyseszenario ist genau für solche Vergleiche konzipiert.

6. Selbstvertrauen: Wie sicher können Sie sich ehrlich gesagt sein?

Geben Sie für jede Schlussfolgerung ein Konfidenzniveau an, nicht für den Bericht als Ganzes.

• Hoch: Das Ergebnis erscheint bei jeder Wiederholung, hat einen klaren Mechanismus und hängt nicht von einer umstrittenen Tatsache ab.
• Mittel: Es kommt in den meisten Durchläufen vor, aber seine Stärke variiert oder hängt von einer Annahme ab, die Sie nicht überprüfen konnten.
• Niedrig: Es erscheint nur einmal oder beruht auf einem fehlenden Dokument oder einer unsicheren Tatsache.

Simulationen sind überprüfbare Hypothesen, die die Beurteilung unterstützen, aber keine Gewissheit garantieren. Die Aussage „Mittlere Sicherheit, hängt davon ab, wie die Gewerkschaften Klausel 4 auslegen“ ist für einen Entscheidungsträger hilfreicher als eine zwar sichere, aber ungeprüfte Prognose.

7. Überprüfung in der Praxis: Was vor dem Handeln zu prüfen ist

Im letzten Schritt werden die Prognosen in konkrete Maßnahmen umgesetzt. Für jede wichtige Schlussfolgerung sollte entschieden werden, wie sie kostengünstig in der Praxis getestet werden kann.

• Befragen Sie einige wenige Personen aus der kritischen Gruppe, beispielsweise in kurzen Interviews.
• Führen Sie eine kurze Umfrage zu der einen Frage durch, die die Simulation als entscheidend eingestuft hat.
• Zeigen Sie den überarbeiteten Wortlaut einem Kollegen, der nicht an der Aktion beteiligt war.
• Legen Sie Überwachungssignale für den Starttag fest: Welche Phrasen oder Gruppen würden Ihnen signalisieren, dass sich das simulierte Szenario entfaltet?

Ein praktisches Beispiel: Überprüfung einer Prognose für eine Schulfusion

Eine Gemeinde plant die Zusammenlegung zweier Grundschulen. Die erste Simulation prognostiziert eine mäßig negative Reaktion, die innerhalb von zwei Wochen abklingt.

• Fragestellung: Die Frage bezog sich auf die „Bewohner“ im Allgemeinen. Das Team grenzte sie in 20 Runden auf Eltern, Lehrer und lokale Medien ein.
• Dokumente: Als einzige Quellen dienten der Ratsbeschluss und eine Pressemitteilung. Das Team ergänzte die Dokumentation um eine Zusammenfassung des Transportplans für Kinder.
• Lücken in der Grafik: Die Lehrergewerkschaft und der Elternbeirat der kleineren Schule fehlten. Ein kurzes Dokument mit einer Beschreibung dieser Personen wurde hinzugefügt.
• Wiederholung: Die neue Prognose ist schärfer. Der Elternbeirat der kleineren Schule wird zum ersten Multiplikator, und das Hauptargument ist der längere, unsicherere Schulweg, nicht die Fusion selbst.
• Sensitivität: Mit einem veröffentlichten Schulbusplan schrumpft die negative Welle in drei von drei Wiederholungen merklich; ohne ihn bleibt die Welle bestehen.
• Vertrauen: hoch für den Mechanismus (Sicherheit des Reaktionswegs), mittel für die Größe der Reaktion.
• Überprüfung: Das Team führt zwei Gespräche mit Eltern, die die Bedenken bezüglich der Busroute bestätigen. Der Busfahrplan wird zusammen mit der Entscheidung veröffentlicht.

Der erste Bericht war nicht falsch, sondern lediglich unvollständig. Die Überarbeitung hat ihn in eine Handlungsgrundlage für den Rat umgewandelt. Für vergleichbare Entscheidungsbeispiele siehe das Szenario zur Entscheidungsunterstützung .

Anwendung der Checkliste in der Praxis

Halten Sie die Checkliste kurz genug, um sie jedes Mal verwenden zu können. Eine typische Überprüfung dauert weniger Zeit als das Meeting, in dem die Prognose präsentiert wird, und schützt Sie vor dem häufigsten Fehler: einem flüssigen Bericht zu vertrauen, der auf dürftigen Informationen basiert. Sie können Szenarien in der InfoDome Konsole vorbereiten und erneut ausführen; der Plan kostet 29 € pro Monat mit einem monatlichen KI-Nutzungsbudget von 9 € und unbegrenzten Projekten.