予測結果の確認方法：シミュレーション結果のチェックリスト

シミュレーション予測を検証するには、次の7つの項目を順番に確認してください。質問が適切に設定されているか、文書が完全かつ正確か、知識グラフに重要な関係者が漏れていないか、結論を導き出す前提条件は何か、感度分析の再実行で結果が妥当か、どの程度確信を持てるか、そして行動を起こす前に現実世界で何を検証する必要があるか。これらのチェックに合格した予測は、検証可能な仮説であり、擁護できるものです。一方、これらのチェックに合格しなかった予測は、単なる作り話に過ぎません。

なぜ全ての予測は見直しが必要なのか

シミュレーションレポートは説得力のある文章で書かれている。物語性があり、エージェントの発言が引用され、明確な結論が示されている。しかし、その流暢さこそがレビューを必要とする理由だ。入力データの不足を補って作成された、よく書かれたレポートは、良質な資料に基づいて作成されたレポートと同じくらい堅実に見える可能性がある。

InfoDomeでは、予測は一連の手順を経て行われます。まず、ドキュメントをアップロードして予測内容を記述します。すると、サービスが人物、組織、グループ、関係性に関する知識グラフを構築します。次に、それぞれ独自の性格、立場、記憶を持つ数百のエージェントを作成します。これらのエージェントは、 TwitterのようなフィードとRedditのようなフォーラム上で、指定された回数だけやり取りを行います。最後に、アナリストエージェントがレポートを作成します。この一連のプロセスにおけるすべてのリンクを確認することができ、以下のレビューはその流れに沿っています。

チェックリスト、ステップバイステップ

1. 枠組み：適切な質問がされたか？

まずは質問そのものから始めましょう。なぜなら、曖昧な質問からは曖昧な答えしか生まれないからです。

• 結果は具体的ですか？ 「人々はどのように反応するだろうか？」は弱い質問です。「地元の保護者団体は最初の1ヶ月で学校統合に反対するだろうか？そして、彼らはどのような論拠を用いるだろうか？」は強い質問です。
• 時間軸は明確ですか？ラウンド数（例えば10、20、40など）は、発表後の最初の数日間や長期にわたる議論など、関心のある期間に合わせて設定する必要があります。
• 対象となるオーディエンスは明確に定義されていますか？国によって反応が異なる場合は、適切なオーディエンス国が選択されているか確認してください。最大10カ国まで選択でき、エージェントはそれらの国に均等に割り当てられます。
• その質問は中立的か？既に予想される答えが含まれている質問は、中立的であることを裏付ける傾向がある。

2. 文書の品質：シミュレーションは実際に何を知っていたのか？

エージェントは、文書とグラフに記載されている情報しか知りません。入力された情報は、懐疑的な視点で読み取ってください。

• 情報は最新ですか？古い価格、日付、または名称は、キャンペーン全体に影響を及ぼします。
• その資料は一方的な内容ではないか？もしすべての資料が自組織から提供されたものであれば、批判的な意見が過小評価されていたり、誇張されて描かれている可能性がある。
• 重要な詳細情報は記載されていますか？奇妙な結果が生じる最も一般的な原因は、文書に全く記載されていない詳細情報です。
• ノイズはありますか？長い付録や無関係な内容は、エージェントを脇道に逸らしてしまう可能性があります。

3. グラフの欠落部分：誰が抜けているのか？

システムが抽出したエンティティと関係性を確認してください。この状況で実際に発言するのは誰なのかを考え、それらがグラフ内に存在するかどうかを確認してください。

• 規制当局、労働組合、地元メディア、競合他社、影響力のある個人、反対派グループ。
• 重要な関係性：誰が誰に資金を提供しているか、誰が競合しているか、誰が過去に紛争を抱えているか。
• 影響を受けるにもかかわらず、公式文書ではほとんど言及されないグループ、例えば夜勤労働者や地方の利用者などが挙げられる。

重要な関係者が欠落している場合は、その関係者を説明する文書を追加して再実行してください。このたった1つの手順が、他のどの操作よりも結果を大きく変えることがよくあります。

4．前提：結論を導き出す要因は何か？

あらゆる報告書は、いくつかの重要な前提に基づいている。それらを明確に見つけ出そう。

• レポートのアナリストに「あなたの結論に最も影響を与える3つの前提条件は何ですか？」と尋ねてください。
• 正反対の立場をとる2、3人のエージェントにインタビューし、なぜそのような反応を示したのかを尋ねてください。もし彼らの理由が事実と異なる情報に基づいている場合、組織の弱点を見つけたことになります。
• メカニズム（例えば、「資格に関する混乱が親のフォーラムを通じて広まった」）と規模（例えば、「ほとんどのエージェントが否定的になった」）は区別して記述する。メカニズムは通常、規模よりも信頼性が高い。

5. 感度分析の再実行：結果は維持されるか？

些細なことが一つ変わるだけで結論が覆ってしまうような結論は、脆弱だ。検証してみるべきだ。

• 変更を加えずに再度実行し、シミュレーション自体に起因する変動がどの程度あるかを確認してください。
• 一度に一つの変数だけを変更する：重要な文の表現、タイミング、価格、批評家の存在。
• 反応が一時的な急上昇なのか、それとも持続的な変化なのかを確認するために、ラウンド数を変えてみてください。
• 複数のレポートを並べて比較してください。どの実行でも変わらないのは、確かな結果です。変化するのは不確実性です。

私たちのシナリオ分析は、まさにこのような比較のために設計されています。

6．自信：あなたは正直にどれくらい確信できますか？

レポート全体ではなく、各結論に対する信頼度を記入してください。

• 高：この発見はすべての再実験で確認され、明確なメカニズムがあり、議論の余地のある事実に依存しない。
• 中程度：ほとんどの実行で出現しますが、その強さは変動するか、確認できない仮定に依存します。
• 低い：一度しか登場しない、または欠落した文書や不確かな事実に基づいている。

シミュレーションは、判断を裏付ける検証可能な仮説であり、確実性を保証するものではありません。「確信度は中程度、労働組合が第4条をどのように解釈するかによる」と言う方が、自信満々だが検証されていない予測よりも、意思決定者にとって有用です。

7．実世界での検証：行動を起こす前に確認すべきこと

最後のステップは、予測を具体的な行動に移すことです。影響力の大きい結論ごとに、それを現実世界で低コストで検証する方法を決定します。

• 例えば、批判的な立場にある数人の実在の人物に、短いインタビューなどで意見を聞いてみるのも良いでしょう。
• シミュレーションで決定的な要素として挙げられた質問について、小規模なアンケートを実施してください。
• 修正後の文言を、今回の件に関わっていない同僚に見せてください。
• ローンチ当日の監視シグナルを設定します。シミュレーションシナリオが展開していることを示すフレーズやグループを指定します。

具体的な例：学校合併予測の検討

ある自治体が2つの小学校を統合する計画を立てている。最初のシミュレーションでは、中程度の否定的な反応が見られるものの、2週間以内に収束すると予測されている。

• 枠組み：質問は「住民」全般について尋ねられた。チームは20回以上の話し合いを経て、対象を親、教師、地元メディアに絞り込んだ。
• 資料：唯一の入力資料は、市議会の決定とプレスリリースのみでした。チームは、子ども向けの交通計画の概要を追加しました。
• グラフの欠落部分：小規模校の教職員組合と保護者会が抜けていました。それらを説明する短い文書を追加しました。
• 再放送：新たな予測はより明確だ。小規模校の保護者会が最初の情報発信源となり、主な論点は合併そのものではなく、通学路が長くなり、安全性が低下することだ。
• 感度：スクールバス計画が公表された場合、3回の再実行のうち3回で否定的な波が著しく縮小するが、公表されない場合は波は持続する。
• 信頼性：メカニズム（経路の安全性）については高い、反応の大きさについては中程度。
• 検証：チームは実際に保護者の方々と2回面談を行い、ルートに関する懸念事項を確認します。決定事項とともにバス運行計画が公表されます。

最初の報告書は間違っていたわけではなく、単に不完全だっただけです。見直しによって、議会が行動に移せる内容に改善されました。このような意思決定の比較については、意思決定支援シナリオを参照してください。

チェックリストを実際に活用する

チェックリストは毎回使えるように短くしておきましょう。一般的なレビューは、予測が提示される会議よりも時間がかからず、最もよくある間違い、つまり薄っぺらな資料に基づいて流暢なレポートを鵜呑みにしてしまうというミスを防ぐことができます。InfoDome InfoDomeでシナリオを準備して再実行できます。プランは月額29ユーロで、AIの使用予算は月額9ユーロ、プロジェクト数は無制限です。