如何审核预测：模拟结果检查清单

要审查模拟预测，请按以下七个步骤进行检查：问题是否表述清晰、文档是否完整准确、知识图谱是否遗漏了重要参与者、结论基于哪些假设、结果是否经得起敏感性分析的重复测试、您能真正确信的程度，以及在采取行动之前必须在现实世界中验证哪些内容。通过这些检查的预测是一个可以审查并能加以论证的假设；未能通过检查的预测则只是一个故事。

为什么每个预测都需要审核

一份模拟报告读起来很有说服力。它叙述清晰，引用了参与者的观点，并得出了明确的结论。正是这种流畅性使其需要审查：一份基于输入数据缺失而撰写的报告，其内容可能与一份基于优质素材撰写的报告一样出色。

在InfoDome中，预测过程分为一系列步骤。您上传文档并描述预测内容；系统构建一个包含人员、组织、群体及其关系的知识图谱；创建数百个具有各自性格、职位和记忆的智能体；这些智能体在类似Twitter的信息流和类似Reddit的论坛上进行若干轮互动；最后，由分析智能体撰写报告。该流程中的每个环节都可以进行核查，以下评论即基于此流程。

逐步检查清单

1. 问题框架：提出的问题是否正确？

首先要明确问题本身，因为模糊的问题只会得到模糊的答案。

• 结果是否具体？ “人们会有什么反应？”这个问题不够具体。“当地家长团体是否会在第一个月反对学校合并，他们会提出什么理由？”这个问题则更有力。
• 时间范围是否明确？轮数（例如 10 轮、20 轮或 40 轮）应与你关注的时间段相匹配，例如公告发布后的最初几天或较长的辩论。
• 受众群体是否已定义？如果不同国家/地区的反应存在差异，请检查是否选择了正确的受众国家/地区。最多可以选择 10 个国家/地区，代理将平均分配到这些国家/地区。
• 这个问题是否中立？如果提示语已经包含了预期答案，那么它往往会强化这种预期。

2. 文档质量：模拟实际知道了什么？

特工们只能根据文件和图表获取信息。请以怀疑论者的视角审视你的输入数据。

• 这些信息是最新的吗？过时的价格、日期或名称会影响整个销售流程。
• 这些材料是否片面？如果所有文件都来自您自己的组织，那么批评者的观点可能被低估或被歪曲。
• 关键细节是否包含在内？导致结果异常的最常见隐藏原因是文件中根本没有提及的某些细节。
• 是否存在干扰因素？冗长的附录或无关内容可能会将用户引向无关话题。

3. 图表空白：缺少哪些人？

查看系统提取的实体和关系。问问自己，在这种情况下，谁会真正站出来发言，并检查他们是否存在于图中。

• 监管机构、工会、地方媒体、竞争对手、有影响力的人士、反对派团体。
• 重要的关系：谁资助谁，谁是竞争对手，谁有过冲突历史。
• 受影响但很少在官方文件中提及的群体，例如夜班工人或农村用户。

如果缺少重要角色，请添加一份描述该角色的文档并重新运行。这一步往往比其他任何操作都更能改变结果。

4. 假设：什么因素导致了这一结论？

每份报告都建立在一些基本假设之上。请明确找出这些假设。

• 请问报告分析师：“哪三个假设对您的结论影响最大？”
• 采访两到三位立场相反的代理人，询问他们为何做出这样的反应。如果他们的理由基于不实的事实，那么你就找到了薄弱环节。
• 将机制（例如，“关于资格的困惑在家长论坛中传播”）与规模（例如，“大多数代理人的态度都转为负面”）区分开来。机制通常比规模更可靠。

5. 敏感性分析重演：结果是否成立？

如果一个细节改变就导致结论颠覆，那么这个结论就很脆弱。需要检验。

• 重新运行程序，查看模拟本身会产生多少变化。
• 一次改变一个变量：关键语句的措辞、时间安排、价格、一位评论家的存在。
• 改变轮数，看看反应是短暂的高峰还是持久的转变。
• 将报告并排比较。始终保持不变的是你的可靠发现；发生变化的是不确定性。

我们的假设分析方案正是为了进行这种比较而设计的。

6. 自信：你真的有多确定？

为每个结论写下置信水平，而不是为整个报告写下置信水平。

• 高：该发现出现在每一次重播中，具有清晰的机制，并且不依赖于有争议的事实。
• 中等：它出现在大多数运行中，但其强度会变化，或者取决于你无法验证的某个假设。
• 低：仅出现一次，或者依赖于缺失的文件或不确定的事实。

模拟结果是可检验的假设，用于辅助判断，而非提供确定性。对于决策者而言，与其做出未经检验的自信预测，不如说“中等置信度，取决于工会如何解读第4条条款”，这样更有用。

7. 实际验证：行动前需要检查哪些内容

最后一步是将预测转化为行动。对于每一项影响深远的结论，都要决定如何以低成本在现实中对其进行验证。

• 例如，向关键群体中的一些真实人士进行简短采访。
• 针对模拟结果中被标记为决定性问题的一个问题进行一次小型民意调查。
• 将修改后的措辞展示给一位未参与此项目的同事。
• 设置发射日的监控信号：哪些短语或组会告诉你模拟场景正在展开。

一个实际案例：审查学校合并预测

某市计划合并两所小学。首次模拟预测显示，合并后会引发中等程度的负面反应，但这种反应会在两周内消退。

• 框架设定：问题最初针对的是“居民”这一群体。经过20轮讨论，团队将范围缩小到家长、教师和当地媒体。
• 文件：仅有的资料是市议会的决定和一份新闻稿。团队补充了一份儿童交通计划概要。
• 图表存在缺失：缺少教师工会和小型学校家长委员会的信息。已添加一份简短文件对其进行描述。
• 重播：新的预测更加精准。规模较小的学校的家长委员会成为第一个发出声音的群体，而主要的论点是上学路程更长、更不安全，而不是合并本身。
• 敏感性：公布校车计划后，负面情绪在三次重演中均明显减弱；如果没有该计划，负面情绪则会持续存在。
• 机理信心高（路线安全性高），反应规模信心中等。
• 核实：团队与两位家长进行真实访谈，家长们证实了路线方面的担忧。公交方案将与最终决定一同公布。

第一份报告并非错误，只是不够完整。审查后的报告使其更符合理事会的行动要求。如需进行此类决策对比，请参阅决策支持方案。

在实践中使用检查清单

保持检查清单简洁，以便每次都能使用。一次典型的审核所需时间比预测会议的时间要短，而且可以避免最常见的错误：轻信基于薄弱素材构建的流畅报告。您可以在InfoDome控制台中准备和重新运行各种场景；该方案每月 29 欧元，包含每月 9 欧元的 AI 使用预算，项目数量不限。