Cách đánh giá lại dự báo: Danh sách kiểm tra kết quả mô phỏng

Để xem xét lại một dự báo mô phỏng, hãy kiểm tra bảy điều theo thứ tự: câu hỏi đã được đặt ra tốt chưa, tài liệu có đầy đủ và chính xác không, biểu đồ tri thức có bỏ sót các yếu tố quan trọng không, những giả định nào dẫn đến kết luận, kết quả có ổn định sau các lần chạy lại kiểm tra độ nhạy không, bạn có thể tự tin đến mức nào, và điều gì cần được xác minh trong thế giới thực trước khi bạn hành động. Một dự báo vượt qua các bước kiểm tra này là một giả thuyết có thể xem xét lại mà bạn có thể bảo vệ; một dự báo thất bại chỉ là một câu chuyện.

Vì sao mọi dự báo đều cần được xem xét lại

Một báo cáo mô phỏng được viết rất thuyết phục. Nó có mạch lạc, trích dẫn từ các chuyên gia và kết luận rõ ràng. Chính sự trôi chảy đó lại là lý do tại sao nó cần được xem xét lại: một báo cáo được viết tốt dựa trên những thiếu sót trong dữ liệu đầu vào vẫn có thể trông vững chắc như một báo cáo được xây dựng trên nền tảng dữ liệu tốt.

Trong InfoDome dự báo được tạo ra từ một chuỗi các bước. Bạn tải lên tài liệu và mô tả những gì cần dự đoán; dịch vụ xây dựng biểu đồ tri thức về con người, tổ chức, nhóm và các mối quan hệ; nó tạo ra hàng trăm tác nhân với tính cách, vị trí và bộ nhớ riêng; chúng tương tác trong một số vòng nhất định trên một nguồn cấp dữ liệu giống Twitter và một diễn đàn giống Reddit ; sau đó, một tác nhân phân tích viết báo cáo. Mọi mắt xích trong chuỗi đó đều có thể được kiểm tra, và phần đánh giá bên dưới sẽ theo sau nó.

Danh sách kiểm tra, từng bước một

1. Cách đặt câu hỏi: Liệu câu hỏi đã được đặt đúng chưa?

Hãy bắt đầu bằng chính câu hỏi, bởi vì một câu hỏi mơ hồ sẽ dẫn đến một câu trả lời mơ hồ.

• Kết quả có cụ thể không? Câu hỏi "Mọi người sẽ phản ứng như thế nào?" là câu hỏi yếu. Câu hỏi "Các nhóm phụ huynh địa phương có phản đối việc sáp nhập trường học trong tháng đầu tiên không, và họ sẽ sử dụng lý lẽ gì?" là câu hỏi mạnh hơn.
• Khung thời gian đã rõ ràng chưa? Số vòng (ví dụ: 10, 20 hoặc 40) nên phù hợp với khoảng thời gian bạn quan tâm, chẳng hạn như những ngày đầu sau một thông báo hoặc một cuộc tranh luận dài hơn.
• Đối tượng mục tiêu đã được xác định chưa? Nếu phản hồi khác nhau tùy theo quốc gia, hãy kiểm tra xem đã chọn đúng quốc gia mục tiêu chưa. Bạn có thể chọn tối đa 10 quốc gia, và các nhân viên sẽ được phân bổ đều giữa các quốc gia đó.
• Câu hỏi có tính trung lập không? Một câu hỏi đã chứa sẵn câu trả lời mong đợi thường củng cố quan điểm đó.

2. Chất lượng tài liệu: Mô phỏng thực sự đã biết được những gì?

Các nhà môi giới chỉ biết những gì tài liệu và biểu đồ cung cấp cho họ. Hãy xem xét thông tin đầu vào như một người hoài nghi.

• Thông tin có chính xác không? Giá cả, ngày tháng hoặc tên gọi lỗi thời sẽ lan truyền khắp hệ thống.
• Liệu nội dung có mang tính phiến diện? Nếu tất cả tài liệu đều đến từ chính tổ chức của bạn, thì ý kiến của những người chỉ trích có thể bị xem nhẹ hoặc bị bóp méo.
• Các chi tiết quan trọng có được đề cập không? Nguyên nhân tiềm ẩn phổ biến nhất dẫn đến kết quả bất thường là một chi tiết mà tài liệu không bao giờ nhắc đến.
• Có tiếng ồn không? Các phụ lục dài hoặc nội dung không liên quan có thể khiến nhân viên bị cuốn hút sang các chủ đề phụ.

3. Khoảng trống trong biểu đồ: Ai đang thiếu?

Hãy xem xét các thực thể và mối quan hệ mà hệ thống đã trích xuất. Hãy tự hỏi ai sẽ thực sự lên tiếng trong tình huống này và kiểm tra xem họ có tồn tại trong biểu đồ hay không.

• Các cơ quan quản lý, công đoàn, truyền thông địa phương, đối thủ cạnh tranh, cá nhân có tầm ảnh hưởng, các nhóm đối lập.
• Các mối quan hệ quan trọng: ai tài trợ cho ai, ai cạnh tranh, ai có lịch sử xung đột.
• Các nhóm bị ảnh hưởng nhưng hiếm khi được đề cập trong các văn bản chính thức, chẳng hạn như người lao động ca đêm hoặc người dùng ở vùng nông thôn.

Nếu thiếu một diễn viên quan trọng, hãy thêm tài liệu mô tả về họ và chạy lại quy trình. Chỉ một bước này thôi thường tạo ra sự khác biệt lớn nhất so với bất kỳ bước nào khác.

4. Giả định: Điều gì dẫn đến kết luận?

Mỗi báo cáo đều dựa trên một vài giả định cơ bản. Hãy tìm hiểu rõ những giả định đó.

• Hãy hỏi nhà phân tích báo cáo: "Ba giả định nào ảnh hưởng nhiều nhất đến kết luận của ông/bà?"
• Hãy phỏng vấn hai hoặc ba đặc vụ có quan điểm trái ngược nhau và hỏi lý do tại sao họ lại phản ứng như vậy. Nếu lý do của họ dựa trên một thông tin không đúng sự thật, bạn đã tìm thấy một mắt xích yếu.
• Phân biệt giữa cơ chế (ví dụ: "sự nhầm lẫn về điều kiện tham gia lan rộng trong các diễn đàn của phụ huynh") và quy mô (ví dụ: "hầu hết các đại lý đều có kết quả âm tính"). Cơ chế thường đáng tin cậy hơn quy mô.

5. Chạy lại kiểm định độ nhạy: Kết quả có giữ nguyên không?

Một kết luận có thể thay đổi chỉ vì một chi tiết nhỏ là rất dễ sai lệch. Hãy kiểm chứng điều đó.

• Chạy lại chương trình mà không thay đổi gì để xem mức độ biến thiên đến từ chính quá trình mô phỏng là bao nhiêu.
• Thay đổi từng biến số một : cách diễn đạt câu chủ chốt, thời điểm, giá cả, sự hiện diện của một nhà phê bình.
• Thay đổi số vòng để xem phản ứng là một sự tăng đột biến ngắn hạn hay một sự thay đổi lâu dài.
• Hãy so sánh các báo cáo cạnh nhau. Những gì không thay đổi giữa các lần chạy chính là kết quả đáng tin cậy; những gì thay đổi là điều không chắc chắn.

Kịch bản phân tích "nếu như" của chúng tôi được thiết kế chính xác cho loại so sánh này.

6. Sự tự tin: Bạn có thể chắc chắn đến mức nào một cách trung thực?

Hãy ghi rõ mức độ tin cậy cho từng kết luận, chứ không phải cho toàn bộ báo cáo.

• Cao: Kết quả xuất hiện trong mọi lần chạy lại, có cơ chế rõ ràng và không phụ thuộc vào một sự kiện gây tranh cãi.
• Mức độ trung bình: xuất hiện trong hầu hết các lần chơi, nhưng độ mạnh yếu thay đổi hoặc phụ thuộc vào một giả định mà bạn không thể kiểm chứng.
• Thấp: chỉ xuất hiện một lần, hoặc dựa trên tài liệu bị thiếu hoặc thông tin không chắc chắn.

Mô phỏng là những giả thuyết có thể xem xét lại, hỗ trợ cho việc đánh giá chứ không phải sự chắc chắn. Việc nói "mức độ tin cậy trung bình, tùy thuộc vào cách các công đoàn hiểu điều khoản 4" sẽ hữu ích hơn cho người ra quyết định so với một dự đoán chắc chắn nhưng chưa được kiểm chứng.

7. Kiểm chứng thực tế: cần kiểm tra những gì trước khi hành động

Bước cuối cùng biến dự báo thành hành động. Đối với mỗi kết luận có tác động lớn, hãy quyết định cách kiểm chứng nó một cách tiết kiệm chi phí trong thực tế.

• Hãy hỏi ý kiến một vài người thực sự thuộc nhóm quan trọng, ví dụ như thông qua các cuộc phỏng vấn ngắn.
• Tiến hành một cuộc thăm dò ý kiến nhỏ về câu hỏi mà mô phỏng đã chỉ ra là mang tính quyết định.
• Hãy cho một đồng nghiệp không tham gia vào quá trình này xem bản sửa đổi.
• Thiết lập các tín hiệu giám sát cho ngày ra mắt: những cụm từ hoặc nhóm từ nào sẽ cho bạn biết rằng kịch bản mô phỏng đang diễn ra.

Ví dụ minh họa: xem xét dự báo sáp nhập trường học.

Một đô thị có kế hoạch sáp nhập hai trường tiểu học. Mô phỏng đầu tiên dự đoán phản ứng tiêu cực ở mức độ vừa phải, nhưng phản ứng này sẽ giảm dần trong vòng hai tuần.

• Cách đặt câu hỏi: câu hỏi được đặt ra về "cư dân" nói chung. Nhóm nghiên cứu thu hẹp phạm vi xuống còn phụ huynh, giáo viên và giới truyền thông địa phương qua 20 vòng.
• Tài liệu: các thông tin đầu vào duy nhất là quyết định của hội đồng và một thông cáo báo chí. Nhóm bổ sung thêm bản tóm tắt kế hoạch vận chuyển cho trẻ em.
• Những thiếu sót trong biểu đồ: thiếu thông tin về công đoàn giáo viên và hội phụ huynh của trường nhỏ hơn. Một tài liệu ngắn mô tả về chúng được thêm vào.
• Diễn biến lại: dự báo mới sắc nét hơn. Hội phụ huynh của trường nhỏ hơn trở thành người khuếch đại đầu tiên, và lập luận chính là con đường đến trường dài hơn, kém an toàn hơn, chứ không phải bản thân việc sáp nhập.
• Độ nhạy: với kế hoạch xe buýt trường học đã được công bố, làn sóng tiêu cực giảm đáng kể trong ba trên ba lần chạy lại; nếu không có kế hoạch đó, làn sóng tiêu cực sẽ tiếp tục kéo dài.
• Độ tin cậy: cao đối với cơ chế (độ an toàn của lộ trình), trung bình đối với quy mô phản ứng.
• Xác minh: nhóm đã tiến hành hai cuộc trò chuyện với phụ huynh thực tế, những người xác nhận mối lo ngại về tuyến đường. Kế hoạch xe buýt được công bố cùng với quyết định.

Báo cáo đầu tiên không sai, chỉ là chưa đầy đủ. Bản đánh giá đã biến nó thành cơ sở để hội đồng có thể hành động. Để so sánh các quyết định như thế này, hãy xem kịch bản hỗ trợ quyết định .

Áp dụng danh sách kiểm tra trong thực tế

Hãy giữ danh sách kiểm tra đủ ngắn gọn để có thể sử dụng mọi lúc. Một buổi đánh giá điển hình sẽ mất ít thời gian hơn cuộc họp trình bày dự báo, và nó giúp bạn tránh được sai lầm phổ biến nhất: tin tưởng vào một báo cáo trôi chảy được xây dựng trên nền tảng thông tin mỏng manh. Bạn có thể chuẩn bị và chạy lại các kịch bản trong bảng điều khiển InfoDome ; gói dịch vụ có giá 29€ mỗi tháng với ngân sách sử dụng AI hàng tháng là 9€ và số lượng dự án không giới hạn.