Cara Meninjau Prakiraan: Daftar Periksa untuk Hasil Simulasi

Untuk meninjau perkiraan simulasi, periksa tujuh hal secara berurutan: apakah pertanyaan dirumuskan dengan baik, apakah dokumen lengkap dan akurat, apakah grafik pengetahuan melewatkan aktor-aktor penting, asumsi apa yang mendorong kesimpulan, apakah hasilnya tetap valid setelah pengujian sensitivitas ulang, seberapa yakin Anda dapat jujur, dan apa yang harus diverifikasi di dunia nyata sebelum Anda bertindak. Perkiraan yang lolos pemeriksaan ini adalah hipotesis yang dapat ditinjau dan dipertahankan; perkiraan yang gagal hanyalah sebuah cerita.

Mengapa setiap ramalan perlu ditinjau ulang

Laporan simulasi tersebut mudah dibaca dan meyakinkan. Laporan itu memiliki narasi, kutipan dari para agen, dan kesimpulan yang jelas. Kelancaran itulah yang justru menjadi alasan mengapa laporan tersebut perlu ditinjau: laporan yang ditulis dengan baik namun memiliki kekurangan dalam input dapat terlihat sama solidnya dengan laporan yang dibangun berdasarkan materi yang baik.

Di InfoDome sebuah perkiraan berasal dari serangkaian langkah. Anda mengunggah dokumen dan menjelaskan apa yang ingin diprediksi; layanan ini membangun grafik pengetahuan tentang orang, organisasi, kelompok, dan hubungan; layanan ini menciptakan ratusan agen dengan karakter, posisi, dan memori mereka sendiri; mereka berinteraksi selama sejumlah putaran yang dipilih pada umpan mirip Twitter dan forum mirip Reddit ; kemudian seorang agen analis menulis laporan. Setiap tautan dalam rantai tersebut dapat diperiksa, dan ulasan di bawahnya mengikutinya.

Daftar periksa, langkah demi langkah

1. Pembingkaian: apakah pertanyaan yang diajukan sudah tepat?

Mulailah dengan pertanyaan itu sendiri, karena pertanyaan yang samar akan menghasilkan jawaban yang samar pula.

• Apakah hasilnya spesifik? Pertanyaan "Bagaimana reaksi masyarakat?" lemah. Pertanyaan "Akankah kelompok orang tua setempat menentang penggabungan sekolah pada bulan pertama, dan argumen apa yang akan mereka gunakan?" lebih kuat.
• Apakah jangka waktunya sudah jelas? Jumlah putaran (misalnya 10, 20, atau 40) harus sesuai dengan periode yang Anda inginkan, seperti beberapa hari pertama setelah pengumuman atau debat yang lebih panjang.
• Apakah target audiens sudah ditentukan? Jika reaksi berbeda antar negara, periksa apakah negara audiens yang tepat telah dipilih. Anda dapat memilih hingga 10 negara, dan agen akan dibagi rata di antara negara-negara tersebut.
• Apakah pertanyaannya netral? Sebuah pertanyaan yang sudah mengandung jawaban yang diharapkan cenderung mengkonfirmasinya.

2. Kualitas dokumen: apa yang sebenarnya diketahui oleh simulasi?

Agen hanya mengetahui apa yang diberikan oleh dokumen dan grafik. Bacalah masukan Anda seperti seorang yang skeptis.

• Apakah fakta-fakta tersebut terkini? Harga, tanggal, atau nama yang sudah usang akan tersebar ke seluruh rangkaian produk.
• Apakah materi tersebut berat sebelah? Jika semua dokumen berasal dari organisasi Anda sendiri, para kritikus mungkin kurang terwakili atau digambarkan secara karikatur.
• Apakah detail-detail penting ada? Penyebab tersembunyi yang paling umum dari hasil yang aneh adalah detail yang sama sekali tidak pernah disebutkan dalam dokumen.
• Apakah ada gangguan? Lampiran yang panjang atau konten yang tidak relevan dapat mengalihkan perhatian agen ke topik sampingan.

3. Grafik yang kosong: siapa yang hilang?

Perhatikan entitas dan relasi yang diekstrak oleh sistem. Tanyakan siapa yang secara realistis akan angkat bicara dalam situasi ini dan periksa apakah mereka ada dalam grafik tersebut.

• Regulator, serikat pekerja, media lokal, pesaing, individu berpengaruh, kelompok oposisi.
• Hubungan yang penting: siapa mendanai siapa, siapa yang bersaing, siapa yang memiliki sejarah konflik.
• Kelompok-kelompok yang terdampak tetapi jarang disebutkan dalam dokumen resmi, seperti pekerja shift malam atau pengguna di daerah pedesaan.

Jika aktor penting hilang, tambahkan dokumen yang menjelaskan tentang mereka dan jalankan ulang. Langkah sederhana ini seringkali mengubah hasil lebih dari apa pun.

4. Asumsi: apa yang mendasari kesimpulan tersebut?

Setiap laporan bertumpu pada beberapa asumsi mendasar. Temukan asumsi-asumsi tersebut secara eksplisit.

• Tanyakan kepada analis laporan tersebut: "Tiga asumsi mana yang paling memengaruhi kesimpulan Anda?"
• Wawancarai dua atau tiga agen dengan posisi yang berlawanan dan tanyakan mengapa mereka bereaksi seperti itu. Jika alasan mereka didasarkan pada fakta yang tidak benar, Anda telah menemukan titik lemah.
• Pisahkan mekanisme (misalnya, "kebingungan tentang kelayakan menyebar melalui forum orang tua") dari besaran (misalnya, "sebagian besar agen menjadi negatif"). Mekanisme biasanya lebih dapat diandalkan daripada besaran.

5. Pengujian sensitivitas ulang: apakah hasilnya tetap sama?

Kesimpulan yang berubah drastis hanya karena satu detail berbeda adalah kesimpulan yang rapuh. Ujilah.

• Jalankan ulang tanpa perubahan untuk melihat seberapa besar variasi yang berasal dari simulasi itu sendiri.
• Ubahlah satu variabel dalam satu waktu : susunan kalimat kunci, waktu, harga, kehadiran satu kritikus.
• Variasikan jumlah putaran untuk melihat apakah reaksinya berupa lonjakan singkat atau perubahan yang berkelanjutan.
• Bandingkan laporan-laporan tersebut secara berdampingan. Yang tetap sama di setiap pengujian adalah temuan yang kuat; yang berubah adalah ketidakpastian.

Skenario analisis "bagaimana jika" kami dirancang tepat untuk perbandingan semacam ini.

6. Kepercayaan diri: seberapa yakin Anda sebenarnya?

Tuliskan tingkat kepercayaan untuk setiap kesimpulan, bukan untuk keseluruhan laporan.

• Tinggi: temuan tersebut muncul di setiap tayangan ulang, memiliki mekanisme yang jelas, dan tidak bergantung pada fakta yang diperdebatkan.
• Sedang: muncul di sebagian besar percobaan, tetapi kekuatannya bervariasi atau bergantung pada satu asumsi yang tidak dapat Anda periksa.
• Rendah: muncul sekali, atau bergantung pada dokumen yang hilang atau fakta yang tidak pasti.

Simulasi adalah hipotesis yang dapat ditinjau yang mendukung penilaian, bukan kepastian. Mengatakan "keyakinan sedang, tergantung pada bagaimana serikat pekerja menafsirkan klausul 4" lebih bermanfaat bagi pengambil keputusan daripada prediksi yang yakin tetapi belum diuji.

7. Verifikasi di dunia nyata: apa yang perlu diperiksa sebelum bertindak

Langkah terakhir mengubah perkiraan menjadi tindakan. Untuk setiap kesimpulan yang berdampak besar, tentukan bagaimana cara mengujinya secara murah di dunia nyata.

• Tanyakan kepada beberapa orang yang benar-benar mewakili kelompok kritis tersebut, misalnya dalam wawancara singkat.
• Lakukan jajak pendapat kecil pada satu pertanyaan yang ditandai oleh simulasi sebagai pertanyaan penentu.
• Tunjukkan redaksi yang telah direvisi kepada kolega yang tidak terlibat.
• Tetapkan sinyal pemantauan untuk hari peluncuran: frasa atau kelompok mana yang akan memberi tahu Anda bahwa skenario simulasi sedang berlangsung.

Contoh kasus: meninjau perkiraan penggabungan sekolah.

Pemerintah kota berencana menggabungkan dua sekolah dasar. Simulasi pertama memprediksi reaksi negatif moderat yang mereda dalam waktu dua minggu.

• Kerangka pertanyaan: pertanyaan awalnya ditujukan kepada "warga" secara umum. Tim mempersempitnya menjadi orang tua, guru, dan media lokal melalui lebih dari 20 putaran.
• Dokumen: satu-satunya masukan adalah keputusan dewan dan siaran pers. Tim menambahkan ringkasan rencana transportasi untuk anak-anak.
• Kekurangan pada grafik: serikat guru dan dewan orang tua dari sekolah yang lebih kecil tidak tercantum. Sebuah dokumen singkat yang menjelaskan tentang mereka telah ditambahkan.
• Tayangan ulang: ramalan baru lebih tajam. Dewan orang tua dari sekolah yang lebih kecil menjadi penggerak utama, dan argumen utamanya adalah rute ke sekolah yang lebih panjang dan kurang aman, bukan penggabungan itu sendiri.
• Sensitivitas: dengan adanya rencana bus sekolah yang dipublikasikan, gelombang negatif berkurang secara signifikan dalam tiga dari tiga pengulangan; tanpa rencana tersebut, gelombang negatif tetap ada.
• Tingkat kepercayaan: tinggi untuk mekanisme (keamanan jalur reaksi), sedang untuk ukuran reaksi.
• Verifikasi: tim mengadakan dua percakapan dengan orang tua sungguhan, yang mengkonfirmasi kekhawatiran tentang rute tersebut. Rencana bus dipublikasikan bersamaan dengan keputusan tersebut.

Laporan pertama tidak salah, hanya tidak lengkap. Tinjauan tersebut mengubahnya menjadi sesuatu yang dapat ditindaklanjuti oleh dewan. Untuk perbandingan keputusan seperti ini, lihat skenario pendukung keputusan .

Menggunakan daftar periksa dalam praktik

Buatlah daftar periksa yang cukup singkat agar dapat digunakan setiap saat. Tinjauan tipikal membutuhkan waktu lebih singkat daripada rapat tempat perkiraan dipresentasikan, dan ini melindungi Anda dari kesalahan paling umum: mempercayai laporan yang lancar yang dibangun di atas materi yang minim. Anda dapat mempersiapkan dan menjalankan ulang skenario di konsol InfoDome ; paketnya seharga €29 per bulan dengan anggaran penggunaan AI bulanan sebesar €9 dan proyek tanpa batas.