Paano Suriin ang Isang Pagtataya: Isang Checklist para sa mga Resulta ng Simulasyon

Para marepaso ang isang simulation forecast, suriin ang pitong bagay ayon sa pagkakasunod-sunod: kung maayos ba ang pagkakabalangkas ng tanong, kung kumpleto at tumpak ba ang mga dokumento, kung hindi natugunan ng knowledge graph ang mahahalagang aktor, kung aling mga pagpapalagay ang nagtutulak sa konklusyon, kung nakaligtas ba ang resulta sa mga sensitivity rerun, gaano ka katapat na kumpiyansa, at ano ang dapat mapatunayan sa totoong mundo bago ka kumilos. Ang isang forecast na pumasa sa mga pagsusuring ito ay isang maaaring suriing hypothesis na maaari mong ipagtanggol; ang isang hypothesis na mabibigo ay isa lamang kuwento.

Bakit kailangan ng pagsusuri ang bawat hula

Nakakakumbinsi ang pagbabasa ng isang simulation report. Mayroon itong naratibo, mga sipi mula sa mga ahente, at malinaw na konklusyon. Ang kahusayang iyon ang siyang dahilan kung bakit kailangan itong repasuhin: ang isang mahusay na pagkakasulat na ulat na nakabatay sa kakulangan sa mga input ay maaaring magmukhang kasingtibay ng isang ulat na nakabatay sa mahusay na materyal.

Sa InfoDome ang isang pagtataya ay nagmumula sa isang kadena ng mga hakbang. Mag-a-upload ka ng mga dokumento at ilalarawan kung ano ang huhulaan; bubuo ang serbisyo ng isang knowledge graph ng mga tao, organisasyon, grupo, at relasyon; lilikha ito ng daan-daang ahente na may kani-kanilang karakter, posisyon, at memorya; makikipag-ugnayan sila sa isang napiling bilang ng mga round sa isang feed na parang Twitter at isang forum na parang Reddit ; pagkatapos ay isusulat ng isang analyst agent ang ulat. Maaaring suriin ang bawat link sa kadenang iyon, at ang pagsusuri sa ibaba ay kasunod nito.

Ang checklist, hakbang-hakbang

1. Pagbalangkas: tama ba ang tanong na naitanong?

Magsimula sa tanong mismo, dahil ang isang malabong tanong ay nagbubunga ng malabong sagot.

• Tiyak ba ang resulta? Mahina ang "Paano magre-react ang mga tao?". Malakas ang "Tututulan ba ng mga lokal na grupo ng mga magulang ang pagsasanib ng paaralan sa unang buwan, at aling argumento ang gagamitin nila?".
• Malinaw ba ang takdang panahon? Ang bilang ng mga round (halimbawa 10, 20 o 40) ay dapat tumugma sa panahong mahalaga sa iyo, tulad ng mga unang araw pagkatapos ng isang anunsyo o isang mas mahabang debate.
• Natukoy ba ang audience? Kung ang reaksyon ay magkakaiba ayon sa bansa, tiyaking napili ang tamang audience sa mga bansang iyon. Maaari kang pumili ng hanggang 10, at ang mga ahente ay pantay na hinati sa kanila.
• Neutral ba ang tanong? Ang isang prompt na naglalaman na ng inaasahang sagot ay may posibilidad na kumpirmahin ito.

2. Kalidad ng dokumento: ano nga ba ang talagang alam ng simulasyon?

Alam lang ng mga ahente kung ano ang ipinapakita ng mga dokumento at ng graph. Basahin ang iyong mga input gaya ng gagawin ng isang taong may pag-aalinlangan.

• Napapanahon ba ang mga katotohanan? Ang isang lumang presyo, petsa, o pangalan ay lalaganap sa buong proseso.
• May kinikilingan ba ang materyal? Kung ang lahat ng dokumento ay nagmula sa sarili mong organisasyon, maaaring kulang ang representasyon ng mga kritiko o kaya'y ginagawang karikatura lamang ito.
• Mayroon bang mahahalagang detalye? Ang pinakakaraniwang nakatagong sanhi ng kakaibang resulta ay isang detalyeng hindi kailanman binabanggit ng mga dokumento.
• May ingay ba? Ang mahahabang apendiks o walang kaugnayang nilalaman ay maaaring makaakit ng mga ahente patungo sa mga hindi direktang paksa.

3. Mga puwang sa graph: sino ang nawawala?

Tingnan ang mga entity at relasyong kinuha ng sistema. Tanungin kung sino ang makatotohanang magsasalita sa sitwasyong ito at tiyaking umiiral ang mga ito sa graph.

• Mga regulator, unyon, lokal na media, mga kakumpitensya, mga maimpluwensyang indibidwal, mga grupo ng oposisyon.
• Mga ugnayang mahalaga: sino ang nagpopondo, sino ang nakikipagkumpitensya, sino ang may kasaysayan ng tunggalian.
• Mga grupong apektado ngunit bihirang mabanggit sa mga opisyal na dokumento, tulad ng mga manggagawa sa gabi o mga gumagamit sa kanayunan.

Kung may nawawalang mahalagang aktor, magdagdag ng dokumentong naglalarawan sa mga ito at ulitin. Ang hakbang na ito ang kadalasang nagpapabago sa resulta nang higit sa lahat.

4. Mga Pagpapalagay: ano ang nagtutulak sa konklusyon?

Ang bawat ulat ay nakabatay sa ilang mga pagpapalagay na may kinalaman sa bigat. Hanapin ang mga ito nang malinaw.

• Tanungin ang analyst ng ulat: "Aling tatlong palagay ang pinakanakakaapekto sa iyong konklusyon?"
• Mag-interbyu ng dalawa o tatlong ahente na may magkaibang posisyon at tanungin kung bakit ganoon ang kanilang naging reaksyon. Kung ang kanilang mga dahilan ay nakabatay sa isang katotohanang hindi totoo, nakahanap ka ng isang mahinang kawing.
• Magkakahiwalay na mekanismo (halimbawa, "ang kalituhan tungkol sa pagiging karapat-dapat ay kumakalat sa mga forum ng mga magulang") mula sa mga magnitude (halimbawa, "karamihan sa mga ahente ay naging negatibo"). Ang mga mekanismo ay karaniwang mas maaasahan kaysa sa mga laki.

5. Mga paulit-ulit na pag-uulit ng sensitibidad: nananatili ba ang resulta?

Ang konklusyong nababago kapag may nagbagong detalye ay marupok. Subukan mo ito.

• Patakbuhin muli nang hindi binabago upang makita kung gaano kalaking pagkakaiba-iba ang nagmumula sa mismong simulation.
• Baguhin nang paisa-isa ang baryabol : ang pagkakasulat ng susing pangungusap, ang tiyempo, ang presyo, ang presensya ng isang kritiko.
• Baguhin ang bilang ng mga round upang makita kung ang isang reaksyon ay isang maikling spike o isang pangmatagalang pagbabago.
• Paghambingin ang mga ulat nang magkatabi. Ang nananatiling pareho sa lahat ng mga pagtakbo ay ang iyong matibay na natuklasan; ang nagbabago ay ang kawalan ng katiyakan.

Ang aming senaryo ng pagsusuri ng "paano-kung" ay dinisenyo para mismo sa ganitong uri ng paghahambing.

6. Tiwala sa sarili: gaano ka katiyak nang tapat?

Isulat ang antas ng kumpiyansa para sa bawat konklusyon, hindi para sa kabuuan ng ulat.

• Mataas: ang natuklasan ay lumalabas sa bawat pag-uulit ng palabas, may malinaw na mekanismo at hindi nakadepende sa isang pinagtatalunang katotohanan.
• Katamtaman: lumilitaw ito sa karamihan ng mga pagtakbo, ngunit ang lakas nito ay nag-iiba o nakadepende ito sa isang palagay na hindi mo masusuri.
• Mababa: lumilitaw ito nang isang beses, o umaasa sa isang nawawalang dokumento o isang hindi tiyak na katotohanan.

Ang mga simulasyon ay mga hypotheses na maaaring suriin na sumusuporta sa paghatol, hindi sa katiyakan. Ang pagsasabi ng "katamtamang kumpiyansa, depende sa kung paano binabasa ng mga unyon ang sugnay 4" ay mas kapaki-pakinabang sa isang tagagawa ng desisyon kaysa sa isang kumpiyansa ngunit hindi nasusuring prediksyon.

7. Pag-verify sa totoong buhay: ano ang dapat suriin bago kumilos

Ang huling hakbang ay ginagawang mga aksyon ang pagtataya. Para sa bawat konklusyong may mataas na epekto, magpasya kung paano ito susubukan nang mura sa totoong buhay.

• Magtanong ng ilang totoong tao mula sa kritikal na grupo, halimbawa sa maiikling panayam.
• Magsagawa ng isang maliit na botohan sa iisang tanong na itinuring ng simulation bilang mapagpasyahan.
• Ipakita ang binagong mga salita sa isang kasamahan na hindi kasangkot.
• Magtakda ng mga hudyat sa pagsubaybay para sa araw ng paglulunsad: kung aling mga parirala o grupo ang magsasabi sa iyo na nagaganap na ang kunwaring senaryo.

Isang epektibong halimbawa: pagsusuri sa pagtataya ng pagsasanib ng paaralan

Plano ng isang munisipalidad na pagsamahin ang dalawang paaralang elementarya. Hinuhulaan ng unang simulasyon ang isang katamtamang negatibong reaksyon na mawawala sa loob ng dalawang linggo.

• Framing: ang tanong na itinanong tungkol sa mga "residente" sa pangkalahatan. Pinapaliit ito ng pangkat sa mga magulang, guro, at lokal na media sa loob ng 20 rounds.
• Mga Dokumento: ang tanging mga input ay ang desisyon ng konseho at isang press release. Nagdagdag ang pangkat ng buod ng plano sa transportasyon para sa mga bata.
• Mga puwang sa graph: nawawala ang unyon ng mga guro at ang konseho ng mga magulang ng mas maliit na paaralan. Idinagdag ang isang maikling dokumento na naglalarawan sa kanila.
• Muling pagtakbo: mas malinaw ang bagong pagtataya. Ang konseho ng mga magulang ng mas maliit na paaralan ang magiging unang tagapagpalakas, at ang pangunahing argumento ay ang mas mahaba at hindi gaanong ligtas na ruta patungo sa paaralan, hindi ang mismong pagsasanib.
• Sensitibo: sa isang nailathalang plano para sa school bus, ang negatibong epekto ay kapansin-pansing lumiliit sa tatlo sa tatlong pag-uulit ng palabas; kung wala ito, magpapatuloy ang negatibong epekto.
• Kumpiyansa: mataas para sa mekanismo (kaligtasan ng ruta), katamtaman para sa laki ng reaksyon.
• Beripikasyon: ang pangkat ay nagsagawa ng dalawang pag-uusap sa mga tunay na magulang, na siyang nagkumpirma sa problema sa ruta. Ang plano ng bus ay inilalathala kasama ng desisyon.

Hindi mali ang unang ulat, hindi lang kumpleto. Dahil sa pagsusuri, naging isang bagay ito na maaaring aksyonan ng konseho. Para sa mga paghahambing ng desisyon tulad nito, tingnan ang senaryo ng suporta sa desisyon .

Paggamit ng checklist sa pagsasagawa

Panatilihing maikli ang checklist para magamit sa bawat pagkakataon. Ang isang karaniwang pagsusuri ay mas mabilis kaysa sa pulong kung saan inilalahad ang forecast, at pinoprotektahan ka nito mula sa pinakakaraniwang pagkakamali: ang pagtitiwala sa isang mahusay na ulat na binuo sa manipis na materyal. Maaari kang maghanda at magpatakbo muli ng mga senaryo sa InfoDome console ; ang plano ay €29 bawat buwan na may €9 na buwanang badyet sa paggamit ng AI at walang limitasyong mga proyekto.