Come analizzare una previsione: una checklist per i risultati delle simulazioni

Per esaminare una previsione di simulazione, verifica sette aspetti in quest'ordine: se la domanda è stata formulata correttamente, se la documentazione è completa e accurata, se il knowledge graph ha omesso attori importanti, quali presupposti guidano la conclusione, se il risultato resiste a successive analisi di sensibilità, quanto puoi essere onestamente sicuro e cosa deve essere verificato nel mondo reale prima di agire. Una previsione che supera questi controlli è un'ipotesi verificabile e difendibile; una che non li supera è solo una storia.

Perché ogni previsione ha bisogno di essere rivista

Un rapporto di simulazione si presenta in modo convincente. Contiene una narrazione, citazioni degli agenti e conclusioni chiare. Proprio questa fluidità è il motivo per cui necessita di una revisione: un rapporto ben scritto, ma basato su una lacuna nei dati di input, può apparire altrettanto solido di uno costruito su materiale di qualità.

In InfoDome una previsione deriva da una serie di passaggi. Si caricano documenti e si descrive cosa si desidera prevedere; il servizio crea un grafo della conoscenza di persone, organizzazioni, gruppi e relazioni; genera centinaia di agenti con caratteristiche, ruoli e memoria propri; questi interagiscono per un numero prestabilito di cicli su un feed simile Twitter e su un forum simile Reddit ; infine, un agente analista redige il report. Ogni anello di questa catena può essere verificato, e la recensione che segue ne illustra il percorso.

La lista di controllo, passo dopo passo

1. Formulazione: è stata posta la domanda giusta?

Partiamo dalla domanda stessa, perché una domanda vaga produce una risposta vaga.

• L'esito è specifico? "Come reagiranno le persone?" è una domanda debole. "I gruppi di genitori locali si opporranno alla fusione delle scuole nel primo mese e quale argomento useranno?" è una domanda forte.
• L'orizzonte temporale è chiaro? Il numero di round (ad esempio 10, 20 o 40) dovrebbe corrispondere al periodo di tempo che ti interessa, come i primi giorni successivi a un annuncio o un dibattito più lungo.
• Il pubblico di riferimento è stato definito? Se la reazione varia da paese a paese, verifica che siano stati selezionati i paesi di riferimento corretti. Puoi selezionarne fino a 10 e gli agenti saranno suddivisi equamente tra di essi.
• La domanda è neutra? Un prompt che contiene già la risposta attesa tende a confermarlo.

2. Qualità del documento: cosa sapeva effettivamente la simulazione?

Gli agenti conoscono solo ciò che i documenti e i grafici forniscono loro. Leggete i dati che vi vengono forniti con lo sguardo di uno scettico.

• Le informazioni sono aggiornate? Un prezzo, una data o un nome obsoleti si propagheranno lungo tutta la linea.
• Il materiale è di parte? Se tutti i documenti provengono dalla vostra organizzazione, i critici potrebbero essere sottorappresentati o descritti in modo caricaturale.
• Sono presenti i dettagli chiave? La causa nascosta più comune di un risultato strano è un dettaglio che i documenti semplicemente non menzionano.
• C'è del rumore di fondo? Appendici lunghe o contenuti non correlati possono distrarre gli utenti e indirizzarli verso argomenti secondari.

3. Lacune nel grafico: chi manca?

Esaminate le entità e le relazioni estratte dal sistema. Chiedetevi chi, realisticamente, interverrebbe in questa situazione e verificate la loro presenza nel grafico.

• Autorità di regolamentazione, sindacati, media locali, concorrenti, personaggi influenti, gruppi di opposizione.
• Relazioni importanti: chi finanzia chi, chi è in competizione, chi ha una storia di conflitti.
• Gruppi che subiscono le conseguenze ma che raramente vengono menzionati nei documenti ufficiali, come i lavoratori notturni o gli utenti delle zone rurali.

Se manca un attore importante, aggiungi un documento che lo descriva e riavvia il processo. Questo singolo passaggio spesso cambia il risultato più di qualsiasi altra cosa.

4. Presupposti: cosa determina la conclusione?

Ogni report si basa su alcuni presupposti fondamentali. Individuateli in modo esplicito.

• Chiedi all'analista del rapporto: "Quali tre presupposti influenzano maggiormente la tua conclusione?"
• Intervista due o tre agenti con posizioni opposte e chiedi loro perché hanno reagito in quel modo. Se le loro motivazioni si basano su un fatto non vero, hai individuato un punto debole.
• Distinguete i meccanismi (ad esempio, "la confusione sui requisiti di ammissibilità si diffonde attraverso i forum dei genitori") dalle grandezze (ad esempio, "la maggior parte degli agenti ha espresso un parere negativo"). I meccanismi sono generalmente più affidabili delle grandezze.

5. Ripetizione dei test di sensibilità: il risultato è confermato?

Una conclusione che cambia al variare di un singolo dettaglio è fragile. Mettila alla prova.

• Esegui nuovamente il programma senza modifiche per verificare quanta variazione derivi dalla simulazione stessa.
• Modifica una variabile alla volta : la formulazione della frase chiave, la tempistica, il prezzo, la presenza di un critico.
• Variare il numero di round per osservare se la reazione è un picco di breve durata o un cambiamento duraturo.
• Confronta i report uno accanto all'altro. Ciò che rimane invariato in entrambe le esecuzioni è la robustezza dei risultati; ciò che cambia è l'incertezza.

Il nostro scenario di analisi "what-if" è progettato proprio per questo tipo di confronto.

6. Fiducia: quanto ne sei veramente sicuro?

Indica il livello di confidenza per ciascuna conclusione, non per l'intero rapporto.

• Elevata: il risultato si ripete in ogni ripetizione dell'analisi, presenta un meccanismo chiaro e non dipende da un fatto controverso.
• Medio: compare nella maggior parte delle esecuzioni, ma la sua intensità varia o dipende da un'ipotesi che non è stato possibile verificare.
• Basso: compare una sola volta, oppure si basa su un documento mancante o su un fatto incerto.

Le simulazioni sono ipotesi verificabili che supportano il giudizio, non la certezza. Affermare "livello di fiducia medio, dipende da come i sindacati interpretano la clausola 4" è più utile a chi deve prendere una decisione rispetto a una previsione sicura ma non verificata.

7. Verifica nel mondo reale: cosa controllare prima di agire

L'ultimo passaggio trasforma le previsioni in azioni. Per ogni conclusione di grande impatto, si decide come testarla concretamente a basso costo.

• Chiedete l'opinione di alcune persone reali appartenenti al gruppo critico, ad esempio tramite brevi interviste.
• Esegui un breve sondaggio sulla domanda che la simulazione ha indicato come decisiva.
• Mostra la versione rivista del testo a un collega che non è stato coinvolto.
• Imposta i segnali di monitoraggio per il giorno del lancio: quali frasi o gruppi ti avviseranno che lo scenario simulato si sta verificando.

Un esempio pratico: la revisione delle previsioni relative alla fusione di scuole.

Un comune ha in programma di accorpare due scuole elementari. La prima simulazione prevede una reazione negativa moderata che si attenuerà entro due settimane.

• Inquadramento: la domanda posta riguarda i "residenti" in generale. Il team restringe il campo a genitori, insegnanti e media locali nel corso di 20 round.
• Documenti: gli unici elementi utilizzati sono stati la decisione del consiglio comunale e un comunicato stampa. Il team ha aggiunto un riepilogo del piano di trasporto per i bambini.
• Mancanza nel grafico: il sindacato degli insegnanti e il consiglio dei genitori della scuola più piccola non erano presenti. È stato aggiunto un breve documento descrittivo.
• Riproposizione: le nuove previsioni sono più precise. Il consiglio dei genitori della scuola più piccola diventa il primo a farsi portavoce, e l'argomento principale è il percorso più lungo e meno sicuro per raggiungere la scuola, non la fusione in sé.
• Sensibilità: con un piano di trasporto scolastico pubblicato, l'ondata negativa si riduce sensibilmente in tre repliche su tre; senza di esso, l'ondata persiste.
• Affidabilità: elevata per il meccanismo (sicurezza del percorso), media per la dimensione della reazione.
• Verifica: il team intrattiene due colloqui con genitori reali, che confermano la preoccupazione relativa al percorso. Il piano degli autobus viene pubblicato contestualmente alla decisione.

La prima relazione non era errata, semplicemente incompleta. La revisione l'ha trasformata in qualcosa su cui il consiglio potesse agire. Per confronti decisionali di questo tipo, si veda lo scenario di supporto alle decisioni .

Utilizzo pratico della checklist

Mantieni la checklist sufficientemente breve da poterla utilizzare ogni volta. Una revisione tipica richiede meno tempo della riunione in cui vengono presentate le previsioni e ti protegge dall'errore più comune: fidarti di un report ben scritto ma basato su dati superficiali. Puoi preparare e rieseguire gli scenari nella console InfoDome ; il piano costa 29 € al mese con un budget mensile di 9 € per l'utilizzo dell'IA e progetti illimitati.