Comment analyser une prévision : une liste de contrôle pour les résultats de simulation

Pour évaluer une prévision de simulation, vérifiez sept points dans l'ordre : la pertinence de la question posée, l'exhaustivité et l'exactitude des documents, la prise en compte de tous les acteurs importants dans le graphe de connaissances, les hypothèses sous-jacentes à la conclusion, la robustesse du résultat lors de simulations de sensibilité, le degré de confiance que vous pouvez légitimement accorder à cette prévision, et les éléments à vérifier concrètement avant toute action. Une prévision validée par ces critères constitue une hypothèse vérifiable et défendable ; une prévision non validée n'est qu'une simple hypothèse.

Pourquoi chaque prévision doit être révisée

Un rapport de simulation se lit avec conviction. Il comporte un récit, des citations d'agents et des conclusions claires. C'est précisément cette fluidité qui justifie sa relecture : un rapport bien rédigé, mais comportant des lacunes dans les données d'entrée, peut paraître aussi solide qu'un rapport basé sur des données de qualité.

Dans InfoDome une prévision est élaborée en plusieurs étapes. Vous téléchargez des documents et décrivez les éléments à prédire ; le service construit un graphe de connaissances regroupant les personnes, les organisations, les groupes et leurs relations ; il crée des centaines d'agents dotés de leurs propres caractéristiques, positions et mémoire ; ces agents interagissent pendant un nombre de tours prédéfini sur un flux de type Twitter et un forum de type Reddit ; enfin, un agent analyste rédige le rapport. Chaque maillon de cette chaîne est vérifiable et fait l'objet d'une analyse en ligne.

La liste de contrôle, étape par étape

1. Cadrage : la bonne question a-t-elle été posée ?

Commencez par la question elle-même, car une question vague engendre une réponse vague.

• Le résultat attendu est-il précis ? La question « Comment les gens vont-ils réagir ? » est peu pertinente. En revanche, la question « Les associations de parents d’élèves locales s’opposeront-elles à la fusion des écoles dès le premier mois, et quels arguments avanceront-elles ? » est pertinente.
• L’horizon temporel est-il clair ? Le nombre de tours (par exemple 10, 20 ou 40) doit correspondre à la période qui vous intéresse, comme les premiers jours suivant une annonce ou un débat plus long.
• Le public cible est-il défini ? Si les réactions varient selon les pays, vérifiez que les pays cibles sélectionnés sont les bons. Vous pouvez en sélectionner jusqu’à 10, et les agents sont répartis équitablement entre eux.
• La question est-elle neutre ? Une question qui contient déjà la réponse attendue tend à la confirmer.

2. Qualité du document : que savait réellement la simulation ?

Les agents ne disposent que des informations fournies par les documents et le graphique. Analysez les données avec un regard critique.

• Les informations sont-elles à jour ? Un prix, une date ou un nom obsolète se répercutera sur l’ensemble de la chaîne.
• Le contenu est-il partial ? Si tous les documents proviennent de votre propre organisation, les critiques risquent d’être sous-représentées ou caricaturées.
• Les détails essentiels sont-ils présents ? La cause cachée la plus fréquente d’un résultat étrange est un détail que les documents ne mentionnent tout simplement jamais.
• Y a-t-il du bruit ? De longues annexes ou un contenu sans rapport avec le sujet peuvent détourner l'attention des agents vers des sujets secondaires.

3. Lacunes dans le graphique : qui manque à l'appel ?

Examinez les entités et les relations extraites par le système. Demandez-vous qui, dans une situation donnée, prendrait la parole et vérifiez leur présence dans le graphe.

• Organismes de réglementation, syndicats, médias locaux, concurrents, personnalités influentes, groupes d'opposition.
• Les relations qui comptent : qui finance qui, qui est en concurrence, qui a des antécédents de conflits.
• Des groupes touchés mais rarement mentionnés dans les documents officiels, tels que les travailleurs de nuit ou les usagers ruraux.

Si un acteur important est absent, ajoutez un document le décrivant et relancez l'analyse. Cette simple étape est souvent plus déterminante que tout autre facteur.

4. Hypothèses : qu’est-ce qui motive la conclusion ?

Chaque rapport repose sur quelques hypothèses fondamentales. Identifiez-les explicitement.

• Demandez à l'analyste du rapport : « Quelles sont les trois hypothèses qui influencent le plus votre conclusion ? »
• Interrogez deux ou trois agents aux positions opposées et demandez-leur pourquoi ils ont réagi ainsi. Si leurs raisons reposent sur un fait erroné, vous avez trouvé un maillon faible.
• Distinguer les mécanismes (par exemple, « la confusion concernant l'admissibilité se propage sur les forums de parents ») des phénomènes d'ampleur (par exemple, « la plupart des agents sont devenus négatifs »). Les mécanismes sont généralement plus fiables que les phénomènes d'ampleur.

5. Nouvelles exécutions de l'analyse de sensibilité : le résultat se confirme-t-il ?

Une conclusion qui se renverse au moindre détail est fragile. Mettez-la à l'épreuve.

• Relancez la simulation sans la modifier pour voir quelle part de la variation provient de la simulation elle-même.
• Modifiez une variable à la fois : la formulation de la phrase clé, le moment choisi, le prix, la présence d'un critique.
• Faites varier le nombre de tours pour voir si la réaction se traduit par un pic bref ou un changement durable.
• Comparez les rapports côte à côte. Ce qui reste constant d'une analyse à l'autre constitue votre conclusion robuste ; ce qui change représente l'incertitude.

Notre scénario d'analyse de scénarios hypothétiques est conçu précisément pour ce type de comparaison.

6. Confiance : à quel point pouvez-vous en être vraiment sûr ?

Indiquez un niveau de confiance pour chaque conclusion, et non pour le rapport dans son ensemble.

• Niveau élevé : ce constat apparaît systématiquement lors des rediffusions, repose sur un mécanisme clair et ne dépend pas d’un fait contesté.
• Niveau moyen : il apparaît dans la plupart des parties, mais son intensité varie ou dépend d’une hypothèse que vous n’avez pas pu vérifier.
• Faible : il n'apparaît qu'une seule fois, ou repose sur un document manquant ou un fait incertain.

Les simulations sont des hypothèses vérifiables qui étayent le jugement, et non la certitude. Affirmer « confiance moyenne, cela dépend de l'interprétation de la clause 4 par les syndicats » est plus utile à un décideur qu'une prédiction affirmative mais non vérifiée.

7. Vérification concrète : que vérifier avant d’agir

La dernière étape consiste à transformer les prévisions en actions. Pour chaque conclusion majeure, il s'agit de déterminer comment la tester à moindre coût dans la réalité.

• Interrogez quelques personnes réelles appartenant au groupe critique, par exemple lors de courts entretiens.
• Réalisez un petit sondage sur la question que la simulation a jugée décisive.
• Montrez la version révisée à un collègue qui n'a pas participé au projet.
• Définissez des signaux de surveillance pour le jour du lancement : quelles phrases ou quels groupes de mots vous indiqueraient que le scénario simulé est en train de se dérouler ?

Exemple concret : analyse des prévisions de fusion d’établissements scolaires

Une municipalité envisage de fusionner deux écoles primaires. La première simulation prévoit une réaction négative modérée qui s'estompe en deux semaines.

• Cadrage : la question portait sur les « résidents » en général. L’équipe la restreint ensuite aux parents, aux enseignants et aux médias locaux au fil de 20 tours de sélection.
• Documents : les seuls éléments fournis étaient la décision du conseil municipal et un communiqué de presse. L’équipe ajoute un résumé du plan de transport pour les enfants.
• Lacunes dans le graphique : le syndicat des enseignants et le conseil des parents de la plus petite école étaient absents. Un bref document les décrivant a été ajouté.
• Nouvelle version : les nouvelles prévisions sont plus alarmistes. Le conseil des parents de l’établissement le plus petit devient le premier relais, et l’argument principal porte sur le trajet plus long et moins sûr pour se rendre à l’école, et non sur la fusion en elle-même.
• Sensibilité : avec un plan de transport scolaire publié, la vague négative diminue sensiblement dans les trois simulations ; sans ce plan, la vague persiste.
• Niveau de confiance : élevé pour le mécanisme (sécurité de la voie), moyen pour l’ampleur de la réaction.
• Vérification : l’équipe s’entretient à deux reprises avec des parents qui confirment le problème lié au trajet. Le plan de bus est publié en même temps que la décision.

Le premier rapport n'était pas erroné, il était simplement incomplet. La révision a permis de le rendre exploitable par le conseil. Pour des comparaisons de décisions de ce type, consultez le scénario d'aide à la décision .

Utiliser la liste de contrôle en pratique

Veillez à ce que la liste de contrôle soit suffisamment courte pour être utilisée systématiquement. Une revue classique prend moins de temps que la réunion de présentation des prévisions et vous protège de l'erreur la plus fréquente : se fier à un rapport fluide mais basé sur des informations superficielles. Vous pouvez préparer et exécuter à nouveau des scénarios dans la console InfoDome ; l'abonnement est à 29 € par mois, avec un budget mensuel de 9 € pour l'utilisation de l'IA et un nombre illimité de projets.