Πώς να ελέγξετε μια πρόβλεψη: Μια λίστα ελέγχου για τα αποτελέσματα της προσομοίωσης

Για να ελέγξετε μια πρόβλεψη προσομοίωσης, ελέγξτε επτά πράγματα με τη σειρά: αν η ερώτηση διατυπώθηκε σωστά, αν τα έγγραφα ήταν πλήρη και ακριβή, αν το γράφημα γνώσης παρέλειψε σημαντικούς παράγοντες, ποιες υποθέσεις οδηγούν στο συμπέρασμα, αν το αποτέλεσμα επιβιώνει από επαναλήψεις ευαισθησίας, πόσο σίγουροι μπορείτε να είστε ειλικρινά και τι πρέπει να επαληθευτεί στον πραγματικό κόσμο πριν ενεργήσετε. Μια πρόβλεψη που περνάει αυτούς τους ελέγχους είναι μια αναθεωρήσιμη υπόθεση που μπορείτε να υπερασπιστείτε. Μια πρόβλεψη που αποτυγχάνει είναι απλώς μια ιστορία.

Γιατί κάθε πρόβλεψη χρειάζεται αναθεώρηση

Μια έκθεση προσομοίωσης διαβάζεται πειστικά. Έχει μια αφήγηση, αποσπάσματα από πράκτορες και σαφή συμπεράσματα. Αυτή η ευχέρεια είναι ακριβώς ο λόγος που χρειάζεται μια αναθεώρηση: μια καλογραμμένη έκθεση που βασίζεται σε ένα κενό στις εισροές μπορεί να φαίνεται τόσο στιβαρή όσο μια που βασίζεται σε καλό υλικό.

Στο InfoDome μια πρόβλεψη προέρχεται από μια αλυσίδα βημάτων. Ανεβάζετε έγγραφα και περιγράφετε τι να προβλέψετε. Η υπηρεσία δημιουργεί ένα γράφημα γνώσης ατόμων, οργανισμών, ομάδων και σχέσεων. Δημιουργεί εκατοντάδες πράκτορες με τον δικό τους χαρακτήρα, θέση και μνήμη. Αλληλεπιδρούν για έναν επιλεγμένο αριθμό γύρων σε μια ροή τύπου Twitter και ένα φόρουμ τύπου Reddit . Στη συνέχεια, ένας αναλυτής γράφει την αναφορά. Κάθε κρίκος σε αυτήν την αλυσίδα μπορεί να ελεγχθεί και η παρακάτω ανασκόπηση την ακολουθεί.

Η λίστα ελέγχου, βήμα προς βήμα

1. Πλαίσιο: τέθηκε η σωστή ερώτηση;

Ξεκινήστε με την ίδια την ερώτηση, επειδή μια αόριστη ερώτηση παράγει μια αόριστη απάντηση.

• Είναι το αποτέλεσμα συγκεκριμένο; Η ερώτηση «Πώς θα αντιδράσει ο κόσμος;» είναι αδύναμη. Η ερώτηση «Θα αντιταχθούν οι τοπικές ομάδες γονέων στη συγχώνευση σχολείων τον πρώτο μήνα και ποιο επιχείρημα θα χρησιμοποιήσουν;» είναι ισχυρή.
• Είναι σαφής ο χρονικός ορίζοντας; Ο αριθμός των γύρων (για παράδειγμα 10, 20 ή 40) θα πρέπει να ταιριάζει με την περίοδο που σας ενδιαφέρει, όπως οι πρώτες ημέρες μετά από μια ανακοίνωση ή μια μεγαλύτερη συζήτηση.
• Είναι το κοινό καθορισμένο; Εάν η αντίδραση διαφέρει ανά χώρα, ελέγξτε ότι έχουν επιλεγεί οι σωστές χώρες κοινού. Μπορείτε να επιλέξετε έως και 10 και οι εκπρόσωποι κατανέμονται ισόποσα μεταξύ τους.
• Είναι η ερώτηση ουδέτερη; Μια προτροπή που περιέχει ήδη την αναμενόμενη απάντηση τείνει να την επιβεβαιώνει.

2. Ποιότητα εγγράφου: τι γνώριζε στην πραγματικότητα η προσομοίωση;

Οι πράκτορες γνωρίζουν μόνο τι τους δίνουν τα έγγραφα και το γράφημα. Διαβάστε τα στοιχεία που εισάγετε όπως θα έκανε ένας σκεπτικιστής.

• Είναι τα γεγονότα ενημερωμένα; Μια ξεπερασμένη τιμή, ημερομηνία ή όνομα θα διαδοθεί σε ολόκληρη την περίοδο.
• Είναι το υλικό μονόπλευρο; Εάν όλα τα έγγραφα προέρχονται από τον δικό σας οργανισμό, οι επικριτές ενδέχεται να υποεκπροσωπούνται ή να παρουσιάζονται ως καρικατούρα.
• Υπάρχουν βασικές λεπτομέρειες; Η πιο συνηθισμένη κρυφή αιτία ενός παράξενου αποτελέσματος είναι μια λεπτομέρεια που τα έγγραφα απλώς δεν αναφέρουν ποτέ.
• Υπάρχει θόρυβος; Τα μεγάλα παραρτήματα ή το άσχετο περιεχόμενο μπορούν να παρασύρουν τους εκπροσώπους σε δευτερεύοντα θέματα.

3. Κενά γραφήματος: ποιος λείπει;

Εξετάστε τις οντότητες και τις σχέσεις που εξήγαγε το σύστημα. Ρωτήστε ποιος θα μιλούσε ρεαλιστικά σε αυτήν την περίπτωση και ελέγξτε ότι υπάρχουν στο γράφημα.

• Ρυθμιστικές αρχές, συνδικάτα, τοπικά μέσα ενημέρωσης, ανταγωνιστές, άτομα με επιρροή, ομάδες της αντιπολίτευσης.
• Σχέσεις που έχουν σημασία: ποιος χρηματοδοτεί ποιον, ποιος ανταγωνίζεται, ποιος έχει ιστορικό συγκρούσεων.
• Ομάδες που επηρεάζονται αλλά σπάνια αναφέρονται σε επίσημα έγγραφα, όπως οι εργαζόμενοι σε νυχτερινές βάρδιες ή οι χρήστες στην ύπαιθρο.

Εάν λείπει ένας σημαντικός παράγοντας, προσθέστε ένα έγγραφο που τον περιγράφει και εκτελέστε το ξανά. Αυτό το μόνο βήμα συχνά αλλάζει το αποτέλεσμα περισσότερο από οτιδήποτε άλλο.

4. Υποθέσεις: τι οδηγεί στο συμπέρασμα;

Κάθε αναφορά βασίζεται σε μερικές υποθέσεις φέρουσας ικανότητας. Βρείτε τες με σαφήνεια.

• Ρωτήστε τον αναλυτή της έκθεσης: «Ποιες τρεις υποθέσεις επηρεάζουν περισσότερο το συμπέρασμά σας;»
• Πάρτε συνέντευξη από δύο ή τρεις εκπροσώπους με αντίθετες απόψεις και ρωτήστε γιατί αντέδρασαν με αυτόν τον τρόπο. Εάν οι λόγοι τους βασίζονται σε ένα γεγονός που δεν είναι αληθές, έχετε βρει έναν αδύναμο κρίκο.
• Διαχωρίστε τους μηχανισμούς (για παράδειγμα, «η σύγχυση σχετικά με την επιλεξιμότητα εξαπλώνεται μέσω των φόρουμ των γονέων») από τα μεγέθη (για παράδειγμα, «οι περισσότεροι πράκτορες έγιναν αρνητικοί»). Οι μηχανισμοί είναι συνήθως πιο αξιόπιστοι από τα μεγέθη.

5. Επαναλήψεις ευαισθησίας: ισχύει το αποτέλεσμα;

Ένα συμπέρασμα που ανατρέπεται όταν αλλάζει μια λεπτομέρεια είναι εύθραυστο. Δοκιμάστε το.

• Επαναλάβετε την εκτέλεση χωρίς αλλαγές για να δείτε πόση διακύμανση προέρχεται από την ίδια την προσομοίωση.
• Αλλάζετε μία μεταβλητή τη φορά : τη διατύπωση της βασικής πρότασης, τον χρόνο, την τιμή, την παρουσία ενός κριτικού.
• Μεταβάλλετε τον αριθμό των γύρων για να δείτε αν μια αντίδραση είναι μια σύντομη αιχμή ή μια διαρκής μετατόπιση.
• Συγκρίνετε τις αναφορές δίπλα-δίπλα. Αυτό που παραμένει το ίδιο σε όλες τις εκτελέσεις είναι το ισχυρό σας εύρημα. Αυτό που αλλάζει είναι η αβεβαιότητα.

Το σενάριο ανάλυσης "τι θα γινόταν αν" έχει σχεδιαστεί ακριβώς για αυτό το είδος σύγκρισης.

6. Αυτοπεποίθηση: πόσο σίγουροι μπορείτε να είστε ειλικρινά;

Καταγράψτε ένα επίπεδο εμπιστοσύνης για κάθε συμπέρασμα, όχι για την έκθεση στο σύνολό της.

• Υψηλό: το εύρημα εμφανίζεται σε κάθε επανάληψη, έχει σαφή μηχανισμό και δεν εξαρτάται από κάποιο αμφισβητούμενο γεγονός.
• Μέτριο: εμφανίζεται στις περισσότερες εκτελέσεις, αλλά η έντασή του ποικίλλει ή εξαρτάται από μία υπόθεση που δεν μπορέσατε να ελέγξετε.
• Χαμηλό: εμφανίζεται μία φορά ή βασίζεται σε ένα ελλείπον έγγραφο ή σε ένα αβέβαιο γεγονός.

Οι προσομοιώσεις είναι αναθεωρήσιμες υποθέσεις που υποστηρίζουν την κρίση, όχι τη βεβαιότητα. Το να λέμε «η μέτρια εμπιστοσύνη εξαρτάται από το πώς τα συνδικάτα ερμηνεύουν την παράγραφο 4» είναι πιο χρήσιμο για έναν υπεύθυνο λήψης αποφάσεων από μια σίγουρη αλλά μη εξετασμένη πρόβλεψη.

7. Επαλήθευση στον πραγματικό κόσμο: τι πρέπει να ελέγξετε πριν δράσετε

Το τελευταίο βήμα μετατρέπει την πρόβλεψη σε πράξεις. Για κάθε συμπέρασμα με υψηλό αντίκτυπο, αποφασίστε πώς να το δοκιμάσετε οικονομικά στην πραγματικότητα.

• Ρωτήστε μερικούς πραγματικούς ανθρώπους από την κρίσιμη ομάδα, για παράδειγμα σε σύντομες συνεντεύξεις.
• Διεξάγετε μια μικρή δημοσκόπηση σχετικά με το ένα ερώτημα που η προσομοίωση επισήμανε ως καθοριστικό.
• Δείξτε την αναθεωρημένη διατύπωση σε έναν συνάδελφο που δεν συμμετείχε.
• Ορίστε σήματα παρακολούθησης για την ημέρα έναρξης: ποιες φράσεις ή ομάδες θα σας έλεγαν ότι το προσομοιωμένο σενάριο εξελίσσεται.

Ένα λειτουργικό παράδειγμα: αναθεώρηση μιας πρόβλεψης συγχώνευσης σχολείων

Ένας δήμος σχεδιάζει να συγχωνεύσει δύο δημοτικά σχολεία. Η πρώτη προσομοίωση προβλέπει μια μέτρια αρνητική αντίδραση που εξασθενεί μέσα σε δύο εβδομάδες.

• Πλαίσιο: η ερώτηση που τίθεται γενικά σχετικά με τους «κατοίκους». Η ομάδα την περιορίζει σε γονείς, εκπαιδευτικούς και τοπικά μέσα ενημέρωσης σε 20 γύρους.
• Έγγραφα: τα μόνα στοιχεία που υποβλήθηκαν ήταν η απόφαση του συμβουλίου και ένα δελτίο τύπου. Η ομάδα προσθέτει μια σύνοψη του σχεδίου μεταφοράς για τα παιδιά.
• Κενά στα γραφήματα: έλειπαν το σωματείο διδασκόντων και το συμβούλιο γονέων του μικρότερου σχολείου. Προστίθεται ένα σύντομο έγγραφο που τα περιγράφει.
• Επανάληψη: η νέα πρόβλεψη είναι πιο έντονη. Το συμβούλιο γονέων του μικρότερου σχολείου γίνεται ο πρώτος ενισχυτής και το κύριο επιχείρημα είναι η μακρύτερη και λιγότερο ασφαλής διαδρομή προς το σχολείο, όχι η ίδια η συγχώνευση.
• Ευαισθησία: με ένα δημοσιευμένο σχέδιο για τα σχολικά λεωφορεία, το αρνητικό κύμα συρρικνώνεται αισθητά σε τρεις από τις τρεις επαναλήψεις· χωρίς αυτό, το κύμα επιμένει.
• Εμπιστοσύνη: υψηλή για τον μηχανισμό (ασφάλεια της διαδρομής), μέτρια για το μέγεθος της αντίδρασης.
• Επαλήθευση: η ομάδα πραγματοποιεί δύο συνομιλίες με πραγματικούς γονείς, οι οποίοι επιβεβαιώνουν το ζήτημα της διαδρομής. Το σχέδιο λεωφορείου δημοσιεύεται μαζί με την απόφαση.

Η πρώτη έκθεση δεν ήταν λανθασμένη, απλώς ελλιπής. Η αξιολόγηση την μετέτρεψε σε κάτι με βάση το οποίο το συμβούλιο θα μπορούσε να ενεργήσει. Για συγκρίσεις αποφάσεων όπως αυτή, ανατρέξτε στο σενάριο υποστήριξης αποφάσεων .

Χρήση της λίστας ελέγχου στην πράξη

Διατηρήστε τη λίστα ελέγχου αρκετά σύντομη ώστε να μπορείτε να τη χρησιμοποιείτε κάθε φορά. Μια τυπική ανασκόπηση διαρκεί λιγότερο χρόνο από τη συνάντηση όπου παρουσιάζεται η πρόβλεψη και σας προστατεύει από το πιο συνηθισμένο λάθος: να εμπιστευτείτε μια εύχρηστη αναφορά που βασίζεται σε περιορισμένο υλικό. Μπορείτε να προετοιμάσετε και να εκτελέσετε ξανά σενάρια στην κονσόλα InfoDome . Το πρόγραμμα κοστίζει 29€ ανά μήνα με μηνιαίο προϋπολογισμό χρήσης τεχνητής νοημοσύνης 9€ και απεριόριστα έργα.