Como analisar uma previsão: uma lista de verificação para resultados de simulação

Para analisar uma previsão de simulação, verifique sete pontos nesta ordem: se a pergunta foi bem formulada, se os documentos estavam completos e precisos, se o grafo de conhecimento deixou de fora atores importantes, quais premissas fundamentam a conclusão, se o resultado se mantém após novas análises de sensibilidade, qual o grau de confiança que você pode ter e o que precisa ser verificado no mundo real antes de agir. Uma previsão que passa por essas verificações é uma hipótese que pode ser analisada e defendida; uma que falha é apenas uma história.

Por que toda previsão precisa de uma revisão?

Um relatório de simulação é convincente. Ele apresenta uma narrativa, citações de agentes e conclusões claras. Essa fluidez é exatamente o motivo pelo qual ele precisa de uma revisão: um relatório bem escrito, baseado em uma lacuna nos dados de entrada, pode parecer tão sólido quanto um construído com base em bons dados.

No InfoDome uma previsão surge de uma cadeia de etapas. Você carrega documentos e descreve o que deseja prever; o serviço constrói um grafo de conhecimento de pessoas, organizações, grupos e relações; cria centenas de agentes com personalidade, posição e memória próprias; eles interagem por um número determinado de rodadas em um feed semelhante Twitter e em um fórum semelhante Reddit ; então, um agente analista redige o relatório. Cada elo dessa cadeia pode ser verificado, e a análise abaixo o acompanha.

A lista de verificação, passo a passo

1. Enquadramento: a pergunta certa foi feita?

Comece pela própria pergunta, pois uma pergunta vaga produz uma resposta vaga.

• O resultado é específico? "Como as pessoas reagirão?" é uma pergunta fraca. "Os grupos de pais locais se oporão à fusão das escolas no primeiro mês, e qual argumento usarão?" é uma pergunta forte.
• O horizonte temporal está claro? O número de rodadas (por exemplo, 10, 20 ou 40) deve corresponder ao período que lhe interessa, como os primeiros dias após um anúncio ou um debate mais longo.
• O público-alvo está definido? Se a reação variar de país para país, verifique se os países corretos foram selecionados. Você pode selecionar até 10 países, e os agentes serão distribuídos igualmente entre eles.
• A pergunta é neutra? Uma pergunta que já contém a resposta esperada tende a confirmá-la.

2. Qualidade do documento: o que a simulação realmente sabia?

Os agentes só sabem o que os documentos e o gráfico lhes fornecem. Leia as informações como um cético faria.

• As informações estão atualizadas? Um preço, data ou nome desatualizado se propagará por toda a cadeia de distribuição.
• O material é tendencioso? Se todos os documentos provêm da sua própria organização, as críticas podem ser sub-representadas ou caricaturadas.
• Os detalhes essenciais estão presentes? A causa oculta mais comum de um resultado estranho é um detalhe que os documentos simplesmente nunca mencionam.
• Há ruído? Apêndices longos ou conteúdo não relacionado podem desviar a atenção dos agentes para tópicos secundários.

3. Lacunas no gráfico: quem está faltando?

Analise as entidades e relações extraídas pelo sistema. Pergunte-se quem, realisticamente, se manifestaria nessa situação e verifique se essas pessoas existem no grafo.

• Órgãos reguladores, sindicatos, mídia local, concorrentes, indivíduos influentes, grupos de oposição.
• Relações importantes: quem financia quem, quem compete, quem tem um histórico de conflitos.
• Grupos afetados, mas raramente mencionados em documentos oficiais, como trabalhadores do turno da noite ou usuários rurais.

Se um ator importante estiver faltando, adicione um documento que o descreva e execute novamente. Essa simples etapa costuma alterar o resultado mais do que qualquer outra coisa.

4. Pressupostos: o que motiva a conclusão?

Todo relatório se baseia em algumas premissas fundamentais. Identifique-as explicitamente.

• Pergunte ao analista do relatório: "Quais são as três premissas que mais afetam sua conclusão?"
• Entreviste dois ou três agentes com posições opostas e pergunte por que reagiram daquela maneira. Se as razões deles se basearem em um fato que não é verdadeiro, você encontrou um ponto fraco.
• Separe os mecanismos (por exemplo, "a confusão sobre a elegibilidade se espalha pelos fóruns de pais") das magnitudes (por exemplo, "a maioria dos agentes se tornou negativa"). Os mecanismos geralmente são mais confiáveis do que as magnitudes.

5. Repetição dos testes de sensibilidade: o resultado se mantém?

Uma conclusão que muda quando um único detalhe se altera é frágil. Teste-a.

• Execute novamente sem alterações para verificar quanta variação provém da própria simulação.
• Alterar uma variável de cada vez : a formulação da frase principal, o momento, o preço, a presença de um crítico.
• Varie o número de rodadas para verificar se a reação é um pico passageiro ou uma mudança duradoura.
• Compare os relatórios lado a lado. O que permanece constante em todas as execuções é a sua descoberta robusta; o que muda é a incerteza.

Nosso cenário de análise de hipóteses foi desenvolvido exatamente para esse tipo de comparação.

6. Confiança: quão seguro você pode estar, honestamente?

Anote o nível de confiança para cada conclusão, não para o relatório como um todo.

• Alto: a descoberta aparece em todas as revisões, possui um mecanismo claro e não depende de um fato contestado.
• Médio: aparece na maioria das execuções, mas sua intensidade varia ou depende de uma suposição que você não pôde verificar.
• Baixa: aparece uma única vez, ou depende de um documento faltante ou de um fato incerto.

Simulações são hipóteses passíveis de revisão que fundamentam julgamentos, não certezas absolutas. Dizer "confiança média, depende de como os sindicatos interpretarem a cláusula 4" é mais útil para quem toma decisões do que uma previsão confiante, porém não examinada.

7. Verificação no mundo real: o que verificar antes de agir

A última etapa transforma a previsão em ações. Para cada conclusão de alto impacto, decida como testá-la na prática de forma econômica.

• Pergunte a algumas pessoas reais do grupo crítico, por exemplo, em entrevistas curtas.
• Realize uma pequena pesquisa sobre a única questão que a simulação sinalizou como decisiva.
• Mostre a versão revisada do texto a um colega que não esteve envolvido no processo.
• Defina sinais de monitoramento para o dia do lançamento: quais frases ou grupos indicariam que o cenário simulado está se desenrolando?

Um exemplo prático: análise de uma previsão de fusão escolar.

Um município planeja fundir duas escolas primárias. A primeira simulação prevê uma reação negativa moderada que se dissipa em duas semanas.

• Enquadramento: a pergunta feita dizia respeito aos "moradores" em geral. A equipe restringe o escopo a pais, professores e mídia local ao longo de 20 rodadas.
• Documentos: as únicas informações de entrada foram a decisão do conselho e um comunicado de imprensa. A equipe acrescenta um resumo do plano de transporte para crianças.
• Lacunas no gráfico: faltavam o sindicato dos professores e o conselho de pais da escola menor. Foi adicionado um breve documento descrevendo-os.
• Recapitulando: a nova previsão é mais precisa. O conselho de pais da escola menor torna-se o primeiro a amplificar a discussão, e o principal argumento é o trajeto mais longo e menos seguro até a escola, e não a fusão em si.
• Sensibilidade: com um plano de transporte escolar publicado, a onda negativa diminui consideravelmente em três de três repetições; sem ele, a onda persiste.
• Nível de confiança: alto para o mecanismo (segurança da rota), médio para a magnitude da reação.
• Verificação: a equipe realiza duas conversas com pais reais, que confirmam a preocupação com o trajeto. O plano de ônibus é divulgado juntamente com a decisão.

O primeiro relatório não estava errado, apenas incompleto. A revisão transformou-o em algo que o conselho pudesse utilizar. Para comparações de decisões como esta, veja o cenário de apoio à decisão .

Utilizando a lista de verificação na prática

Mantenha a lista de verificação curta o suficiente para ser usada sempre. Uma revisão típica leva menos tempo do que a reunião em que a previsão é apresentada e protege você do erro mais comum: confiar em um relatório impecável baseado em informações superficiais. Você pode preparar e executar cenários novamente no console InfoDome ; o plano custa € 29 por mês, com um orçamento mensal de € 9 para uso de IA e projetos ilimitados.