Um episódio recente do Silicon Valley Girl tem um título que eu levaria para qualquer time de dados: "Médico de Stanford alerta: nunca conte à IA o que você acha que tem".
Na medicina, o paciente que chega dizendo "acho que é X" puxa o diagnóstico para X. Com a IA, acontece o mesmo.
Em analytics, a versão é esta: "Por que o Meta fez o CAC subir?"
A pergunta já traz a resposta. O modelo, ou o analista, vai procurar evidência contra o Meta e parar quando encontrar.
É viés de confirmação, e a pergunta ainda funciona como âncora: Tversky e Kahneman mostraram em 1974 como um ponto de partida puxa a resposta. A IA não inventou esses vieses. Só ficou rápida demais para confirmá-los.
Num projeto de retenção, a regra número um foi dado antes de hipótese. Toda afirmação que chegava, como "o problema é preço", virava pergunta a ser respondida com número. A liderança achava que o problema era churn. Era downgrade.
Hoje eu escrevo pergunta para a IA como escrevo pergunta para o dado:
- "o que mudou no CAC nas últimas 4 semanas, por canal?" no lugar de "por que o Meta piorou?"
- peço os três fatores que mais explicam a variação, não a confirmação de um
- só depois conto a minha hipótese, e peço que ela tente derrubá-la
Qual foi a última pergunta que você fez a uma IA já sabendo a resposta que queria?
Referências
- Silicon Valley Girl em Português, "Médico de Stanford alerta: nunca conte à IA o que você acha que tem"
- Amos Tversky e Daniel Kahneman, "Judgment under Uncertainty: Heuristics and Biases", Science (1974)
- Daniel Kahneman, Rápido e Devagar (Objetiva, 2012; original de 2011)
- Case: Signals
