Por que um print do ChatGPT não prova nada sozinho

O print circula porque é fácil de produzir e fácil de mostrar numa reunião. O problema é o que ele esconde. Quem tira o print escolhe o momento, e quase sempre tira quando o resultado foi bom. Ninguém guarda a captura da vez em que a marca não apareceu.

Três coisas que o print esconde

A variação entre execuções. Rodar a mesma pergunta cinco vezes costuma trazer cinco listas parecidas, mas não iguais. Uma marca que aparece em duas de cinco tem uma realidade bem diferente da que aparece em cinco de cinco, e o print de uma delas mostra a mesma coisa.

A conta que respondeu. Histórico de conversa, memória e personalização mudam a resposta. O print tirado da conta de quem trabalha na empresa é o pior caso possível: o modelo já viu aquele nome dezenas de vezes naquela sessão.

A pergunta exata. "Melhor ótica de Campinas" e "ótica boa em Campinas" não são a mesma consulta e não devolvem a mesma lista. Sem a pergunta registrada ao lado da captura, não dá para repetir o teste, e teste que não se repete não é medida.

O que substitui o print

A mesma pergunta, repetida, em conta limpa, com o resultado gravado. Aí o número que sai tem significado: "a marca apareceu em 12 de 40 execuções da pergunta X, entre tal e tal data". Isso é defensável na frente de um cliente, e o print não é.

O caminho barato para começar é uma leitura única bem feita, que já mostra se os modelos sequer conhecem a empresa e quem eles citam no lugar dela. Não é medição, e a diferença precisa estar dita, mas é infinitamente melhor que uma captura de tela solta.