A estante de Hogwarts

Por que as respostas da IA mudam frequentemente

As respostas da IA parecem estáveis, até mesmo confiantes. Faça uma pergunta a um chatbot hoje e, em troca, obterá uma resposta cheia de autoconfiança. Mas por baixo da superfície confiante, algo está a mudar — e se for uma marca ou um investigador, o terreno instável sob os modelos e as respostas poderia e deveria ser de interesse.

Desvio de Citação (Citation Drift)

Na 3RD, estamos a investigar o que tem sido apelidado de citation drift (desvio de citação): as constantes mudanças e substituições de fontes citadas pelas IAs em resposta à mesma pergunta. Estas mudam significativamente ao longo do tempo, mesmo quando a pergunta em si não mudou — e o mundo também não.

Faça a mesma pergunta ao mesmo chatbot de IA duas vezes, com um mês de intervalo, e metade das fontes citadas podem ser totalmente diferentes. Alguns motores de pesquisa de IA atualizam os seus conjuntos de fontes subjacentes de forma ainda mais agressiva. O Perplexity, por exemplo, atualiza o seu índice aproximadamente a cada 48 horas (Perplexity AI, 2024). O resultado é um sistema no qual a resposta que obteve na passada terça-feira não é genuinamente a resposta que obterá na próxima terça-feira.

Probabilístico, não permanente

Todos conhecemos a clássica desculpa do software: “Não é um erro, é uma funcionalidade.” Neste caso, é verdade.

Porquê? Porque os LLMs não recuperam factos da mesma forma que um motor de pesquisa tradicional recupera uma página em cache. As respostas são geradas de forma probabilística, ponderando as fontes de forma diferente a cada momento com base na recência, nos sinais de relevância e nos padrões estatísticos integrados no modelo (Zhao et al., 2023, A Survey of Large Language Models).

Acrescente a isso o facto de que os sistemas de geração aumentada de recuperação (RAG), como o Perplexity ou o ChatGPT com pesquisa, estão continuamente a extrair dados de uma web ativa e em constante mudança, e terá uma base de conhecimento que é tudo menos estática.

Pense nisto menos como uma página de resultados do Google — onde a posição 1 hoje é provavelmente a posição 1 amanhã — e mais como a biblioteca de Hogwarts, onde os livros se reorganizam sozinhos quando não estamos a olhar. A informação existe. Só nunca está exatamente no mesmo lugar duas vezes.

Uma citação não é uma vitória

Isto tem uma implicação direta e subvalorizada para qualquer pessoa que trabalhe com visibilidade de IA ou presença de marca: ser citado uma vez não é uma vitória. É um ponto de partida.

A mentalidade tradicional de SEO recompensava quem conquistava uma posição e a mantinha. Uma classificação de número um, uma vez alcançada, tinha um certo grau de inércia. A citação em sistemas de IA não tem essa inércia. A natureza probabilística dos resultados dos LLMs significa que a visibilidade tem de ser continuamente conquistada, não apenas estabelecida.

Uma fonte que aparece de forma proeminente nas respostas de IA este mês pode desaparecer no mês seguinte — não porque se tenha tornado menos credível, mas porque a ponderação do sistema mudou.

Isto reflete uma verdade mais ampla sobre o nosso panorama mediático: a atenção não é um ativo fixo. É um fluxo. E, como todos os fluxos, requer uma gestão ativa.

Implicações práticas para as marcas

Para as organizações que pensam seriamente na presença em IA, o desvio de citação exige um novo tipo de monitorização — um que acompanhe não apenas se aparece nas respostas da IA, mas com que consistência, em resposta a que consultas e face a que fontes concorrentes. É um processo contínuo, não uma auditoria única.

A estante está sempre em movimento. A questão é saber se está a prestar atenção.

Fontes

• Documentação de produto Perplexity AI (2024)

• Zhao et al., A Survey of Large Language Models, arXiv:2303.18223 (2023)

• Investigação interna da 3RD sobre padrões de desvio de citação (citation drift)