La bibliothèque de Poudlard

Pourquoi les réponses des IA changent fréquemment

Les réponses des IA semblent stables, voire confiantes. Posez une question à un chatbot aujourd'hui, et en retour vous obtiendrez une réponse pleine d'assurance. Mais sous cette surface confiante, quelque chose bouge — et si vous êtes une marque ou un chercheur, ce terrain mouvant sous les modèles et les réponses pourrait et devrait vous intéresser.

La dérive des citations

Chez 3RD, nous nous penchons sur ce que l'on appelle la dérive des citations (« citation drift ») : les changements et remplacements constants des sources citées par les IA en réponse à une même question. Celles-ci changent de manière significative au fil du temps, même lorsque la question en elle-même n'a pas changé — et le monde non plus.

Posez deux fois la même question au même chatbot d'IA, à un mois d'intervalle, et la moitié des sources citées peuvent être totalement différentes. Certains moteurs de recherche d'IA actualisent leur vivier de sources sous-jacentes de manière encore plus agressive. Perplexity, par exemple, met à jour son index environ toutes les 48 heures (Perplexity AI, 2024). Le résultat est un système dans lequel la réponse que vous avez obtenue mardi dernier n'est véritablement pas celle que vous obtiendrez mardi prochain.

Probabiliste, pas permanent

Nous connaissons tous l'excuse classique du développement logiciel : « Ce n'est pas un bug, c'est une fonctionnalité. » Dans ce cas précis, c'est vrai.

Pourquoi ? Parce que les LLM ne récupèrent pas les faits de la même manière qu'un moteur de recherche traditionnel récupère une page en cache. Les réponses sont générées de manière probabiliste, en pondérant les sources différemment à chaque fois en fonction de la récence, des signaux de pertinence et des schémas statistiques intégrés au modèle (Zhao et al., 2023, A Survey of Large Language Models).

Ajoutez à cela le fait que les systèmes de génération augmentée par récupération (RAG) comme Perplexity ou ChatGPT avec recherche piochent en continu dans un web vivant et en perpétuel mouvement, et vous obtenez une base de connaissances qui est tout sauf statique.

Voyez cela moins comme une page de résultats Google — où la position 1 d'aujourd'hui sera probablement la position 1 de demain — et plus comme la bibliothèque de Poudlard, où les livres se réorganisent d'eux-mêmes quand vous ne regardez pas. L'information existe. Elle n'est juste jamais tout à fait au même endroit deux fois de suite.

Une citation n'est pas une victoire

Cela a une implication directe et sous-estimée pour quiconque travaille sur la visibilité ou la présence de marque dans l'IA : être cité une fois n'est pas une victoire. C'est un point de départ.

La pensée SEO traditionnelle vous récompensait pour avoir conquis une position et l'avoir conservée. Un classement en première position, une fois acquis, bénéficiait d'une certaine inertie. La citation dans les systèmes d'IA n'a pas cette inertie. La nature probabiliste des résultats des LLM signifie que la visibilité doit être continuellement gagnée, et non simplement établie.

Une source qui apparaît en bonne place dans les réponses de l'IA ce mois-ci peut disparaître le mois suivant — non pas parce qu'elle est devenue moins crédible, mais parce que la pondération du système a changé.

Cela reflète une vérité plus large sur notre paysage médiatique : l'attention n'est pas un actif figé. C'est un flux. Et comme tous les flux, elle nécessite une gestion active.

Implications pratiques pour les marques

Pour les organisations qui réfléchissent sérieusement à leur présence dans l'IA, la dérive des citations exige un nouveau type de surveillance — un suivi qui ne mesure pas seulement si vous apparaissez dans les réponses de l'IA, mais avec quelle régularité, en réponse à quelles requêtes, et face à quelles sources concurrentes. C'est un processus continu, pas un audit ponctuel.

Les étagères de la bibliothèque bougent constamment. La question est de savoir si vous y prêtez attention.

Sources

• Documentation produit de Perplexity AI (2024)

• Zhao et al., A Survey of Large Language Models, arXiv:2303.18223 (2023)

• Recherche interne 3RD sur les schémas de dérive des citations