La estantería de Hogwarts

Por qué las respuestas de la IA cambian con frecuencia

Las respuestas de la IA parecen estables, incluso seguras. Si hoy le haces una pregunta a un chatbot, a cambio obtendrás una respuesta llena de confianza en sí mismo. Pero bajo esa superficie de confianza, algo se está moviendo, y si eres una marca o un investigador, el terreno cambiante que se encuentra bajo los modelos y las respuestas podría y debería ser de interés.

Deriva de citas

En 3RD, estamos investigando lo que se ha denominado deriva de citas (citation drift): los continuos cambios y sustituciones de las fuentes citadas por las IA en respuesta a la misma pregunta. Estas cambian significativamente con el tiempo, incluso cuando la pregunta en sí no ha cambiado, y el mundo tampoco.

Hazle la misma pregunta al mismo chatbot de IA dos veces, con un mes de diferencia, y la mitad de las fuentes citadas pueden ser totalmente diferentes. Algunos motores de búsqueda de IA actualizan sus bases de fuentes subyacentes de forma aún más agresiva. Perplexity, por ejemplo, actualiza su índice aproximadamente cada 48 horas (Perplexity AI, 2024). El resultado es un sistema en el que la respuesta que obtuviste el martes pasado no es, realmente, la respuesta que obtendrás el próximo martes.

Probabilístico, no permanente

Todos conocemos la clásica excusa del software: «No es un error, es una función». En este caso, es verdad.

¿Por qué? Porque los LLM no recuperan datos de la misma manera que un motor de búsqueda tradicional recupera una página en caché. Las respuestas se generan de manera probabilística, ponderando las fuentes de manera diferente cada vez en función de la actualidad, las señales de relevancia y los patrones estadísticos integrados en el modelo (Zhao et al., 2023, A Survey of Large Language Models).

A eso se suma el hecho de que los sistemas aumentados por recuperación (RAG), como Perplexity o ChatGPT con búsqueda, se nutren continuamente de una web en vivo y en constante cambio, por lo que se tiene una base de conocimientos que es cualquier cosa menos estática.

Piense en ello menos como una página de resultados de Google —donde la posición 1 de hoy probablemente sea la posición 1 de mañana— y más como la biblioteca de Hogwarts, donde los libros se reorganizan solos cuando no estás mirando. La información existe. Simplemente nunca está en el mismo lugar dos veces.

Una sola cita no es una victoria

Esto tiene una implicación directa y poco valorada para cualquiera que trabaje con la visibilidad de la IA o la presencia de marca: ser citado una vez no es una victoria. Es un punto de partida.

El pensamiento tradicional de SEO te recompensaba por conseguir una posición y mantenerla. Una posición número uno, una vez obtenida, tenía cierto grado de inercia. La cita en los sistemas de IA no tiene esa inercia. La naturaleza probabilística de los resultados de los LLM significa que la visibilidad debe ganarse continuamente, no simplemente establecerse.

Una fuente que aparece de forma destacada en las respuestas de la IA este mes puede desaparecer el mes que viene, no porque sea menos creíble, sino porque la ponderación del sistema ha cambiado.

Esto refleja una verdad más amplia sobre nuestro panorama mediático: la atención no es un activo fijo. Es un flujo. Y como todos los flujos, requiere una gestión activa.

Implicaciones prácticas para las marcas

Para las organizaciones que se toman en serio la presencia en la IA, la deriva de citas exige un nuevo tipo de monitorización: uno que rastree no solo si apareces en las respuestas de la IA, sino con qué frecuencia, en respuesta a qué consultas y frente a qué fuentes de la competencia. Es un proceso continuo, no una auditoría única.

La estantería siempre está en movimiento. La pregunta es si estás prestando atención.

Fuentes

• Documentación del producto Perplexity AI (2024)

• Zhao et al., A Survey of Large Language Models, arXiv:2303.18223 (2023)

• Investigación interna de 3RD sobre patrones de deriva de citas