Generación aumentada por recuperación (RAG)

01

Cuando le preguntas a una IA algo que no sabe

Una empresa crea un chatbot interno para responder las preguntas de su plantilla. Alguien pregunta:

¿Cuál es el límite de hotel por noche en un viaje de trabajo a Madrid?

La política de viajes de la empresa dice: «Alojamiento: hasta 120 € por noche, salvo Madrid y Barcelona: 150 €». Pero el chatbot responde: «Hasta 100 € por noche». ¿Por qué pasa esto?

Dentro del chatbot hay un modelo de lenguaje grande (LLM). Un LLM ha aprendido de una enorme cantidad de texto público, como páginas web y libros. Pero hay dos cosas que no puede saber. La primera, todo lo que ocurrió después de terminar su entrenamiento: solo ha visto texto hasta ese momento. La segunda, todo lo que nunca fue público, como la política de viajes de esta empresa.

Lo ideal sería que dijera «no lo sé». Pero un LLM construye su respuesta mirando el texto que tiene delante y continuando con lo que es más probable que venga después. Así que, aunque no lo sepa, produce una frase que suena creíble. Una respuesta que presenta algo falso como si fuera un hecho se llama alucinación.

La solución es más sencilla de lo que parece: enviar el artículo de la política junto con la pregunta. Es como un examen a libro abierto. El modelo no necesita haberse aprendido la política de memoria; solo lee lo que tiene delante y responde.

La escena de abajo lo muestra. A la izquierda están los documentos de la empresa, el marco del centro es el texto que se envía al modelo y a la derecha están el modelo de IA y su respuesta. Al principio solo se envía la pregunta. Activa la opción de enviar también el artículo de la política: el artículo pasa al texto enviado y una línea de cita va desde la respuesta hasta ese artículo.

Este enfoque —recuperar el material adecuado, usarlo para aumentar el texto que envías y luego generar una respuesta a partir de él— se llama generación aumentada por recuperación, o RAG por sus siglas en inglés. El nombre viene de un artículo de investigación publicado en 2020.

«Buscar el artículo y adjuntarlo» en realidad esconde varios pasos. A grandes rasgos, hay trabajo que se hace por adelantado, antes de que llegue ninguna pregunta, y trabajo que se hace cuando llega una.

¿Por qué el primer paso es «dividir»? ¿No se podría adjuntar el manual de políticas completo? No si tiene cientos de páginas.

02

Dividir los documentos en fragmentos (chunking)

Hay un límite de cuánto texto puede leer un modelo de una vez, llamado ventana de contexto. Los modelos actuales tienen ventanas de contexto bastante amplias, pero cuanto más largo es el texto que envías, más lenta es la respuesta y más alto el coste. Normalmente se cobra por la cantidad de texto (tokens) que entra y sale.

Además, enviar más no significa que el modelo lo lea todo bien. En un estudio de 2023 de Liu y colaboradores, los modelos aprovechaban bien la información del principio y del final de un texto largo, pero a menudo se les escapaba la que estaba enterrada en el medio. Buscar una línea entre cientos de páginas es justo esa situación.

Por eso divides los documentos en trozos pequeños por adelantado y, cuando llega una pregunta, envías solo los pocos que importan. Cada trozo se llama fragmento (chunk), y dividir los documentos así se llama fragmentación (chunking).

Lo que suele confundir es el tamaño. En la escena de abajo, cambia el tamaño de los fragmentos. Para cada tamaño, verás qué pasa cuando se adjunta el fragmento más cercano a la pregunta.

Si divides por oraciones sueltas, «Alojamiento: hasta 120 € por noche» y «Salvo Madrid y Barcelona: 150 €» acaban en fragmentos distintos. La búsqueda solo trae el primero, el que menciona el alojamiento, y el modelo dice 120 €. Si te vas al otro extremo y conviertes el capítulo entero en un solo fragmento, la parte que necesitas está ahí, pero también las de comidas y transporte. El texto se alarga, sale caro y otras cantidades se cuelan con facilidad en la respuesta.

En este ejemplo, un artículo por fragmento fue lo que mejor funcionó, porque la regla y su excepción están en el mismo artículo. El tamaño adecuado depende del documento, pero la regla general es la misma: fragmentos lo bastante grandes para contener todo lo necesario para responder una pregunta, y lo bastante pequeños para dejar fuera lo que no importa.

Formas de dividir

• Tamaño fijo: cortar cada cierto número de caracteres o tokens (las unidades con las que un modelo lee el texto). Es lo más sencillo, pero puede partir una oración por la mitad.
• Según la estructura del documento: cortar por los límites que el documento ya tiene, como títulos, artículos y párrafos. Va bien con documentos bien estructurados, como políticas y manuales.
• Donde cambia el significado: buscar los puntos donde el significado cambia mucho de una oración a la siguiente y cortar ahí. Esto se llama fragmentación semántica.

Dividas como dividas, puedes repetir las últimas oraciones de un fragmento al principio del siguiente, para que no se pierda nada de lo que queda en el límite. Esto se llama solapamiento (overlap).

Los fragmentos están listos. Ahora, cuando llega una pregunta, hay que elegir cuáles de entre miles adjuntar. Pero la persona preguntó por el «hotel», y la política dice «alojamiento». Una búsqueda que busca las mismas palabras no encontrará este artículo.

03

Convertir el significado en coordenadas (embeddings)

Piensa en un mapa. Si conviertes una dirección en dos números, latitud y longitud, puedes medir lo cerca que están dos lugares. Con el texto puedes hacer lo mismo: convertir su significado en un conjunto de números y usarlos como coordenadas.

Convertir un texto en una lista de números así se llama generar un embedding (incrustación), y la lista de números resultante se llama vector. De ello se encarga un modelo de embeddings, entrenado para que los textos con significados parecidos reciban números parecidos. Por eso, aunque «hotel» y «alojamiento» son palabras distintas, sus significados están cerca, y sus coordenadas también.

La escena de abajo muestra los fragmentos de las políticas convertidos en embeddings y colocados en el espacio. El color indica el tema. Los fragmentos de viajes se agrupan con los de viajes; los de vacaciones, con los de vacaciones. Nadie le dijo al modelo cuáles eran los temas: se juntaron solos porque su significado es parecido. El punto verde lima es la pregunta. Prueba a cambiarla.

Los embeddings reales no tienen dos o tres números, sino de cientos a miles. Nadie puede dibujar un espacio así, por eso la escena lo reduce a tres dimensiones. Cuantos más números hay, más matices de significado pueden captar.

Los embeddings de los fragmentos se calculan y se guardan todos antes de que llegue ninguna pregunta. Un almacén que guarda vectores y permite buscarlos rápido se llama base de datos vectorial (o almacén de vectores). Cuando llega una pregunta, solo se calcula en el momento el embedding de la pregunta.

Y aquí va otra que confunde mucho en los exámenes: un modelo de embeddings no genera texto. Solo convierte el texto en números para poder compararlo. Escribir la respuesta es trabajo del LLM, en el paso siguiente.

Ahora todos los fragmentos y la pregunta son puntos en el mismo espacio. Solo queda encontrar los puntos de fragmentos más cercanos al punto de la pregunta.