Qué es la ventana de contexto (context window) en un LLM

La context window, o ventana de contexto, es la cantidad máxima de tokens que un modelo de lenguaje puede considerar en una sola solicitud o conversación. Es uno de los conceptos más importantes para entender cómo funcionan los LLM y por qué a veces "olvidan" información.

Incluye todo: instrucciones del sistema, mensajes previos, documentos adjuntos, resultados de herramientas y la respuesta que el modelo va generando. Si el contexto supera el límite, parte de la información queda fuera o debe resumirse automáticamente.

Por qué importa la ventana de contexto

La ventana de contexto define cuánto puede "ver" el modelo en un momento dado. Si le entregas un documento largo, una conversación extensa o muchos resultados de búsqueda, todo consume tokens de esa ventana.

Una ventana mayor permite:

• analizar documentos largos completos,
• mantener conversaciones extensas sin perder hilo,
• comparar múltiples fuentes en una sola respuesta,
• trabajar con bases de código grandes,
• alimentar agentes con más contexto operativo.

Pero más contexto no siempre significa mejor respuesta. Un modelo con una ventana enorme puede seguir perdiendo detalles si la información relevante está enterrada entre datos innecesarios.

Contexto no es memoria perfecta

La ventana de contexto es espacio de trabajo temporal, no memoria permanente ni comprensión garantizada. Es como el escritorio de una persona: puedes poner muchos papeles encima, pero eso no significa que los lea todos con la misma atención.

Un modelo puede recibir miles de tokens y aun así:

• pasar por alto detalles importantes,
• priorizar fragmentos irrelevantes,
• confundirse con instrucciones contradictorias,
• responder con información parcial,
• perder información del inicio de una conversación muy larga.

Este fenómeno se conoce como lost in the middle: el modelo presta más atención al inicio y al final del contexto, y puede pasar por alto lo que está en medio. Por eso importa ordenar el contexto estratégicamente.

Buenas prácticas para usar la ventana de contexto

Para aprovechar mejor la ventana de contexto:

• Elimina duplicados: si la misma información aparece varias veces, el modelo la procesa múltiples veces desperdiciando tokens.
• Separa instrucciones de datos: coloca las instrucciones al inicio o al final, y los datos de referencia en el medio con delimitadores claros.
• Resume historiales largos: en conversaciones extensas, resume los mensajes anteriores en lugar de reenviarlos completos.
• Entrega solo fuentes relevantes: no metas 50 documentos si 3 son suficientes. La calidad del retrieval importa más que la cantidad.
• Usa headings y delimitadores: estructura el contexto con marcas claras (XML tags, markdown headers) para que el modelo sepa dónde buscar.
• Evita mezclar temas: una solicitud con 5 temas distintos produce respuestas menos precisas que 5 solicitudes separadas.
• Recupera solo fragmentos necesarios: en sistemas RAG, la precisión del retrieval suele importar más que el tamaño total de la ventana.

Context window y costo

Más contexto suele significar más costo y más latencia. En las APIs de modelos como GPT-4, Claude o Gemini, los tokens de entrada cuentan en el precio. Si reenvías documentos completos en cada pregunta, el sistema puede volverse caro rápidamente.

Por ejemplo, si tienes una conversación donde el usuario sube un PDF de 50 páginas y luego hace 10 preguntas, sin optimización estarías pagando por esos 50 páginas en cada interacción. Con optimización, puedes enviar el documento una vez y referenciarlo, o usar prompt caching si el proveedor lo soporta.

La optimización consiste en pasar el mínimo contexto suficiente para responder bien. Esto significa:

• recuperar solo los fragmentos relevantes (no todo el documento),
• usar prompt caching cuando esté disponible,
• resumir contexto previo en lugar de acumularlo,
• eliminar metadatos innecesarios,
• comprimir instrucciones repetitivas.

Tamaños típicos de ventana de contexto

Los tamaños de ventana han crecido significativamente en los últimos años. Algunos rangos referenciales:

• Modelos pequeños/eficientes: 4K–32K tokens (suficiente para conversación y documentos cortos).
• Modelos medianos: 128K–200K tokens (equivalente a un libro de 300–500 páginas).
• Modelos con ventana extendida: 1M–2M tokens (equivalente a varios libros o bases de código completas).

Sin embargo, tener una ventana de 1M tokens no significa que el modelo vaya a procesar 1M tokens con la misma calidad que 10K. La atención degrada con el tamaño del contexto, especialmente en modelos que no usan arquitecturas optimizadas para contexto largo.

Context window vs memoria a largo plazo

Es importante distinguir entre la ventana de contexto y la memoria persistente que algunos productos ofrecen:

Ventana de contexto: es temporal. Solo existe durante la solicitud actual. Cuando terminas la conversación o el límite se excede, el contenido se pierde (o se resume).

Memoria persistente: algunos productos (como ChatGPT con memoria, o Claude con projects) guardan información entre sesiones. Esto no es parte del modelo en sí, sino una capa de producto que inserta recuerdos guardados en el contexto de futuras conversaciones.

Cómo se relaciona con RAG

En sistemas RAG (Retrieval-Augmented Generation), la ventana de contexto es donde caben los fragmentos recuperados. Si tu ventana es de 128K tokens y recuperas 10 fragmentos de 2K tokens cada uno, usas 20K tokens de contexto, lo cual es manejable.

El error común es pensar que con una ventana grande ya no necesitas RAG. Falso. RAG no solo trata de caber información, sino de entregar la información correcta. Recuperar 3 fragmentos precisos siempre será mejor que meter 500 páginas y esperar que el modelo encuentre lo relevante.

Preguntas frecuentes

¿Más tokens de contexto significan mejores respuestas?

No necesariamente. Más contexto da más información disponible, pero también puede introducir ruido. La calidad y relevancia del contexto importa más que la cantidad.

¿Qué pasa cuando se excede la ventana de contexto?

Depende del proveedor. Algunos truncan los mensajes más antiguos. Otros resumen automáticamente. En APIs, puede generar un error si superas el límite. Siempre conviene gestionar el contexto manualmente para tener control.

¿Puedo aumentar la ventana de contexto de un modelo?

No directamente. La ventana es una característica arquitectónica del modelo. Lo que puedes hacer es gestionar mejor el contexto: resumir, comprimir, usar RAG o usar técnicas como prompt caching.

¿La ventana de contexto es lo mismo que la memoria de un agente?

No. La ventana de contexto es el espacio de trabajo temporal del modelo. La memoria de un agente es una capa de producto que persiste información entre sesiones, normalmente guardándola e insertándola en el contexto de futuras interacciones.

Conclusión

La ventana de contexto determina cuánto material puede considerar un LLM en una interacción. Su valor real depende de la calidad del contexto, no solo del número máximo de tokens. Ordenar, filtrar y priorizar la información que entra en la ventana es una de las habilidades más importantes para trabajar efectivamente con modelos de lenguaje.

A medida que las ventanas crecen, el desafío pasa de "cómo caber todo" a "cómo seleccionar lo relevante". Dominar esa selección es lo que separa un uso mediocre de un uso excelente de los LLM.