Que es context window en un LLM
Explicacion clara de la ventana de contexto en modelos de lenguaje: tokens, documentos largos, memoria, RAG y limites practicos.
La context window, o ventana de contexto, es la cantidad maxima de tokens que un modelo puede considerar en una solicitud o conversacion.
Incluye instrucciones, mensajes previos, documentos, resultados de herramientas y la respuesta que el modelo va generando. Si el contexto supera el limite, parte de la informacion queda fuera o debe resumirse.
Por que importa
La ventana de contexto define cuanto puede "ver" el modelo en un momento. Si le entregas un documento largo, una conversacion extensa o muchos resultados de busqueda, todo consume tokens.
Una ventana mayor permite:
- analizar documentos largos,
- mantener conversaciones extensas,
- comparar multiples fuentes,
- trabajar con codigo grande,
- alimentar agentes con mas contexto.
Pero mas contexto no siempre significa mejor respuesta.
Contexto no es memoria perfecta
La ventana de contexto es espacio de trabajo. No es memoria permanente ni comprension garantizada.
Un modelo puede recibir miles de tokens y aun asi:
- pasar por alto detalles,
- priorizar fragmentos irrelevantes,
- confundirse con instrucciones contradictorias,
- responder con informacion parcial.
Por eso importa ordenar el contexto.
Buenas practicas
Para usar bien la ventana de contexto:
- elimina duplicados,
- separa instrucciones de datos,
- resume historiales largos,
- entrega fuentes relevantes,
- usa headings y delimitadores,
- evita mezclar temas,
- recupera solo fragmentos necesarios.
En RAG, la calidad del retrieval suele importar mas que el tamano total de la ventana.
Context window y costo
Mas contexto suele significar mas costo y mas latencia. En APIs, los tokens de entrada cuentan. Si reenvias documentos completos en cada pregunta, el sistema puede volverse caro.
La optimizacion consiste en pasar el minimo contexto suficiente para responder bien.
Fuentes y recursos recomendados
Fuentes externas:
- OpenAI: Text generation: conceptos practicos para trabajar con entradas y salidas de modelos.
- Anthropic Claude models: referencia de modelos y capacidades.
- Google Gemini models: informacion sobre modelos y ventanas segun version.
Recursos internos:
- Que son los tokens en IA y por que importan
- Que es RAG y cuando usarlo en aplicaciones de IA
- LLM vs SLM
Conclusion
La ventana de contexto determina cuanto material puede considerar un LLM. Su valor real depende de la calidad del contexto, no solo del numero maximo de tokens.