Qué son los tokens en IA y por qué importan
Los tokens son las unidades de texto que usa un modelo de lenguaje para leer y generar contenido. Pueden ser palabras completas, partes de palabras, signos de puntuación, espacios o fragmentos de código.
Cuando usas un LLM, no se cobra ni se procesa exactamente por palabra. Se procesa por tokens. Por eso los tokens importan para costo, velocidad, ventana de contexto y longitud máxima de respuesta.
Entender tokens ayuda a escribir mejores prompts, estimar costos y evitar errores cuando trabajas con documentos largos.
Qué es un token
Un token es la unidad mínima que el modelo procesa. No siempre coincide con una palabra.
Por ejemplo, una frase como:
La inteligencia artificial transforma el trabajo.puede dividirse en varios tokens. Algunas palabras comunes pueden ser un solo token. Palabras largas, técnicas o poco frecuentes pueden dividirse en varios tokens.
En código pasa algo parecido. Un nombre de función, un operador, un salto de línea o una llave pueden ocupar tokens distintos.
Cada proveedor usa su propio tokenizador (tokenizer). OpenAI usa tiktoken, Google usa SentencePiece, Anthropic usa su propio sistema. Por eso el conteo exacto puede variar entre modelos para el mismo texto.
Por qué los modelos usan tokens
Los modelos no procesan texto directamente como letras humanas. Necesitan convertir el lenguaje en unidades que puedan transformarse en números.
El proceso general es:
- el texto se divide en tokens,
- cada token se convierte en una representación numérica (embedding),
- el modelo procesa esas representaciones,
- la respuesta se genera token por token.
Esta forma de trabajar permite que el modelo aprenda patrones del lenguaje y genere texto coherente. La tokenización es el primer paso de todo el pipeline.
Tokens de entrada y de salida
En una interacción hay dos tipos de tokens:
Tokens de entrada (input): incluyen todo lo que el modelo lee:
- instrucciones del sistema,
- prompt del usuario,
- historial de conversación,
- documentos adjuntos,
- resultados de herramientas,
- datos recuperados desde una base o buscador (RAG).
Tokens de salida (output): la respuesta generada por el modelo.
Ambos cuentan. Si envías un documento largo y pides un resumen, pagas por leer el documento (entrada) y por generar el resumen (salida).
Ventana de contexto
La ventana de contexto es el límite de tokens que el modelo puede considerar en una solicitud o conversación. Incluye todo: entrada, historial, contexto adicional y respuesta.
Si una conversación crece demasiado, parte del historial puede quedar fuera, resumirse o compactarse según la plataforma. Esto significa que el modelo puede "olvidar" mensajes anteriores si la ventana se llena.
Una ventana grande permite trabajar con documentos largos, pero no soluciona todos los problemas. Si agregas demasiado contenido irrelevante, el modelo puede confundirse o dedicar atención a datos que no importan.
La regla práctica es simple: entrega el contexto necesario, no todo el contexto posible.
Cómo afectan el costo
Muchos proveedores cobran por millón de tokens de entrada y salida. Los tokens de salida suelen costar más (típicamente 3–5x) porque requieren generación activa, mientras que los de entrada solo se leen.
Esto tiene implicancias prácticas:
- prompts largos cuestan más,
- respuestas largas cuestan más,
- historiales extensos cuestan más en cada turno,
- agentes con varias llamadas consumen tokens en cada paso,
- documentos repetidos en cada solicitud elevan costos significativamente.
Por ejemplo, si tienes una conversación donde el usuario sube un PDF de 50 páginas (aproximadamente 15K tokens) y luego hace 10 preguntas, sin optimización estarías pagando por esos 15K tokens en cada una de las 10 interacciones. Con prompt caching o gestión de contexto, puedes reducir drásticamente ese costo.
Optimizar tokens no significa escribir prompts crípticos. Significa reducir ruido, reutilizar contexto, resumir cuando corresponde y elegir el modelo adecuado para la tarea.
Cómo afectan la velocidad
Mientras más tokens debe leer o generar un modelo, más tarda la respuesta. La latencia tiene dos componentes:
Tiempo de procesamiento de entrada (TTFT — Time To First Token): depende de cuántos tokens de entrada hay. Más contexto = más espera antes del primer token.
Tiempo de generación (TPS — Tokens Per Second): la velocidad a la que el modelo genera tokens de salida. Típicamente 30–100 tokens/segundo según modelo y carga.
En aplicaciones reales, esto importa para experiencia de usuario. A veces conviene:
- pedir respuestas más cortas cuando la tarea lo permite,
- separar tareas largas en etapas,
- usar modelos rápidos para clasificación o routing,
- usar modelos potentes solo en pasos críticos,
- cachear resultados de preguntas frecuentes.
Tokens y calidad de respuesta
Más tokens no siempre significan mejor respuesta. Un prompt largo puede incluir contradicciones, información obsoleta o detalles irrelevantes que confunden al modelo.
La calidad mejora cuando el contexto está:
- limpio — sin duplicados ni información obsoleta,
- ordenado — con estructura clara (headings, delimitadores),
- actualizado — con datos vigentes,
- relacionado con la tarea — sin información tangencial,
- separado por secciones — para que el modelo sepa dónde buscar,
- libre de duplicados — cada dato aparece una vez.
Si trabajas con RAG, agentes o documentos largos, la recuperación de información es clave. No quieres pasarle al modelo toda la biblioteca. Quieres pasarle los fragmentos correctos.
Ejemplos prácticos de consumo de tokens
Ejemplo 1 — Resumen de artículo: Si pides "resume este artículo" y pegas 5.000 palabras (aproximadamente 7K tokens), los tokens de entrada serán altos. Si luego pides "hazlo más corto" en la misma conversación, el historial también cuenta. Total: 7K + 7K + respuesta = ~16K tokens en solo dos interacciones.
Ejemplo 2 — Agente multi-paso: Si un agente busca en la web (2K tokens de resultados), lee fuentes (5K tokens), genera un borrador (3K tokens), verifica enlaces (1K tokens) y crea una imagen (1K tokens), cada paso consume tokens. El costo final no es una sola llamada; es la suma de todas.
Ejemplo 3 — App con contexto redundante: Si una app manda siempre el perfil completo del usuario, todas las políticas internas y diez ejemplos aunque la tarea sea simple ("¿qué hora es?"), está gastando tokens innecesarios en cada interacción.
Cómo reducir tokens sin perder calidad
Empieza por eliminar duplicados. Muchos prompts repiten instrucciones en varias capas del sistema.
Después separa instrucciones permanentes de contexto variable. Lo permanente puede vivir en el system prompt o configuración. Lo variable debe ser solo lo necesario para la tarea actual.
También ayuda:
- resumir documentos antes de analizarlos,
- recuperar solo fragmentos relevantes (RAG),
- limitar longitud de respuesta con
max_tokens, - pedir formato estructurado (JSON) cuando aplica,
- usar modelos pequeños para tareas simples,
- no reenviar historiales completos sin necesidad,
- usar prompt caching cuando el proveedor lo soporte.
La optimización correcta reduce costo y mejora foco al mismo tiempo.
Tokens en español
El español puede tokenizar distinto al inglés. Tildes, palabras compuestas, conjugaciones verbales y términos técnicos pueden afectar el conteo. En general, el español tiende a usar más tokens por palabra que el inglés, lo que puede incrementar costos.
No conviene asumir una equivalencia exacta como "un token es una palabra". Para estimaciones rápidas, una aproximación común es:
- Inglés: ~0.75 tokens por palabra (1 palabra ≈ 1 token en promedio)
- Español: ~1.2–1.5 tokens por palabra
En producción, conviene medir con el tokenizador del proveedor o revisar el campo usage real de la API.
Errores comunes
Error 1: Pensar que la ventana de contexto es memoria permanente. No lo es. Es el espacio de trabajo de una solicitud o conversación.
Error 2: Pegar documentos enormes sin estructura. El modelo puede leerlos, pero no necesariamente priorizar lo correcto.
Error 3: Ignorar tokens de salida. Pedir respuestas largas puede multiplicar costo y latencia.
Error 4: Usar el mismo modelo para todo. Una clasificación corta no necesita el mismo modelo que un análisis complejo. Modelos más pequeños son más baratos y rápidos para tareas simples.
Preguntas frecuentes
¿Un token es una palabra?
No siempre. Puede ser una palabra, parte de una palabra, un signo, un espacio o un fragmento de código. La tokenización depende del modelo.
¿Los tokens afectan el precio?
Sí. En APIs de modelos, el precio suele depender de tokens de entrada y salida. Los de salida típicamente cuestan más.
¿Más contexto siempre mejora la respuesta?
No. Mejora si el contexto es relevante. Si es ruido, puede empeorar foco, costo y latencia.
¿Cómo sé cuántos tokens uso?
En APIs, revisa el campo usage de la respuesta o usa herramientas de conteo del proveedor (como tiktoken de OpenAI). En interfaces de chat, el conteo exacto normalmente no se muestra.
¿Qué es prompt caching?
Es una característica que algunos proveedores ofrecen donde los tokens de entrada que se repiten entre llamadas se cobran a un precio menor. Útil cuando envías el mismo contexto grande en múltiples solicitudes.
Conclusión
Los tokens son una pieza básica para entender cómo funcionan los LLM. Afectan costo, velocidad, contexto y calidad. Si vas a usar IA en un producto real, no basta con escribir buenos prompts. También necesitas gestionar tokens: qué información entra, cuánta sale, qué se conserva y qué se descarta.
La optimización de tokens no es un detalle técnico menor. Es una habilidad práctica que separa un uso caro y mediocre de un uso eficiente y de alta calidad.
