Ventana de contexto
El número máximo de tokens que un modelo puede considerar a la vez, prompt más respuesta combinados. Los tamaños habituales van de 8K a más de 1M de tokens.
Qué es
La ventana de contexto es la memoria de trabajo del modelo, medida en tokens. Todo sobre lo que razona (prompt de sistema, historial de chat, documentos recuperados, la pregunta actual y la respuesta que está escribiendo) tiene que caber dentro. Si te pasas, la petición se rechaza o se descartan los tokens más antiguos.
Una ventana anunciada de 128K no significa 128K de entrada gratis: la respuesta compite por el mismo presupuesto, y algunos proveedores reservan margen.
Por qué importa
Una ventana más grande te permite saltarte la recuperación y pegar los documentos directamente: más simple de construir, pero pagas entrada por cada token en cada llamada. También sube la latencia: el tiempo hasta el primer token crece con la longitud del prompt porque el modelo debe procesarlo todo antes de responder.
Impacto en costo e infraestructura
El contexto grande es una trampa de costos cuando se envían los mismos documentos una y otra vez. Dos mitigaciones: la caché de prompt para un prefijo estable, y el RAG para enviar solo los pocos miles de tokens relevantes en lugar de todo el corpus.
Algunos modelos (p. ej. Gemini) también cobran una tarifa por token más alta por encima de un umbral de contexto.
Ejemplo
Pegar un contrato de 50 páginas (~40K tokens) en cada pregunta de una revisión de 20 turnos supone ~800K tokens de entrada para la sesión. Recuperar 3 cláusulas relevantes por pregunta (~1,5K tokens) serían ~30K: una reducción de ~25×.
Conceptos relacionados
Úsalo en Obolith
Preguntas frecuentes
¿Una ventana de contexto más grande hace al modelo más listo?
No directamente. Puede contener más información, pero los modelos a menudo tienen problemas para usar bien la parte central de un contexto muy largo («lost in the middle»). Un contexto relevante y enfocado suele ganar a un volcado grande.