¿Qué es la ventana de contexto?

Un modelo de lenguaje no lee un documento entero de forma ilimitada. Antes de responder, convierte todo el texto relevante (la instrucción de sistema, el historial de la conversación, cualquier documento adjunto) en unidades llamadas tokens, y solo puede tener en cuenta un número máximo de esas unidades en una sola petición. Ese máximo es la ventana de contexto.

Un token no equivale exactamente a una palabra: puede ser una palabra completa, parte de una palabra o un signo de puntuación, según cómo el modelo divida el texto. Por eso la ventana de contexto se mide siempre en tokens, no en palabras ni en caracteres, y la conversión entre unos y otros varía según el idioma y el modelo.

Conviene no confundir la ventana de contexto con la memoria de entrenamiento del modelo. El entrenamiento es el corpus enorme de texto con el que se ajustaron los parámetros del modelo, ya fijado antes de que exista la conversación. La ventana de contexto es distinta: es la memoria de trabajo de esa conversación concreta, el espacio donde cabe lo que se ha dicho hasta ahora y lo que el modelo va a generar a continuación. Un modelo puede saber algo por su entrenamiento y aun así no poder usarlo en una respuesta si esa información nunca entró en la ventana de contexto de esa conversación.

En una conversación de varios turnos, cada mensaje del usuario y cada respuesta del modelo se van acumulando dentro de la ventana de contexto, y los turnos anteriores se conservan completos salvo que la aplicación los recorte de forma deliberada. Cada turno tiene una fase de entrada, que incluye todo el historial anterior más el mensaje nuevo, y una fase de salida, que es la respuesta que el modelo genera y que pasa a formar parte del historial para el turno siguiente.

Todo cuenta para el límite: la instrucción de sistema, cada mensaje del historial (incluidos resultados de herramientas, imágenes o documentos adjuntos), las propias definiciones de las herramientas disponibles y la respuesta que el modelo genera, incluido cualquier razonamiento interno que produzca antes de la respuesta visible.

Cuando una conversación se acerca al límite de la ventana, hay dos salidas principales. Una es que la aplicación recorte o resuma las partes más antiguas de la conversación para dejar sitio a las nuevas, una técnica que suele llamarse compactación. La otra es que, si la petición ya supera el límite antes de generar nada, el sistema la rechace directamente en vez de intentar procesarla a medias.

Un dato importante y que cambia con el tiempo: el tamaño exacto de la ventana de contexto no es una propiedad fija de los modelos de lenguaje en general. Es una cifra que cada proveedor fija para cada modelo concreto y que ha ido creciendo con cada nueva generación. Por eso cualquier número concreto que se lea hoy sobre un modelo puede quedar desactualizado en poco tiempo, y conviene verificarlo en la documentación vigente del proveedor en el momento de usarlo, no en un artículo antiguo.

La ventana de contexto explica por qué una página muy larga no entra entera en una respuesta de IA. Cuando un sistema de búsqueda con IA recupera contenido de varias páginas para construir una respuesta, cada fragmento que incluye ocupa parte de esa ventana limitada, y el sistema tiene que elegir qué fragmentos caben y cuáles se quedan fuera. Una página estructurada en secciones claras, con la información más citable concentrada en fragmentos autocontenidos, tiene más posibilidades de que uno de esos fragmentos quepa entero y se use tal cual.

Esto conecta directamente con el chunking, la técnica de dividir un documento largo en fragmentos manejables antes de indexarlo: el chunking decide cómo se corta un documento, y la ventana de contexto decide cuántos de esos cortes caben en una respuesta concreta. Son dos mitades del mismo problema, no dos temas independientes.

Además, una ventana de contexto más grande no es automáticamente mejor. La propia documentación de Anthropic advierte de un fenómeno llamado degradación por contexto: cuanto más texto acumula la conversación, más cuesta al modelo mantener la precisión y el recuerdo de los detalles relevantes. Por eso seleccionar bien qué entra en el contexto importa tanto como cuánto espacio hay disponible.

• Estructura el contenido largo en secciones con encabezados claros, para que un fragmento concreto pueda entenderse aunque se extraiga sin el resto de la página.
• No des por sentado que una ventana de contexto grande soluciona un contenido mal organizado: la degradación por contexto afecta incluso a las ventanas más amplias.
• Coloca la información más citable (definiciones, cifras concretas, pasos de un proceso) en párrafos autocontenidos, no repartida entre varias frases dependientes entre sí.
• Si trabajas con la API de un modelo de lenguaje, consulta el número de tokens que consume tu petición antes de enviarla, en vez de descubrirlo por un error de límite superado.
• Verifica el tamaño de ventana de contexto de un modelo en la documentación vigente del proveedor, no en un artículo de hace un año.
• En conversaciones largas con un asistente de IA, resume o cierra los temas ya resueltos en vez de dejar que el historial completo siga creciendo sin control.

• Citar la cifra de tokens de un modelo como si fuera un dato universal, cuando cada proveedor la fija por modelo y la cambia con cada versión.
• Confundir la ventana de contexto con la capacidad de entrenamiento del modelo, como si recordara cualquier dato con el que fue entrenado dentro de cada conversación concreta.
• Asumir que meter todo el contenido posible en el contexto mejora la respuesta, ignorando que un contexto sobrecargado degrada la precisión.
• Escribir contenido web como un bloque continuo sin estructura, lo que dificulta que un fragmento aislado tenga sentido si es lo único que cabe en la ventana.