1. Qué es la ventana de contexto de la IA y qué contiene
Imagina que la ventana de contexto es como el escritorio de trabajo de la IA. Según la documentación de Anthropic, esta ventana incluye todo el texto que el modelo puede consultar mientras genera una respuesta, incluyendo la propia respuesta que está escribiendo. Es diferente del conocimiento adquirido durante el entrenamiento [1]. A medida que avanza una conversación, las preguntas del usuario y las respuestas de la IA se acumulan en este espacio. Cuando el escritorio se llena, algunos sistemas resumen las partes antiguas para seguir funcionando [1].
El tamaño de esta ventana depende del modelo y cambia con el tiempo. En octubre de 2026, algunos modelos nuevos tenían ventanas de hasta 1 millón de tokens, mientras que otros como Claude Sonnet 4.5 ofrecían unos 200.000 tokens. La cantidad máxima que pueden generar en una sola respuesta es de 128.000 tokens [1]. Pero, ¿significa esto que una ventana más grande siempre es mejor?
2. Por qué duplicar la longitud del texto multiplica el trabajo por cuatro
La base de las IAs actuales es el diseño «Transformer», presentado en 2017. En lugar de leer palabra por palabra, utiliza un mecanismo llamado «atención» para analizar las relaciones entre todas las palabras del texto al mismo tiempo [2]. El problema matemático aparece aquí: cada token debe calcular su relación con todos los demás tokens. Si hay n tokens, el trabajo es proporcional a n al cuadrado [2]. Es como si todos los alumnos de una clase tuvieran que saludarse entre sí: si el número de estudiantes se duplica, las saludos posibles se multiplican por cuatro.
Por ejemplo, si la ventana pasa de 200.000 a 1 millón de tokens (un aumento de 5 veces), los cálculos de atención aumentan teóricamente 25 veces [2]. Aunque el mecanismo de atención es más rápido que métodos antiguos para textos normales, esa ventaja disminuye cuando el texto se vuelve muy largo [2]. Más allá de la velocidad, ¿qué otros factores limitan esta ventana?
3. Por qué guardar la memoria de lo ya leído ocupa tanto espacio
Para escribir una frase nueva, la IA necesita recordar cálculos previos sobre las palabras anteriores (conocidos como clave y valor). Esto se guarda en la «KV cache» para no tener que recalcular todo desde cero cada vez. Un estudio de 2023 sobre el modelo OPT reportó que esta memoria ocupaba unos 800 KB por token [3]. En una tarjeta gráfica de 40 GB, los datos del modelo ocupaban el 65%, pero la KV cache (el estado dinámico de cada solicitud) usaba cerca del 30% [3].
Si extrapolamos ese cálculo a 1 millón de tokens, necesitaríamos unos 800 GB de memoria solo para esa caché, lo que equivale a 20 veces la capacidad de una GPU A100 de 40 GB. Esto es solo un cálculo simple; en la realidad, las estructuras cambian el resultado [3]. Los investigadores han creado técnicas como «PagedAttention» para reducir este desperdicio y mejorar la eficiencia entre 2 y 4 veces [3], pero la necesidad de guardar textos largos sigue siendo un obstáculo físico.
4. Por qué la IA se pierde cuando el texto es más largo de lo que aprendió
La IA entiende el orden de las palabras gracias a información sobre su «posición». En 2017, los creadores del Transformer eligieron una forma específica de marcar estas posiciones (como ondas) esperando que funcionara también para textos más largos de los que usaron en el entrenamiento [2]. Más tarde, en 2021, se propuso «RoPE» (Rotary Position Embedding), un método flexible para calcular la distancia entre palabras [5].
Aun así, los modelos que usan RoPE suelen tener dificultades con textos más largos de lo que vieron durante su aprendizaje [6]. En 2023, una técnica llamada YaRN propuso ampliar la ventana con menos entrenamiento: usaba un décimo de los datos y requería 2,5 veces menos pasos de entrenamiento que otros métodos, según sus autores [6]. Pero, aunque ampliemos la ventana, ¿la IA sabe usar bien toda esa información?
5. Por qué la IA falla con la información del centro de los documentos largos
Un estudio de Liu y colegas en 2023 investigó qué pasaba si cambiaban la posición de la respuesta correcta dentro de un texto largo. En pruebas con preguntas de búsqueda, notaron una forma de «U»: el rendimiento era alto si la respuesta estaba al principio o al final, pero el rendimiento tendía a ser menor en el medio [7]. Este fenómeno se publicó luego en una revista académica.
Curiosamente, cuando el texto cabía tanto en un modelo normal como en uno con ventana extendida, el rendimiento era similar. Esto sugiere que tener más espacio no garantiza usarlo bien [7]. Es importante notar que estos datos son de 2023; los modelos actuales pueden comportarse distinto. Además, el problema del context rot varía según la cantidad de texto y el modelo específico.
Nota para adultos: Al leer sobre estas limitaciones (cálculo de atención, memoria KV, longitud de entrenamiento), es útil entender que la dificultad con la información central es un problema distinto al de la capacidad bruta. No son lo mismo.
6. Un experimento en casa: ¿a las personas también se nos olvida el medio?
Puedes hacer un experimento sencillo en casa. Pide a alguien que lea una lista de unos 20 objetos sin relación entre sí. Después, escribe en papel todos los que recuerdes y observa si recuerdas más los del principio o del final, o si se te olvidan los del centro.
Aunque tu resultado sea parecido al de la IA, no significa que funcionemos igual. Prueba con listas diferentes para ver si influye más la posición o la facilidad de recordar ciertas palabras. Si quieres seguir leyendo sobre esto, empieza por las figuras y gráficos de la documentación oficial de Anthropic [1] y las figuras del artículo de Liu [7].