Tokens y ventana de contexto
Lección 3 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Cómo se corta el texto en pedazos
Antes de que el modelo lea tu mensaje, lo corta un tokenizador: un programa que divide el texto en tokens. Un token es un pedazo de texto: una palabra entera o parte de ella, a veces un espacio o un signo. Cada token recibe su número (id) del vocabulario del modelo. El modelo no ve letras, ve una cadena de esos números. El contador del dibujo muestra cuántos tokens salieron de la frase.
Una palabra, varios tokens
Las palabras comunes suelen caber en un token, y las raras o largas se cortan en partes: «increíblemente» puede volverse tres pedazos. El mismo significado en español, árabe y muchos otros idiomas suele ocupar más tokens que en inglés, porque los vocabularios de los modelos se armaron sobre todo con textos en inglés. Bonus: al modelo le cuesta contar las letras de una palabra, porque no las ve.
La ventana de contexto
La ventana de contexto es cuánto texto puede ver el modelo de una vez. Se mide en tokens. Todo entra junto: tus mensajes, sus respuestas, los archivos que pegas y la configuración oculta del chat. Lo que no cabe, para el modelo no existe. No puede volver atrás en el chat como tú: solo ve lo que está dentro de la ventana ahora, como los mensajes brillantes del dibujo.
Un chat largo pierde el inicio
Imagina un chat de una semana para preparar un examen. Cuando el texto supera la ventana, los mensajes más viejos se caen o se comprimen, como los mensajes pálidos fuera del marco en el dibujo. Incluso dentro de la ventana, el modelo a veces pasa por alto detalles del medio de un texto largo. Qué hacer: pide un resumen corto, abre un chat nuevo, pégalo ahí y repite las condiciones clave.
Por qué los límites se cuentan en tokens
Cada token, leído o escrito, le cuesta al modelo tiempo y potencia de cómputo. Por eso los límites de mensajes, el largo de la respuesta y los precios de los servicios de IA se cuentan en tokens. Regla práctica: en inglés un token equivale en promedio a unas 3/4 de palabra; en otros idiomas suele haber menos palabras por token. La base: el relleno en tu prompt gasta la ventana y tus límites sin aportar nada.
Ponte a prueba
- ¿Qué es la ventana de contexto?
Respuesta correcta: Cuántos tokens ve el modelo de una vez. La ventana de contexto es cuánto texto, en tokens, ve el modelo a la vez. Lo que queda fuera no existe para él. - ¿Por qué el mismo significado suele ocupar más tokens en español que en inglés?
Respuesta correcta: El vocabulario de tokens se armó sobre todo con inglés. Los pedazos frecuentes del inglés suelen tener su propia entrada, así que las palabras de otros idiomas se cortan en más partes. - El chat lleva una semana y el modelo olvidó una condición del primer mensaje. ¿Qué conviene?
Respuesta correcta: Pedir un resumen y seguir en un chat nuevo. Los mensajes viejos salieron de la ventana y pedir «recuerda» no los trae de vuelta. Un resumen en un chat nuevo vuelve a meter lo importante en la ventana.
← Cómo piensa una red neuronal Embeddings: el significado como coordenadas →