El chat por dentro: system, user, historial
Lección 11 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Un chat es un solo documento largo
Parece que están chateando. En realidad, la app pega todo en un solo documento con roles. System: las instrucciones ocultas de la app. User: tus mensajes. Assistant: las respuestas del modelo. El modelo recibe el documento completo y escribe la siguiente línea de assistant. Suena raro, pero es simple: un chat es un guion que el modelo sigue escribiendo.
System: los ajustes ocultos
El mensaje system va al principio de todo, antes de tu primera palabra, y normalmente no lo ves. Lo escriben los creadores de la app: qué tono usar, qué no responder, qué herramientas hay. Las instrucciones personalizadas, es decir, el campo de ajustes donde pones algo como «responde corto, soy estudiante», también van en esa parte. Por eso funcionan en cada chat nuevo.
Relee todo cada vez
Entre mensaje y mensaje, el modelo no recuerda nada. Cuando escribes uno nuevo, la app le vuelve a enviar todo el historial, de arriba abajo. Pero no ve una cantidad infinita. La ventana de contexto es cuánto texto puede leer el modelo de una vez, y se mide en tokens, es decir, pedacitos de texto. En un chat muy largo, los mensajes viejos pueden quedar fuera o pesar menos.
Cuando el chat se desvía
El historial ayuda mientras sea útil. Ejemplo: escribes un ensayo, descartaste el primer esquema, pero el modelo insiste en volver a él. La razón: el esquema viejo sigue en el historial y el modelo lo relee cada vez. La solución: un chat nuevo. Pega ahí un resumen corto: el tema, lo ya decidido y lo que no sirve. Un historial limpio suele funcionar mejor que diez discusiones en el viejo.
¿La IA recuerda otros chats?
El modelo en sí no: no se reentrena con tus chats sobre la marcha, y cada chat nuevo empieza en blanco. Pero muchas apps tienen una función de memoria. Guarda notas sobre ti, como «estudia para un examen de química», y las inserta al inicio del chat, como un mensaje system. Normalmente puedes verlas y borrarlas en los ajustes. Vale la pena revisar qué hay ahí.
Ponte a prueba
- Envías un mensaje nuevo en un chat largo. ¿Qué recibe el modelo?
Respuesta correcta: Todo el historial otra vez, de arriba abajo. Entre mensajes el modelo no recuerda nada, así que la app le envía todo el historial cada vez, mientras quepa en la ventana de contexto. - El modelo insiste en una idea que ya descartaste. ¿Qué conviene?
Respuesta correcta: Un chat nuevo con un resumen corto de lo importante. La idea descartada sigue en el historial y el modelo la relee. En un chat nuevo no está, y lo importante lo pasas tú. - ¿A dónde van las instrucciones personalizadas de los ajustes?
Respuesta correcta: A la parte system oculta de cada chat nuevo. La app las inserta al inicio de cada chat, como un mensaje system. No reentrenan al modelo.