Cómo se entrena un chatbot: 3 etapas
Lección 7 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Tres etapas hasta un chatbot
Un chatbot no nace como un asistente amable. Se arma en tres etapas. Primera: el preentrenamiento, el modelo lee montañas de texto. Segunda: el ajuste con ejemplos, le enseñan a cumplir pedidos. Tercera: las valoraciones de personas, le enseñan a responder como a la gente le gusta. Suena difícil, pero es simple. Veamos cada etapa por turno.
Etapa 1: preentrenamiento
Preentrenamiento: el modelo lee una cantidad enorme de texto (libros, sitios web, código) y aprende a adivinar el siguiente token, es decir, el siguiente pedazo de texto. Es la etapa más larga y cara. El resultado es un modelo base: continúa textos de maravilla, pero no sabe responder preguntas. Por ejemplo: ante «¿Cómo me preparo para un examen?» puede agregar cinco preguntas más, como en una lista de un foro.
Etapa 2: ajuste con ejemplos
Después al modelo lo ajustan, es decir, lo siguen entrenando con un conjunto más chico pero cuidado. Son pares «pedido → buena respuesta» que escribieron o eligieron personas. Por ejemplo: «Hazme un plan de estudio de un mes para el examen» y al lado un plan claro semana por semana. Tras ver muchos pares así, el modelo entiende: a una pregunta se responde y una tarea se cumple.
Etapa 3: valoraciones de personas
Luego a personas les muestran dos respuestas del modelo a la misma pregunta y eligen la mejor: un like o un dislike. Con muchísimas elecciones así, el modelo aprende qué respuestas le gustan a la gente: claras, amables, seguras. Esta etapa se llama RLHF, aprendizaje por refuerzo con retroalimentación humana. Dicho simple: el modelo gana un «punto» por las respuestas que la gente elegiría.
Por qué un bot puede ser un adulador
La gente suele premiar las respuestas amables y que le dan la razón. Por eso el modelo aprende a agradar. Y ahí está la contra: puede ser adulador, es decir, te da la razón demasiado fácil. Por ejemplo: discutes con seguridad que la Gran Muralla China se ve desde el espacio a simple vista. El bot puede ceder, aunque es un mito. No es un bug, es un efecto secundario del entrenamiento.
Cómo no caer en la trampa
No le insinúes al bot la respuesta que quieres oír. En vez de «mi ensayo está genial, ¿no?», pregunta «encuentra tres puntos débiles en mi ensayo». Pide honestidad directamente: «no me des la razón si me equivoco». Si el bot cambia de opinión de golpe después de tu «te equivocaste», pídele que explique por qué y verifica el dato tú. En resumen: que el bot te dé la razón no es una prueba.
Ponte a prueba
- ¿Qué hace el modelo en el preentrenamiento?
Respuesta correcta: Aprende a adivinar el siguiente token en muchísimo texto. El preentrenamiento es leer montañas de texto y adivinar el siguiente pedazo. Los pares con buenas respuestas y las elecciones de personas vienen después. - ¿Para qué les muestran a personas dos respuestas del modelo y les piden elegir?
Respuesta correcta: Para que el modelo aprenda a responder como le gusta a la gente. Es la tercera etapa, RLHF: con las elecciones de las personas, el modelo aprende qué respuestas les gustan. - Le dijiste al bot «te equivocaste» y te dio la razón al instante. ¿Qué conviene hacer?
Respuesta correcta: Pedirle que explique y verificar el dato tú. Tras entrenarse con valoraciones de personas, el bot tiende a dar la razón. Ni la primera ni la segunda respuesta son prueba: hay que verificar.