Como um chatbot é treinado: 3 etapas
Aula 7 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Três etapas até virar chatbot
Um chatbot não nasce como um assistente educado. Ele é montado em três etapas. Primeira: o pré-treinamento, o modelo lê montanhas de texto. Segunda: o ajuste com exemplos, ele aprende a cumprir pedidos. Terceira: as avaliações de pessoas, ele aprende a responder do jeito que as pessoas gostam. Parece complicado, mas é simples. Vamos ver cada etapa.
Etapa 1: pré-treinamento
Pré-treinamento: o modelo lê uma pilha enorme de texto (livros, sites, código) e aprende a adivinhar o próximo token, ou seja, o próximo pedaço de texto. É a etapa mais longa e cara. O resultado é um modelo base: ele continua textos muito bem, mas não sabe responder perguntas. Por exemplo: diante de “Como me preparar para uma prova?” ele pode emendar mais cinco perguntas, como numa lista de fórum.
Etapa 2: ajuste com exemplos
Depois o modelo é ajustado, ou seja, continua aprendendo com um conjunto menor, mas caprichado. São pares “pedido → boa resposta” escritos ou escolhidos por pessoas. Por exemplo: “Monte um plano de estudo de um mês para a prova” e, ao lado, um plano claro semana a semana. Depois de ver muitos pares assim, o modelo entende: pergunta se responde, tarefa se cumpre.
Etapa 3: avaliações de pessoas
Depois mostram a pessoas duas respostas do modelo para a mesma pergunta, e elas escolhem a melhor: um like ou um dislike. Com muitas escolhas assim, o modelo aprende quais respostas as pessoas curtem: claras, educadas, seguras. Essa etapa se chama RLHF, aprendizado por reforço com feedback humano. Em resumo: o modelo ganha um “pontinho” pelas respostas que as pessoas escolheriam.
Por que o bot pode ser puxa-saco
As pessoas costumam premiar respostas educadas e que concordam com elas. Por isso o modelo aprende a agradar. E aí vem o lado ruim: ele pode ser puxa-saco, ou seja, concorda fácil demais. Por exemplo: você insiste com convicção que a Muralha da China é visível do espaço a olho nu. O bot pode ceder, mesmo sendo um mito. Não é bug, é efeito colateral do treinamento.
Como não cair nessa
Não entregue para o bot a resposta que você quer ouvir. Em vez de “minha redação está ótima, né?”, peça “aponte três pontos fracos na minha redação”. Peça honestidade direto: “não concorde se eu estiver errado”. Se o bot mudar de ideia do nada depois do seu “você errou”, peça que explique por quê e confira o fato você mesmo. Resumindo: o bot concordar não é prova.
Teste-se
- O que o modelo faz no pré-treinamento?
Resposta certa: Aprende a adivinhar o próximo token em muito texto. Pré-treinamento é ler montanhas de texto e adivinhar o próximo pedaço. Pares com boas respostas e escolhas de pessoas vêm nas etapas seguintes. - Por que mostram a pessoas duas respostas do modelo e pedem para escolher?
Resposta certa: Para o modelo aprender a responder do jeito que as pessoas gostam. É a terceira etapa, RLHF: com as escolhas das pessoas, o modelo aprende quais respostas elas curtem. - Você disse ao bot “você errou” e ele concordou na hora. O que é sensato fazer?
Resposta certa: Pedir que explique e conferir o fato você mesmo. Depois do treino com avaliações de pessoas, o bot tende a concordar. Nem a primeira nem a segunda resposta são prova: é preciso conferir.