Por que os modelos são tão enormes
Aula 21 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Parâmetro: um botão de ajuste
Dentro de um modelo existem bilhões de números. Cada um se chama parâmetro. No treino, o modelo lê texto, adivinha a próxima palavra e, quando erra, ajusta um pouquinho os parâmetros, como os botões de uma mesa de DJ. Um botão sozinho não significa nada, mas juntos eles guardam os padrões da língua que ele aprendeu. Mais botões: mais espaço para coisas sutis, como sarcasmo ou estilo.
Três ingredientes de um modelo grande
O tamanho de um modelo se apoia em três coisas. Parâmetros: quantos botões ele tem. Dados: quanto texto ele leu, contado em tokens, aqueles pedacinhos de texto. Computação: quantos cálculos foram feitos no treino, ou seja, quantos chips e por quanto tempo trabalharam. São milhares de chips potentes, um mar de eletricidade e muito dinheiro. Um ingrediente só não basta: um modelo grande com poucos dados sai fraco.
Cada passo rende menos
Se você aumenta os três ingredientes, o modelo costuma melhorar. Essa regularidade se chama lei de escala. Mas a curva da figura primeiro sobe rápido e depois achata. É como subir de nível num jogo: os primeiros níveis vêm rápido, e cada próximo pede cada vez mais XP. Exemplo: levar um modelo de “mais ou menos” a “bom” é mais fácil do que de “bom” a “quase sem erros”.
O texto bom está acabando
Os modelos já leram uma parte enorme da internet aberta, e não surge tanto texto novo e de qualidade escrito por pessoas. Muitos sites agora proíbem usar seus textos para treino. Além disso, a rede tem cada vez mais texto escrito pela própria IA. Aprendendo com ele, o modelo pode herdar erros dos outros, como no esquema. Para você: tudo que você posta publicamente pode acabar num treino.
O inglês domina os dados
A maior parte do texto da internet está em inglês; em outras línguas há bem menos. Por isso os modelos costumam ir melhor em inglês, e em outras línguas pegam menos nuances e gastam mais tokens para dizer o mesmo. Calma: em português eles também funcionam bem. Mas se a resposta a uma pergunta difícil sair fraca, tente perguntar em inglês e compare.
Para que servem os modelos pequenos
Um modelo grande é mais esperto, mas cada resposta exige mais cálculos. Ou seja, ele é mais lento e cada resposta custa mais. Modelos pequenos são rápidos, baratos e às vezes rodam direto no celular, até sem internet. Por exemplo, um tradutor numa viagem. Lembra da curva: em tarefas simples, um pequeno costuma bastar. Resumo: modo rápido para o simples, o grande para o que é difícil.
Teste-se
- O que é um parâmetro do modelo?
Resposta certa: Um número dentro do modelo que é ajustado no treino. Parâmetros são bilhões de números que o modelo ajusta enquanto aprende. Juntos, eles guardam os padrões aprendidos. - O modelo já é grande. Os três ingredientes aumentam de novo. O que esperar?
Resposta certa: Costuma melhorar, mas o ganho é menor. Escalar costuma ajudar, mas a curva achata: cada passo seguinte rende menos, e os erros não somem. - Por que fazer modelos pequenos se os grandes são mais espertos?
Resposta certa: São mais rápidos, baratos e rodam no celular. Cada resposta de um modelo grande exige mais cálculos. Um pequeno responde mais rápido e barato, e costuma bastar para tarefas simples.