Como uma rede neural pensa
Aula 2 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Ela adivinha a próxima palavra
Uma rede neural é um programa que aprendeu com exemplos, e não com regras escritas à mão. ChatGPT e Claude são modelos de linguagem, ou seja, redes neurais feitas para texto. Eles escrevem a resposta pedaço por pedaço, sempre escolhendo a continuação que mais combina. Por exemplo, depois de “O Bitcoin costuma ser chamado de … digital”, o modelo escolhe “ouro” bem antes de “pizza”. E segue assim, palavra por palavra.
Token: um pedaço de texto
O modelo não trabalha com letras, e nem sempre com palavras inteiras. Ele trabalha com tokens. Um token é um pedaço de texto: uma palavra curta, parte de uma palavra longa ou um sinal de pontuação. Uma palavra longa costuma virar vários tokens. A pegadinha é o nome: não é token cripto nem dinheiro, só uma unidade de texto. Serviços de IA pagos medem em tokens o tamanho da conversa e o preço.
Aprendeu com montanhas de texto
Antes de ser lançado, o modelo passou por um treinamento: leu uma quantidade enorme de livros, sites e código. Ele não guarda páginas inteiras. Aprendeu padrões: como as pessoas costumam continuar uma ideia, como se escreve um e-mail, como o código é montado. Por isso escreve com fluidez. Mas não é uma biblioteca com citações exatas, então pode errar a frase de uma fonte.
Conhecimento com data
O treinamento acaba em algum momento e, depois disso, o modelo não aprende nada novo sozinho. Esse limite se chama data de corte do conhecimento. Sobre o que veio depois, o modelo pode não saber nada ou inventar uma resposta. Alguns chatbots pesquisam na internet, mas nem sempre fazem isso nem sempre acertam. Resumo: notícias recentes, cotações e preços, confira você mesmo.
Nem buscador, nem pessoa
O modelo monta uma resposta que parece verdade. Ele não tira de um banco de dados nem confere com uma fonte por conta própria. Por isso pode soar confiante e mesmo assim errar. Exemplo: pergunte quantas luas Marte tem, e a resposta confiante pode estar errada. O certo: duas, Fobos e Deimos. A regra: confiante não quer dizer correto. O que importa, sempre confira.
Teste-se
- O que o modelo faz enquanto escreve uma resposta?
Resposta certa: Escolhe o próximo pedaço de texto que mais combina. A resposta é montada aos poucos, token por token. O modelo não guarda respostas prontas, só padrões aprendidos. - O que é um token em um modelo de linguagem?
Resposta certa: Uma palavra ou um pedaço de palavra. Aqui token é uma unidade de texto: palavra, parte de palavra ou sinal. Não confunda com token cripto. - A resposta parece muito confiante. O que isso significa?
Resposta certa: Mesmo assim vale conferir. Tom confiante não diz nada sobre precisão. O modelo escolhe o que parece plausível, então confira o que importa.
← IA, ML, redes neurais: o que é o quê Tokens e janela de contexto →