Tokens e janela de contexto
Aula 3 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Como o texto é cortado em pedaços
Antes de o modelo ler sua mensagem, um tokenizador corta o texto: um programa que divide o texto em tokens. Um token é um pedaço de texto: uma palavra inteira ou parte dela, às vezes um espaço ou um sinal. Cada token recebe um número (id) do vocabulário do modelo. O modelo não vê letras, vê uma sequência desses números. O contador da figura mostra quantos tokens saíram da frase.
Uma palavra, vários tokens
Palavras comuns costumam caber em um token, e as raras ou longas são cortadas em partes: “inacreditavelmente” pode virar três pedaços. O mesmo sentido em português, árabe e muitas outras línguas costuma ocupar mais tokens do que em inglês, porque os vocabulários dos modelos foram montados principalmente com textos em inglês. Bônus: o modelo tem dificuldade de contar as letras de uma palavra, porque não as vê.
A janela de contexto
A janela de contexto é quanto texto o modelo consegue ver de uma vez. Ela é medida em tokens. Tudo entra junto: suas mensagens, as respostas dele, arquivos colados e as configurações ocultas do chat. O que não cabe simplesmente não existe para o modelo. Ele não rola o chat para trás como você: só vê o que está dentro da janela agora, como as mensagens claras da figura.
Um chat longo perde o começo
Imagine um chat de uma semana sobre a preparação para uma prova. Quando o texto fica maior que a janela, as mensagens mais antigas saem ou são resumidas, como as mensagens apagadas fora da moldura na figura. Mesmo dentro da janela, o modelo às vezes deixa passar detalhes do meio de um texto longo. O que fazer: peça um resumo curto, abra um chat novo, cole o resumo lá e repita as condições importantes.
Por que os limites são contados em tokens
Cada token, lido ou escrito, custa ao modelo tempo e poder de computação. Por isso limites de mensagens, tamanho da resposta e preços dos serviços de IA são contados em tokens. Regra prática: em inglês, um token equivale em média a cerca de 3/4 de palavra; em outras línguas costuma caber menos palavra por token. O básico: enrolação no prompt gasta a janela e os seus limites sem trazer nada.
Teste-se
- O que é a janela de contexto?
Resposta certa: Quantos tokens o modelo vê de uma vez. A janela de contexto é quanto texto, em tokens, o modelo vê de uma vez. O que fica fora não existe para ele. - Por que o mesmo sentido costuma ocupar mais tokens em português do que em inglês?
Resposta certa: O vocabulário de tokens foi montado principalmente com inglês. Pedaços frequentes do inglês costumam ter entrada própria no vocabulário, então palavras de outras línguas viram mais partes. - O chat já dura uma semana e o modelo esqueceu uma condição da primeira mensagem. O que fazer?
Resposta certa: Pedir um resumo e seguir em um chat novo. As mensagens antigas saíram da janela, e pedir “lembre” não as traz de volta. Um resumo num chat novo coloca o importante de novo dentro da janela.
← Como uma rede neural pensa Embeddings: o sentido como coordenadas →