Pergunte três vezes e escolha
Aula 23 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Uma pergunta, respostas diferentes
Lembra da temperatura? O modelo sorteia as palavras de acordo com as chances, então a mesma pergunta pode dar respostas diferentes. Isso se chama inconsistência. Pode ser pior: uma frase só um pouco diferente, por exemplo outra ordem das palavras, e a resposta muda bastante. Para ideias isso é bom. Mas se você precisa de um resultado exato, como a resposta da lição de álgebra de amanhã, vira problema.
Gaste mais esforço na resposta
Dá para ter uma resposta melhor sem um modelo maior. Gaste mais processamento na hora de responder: peça várias versões em vez de uma. Isso se chama computação na hora da resposta (test-time compute). O jeito mais simples é o melhor de N: N tentativas e você fica com a melhor. Quem escolhe pode ser você, uma checagem simples ou um juiz de IA. O lado ruim: 3 tentativas custam umas 3 vezes mais tempo e dinheiro.
Votação: onde as respostas batem
Para tarefas com uma única resposta exata existe um truque mais simples: o voto da maioria. Na imagem: um problema, três tentativas, respostas 42, 42 e 38 (números de exemplo). Duas de três batem, então ficamos com 42. A lógica: erros aleatórios costumam ser diferentes a cada vez, e um raciocínio certo tende a chegar no mesmo número. Serve para matemática, provas de múltipla escolha, achar um número num texto. Numa redação não tem o que votar: ali você escolhe a melhor.
O modo “pensar” faz algo parecido
Os modelos que raciocinam, da lição sobre passos, também gastam mais esforço antes de responder. Eles escrevem um rascunho, testam caminhos diferentes, se checam e só depois respondem. É a mesma ideia: mais trabalho na hora da resposta em vez de um modelo maior. Por isso são mais lentos e custam mais. Ligue esse modo para um problema difícil ou um plano, não para “como se diz obrigado em japonês”.
De onde vêm as invenções
Por que a IA alucina, ou seja, escreve com confiança coisas falsas? O modelo continua o texto de um jeito plausível e nem sempre separa o que sabe do que chutou. E tudo o que já escreveu ele lê como fato. Exemplo: na primeira frase o modelo erra o autor de um livro e depois inventa a biografia dessa pessoa para tudo parecer coerente. Isso se chama efeito bola de neve: um chute errado puxa outros.
Concordar não é prova
Uma receita para números e fatos importantes. Pergunte 2 ou 3 vezes: gere a resposta de novo ou abra um chat novo, onde um erro antigo do histórico não puxa outro. As respostas não batem? É um sinal vermelho: o modelo não tem certeza, confira numa fonte confiável. Bateram? A chance de erro cai, mas não zera: o modelo pode repetir três vezes o mesmo erro popular. Resumindo: concordar é uma pista, a prova vem da fonte.
Teste-se
- Três tentativas deram 42, 42 e 38. O que o voto da maioria escolhe?
Resposta certa: 42, porque duas das três tentativas disseram isso. O voto da maioria pega a resposta em que mais tentativas concordam: 2 de 3 deram 42. Tirar média não faz sentido quando só existe uma resposta certa. - Por que um chat novo é melhor para checar um fato de novo?
Resposta certa: Um erro antigo do histórico não influencia a nova resposta. O modelo lê tudo o que já está no chat como fato. Um chat novo não tem o erro anterior, então a checagem é mais justa. - O modelo deu a mesma resposta para uma pergunta importante três vezes seguidas. O que é verdade?
Resposta certa: Um erro é menos provável, mas ainda vale checar o fato. Concordar aumenta a chance de estar certo, mas o modelo pode repetir direto um erro popular. A prova vem da fonte.