IA avaliando IA

Aula 22 de 23 do curso “Básico de IA”. Grátis, com animações e teste.

A IA dá notas

Um juiz de IA é um modelo que avalia as respostas de outro modelo ou os seus próprios textos. Exemplo: você escreveu duas versões de uma carta de apresentação, um texto curto sobre você para quem vai contratar, para um trampo de férias numa cafeteria. Dá para pedir três coisas ao juiz: uma nota de 1 a 5, escolher a melhor de duas (A ou B) ou comparar o texto com um modelo de referência. Empresas checam milhares de respostas assim: é mais rápido e barato do que pagar pessoas.

Os três pontos fracos do juiz

O juiz não é neutro, ele tem vieses. Primeiro, o viés de posição: ele tende a escolher a resposta que aparece primeiro. Segundo, o gosto por textão: uma resposta longa parece melhor para ele, mesmo com erros. Terceiro, o favoritismo próprio: o modelo dá nota maior para textos no estilo dele mesmo. A imagem resume: o juiz gosta da primeira resposta e da mais longa. Não é má intenção, é um efeito colateral de como o modelo aprendeu.

Troque A e B de lugar

Um truque simples contra o viés de posição: pergunte duas vezes. Primeiro coloque a carta A na frente, depois a B, de preferência num chat novo. O juiz escolheu a mesma carta nas duas vezes? Aí dá para confiar mais no veredito. A escolha mudou junto com a ordem? Então o juiz não vê diferença de verdade: conte como empate. Contra o gosto por textão, escreva claramente “o tamanho não importa” ou compare textos de tamanho parecido.

Juiz = modelo + prompt

A nota não depende só do texto, mas também de quem julga e como. Troque o modelo ou duas palavras do prompt e já é outro juiz. Até o mesmo juiz pode dar outra nota para o mesmo texto, porque as respostas da IA têm um pouco de sorte. Exemplo: um “7 de 10” num chat e um “9 de 10” em outro não dá para comparar. Para notas mais estáveis, passe ao juiz a tarefa, os critérios (pelo que avaliar) e uma escala de 1 a 5 que descreva cada nota.

Um ranking feito de duelos

É assim também que os próprios modelos são comparados. As pessoas veem duas respostas para a mesma pergunta, muitas vezes sem saber qual modelo escreveu cada uma, e escolhem a melhor. Cada escolha é como uma partida. Com muitas partidas sai um ranking, como no xadrez ou nos games online: ganhar de um rival forte vale mais pontos. A pegadinha: votação funciona para gosto e estilo. Se um fato é verdadeiro não se decide no voto, e sim checando.

A palavra final é sua

Como usar um juiz para você. Peça para ele revisar sua redação com poucos critérios claros, por exemplo: ideia principal clara, exemplos, gramática. Melhor 3 ou 4 pontos precisos do que 15 vagos. Peça para explicar primeiro e dar a nota depois. Está comparando duas versões? Rode nas duas ordens. Resumindo: um juiz de IA é uma segunda opinião, não um professor com a caderneta. Os fatos você checa, e a decisão é sua.

Teste-se

1. O juiz escolheu a carta A. Você trocou a ordem e ele escolheu a B. O que isso significa?
   Resposta certa: O juiz não vê diferença real: conte como empate. Se a escolha muda junto com a ordem, o juiz está reagindo à posição, não à qualidade. O justo é contar como empate.
2. Por que não dá para comparar um “7 de 10” de um chat com um “9 de 10” de outro?
   Resposta certa: Outro prompt ou outro modelo já é outro juiz. O juiz é um modelo mais um prompt. Mudou um dos dois, mudou a régua, e até o mesmo juiz pode variar de uma vez para outra.
3. Para qual pergunta votar em “qual resposta é melhor” funciona pior?
   Resposta certa: Em que ano aconteceu um fato histórico. Votos medem bem gosto e estilo. Uma data está certa ou errada, e quem decide isso é uma fonte, não a maioria.

← Por que os modelos são tão enormes Pergunte três vezes e escolha →