Como saber se uma IA é boa
Aula 9 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
Teste com algo novo
Um modelo é testado de verdade com exemplos que ele não viu no treino. É como uma prova, e não os exercícios do livro que você já resolveu. Na figura: nos exemplos de treino o modelo tira 100%, e nos novos, 70%. A porcentagem é a parte de respostas certas, e os números são só um exemplo. Confie no segundo: ele mostra como o modelo vai se sair na vida real.
Overfitting: decorou, mas não entendeu
Overfitting, ou sobreajuste: o modelo decorou tão bem os exemplos de treino que se perde nos novos. Como um colega que decorou as respostas da apostila e, na prova, não resolve o mesmo exercício com outros números. Por isso, uma diferença grande entre apostila e prova é sinal de alerta. Um bom modelo pega a ideia geral, em vez de decorar respostas.
A acurácia pode mentir
Acurácia: a parte de respostas certas. Parece confiável, mas tem uma pegadinha. Por exemplo: você trabalha meio período numa loja online de tênis, e uma IA organiza os e-mails dos clientes. De 100 e-mails, 95 são dúvidas comuns e 5 são reclamações. Uma IA que chama tudo de “dúvida” acerta 95 de 100, então a acurácia é 95%. Mas ela não achou nenhuma reclamação. Veja como a IA lida com casos raros, mas importantes.
Rankings não falam de você
As empresas se gabam dos resultados em benchmarks. Benchmark é um conjunto comum de tarefas de teste, por exemplo de matemática ou programação, usado para comparar modelos. É útil, mas a sua tarefa não está lá. Um modelo que manda bem em matemática de olimpíada pode confundir os tamanhos e as regras de troca da sua loja. Spoiler: primeiro lugar no ranking não é o melhor para você.
Sua própria miniprova
Junte 5–10 exemplos reais da sua tarefa; para começar, já basta. Por exemplo, e-mails reais de clientes: uma dúvida comum, uma reclamação, um escrito em gíria, um cheio de erros de digitação. Para cada um, anote qual resposta você considera certa. Passe todos pela IA e compare. Essa é a sua prova: ela mostra na hora onde o modelo erra e é mais honesta que qualquer ranking.
Compare lado a lado
Quer saber qual prompt ou qual modelo é melhor? Dê às duas opções os mesmos exemplos da sua miniprova e coloque as respostas lado a lado. Avalie com uma lista simples: está certo? vai direto ao ponto? o tom é o certo? Mude uma coisa por vez, senão você não vai saber o que funcionou. E lembre: as respostas variam um pouco a cada vez, então rode cada exemplo umas duas vezes.
Teste-se
- Um modelo vai muito bem nos exemplos de treino, mas mal nos novos. Como isso se chama?
Resposta certa: Overfitting (sobreajuste). Overfitting: o modelo decorou os exemplos de treino em vez da ideia geral, por isso erra nos novos. - Uma IA tem 95% de acurácia, mas não achou nenhuma das 5 reclamações em 100 e-mails. Como?
Resposta certa: Há poucas reclamações e ele chama tudo de dúvida comum. Ele acertou os 95 e-mails comuns, e isso já dá 95 de 100. A acurácia esconde a falha nos casos raros, mas importantes. - Qual é o melhor jeito de escolher uma IA para a sua tarefa?
Resposta certa: Testar com 5–10 exemplos reais seus. Rankings testam tarefas gerais, não a sua. Sua miniprova mostra na hora onde o modelo erra no seu caso.