Imagens, voz e vídeo
Aula 16 de 23 do curso “Básico de IA”. Grátis, com animações e teste.
IA que vê e ouve
Muitos modelos trabalham com mais do que texto. Eles se chamam multimodais: “modalidade” é um tipo de dado, como texto, imagem ou som. O esquema mostra quatro direções: imagem para texto, texto para imagem, voz para texto, texto para voz. Exemplo: você está viajando, tira foto de um cardápio numa língua que não conhece e pergunta quais pratos não têm carne. Para o modelo, um vídeo costuma ser muitos quadros de imagem mais som.
Como o modelo “olha” uma foto
Parece mágica, mas é simples. A imagem é cortada em quadradinhos (chamados patches), cada um vira um conjunto de números, e o modelo trata esses números do mesmo jeito que tokens, ou seja, pedaços de texto. Por isso ele consegue descrever uma foto, ler uma placa ou explicar um gráfico de um slide. No exemplo do cardápio: o modelo vê o texto da foto, traduz e responde sua pergunta.
Texto em imagem, voz nos dois sentidos
Um gerador de imagens não procura uma foto pronta: ele desenha uma nova a partir da sua descrição. Exemplo: “cartaz de festa no estilo jogo pixelado”. Um assistente de voz muitas vezes funciona em cadeia: o reconhecimento de fala transforma sua voz em texto, o modelo escreve a resposta e a síntese de voz lê em voz alta. Alguns modelos trabalham com o som direto, mas a ideia é a mesma: som em números, números em resposta.
Não enxerga como uma pessoa
O modelo chuta o que parece plausível em vez de conferir, então os erros dele são previsíveis. Falhas típicas dos geradores: as letras na imagem viram rabisco e as pessoas ganham dedos a mais ou tortos. Ao ler uma foto: conta errado os objetos (quantas pessoas aparecem), confunde texto pequeno ou borrado e descreve com confiança coisas que não estão lá. O que for importante numa imagem, confira sempre com seus próprios olhos.
Deepfakes: como não cair
Deepfake é uma foto, um vídeo ou uma voz feitos com IA para parecer uma pessoa real. Dá para falsificar uma voz com áudios postados nas redes. Exemplo: um áudio do seu “irmão”: “me manda dinheiro agora, depois eu explico”. Regra: urgência mais dinheiro quer dizer pare. Ligue você para um número que já conhece e pergunte algo que só ele saberia. Para fotos, ache a fonte original com uma busca reversa de imagem.
Teste-se
- Como um modelo multimodal processa uma foto?
Resposta certa: Corta em quadradinhos e transforma em números, como tokens. A imagem é dividida em patches, e cada um vira um conjunto de números. Depois o modelo trabalha com eles como se fossem pedaços de texto. - Onde os modelos de imagem mais erram?
Resposta certa: Letras na imagem, dedos, contar objetos. O modelo desenha e descreve o que parece plausível e não confere detalhes. Por isso texto, dedos e contagem exata são pontos fracos. - Um áudio do seu “irmão”: me manda dinheiro agora. A voz parece a dele. O que fazer?
Resposta certa: Ligar para ele num número conhecido e conferir. A voz pode ser falsificada, e o segundo áudio também. Conferir por outro canal, como ligar para um número conhecido, quebra o golpe.