Imágenes, voz y video
Lección 16 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
IA que ve y escucha
Muchos modelos trabajan con más que texto. Se llaman multimodales: una «modalidad» es un tipo de dato, como texto, imagen o sonido. El esquema muestra cuatro direcciones: imagen a texto, texto a imagen, voz a texto, texto a voz. Ejemplo: estás de viaje, le tomas foto a un menú en un idioma que no conoces y preguntas qué platos no llevan carne. Para el modelo, un video suele ser muchos cuadros de imagen más sonido.
Cómo el modelo «mira» una foto
Suena a magia, pero es simple. La imagen se corta en cuadritos (se llaman parches), cada uno se convierte en un conjunto de números y el modelo los procesa igual que los tokens, o sea, pedazos de texto. Por eso puede describir una foto, leer un letrero o explicar una gráfica de una diapositiva. En el ejemplo del menú: el modelo ve el texto de la foto, lo traduce y responde tu pregunta.
Texto a imagen, voz de ida y vuelta
Un generador de imágenes no busca una foto hecha: dibuja una nueva a partir de tu descripción. Ejemplo: «póster para una fiesta estilo videojuego pixelado». Un asistente de voz suele funcionar en cadena: el reconocimiento de voz pasa lo que dices a texto, el modelo escribe la respuesta y la síntesis de voz la lee en voz alta. Algunos modelos trabajan el sonido directo, pero la idea es igual: sonido a números, números a respuesta.
No ve como una persona
El modelo adivina lo que parece creíble en vez de comprobarlo, así que sus errores son predecibles. Fallos típicos de los generadores: las letras de la imagen salen como garabatos y las personas tienen dedos de más o torcidos. Al leer una foto: cuenta mal los objetos (cuánta gente hay), confunde texto pequeño o borroso y describe con seguridad cosas que no están. Lo importante de una imagen revísalo siempre con tus propios ojos.
Deepfakes: cómo no caer
Un deepfake es una foto, un video o una voz hechos con IA para parecer una persona real. Una voz se puede falsificar con audios publicados en redes. Ejemplo: un audio de tu «hermano»: «mándame dinero ya, luego te explico». Regla: urgencia más dinero significa alto. Llama tú a un número que ya conoces y pregunta algo que solo él sabría. Para fotos, busca la fuente original con una búsqueda inversa de imágenes.
Ponte a prueba
- ¿Cómo procesa una foto un modelo multimodal?
Respuesta correcta: La corta en cuadritos y los vuelve números, como tokens. La imagen se divide en parches y cada uno se vuelve un conjunto de números. Luego el modelo los trabaja igual que pedazos de texto. - ¿Dónde fallan más seguido los modelos de imágenes?
Respuesta correcta: Letras en la imagen, dedos, contar objetos. El modelo dibuja y describe lo que parece creíble y no revisa detalles. Por eso el texto, los dedos y el conteo exacto son sus puntos débiles. - Un audio de tu «hermano»: mándame dinero ya. La voz se parece. ¿Qué haces?
Respuesta correcta: Llamarlo a un número que conoces y confirmar. La voz se puede falsificar, y el segundo audio también. Confirmar por otro canal, como llamar a un número conocido, rompe la estafa.