Sonido y voz
Lección 7 de 22 del curso «Vídeo IA sin flops». Gratis, con animaciones y un test.
Cuatro capas de sonido
El sonido es la mitad del realismo. Un vídeo de IA sin sonido se siente muerto, aunque la imagen sea perfecta. En el cine, el sonido se arma con cuatro capas: voz, ambiente (ruido de calle, viento, tono de la sala), efectos y foley (pasos, tela, golpes) y música. Antes se hacía todo por separado; ahora Veo 3.1, Kling 3.0 y Seedance 2.0 generan sonido junto con la imagen. Es cómodo, pero el sonido también hay que dirigirlo con palabras, o el modelo pondrá algo al azar. En esta lección vemos cada capa y decidimos qué generar y qué añadir en el montaje.
Foley: sonido con peso
El foley se llama así por Jack Foley, técnico de sonido de Universal que, en los inicios del cine sonoro, empezó a recrear pasos y roces de ropa al ritmo de la imagen. El secreto es la sincronía: el sonido ocurre justo en el momento del contacto. El pie toca el hormigón: chirrido. El brazo sube: la sudadera cruje. El cerebro une sonido y movimiento, y el cuerpo en pantalla parece más pesado y real. Por eso en el prompt escribe el sonido junto a la acción y el material: no “pasos”, sino “las zapatillas chirrían en hormigón mojado”. El material le dice al modelo cómo debe sonar.
La frase entre comillas
Los modelos con sonido entienden un formato simple: quién habla, en qué tono y la frase entre comillas. Por ejemplo: Mira says: “Drop’s live. Grab it before I do.” La regla clave es la duración. Hablamos unas 2–3 palabras por segundo, así que en un plano de 8 segundos caben hasta 20 palabras, y cómodo es 10–15. Una frase larga se corta o el modelo empieza a hablar atropellado. Una frase y un hablante por plano; el diálogo se arma con varios planos. Si el modelo dibuja subtítulos en el plano, añade “subtitles” al negative prompt.
La música, en el montaje
Un modelo puede componer música para un plano, pero en un anuncio es una trampa. Cada plano tendrá su melodía y la música se cortará en cada unión. Un tema generado no se puede cortar bien al ritmo, y sus derechos suelen ser dudosos. Los profesionales hacen esto: en el prompt describen solo ambiente y efectos, como “Audio: street ambience, footsteps, distant traffic”, y ponen una única pista encima en el montaje. Para marcas, TikTok tiene la Commercial Music Library: música que puedes usar legalmente en anuncios. Otras opciones: tu propio tema o música de stock con licencia.
Lip-sync y traducción
Si necesitas una frase exacta o tu propia voz, hay un camino más fiable que generar el habla: grabar la voz (o sintetizarla) y ponerla sobre el vídeo con lip-sync, así los labios se ajustan al sonido. El mismo truco sirve para traducir: Higgsfield Translate traduce un vídeo a 18 idiomas y mueve los labios al nuevo texto. Así un vídeo de Mira se convierte en versiones para Brasil, México y Turquía. Dos reglas. Primera: la traducción la revisa un nativo, porque la jerga automática suena a cringe con facilidad. Segunda: una voz ajena solo se clona con consentimiento por escrito del dueño. La tuya, sin problema.
El sonido al final del prompt
Cuando luz, cámara y sonidos se mezclan en un solo párrafo, el modelo se lía: un ruido puede volverse imagen y una imagen, sonido. Un orden fiable: primero el plano y la acción, luego la cámara, luego luz y color, y como última línea el sonido marcado con “Audio:”. Los ejemplos oficiales de prompts para Veo hacen lo mismo: el sonido va aparte. El orden también te ayuda: la línea de audio es fácil de encontrar y cambiar sin tocar la imagen. Mira el prompt de Mira en el esquema: cuatro bloques, cada uno con lo suyo.
Subtítulos para quien ve sin sonido
Casi todo el feed se mira en el metro, en clase y de noche, o sea, sin sonido. Ya en 2016 Digiday contaba que hasta el 85% de los vídeos de Facebook se veían sin sonido. Si el sentido del vídeo depende de una frase, sin subtítulos nadie lo entiende. Haz los subtítulos en el montaje, no con generación: el modelo dibujará garabatos. Ponlos grandes, en 1–2 líneas, en el centro de la pantalla. En TikTok y Reels, abajo y el borde derecho los tapan el texto, los botones y el nombre de la música, así que ahí se pierden.
Ponte a prueba
- Mira metió una frase de 40 palabras en un plano de 8 segundos. El modelo habla atropellado y corta la frase. ¿Qué hace?
Respuesta correcta: Recortarla a 10–15 palabras o dividirla en dos planos. Hablamos 2–3 palabras por segundo, así que en 8 segundos caben cómodas 10–15. El resto, al siguiente plano. - En un anuncio de cinco planos, el modelo generó música distinta en cada uno. La melodía se corta en cada unión. ¿Qué es lo correcto?
Respuesta correcta: Dejar solo ambiente y efectos en los prompts y poner una pista con licencia en el montaje. Una pista encima une el vídeo y permite cortar al ritmo, y la licencia resuelve los derechos. - Mira quiere una versión en inglés con la voz de su amiga Lena, que está de vacaciones. ¿Qué hace?
Respuesta correcta: Escribir a Lena y conseguir su consentimiento por escrito; mientras, usar su propia voz o TTS. La voz es parte de la identidad. Clonarla para un anuncio exige consentimiento explícito del dueño, mejor por escrito. - Los subtítulos del vídeo de Mira están abajo y en Reels los tapa el texto del post. ¿Qué cambia?
Respuesta correcta: Subir subtítulos grandes al centro, lejos del borde derecho. El centro está libre de interfaz y el texto grande se lee incluso de pasada.