Microsoft ha presentado una patente para una tecnología de IA que podría cambiar lo que la gente dice durante transmisiones en vivo en tiempo casi real y luego alterar sus movimientos labiales para que coincidan. La solicitud, publicada el 29 de octubre, describe un sistema que escanea video y audio en vivo, elige palabras a cambiar y las reemplaza por otras antes de que los espectadores vean el material.
Cómo funciona
Según la patente, un agente de IA identifica palabras habladas a modificar según el perfil del espectador, como edad, ubicación e idiomas que habla. Luego, un sistema de IA generativa reemplaza esas palabras en el audio, suaviza las ediciones para que suenen naturales y genera nuevos fotogramas de video para que la boca del hablante coincida con las nuevas palabras. El sistema podría funcionar en teléfonos, tabletas, cámaras y gafas de realidad aumentada.
La patente da ejemplos de uso, incluyendo eliminar muletillas como “um”, reemplazar blasfemias o lenguaje ofensivo y corregir jerga, palabras mal pronunciadas o mal dichas. Las palabras de reemplazo podrían obtenerse de una búsqueda en internet, lo que podría permitir verificación instantánea de hechos. Una sección separada cubre traducción, donde las palabras habladas en un idioma que el espectador no entiende se reemplazan por palabras traducidas, con los labios del hablante redibujados para coincidir.
Por qué importa
Debido a que las ediciones están vinculadas al perfil de cada espectador, dos personas que vean la misma transmisión podrían escuchar versiones diferentes de lo dicho. La patente también describe usar IA para condensar grabaciones largas en videos resumidos más cortos, generando nuevo material de los hablantes diciendo un guion resumido. Como con cualquier patente, no hay garantía de que Microsoft la convierta en un producto real.
