Meta lanza MovieGen, el modelo más avanzado de IA para generar videos a partir de texto
Meta ha anunciado su nueva familia de modelos de inteligencia artificial, MovieGen, diseñados para crear videos realistas con sonido a partir de simples indicaciones de texto.
Esta familia incluye dos modelos principales: MovieGen Video y MovieGen Audio, ambos con capacidades avanzadas que prometen revolucionar la creación de contenido multimedia.
La generación de video con MovieGen Video
MovieGen Video es un modelo de transformador con 30 mil millones de parámetros, capaz de generar imágenes y videos de alta calidad desde un único texto. Los videos producidos pueden durar hasta 16 segundos y se generan a una velocidad de 16 fotogramas por segundo. Esto proporciona una experiencia visual fluida y en alta definición.
Lo interesante de MovieGen es que no se limita a crear videos desde cero. Los usuarios también podrán editar videos existentes utilizando simples comandos de texto. Por ejemplo, si tienes un video en el que alguien lanza una pelota, puedes cambiar el objeto lanzado a una sandía sin alterar el resto del contenido original. Esta capacidad de realizar ediciones localizadas o globales, como cambiar el fondo o el estilo visual, añade una gran flexibilidad para los creadores de contenido.
La sincronización de sonido con MovieGen Audio
El otro modelo, MovieGen Audio, cuenta con 13 mil millones de parámetros y se especializa en generar audio de alta fidelidad que se sincroniza perfectamente con los videos. Este modelo puede producir hasta 45 segundos de sonido, que puede incluir desde efectos de sonido ambientales hasta música instrumental y sonidos de Foley.
Además, permite que los creadores puedan añadir estos efectos sonoros basándose en el contenido del video o mediante indicaciones adicionales de texto.
Meta asegura que los resultados que se obtienen con MovieGen Audio son líderes en la industria en términos de calidad del sonido, sincronización entre el video y el audio, así como en la alineación entre el texto y el audio.
Personalización y preservación de detalles
Una de las características más llamativas de los modelos MovieGen es la capacidad de generar videos personalizados. Al utilizar una imagen de una persona junto con un texto, el sistema es capaz de generar videos manteniendo la identidad y los movimientos naturales del sujeto. Meta afirma que los resultados de estos modelos son sobresalientes en cuanto a la preservación de detalles y la fluidez del movimiento en los videos.
Meta también ha destacado que sus modelos MovieGen superan a otras soluciones existentes en el mercado, como OpenAI Sora y Runway Gen-3, en cuanto a la calidad de los videos generados. Aunque todavía están trabajando en perfeccionar el modelo en colaboración con profesionales creativos, se espera que MovieGen sea una herramienta poderosa una vez que esté disponible al público.
