Google presentó una nueva herramienta de inteligencia artificial (IA) generativa que crea un vídeo a partir de una descripción en texto o una imagen.
A su vez, introduce capacidades de edición y de trabajo sobre partes determinadas de la imagen.
Lumiere es un nuevo modelo de difusión que genera vídeo.
Este fue diseñado por Google con capacidad para crear resultados realistas y con movimiento coherente y de editarlo para conseguir estilos determinados.
Lo que caracteriza a este modelo es que genera en un solo paso la duración temporal del vídeo.
Se trata de algo que logran con una arquitectura que han denominado ‘Space-Time U-Net’ (STUNet).
La misma tiene la capacidad de reducir la señal temporal y espacial y realiza la mayor parte del trabajo computacional en una representación compacta.
Con este enfoque, se genera un vídeo de 5 segundos. Los vídeos se pueden crear a partir de una descripción en texto y incluso editar para conseguir un estilo determinado.
Pero también a partir de una imagen con una indicación en texto que la acompañe, como informa Google en la página de GitHub dedicada a este proyecto.
Las capacidades de Lumiere incluyen la animación de una parte determina de una imagen y la reconstrucción de una parte que falte en un vídeo, para que se vea completo.
Fuente: EP.