O vídeo digital é um campo muito mais complexo do que o processamento de imagens estáticas. E assim é a sua criação com ferramentas que incluem modelos de inteligência artificial.
Por isso, surge o Lumiere, modelo de divulgação de texto para vídeo desenvolvido pelo Google Research, ainda em processo de pesquisa, que utiliza uma arquitetura diferente das que já existem no mercado e que se baseia na síntese de frames , causa admiração distantes entre si na linha do tempo completada com técnicas de super-resolução de imagens, o que pode resultar em falta de fluidez e realismo.
Em contrapartida, Lumiere apresenta a arquitetura Space-Time U-Net (STUNet), que permite ao modelo realizar processamento em uma única etapa durante toda a duração temporal, gerando vídeos nos quais captura a instrução do texto de forma bastante consistente. (ou incitar). Nesta fase do projeto, os vídeos têm 5 segundos de duração e alta qualidade de resolução.
Mas o Lumiere do Google Research também pode gerar vídeos a partir de imagens individuais se receber instruções com referências de estilo ou outros detalhes personalizados.
Neste contexto, é capaz de construir animações em regiões específicas de uma imagem individual enquanto o resto permanece estático; Também pode gerar sequências de imagens baseadas em estilos específicos e utilizar técnicas de pintura, tanto para alterar certos elementos visuais do vídeo quanto para restaurar vídeos incompletos, preenchendo as partes que faltam.
Como ver o trabalho realizado com o Lumière?
Segundo o documento do projeto, o Lumiere é voltado para usuários iniciantes que desejam gerar conteúdo audiovisual de forma criativa e flexível. No entanto, sublinham os riscos que esta tecnologia traz, que, se cair em mãos erradas, pode levar à geração massiva de conteúdos falsos ou inapropriados. Se você quiser apreciar o trabalho realizado com o Lumiere basta visitar sua página hospedada no GitHub https://lumiere-video.github.io/.
Imagem: Lumiere