Adobe lleva el relleno generativo de Firefly al video

Con Project Fast Fill, Adobe muestra cómo su IA generativa Firefly puede manipular videos de forma impresionante.

Esta tecnología experimental permite rellenar huecos o eliminar objetos de los vídeos de manera con unos solos clics.

Descrito como relleno generativo para video, permite al usuario remplazar una parte seleccionada de un fotograma de vídeo introduciendo un texto que describa lo que quiere que aparezca en su lugar. Generando una imagen que se ajusta al texto y la inserta en el vídeo, manteniendo la coherencia con los fotogramas anteriores y posteriores.

La tecnología que presenta Adobe es un ejemplo de lo que la IA generativa puede hacer para mejorar las herramientas de edición de video, como Premiere Pro y After Effects.

El proyecto se presentó en la sesión Sneaks de Adobe Max 2023, que se llevó acabo del 10 al 12 de octubre. Junto con otras nueve tecnologías experimentales, como Project Stardust un motor de edición de imágenes que usa objetos en lugar de píxeles.

Usar indicaciones de texto para remplazar objetos en el vídeo

El relleno generativo que ya está incorporado en Photoshop, permite a los usuarios sustituir una parte seleccionada de una imagen fija introduciendo un sencillo mensaje de texto para guiar el nuevo contenido.

El proyecto de relleno rápido permite aplicar las modificaciones de un fotograma de vídeo a todo el clip, ampliando el flujo de trabajo de edición de video. Con esta función, el usuario solo tiene que editar un fotograma y el resto se actualizará automáticamente.

El contenido generado por la IA no solo se adapta al movimiento de las cámaras, sino que también reacciona a las variaciones de luz en la escena, logrando una mayor integración entre el contenido artificial y el real.

Adobe mostró algunas de sus nuevas herramientas de edición de imágenes, que permiten modificar fácilmente los elemtos visuales de una foto o vídeo. Por ejemplo, se podía quitar un objeto del fondo, añadir una corbata a alguien que no la llevaba, o cambiar el diseño de la espuma de un café con leche, adaptándose al movimiento del líquido.