Adobe lleva la IA generativa de Firefly a Photoshop

Créditos de la imagen: Adobe

Photoshop está recibiendo una infusión de IA generativa hoy con la adición de varias funciones basadas en Firefly que permitirán a los usuarios extender imágenes más allá de sus bordes con fondos generados por Firefly, usar IA generativa para agregar objetos a las imágenes y usar una nueva función generativa de relleno para eliminar objetos. con mucha más precisión que el relleno basado en el contenido disponible anteriormente.

Por ahora, estas funciones solo estarán disponibles en la versión beta de Photoshop. Adobe también está poniendo algunas de estas funciones a disposición de los usuarios beta de Firefly en la web (los usuarios de Firefly, por cierto, ya han creado más de 100 millones de imágenes en el servicio).

Créditos de la imagen: Adobe

Lo que es interesante aquí es que esta integración permite a los usuarios de Photoshop usar indicaciones de texto en lenguaje natural para describir el tipo de imagen u objeto que quieren que Firefly cree. Al igual que con todas las herramientas de IA generativa, los resultados pueden ser ocasionalmente algo impredecibles. De manera predeterminada, Adobe proporcionará a los usuarios tres variaciones para cada mensaje, aunque a diferencia de la aplicación web Firefly, actualmente no hay opción para recorrer uno de estos para ver variaciones similares en un resultado determinado.

Para hacer todo esto, Photoshop envía partes de una imagen dada a Firefly, no la imagen completa, aunque la compañía también está experimentando con eso, y crea una nueva capa para los resultados.

Maria Yap, vicepresidenta de imágenes digitales de Adobe, me dio una demostración de estas nuevas funciones antes del anuncio de hoy. Al igual que con todas las cosas relacionadas con la IA generativa, a menudo es difícil predecir qué devolverá el modelo, pero algunos de los resultados fueron sorprendentemente buenos. Por ejemplo, cuando se le pidió que generara un charco debajo de un corgi corriendo, Firefly pareció tener en cuenta la iluminación general de la imagen, incluso generando un reflejo realista. No todos los resultados funcionaron tan bien, un charco de color púrpura brillante también era una opción, pero la plantilla parece hacer un buen trabajo al agregar objetos y, especialmente, extender las imágenes existentes más allá del marco.

Dado que Firefly se entrenó con fotos disponibles en Adobe Stock (así como con otras imágenes comercialmente seguras), tal vez no sea sorprendente que funcione especialmente bien con paisajes. Similar a la mayoría de los generadores de imágenes generativas, Firefly tiene problemas con el texto.

Adobe también se aseguró de que la plantilla arrojara resultados seguros. Esto se debe en parte al conjunto de entrenamiento utilizado, pero Adobe también ha implementado protecciones adicionales. “Combinamos eso con una serie de cosas de ingeniería inmediatas que conocemos”, explicó Yap. “Eliminamos ciertos términos, ciertas palabras que sentimos que no eran seguras. Y luego incluso estamos viendo otra jerarquía de ‘si María selecciona un área que tiene mucha piel, tal vez ahora, y verás mensajes de advertencia a veces, no vamos a expandir un aviso sobre ese, solo porque es impredecible. Simplemente no queremos ir a un lugar que no sea cómodo para nosotros”.

Al igual que con todas las imágenes de Firefly, Adobe aplicará automáticamente sus credenciales de contenido a cualquier imagen que utilice estas funciones impulsadas por IA.

Muchas de estas características también serían muy útiles en Lightroom. Yap estuvo de acuerdo y, aunque no se comprometió con una línea de tiempo, sí confirmó que la compañía también planea llevar Firefly a su herramienta de administración de fotos.