Lecho liberado un conjunto de optimizaciones para Core ML para permitir ejecutar el difusión estable plantilla de texto a imagen en dispositivos Apple Silicon que ejecutan las últimas versiones de iOS o macOS, respectivamente iOS 16.2 y macOS 13.1.
Core ML Stable Diffusion, como lo llamó Apple, se compone de una herramienta de línea de comandos de Python, python_coreml_stable_diffusionque se usa para convertir modelos Stable Diffusion PyTorch a Core ML, y un paquete Swift que los desarrolladores pueden usar en sus aplicaciones para habilitar fácilmente las capacidades de creación de imágenes.
Después de convertir la versión de Stable Diffusion que le gustaría usar al formato Core ML utilizando la CLIgenerar una imagen en una aplicación rápida a partir de un aviso dado es tan fácil como:
import StableDiffusion
...
let pipeline = try StableDiffusionPipeline(resourcesAt: resourceURL)
let image = try pipeline.generateImages(prompt: prompt, seed: seed).first
Con su kit de herramientas Core ML Stable Diffusion, Apple llama la atención sobre los beneficios para los usuarios y desarrolladores de implementar un modelo de inferencia en el dispositivo frente a un enfoque basado en servidor:
En primer lugar, la privacidad del usuario final está protegida porque cualquier dato proporcionado por el usuario como entrada al modelo permanece en el dispositivo del usuario. En segundo lugar, después de la descarga inicial, los usuarios no necesitan una conexión a Internet para usar la plantilla. En última instancia, la implementación local de este modelo permite a los desarrolladores reducir o eliminar los costos relacionados con el servidor.
El principal factor que permite la implementación en el dispositivo es la velocidad, dice Apple. Por eso desarrollaron un enfoque para optimizar el modelo de difusión establecompuesto por 4 redes neuronales diferentes que incluyen alrededor de 1.275 mil millones de parámetros para ejecutarse de manera eficiente en su Apple Neural Engine disponible en Apple Silicon.
Si bien Apple aún no ha proporcionado ningún dato de rendimiento sobre las mejoras provocadas por Core ML Stable Diffusion, han descubierto que el popular Cara abrazada modelo DistilBERT funcionó de inmediato con una mejora de velocidad de 10x y un consumo de memoria reducido de 14x. Cabe señalar aquí que Stable Diffusion es significativamente más complejo que Hugging Face DistilBERT, lo que, en opinión de Apple, hace que las optimizaciones de inferencia en el dispositivo sean aún más atractivas para aprovechar los modelos de complejidad creciente que genera la comunidad. .
Según Apple, Stability Diffusion ha permitido la creación de «contenido visual sin precedentes con solo un mensaje de texto» y ha despertado mucho interés en la comunidad de artistas, desarrolladores y aficionados. Además, Apple ve un esfuerzo cada vez mayor para usar Stable Diffusion para la edición de imágenes, pintura interior, pintura exterior, superresolución, transferencia de estilo y otras aplicaciones concebibles.
Basado en modelo de difusión latente desarrollado por grupo CompVis en el LMU Múnich, Stability Diffusion fue lanzado por una colaboración de Stability AI, CompVis LMU y Runway con el apoyo de EleutherAI y LAION. Los pesos de su código y modelo han sido publicado públicamente y puedes probarlo fácilmente en abrazos en la cara o usando IA de DreamStudio🇧🇷
