El miércoles, un desarrollador con sede en San Francisco llamado Liu Liu lanzó Dibujar cosas: la generación de IAuna aplicación gratuita disponible en la App Store que permite a los propietarios de iPhone ejecutar aplicaciones propagación estable Generador de imágenes de IA. Escriba una descripción y la aplicación generará una imagen en varios minutos. Es un paso notable para llevar la fotosíntesis a un público más amplio, con la privacidad adicional de reproducirla en sus propios dispositivos.

Presentado en agosto, Stable Diffusion (SD) es un modelo generador de imágenes de IA que crea nuevas imágenes a partir de descripciones de texto (llamadas «reclamaciones»). Las personas generalmente manejan SD a través de comerciales estudio de ensueño Servicio en un dispositivo remoto en la nube con un tiempo de cuenta alquilado, o localmente en una computadora Usando una aplicación dedicada de código abierto. Cuando se ejecuta localmente, SD requiere una GPU bastante poderosa para crear imágenes rápidamente, pero algunos desarrolladores el benefactor El modelo que se ejecuta en GPU más antiguas con VRAM reducida (si no le importa esperar más para ver los resultados).

En la misma línea, Liu Liu pudo mejorar Stable Diffusion para que se ejecutara en el iPhone, que es un proceso bastante difícil que ha realizado el desarrollador. Descrito en una entrada de blog. “El principal desafío es lograr que la aplicación funcione en dispositivos iPhone con 6 GB de RAM”, escribió Liu Liu. “6 GB parece mucho, pero iOS comenzará a matar tu aplicación si usas más de 2,8 GB en un dispositivo de 6 GB y más de 2 GB en un dispositivo de 4 GB”.

Cuando ejecuta Draw Things por primera vez, la aplicación descarga varios archivos necesarios, incluida la plantilla Stable Diffusion 1.4, en su iPhone. Para usarlo, escriba un mensaje en la parte superior de la pantalla y luego haga clic en Crear. Entre la creación de imágenes, toque el número en la parte superior central de la pantalla para aleatorizar la semilla, un número que guía parcialmente la creación de imágenes.

En mi iPhone 11 Pro, tardé poco más de dos minutos en crear una foto de 384 x 384. Es más rápido en el iPhone 14 Pro, según Liu Liu, con una foto creada en aproximadamente un minuto. De cualquier manera, SD es computacionalmente intensivo. Después de sucesivas generaciones, nuestro iPhone se ha vuelto notablemente cálido al tacto.

Vale la pena señalar que al usar Stable Diffusion, las imágenes de 384 x 384 a menudo arrojan resultados deficientes y tienen un nivel de detalle relativamente bajo porque los creadores de SD entrenaron al modelo con una imagen de 512 x 512. Al intentar generar una imagen de 512 x 512 en nuestro iPhone 11 Pro, recibimos una advertencia y seguimos de todos modos, pero la aplicación se colgó en una pantalla negra.

Además de las tareas regulares de creación de fotografías, Draw Things también admite el dibujo interno, lo que le permite reemplazar parte de una imagen con imágenes generadas por IA y cargar plantillas de fotomontaje adicionales, como plantillas no autorizadas.Propagación moderna de Disney«Modelo (que genera personajes similares a Disney) y película animada compatible»Propagación de Waifu(Lo probamos y es posible generar cosas NSFW con la aplicación, así que tenga cuidado). Incluir esta capacidad significa que Draw Things podría no permanecer en la App Store por mucho tiempo si se vuelve popular, ya que el contenido que genera puede violar los términos de Apple. de servicio.

Sea cual sea su destino, Draw Things parece una importante prueba de concepto, que muestra que Stable Diffusion puede ejecutarse de forma nativa en el iPhone, incluso si es lento. Si la aplicación persiste, tal vez con algunos filtros o ajustes, Liu Liu describe el espacio para posibles mejoras futuras que podrían acelerar las cosas: «Tal vez dejé un 50 % de rendimiento sobre la mesa».

Esta no es la primera vez que Stable Diffusion se juega en el iPhone. En septiembre, el desarrollador Matt Waller corrió Stable Diffusion de forma nativa en su iPhone XS, pero no proporcionó la aplicación App Store que permite a otros replicar esta hazaña. Es probable que veamos más síntesis de imágenes de IA nativa en los teléfonos inteligentes a medida que el hardware computacional continúa aumentando su potencia.

Ir a la discusión…