Convierte una historia en un cómic con Lore Machine

Hace doce años, el autor Will Douglas Heaven, en su tiempo libre, escribió un cuento humorístico sobre un hombre apasionado por la comida de lujo para gatos. Y ahora, existe una plataforma de IA generativa llamada Lore Machine, que ha ayudado a convertir esta interesante historia en un cómic.

El autor introduce su historia en el cuadro de texto y recibe un mensaje: « Estamos identificando escenas, lugares, personajes y emociones. Esto puede tardar hasta dos minutos ». Lore Machine analizó el texto, extrajo descripciones de las personas y los lugares mencionados y luego pasó esa información a un modelo generador de imágenes.

En la pantalla aparece un guión gráfico ilustrado. A medida que el autor recorre las vívidas ilustraciones cómicas de sus personajes casi olvidados, las cosas toman un giro sorprendente.

Después de más de un año de desarrollo, Lore Machine ahora hizo su debut público. Por $10 al mes, puedes cargar hasta 100,000 palabras (hasta 30,000 palabras por carga) y crear 80 imágenes para cuentos cortos, guiones, transcripciones de podcasts y más. También hay niveles para usuarios avanzados, incluido un plan empresarial de $160 al mes con 2,24 millones de palabras y 1792 imágenes. Las ilustraciones vienen en una variedad de estilos incorporados, desde manga hasta acuarela y programas de televisión de los 80.

Zac Ryder, fundador de la agencia creativa Modern Arts, ha estado utilizando una versión de acceso anticipado de la herramienta desde que el fundador de Lore Machine, Thobey Campion, le mostró por primera vez a Ryder lo que podía hacer. Ryder envió un guión de cortometraje al sistema y Lore Machine lo convirtió en una novela cómica de 16 páginas de la noche a la mañana.

"Recuerdo que Thobey compartió su pantalla. Todos quedamos atónitos", dijo Ryder. “No se trata solo del aspecto visual, sino también de la narrativa: desde la trama hasta las emociones de los personajes, todo fue perfecto desde el principio”.

Actualmente, Modern Arts está utilizando Lore Machine para desarrollar un universo ficticio para una serie de cómics, una obra basada en un guión escrito por el creador de Love, Death & Robots de Netflix .

Lore Machine está hecha de componentes familiares:

• Un modelo de lenguaje grande (LLM) escanea su texto e identifica descripciones de personas, lugares y sentimientos generales.
• Una versión de difusión estable generará la imagen.

Sin embargo, lo que hace diferente a Lore Machine es lo fácil que es de usar. Subir contenido de la historia y descargar resultados solo requiere unos pocos clics.

Esto hace que Lore Machine sea un excelente ejemplo de una nueva ola de herramientas: fáciles de usar pero que esconden un poder increíble detrás de una interfaz web increíblemente simple.

“Hay mucho trabajo por hacer para actualizar las nuevas herramientas de IA, y las interfaces y los flujos de trabajo son diferentes para cada herramienta ”, dijo Ben Palmer, director ejecutivo de New Computer Corporation, una empresa de creación de contenido. Usar una sola herramienta grande con una interfaz de usuario consistente resulta muy atractivo. Creo que ahí es donde la industria encontrará su lugar.

Campion fundó la empresa detrás de Lore Machine hace dos años para desarrollar una versión blockchain de Wikipedia. Pero cuando vio cómo la gente aplicaba modelos generativos, Campion cambió de dirección. Campion utilizó el modelo de texto a imagen gratuito Midjourney para crear una versión cómica de The Rime of the Ancient Mariner de Samuel Taylor Coleridge . Dijo que la obra se había vuelto viral, pero que el proceso de realizarla no fue divertido.

“Mi esposa odiaba ese proyecto ”, dijo Campion. “Todas las noches, me quedo despierto hasta las 4 de la mañana intentando que las fotos sean perfectas ”. El problema es que los modelos de texto a imagen como Midjourney generan las imágenes una a una. Esto hace que sea difícil mantener la coherencia entre diferentes imágenes del mismo personaje. Incluso fijar un estilo específico en varias imágenes puede resultar difícil.

Esta experiencia le hizo darse cuenta de que la tecnología debía ser mucho más fácil de usar. Campion no dice exactamente cómo Lore Machine logra mantener sus imágenes y estilo consistentes a lo largo de una serie de ilustraciones. Es bastante bueno, pero no perfecto: en una escena de la historia del autor, un personaje con cabello corto de repente tiene flequillo, y también hay una escena en la que un personaje aparece dos veces, en un lugar diferente.

Las ilustraciones también adquieren gradualmente un aire genérico. El autor se sintió decepcionado porque muchas de las descripciones de los personajes eran muy específicas, pero no aparecían en las ilustraciones. Aún así, en comparación con hacer cada cuadro manualmente, la Lore Machine fue un gran paso adelante.

“La consistencia es notable”, dice Ryder . Esto le dio a la empresa Modern Arts de Ryder la confianza suficiente para utilizar la Lore Machine en un proyecto con un cliente. “ Si constantemente tenemos que volver atrás y solucionar problemas de consistencia, no habrá forma de que podamos entregar a tiempo ” .

Como todos los demás modelos generativos, la tecnología detrás de Lore Machine puede generar contenido malicioso a pedido. Campion dijo que estaban tratando de evitar la creación de imágenes que representaran violencia u odio, pero al mismo tiempo no querían limitar la expresión creativa de los artistas.

Gran parte del interés inicial en Lore Machine provino de empresas de marketing. Pero Campion espera que el lanzamiento amplio anime a más usuarios a probarlo. Campion dijo que hace seis meses recibió una llamada del director de una escuela para niños discapacitados en Manhattan. El director quería pasar sus libros de texto por esta herramienta para que los niños pudieran ver las imágenes. " Ni siquiera lo había pensado. Estaba tan atrapado en la mentalidad de Hollywood ", dijo Campion.