La IA de Alibaba convierte fotos fijas en diálogos y canciones

EMO (Emotive Portrait Alive) es una nueva IA generativa investigada por el Instituto de Computación Inteligente (IIC) de Alibaba con la capacidad de transformar "mágicamente" cualquier imagen en habla y canto de manera realista.

En otras palabras, la IA de Alibaba puede convertir una imagen de referencia estática y un audio de voz en un vídeo que puede hablar y cantar con expresiones naturales.

Las IA anteriores solo transformaban la boca y parte de la cara, mientras que EMO puede crear expresiones faciales, expresiones de boca naturales, sincronización precisa de labios, mover cejas, fruncir el ceño o incluso balancearse al ritmo de la música.

Alibaba ha publicado algunos vídeos que muestran cómo las imágenes se convertirán en vídeos y cantarán canciones importadas sobre la marcha. EMO admite inglés, chino y muchos otros idiomas.

Alibaba reveló que para que EMO pueda crear expresiones faciales realistas, fue entrenado con una gran cantidad de datos de imagen, audio y video a través de su propio modelo de difusión llamado Audio2Video.

Para abordar el importante desafío actual del realismo y la expresividad en la generación de videos a partir de imágenes y sonidos, el equipo de investigación se centró en la relación y los matices entre las señales de audio y los movimientos faciales, evitando el vínculo intermedio entre modelos 3D o puntos de referencia faciales, realizando transiciones de fotogramas sin problemas y preservando la consistencia en el video.

Alibaba no ha revelado cuándo lanzará esta IA al público, pero ha publicado los datos de EMO en Github y los artículos de investigación publicados en ArXiv.

Dejar un comentario

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

Una guía sobre los artículos 4 y 5 de la OTAN, las normas de legítima defensa de la ONU y por qué la consulta no implica la entrada automática de Europa en la guerra.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

Evaluar las afirmaciones sobre Irán en seis pasos, distinguiendo entre enriquecimiento de uranio, desarrollo de armas y posesión verificada.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Comprenda la autoridad para tomar decisiones nucleares en seis pasos, incluyendo el control civil estadounidense y los límites de la información pública sobre Israel.

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Una guía con la información oficial disponible hasta 2026 sobre las interrupciones en el transporte marítimo por el estrecho de Ormuz, las reclamaciones relacionadas con Irán, los incidentes confirmados y las cuestiones que aún se desconocen.

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

Una guía basada en fuentes sobre los riesgos de escalada nuclear, las normas de la Carta de las Naciones Unidas y el Artículo 5 de la OTAN en un escenario estrictamente hipotético con Irán.

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Siga estos cinco pasos para prepararse ante un apagón; los escenarios nucleares y de pulso electromagnético son hipotéticos, y las instrucciones oficiales de refugio deben seguirse primero.

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Siga estos 5 pasos de defensa para verificar una interrupción cibernética, proteger las cuentas domésticas y evitar confundir un apagón con una guerra.

Invierno nuclear: cómo evaluar los efectos climáticos globales de un hipotético ataque iraní.

Siga estos 5 pasos para evaluar los efectos climáticos de un hipotético ataque en Irán, comparar las suposiciones de los modelos y evitar predicciones sin fundamento.

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

Descubra seis pasos para interpretar investigaciones sobre el clima, la alimentación y la recuperación de los ecosistemas tras un hipotético conflicto nuclear.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Crea un kit práctico de preparación para emergencias por lluvia radiactiva en seis pasos, con alimentos y agua envasados, una radio, suministros médicos e instrucciones para refugiarse.