Las 3 mejores características nuevas del modelo Meta AI Llama 4

A principios de abril de 2025, Meta lanzó Llama 4 , la última serie de modelos de IA diseñados para llevar a la empresa al siguiente nivel. Cada nuevo modelo de Llama 4 tiene mejoras significativas con respecto a sus predecesores, y estas son las nuevas características más destacadas para probar.

3. Arquitectura de mezcla de expertos (MoE)

Una de las características más notables de los modelos Llama 4 es la nueva arquitectura MoE, una novedad en la serie Llama, que utiliza un enfoque diferente al de los modelos anteriores. En la nueva arquitectura, solo una pequeña fracción de los parámetros del modelo se activan para cada token, a diferencia de los modelos de transformadores densos tradicionales como Llama 3 y anteriores, donde todos los parámetros se activan para cada tarea.

Por ejemplo, Llama 4 Maverick utiliza solo 17 mil millones de parámetros activos de 400 mil millones, con 128 expertos enrutados y un experto compartido. Llama 4 Scout, el más pequeño de la serie, tiene un total de 109 mil millones de parámetros, activando solo 17 mil millones con 16 expertos.

La versión más grande del trío, Llama 4 Behemoth, utiliza 288 mil millones de parámetros activos (con 16 expertos) de un total de casi dos billones de parámetros. Gracias a esta nueva arquitectura, solo se asignan dos especialistas a cada tarea.

Gracias al cambio arquitectónico, los modelos de la serie Llama 4 son computacionalmente más eficientes durante el entrenamiento y la inferencia. Habilitar solo una pequeña parte de los parámetros reduce los costos y la latencia del servicio. Gracias a la arquitectura MoE, Meta afirma que Llama puede ejecutarse en una sola GPU Nvidia H100, una hazaña impresionante considerando la cantidad de parámetros. Si bien no hay métricas específicas, se cree que cada consulta a ChatGPT utiliza múltiples GPU Nvidia, lo que crea una sobrecarga mayor en casi todas las métricas mensurables.

2. Capacidades nativas de procesamiento multimodal

Otra actualización importante de los modelos de IA de Llama 4 es el procesamiento multimodal nativo, lo que significa que el trío puede comprender texto e imágenes simultáneamente.

Esto es gracias a la combinación realizada en la fase de entrenamiento inicial, donde los tokens de texto y visuales se integran en una arquitectura unificada. Los modelos se entrenan utilizando grandes cantidades de datos de texto, imágenes y vídeos sin etiquetar.

No hay nada mejor que esto. Si recuerdas, la actualización Llama 3.2 de Meta , lanzada en septiembre de 2024, introdujo varios modelos nuevos (10 en total), incluidos 5 modelos de visión multimodal y 5 modelos de texto. Con esta generación, la empresa no necesita lanzar modelos de texto y visión separados gracias a las capacidades nativas de procesamiento multimodal.

Además, Llama 4 utiliza un codificador visual mejorado, lo que permite que los modelos manejen tareas complejas de inferencia visual y entradas de múltiples imágenes, haciéndolos capaces de manejar aplicaciones que requieren una comprensión avanzada de texto e imágenes. El procesamiento multimodal también permite que los modelos LLama 4 se utilicen en una variedad de aplicaciones.

1. Ventana contextual líder en la industria

Los modelos de IA de Llama 4 cuentan con una ventana contextual sin precedentes de hasta 10 millones de tokens. Si bien Llama 4 Behemoth aún se encuentra en desarrollo al momento de su publicación, Llama 4 Scout ha establecido un nuevo punto de referencia en la industria con su capacidad de admitir hasta 10 millones de tokens en longitud de contexto, lo que le permite ingresar texto de más de 5 millones de palabras.

Esta longitud de contexto extendida es un aumento significativo de los 8k tokens de Llama 3 cuando se lanzó por primera vez e incluso la expansión posterior a 128k después de la actualización de Llama 3.2. Y no es solo la longitud de contexto de 10 millones de Llama 4 Scout lo que es interesante; Incluso Llama 4 Maverick, con su longitud de un millón de contextos, es una hazaña impresionante.

Llama 3.2 es actualmente uno de los mejores chatbots de IA para conversaciones prolongadas. Sin embargo, la ventana de contexto ampliada de Llama 4 coloca a Llama a la cabeza, superando la ventana de contexto de tokens anterior de Gemini con 2 millones, los 200 000 de Claude 3.7 Sonnet y los 128 000 de GPT-4.5.

Con una gran ventana de contexto, la serie Llama 4 puede manejar tareas que requieren el ingreso de grandes cantidades de información. Esa ventana grande es útil para tareas como analizar documentos largos y múltiples, analizar bases de código grandes en detalle y razonar sobre grandes conjuntos de datos.

También permite que Llama 4 mantenga conversaciones prolongadas, a diferencia de los modelos Llama anteriores y de otras empresas de inteligencia artificial. Si una de las razones por las que Gemini 2.5 Pro es el mejor modelo de razonamiento es su gran ventana de contexto, puedes imaginar lo poderosa que es una ventana de contexto de 5x o 10x.

Los modelos Llama de la serie 3 de Meta han sido algunos de los mejores LLM del mercado. Pero con el lanzamiento de la serie Llama 4, Meta va un paso más allá al no solo enfocarse en mejorar el rendimiento de la inferencia (gracias a la nueva ventana de contexto líder en la industria) sino también al garantizar los modelos más eficientes posibles al usar una nueva arquitectura MoE durante el entrenamiento y la inferencia.

Las capacidades nativas de procesamiento multimodal de Llama 4, la eficiente arquitectura MoE y la gran ventana de contexto lo posicionan como un modelo de IA ponderado por peso, abierto, de alto rendimiento y flexible que puede competir con o superar a los modelos líderes para inferencia, codificación y muchas otras tareas.