¿Llama 3 o GPT-4 es mejor?

Llama 3 y GPT-4 son dos de los modelos de lenguaje grande (LLM) más avanzados disponibles para el público. Veamos cuál LLM es mejor comparando ambos modelos en términos de multimodalidad, longitud del contexto, rendimiento y costo.

Tabla de contenido

• ¿Qué es GPT-4?
• ¿Qué es Llama 3?
• Multimodal
• Longitud del contexto
• Eficiencia
• Precio
• Accesibilidad
• GPT-4 o Llama 3 ¿cuál es mejor?

¿Qué es GPT-4?

GPT-4 es el último modelo de lenguaje grande (LLM) desarrollado por OpenAI. Se basa en la base de modelos GPT-3 más antiguos mientras utiliza diferentes técnicas de entrenamiento y optimización utilizando un conjunto de datos mucho más grande. Esto aumentó significativamente el tamaño de los parámetros de GPT-4, que se rumorea que tiene un total de 1,7 billones de parámetros de sus modelos expertos más pequeños. Con nuevo entrenamiento, optimizaciones y una mayor cantidad de parámetros, GPT-4 ofrece mejoras en el razonamiento, la resolución de problemas, la comprensión del contexto y un mejor manejo de instrucciones matizadas.

Actualmente existen 3 variantes del modelo:

• GPT-4 : una evolución de GPT-3 con mejoras significativas en velocidad, precisión y base de conocimientos.
• GPT-4 Turbo : una versión optimizada de GPT-4, diseñada para ofrecer un rendimiento más rápido y reducir los costos operativos.
• GPT-4o (Omni) : amplía las capacidades de GPT-4 al integrar entradas y salidas multimodales, incluidos texto, imágenes y audio.

Ahora puede acceder a los tres modelos GPT-4 suscribiéndose al servicio API de OpenAI, interactuando con ChatGPT o a través de servicios como Descript, Perplexity AI y muchos otros servicios auxiliares de Microsoft.

¿Qué es Llama 3?

Llama 3 es un LLM de código abierto desarrollado por Meta AI (empresa matriz de Facebook, Instagram y WhatsApp), entrenado utilizando una combinación de ajuste supervisado, muestreo y optimización de políticas con un conjunto de datos diverso, que incluye millones de anotaciones humanas. Por ejemplo, su programa de entrenamiento se centra en indicaciones de alta calidad y clasificación de prioridades, con el objetivo de crear un modelo de IA flexible y capaz.

Puedes acceder a Llama 3 a través de Meta AI, su chatbot de IA generativa. Alternativamente, puede ejecutar LLM localmente en su computadora descargando modelos de Llama 3 y cargándolos a través de Ollama, Open WebUI o LM Studio.

Multimodal

El lanzamiento de GPT-4o finalmente trajo información inicial que muestra que GPT-4 es multimodal. Ahora puede acceder a estas funciones multimodales interactuando con ChatGPT utilizando el modelo GPT-4o. A partir de junio de 2024, GPT-4o no tiene ninguna forma incorporada de generar video y audio. Sin embargo, es capaz de generar texto e imágenes basándose en entradas de vídeo y audio.

Llama 3 también planea ofrecer un modelo multimodal para el próximo Llama 3 400B. Lo más probable es que integre tecnologías similares con CLIP (Contrast Language-Imager Pre-Training) para generar imágenes utilizando técnicas de aprendizaje de disparo cero. Pero como el Llama 400B todavía está en entrenamiento, la única forma de que los modelos 8B y 70B generen imágenes es usar extensiones como LLaVa, Visual-LLaMA y LLaMA-VID. A partir de ahora, Llama 3 es un modelo basado puramente en el lenguaje que puede tomar texto, imágenes y audio como entrada para generar texto.

Longitud del contexto

La longitud del contexto se refiere a la cantidad de texto que un modelo puede procesar a la vez. Este es un factor importante al considerar las capacidades de un LLM porque determina la cantidad de contexto en el que el modelo puede operar al interactuar con el usuario. En general, una mayor longitud de contexto hace que el LLM sea mejor porque proporciona un mayor nivel de coherencia y continuidad y puede reducir la repetición de errores durante la interacción.

Los modelos Llama 3 tienen una longitud de contexto efectiva de 8.000 tokens (aproximadamente 6.400 palabras). Esto significa que el modelo Llama 3 tendrá una memoria contextual de alrededor de 6.400 palabras en interacción. Cualquier palabra que exceda el límite de 8000 tokens será ignorada y no proporcionará ningún contexto adicional durante la interacción.

Por el contrario, GPT-4 ahora admite longitudes de contexto significativamente mayores de 32.000 tokens (aproximadamente 25.600 palabras) para usuarios de ChatGPT y 128.000 tokens (aproximadamente 102.400 palabras) para aquellos que utilizan el punto final de API. Esto le da al modelo GPT-4 una ventaja en la gestión de conversaciones extendidas y la capacidad de leer documentos largos o incluso libros enteros.

Eficiencia

Comparemos el rendimiento mirando el informe de referencia Llama 3 del 18 de abril de 2024 de Meta AI y GPT-4 del 14 de mayo de 2024, el informe de GitHub de OpenAI. Aquí están los resultados:

Esto es lo que mide cada criterio:

• MMLU (Massive Multitask Language Understanding) : evalúa la capacidad del modelo para comprender y responder preguntas sobre una variedad de temas académicos.
• GPTQA (Respuesta a preguntas de propósito general) : evalúa la capacidad del modelo para responder preguntas del mundo real en un dominio abierto.
• MATEMÁTICAS : Pon a prueba la capacidad del modelo para resolver problemas.
• HumanEval : mide la capacidad del modelo para generar código correcto según las indicaciones de programación humana.
• DROP (Razonamiento discreto sobre párrafos) : evalúa la capacidad del modelo para realizar razonamiento discreto y responder preguntas basadas en pasajes de texto.

Los últimos puntos de referencia resaltan las diferencias de rendimiento entre los modelos GPT-4 y Llama 3. Si bien el modelo Llama 3 8B parece estar significativamente por detrás, los modelos 70B y 400B tienen un rendimiento inferior pero similar al de los modelos GPT-4o y GPT-4 Turbo en términos de conocimiento académico y general, lectura y comprensión, razonamiento y lógica, y codificación. Sin embargo, ningún modelo de Llama 3 ha logrado aún el rendimiento de GPT-4 en términos puramente matemáticos.

Precio

El costo es un factor importante para muchos usuarios. El modelo GPT-4o de OpenAI está disponible de forma gratuita para todos los usuarios de ChatGPT con un límite de 16 mensajes cada 3 horas. Si necesita más, deberá suscribirse a ChatGPT Plus por $20 al mes para ampliar el límite de mensajes de GPT-4o a 80 y obtener acceso a modelos GPT-4 adicionales.

Por otro lado, los modelos Llama 3 8B y 70B son de código abierto y gratuitos, lo que puede ser una ventaja significativa para desarrolladores e investigadores que buscan una solución rentable sin comprometer el rendimiento.

Accesibilidad

Los modelos GPT-4 son ampliamente accesibles a través del chatbot de IA generativa ChatGPT de OpenAI y a través de su API. También puedes usar GPT-4 en Microsoft Copilot, que es una forma de usar GPT-4 de forma gratuita . Esta amplia disponibilidad garantiza que los usuarios puedan aprovechar fácilmente sus capacidades en diferentes casos de uso. Por el contrario, Llama 3 es un proyecto de código abierto que proporciona flexibilidad de modelo y fomenta una experimentación y colaboración más amplia dentro de la comunidad de IA. Este enfoque de acceso abierto podría democratizar la tecnología de IA y ponerla a disposición de un público más amplio.

Si bien ambos modelos están disponibles, GPT-4 es mucho más fácil de usar porque está integrado en herramientas y servicios de productividad populares. Por otro lado, Llama 3 está integrado principalmente en plataformas de investigación y negocios como Amazon Bedrock, Ollama y DataBricks (a excepción del soporte de chat de Meta AI), lo que no atrae a un mercado más grande de usuarios no técnicos.

GPT-4 o Llama 3 ¿cuál es mejor?

Entonces, ¿cuál LLM es mejor? GPT-4 es un mejor LLM. GPT-4 se destaca por su multimodalidad, con capacidades avanzadas en el manejo de entradas de texto, imágenes y audio, mientras que características similares de Llama 3 aún están en desarrollo. GPT-4 también ofrece una longitud de contexto mucho mayor y un mejor rendimiento, y es ampliamente accesible a través de herramientas y servicios populares, lo que hace que GPT-4 sea más fácil de usar.

Sin embargo, es importante destacar que los modelos Llama 3 han tenido un muy buen desempeño para un proyecto libre y de código abierto. Como tal, Llama 3 sigue siendo un LLM destacado, preferido por investigadores y empresas por su naturaleza gratuita y de código abierto, al tiempo que ofrece un rendimiento impresionante, flexibilidad y funciones de seguridad confiables. Si bien es posible que el consumidor general no encuentre una utilidad para el Llama 3 de inmediato, sigue siendo la opción más viable para muchos investigadores y empresas.

En resumen, mientras que GPT-4 se destaca por sus capacidades multimodales avanzadas, mayor longitud de contexto e integración perfecta en herramientas ampliamente utilizadas, Llama 3 ofrece una alternativa valiosa con su naturaleza de código abierto, lo que permite una mayor personalización y ahorro de costos. Entonces, en términos de aplicación, GPT-4 es ideal para quienes buscan facilidad de uso y funciones integrales en un solo modelo, mientras que Llama 3 es adecuado para desarrolladores e investigadores que buscan flexibilidad y adaptabilidad.