¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

En I/O 2024, Google anunció su próxima línea de modelos Gemma 2, y ahora la compañía finalmente está lanzando los modelos livianos bajo una licencia de código abierto. Se dice que el nuevo modelo Gemma 2 27B es muy prometedor, superando a algunos modelos más grandes como el Llama 3 70B y el Qwen 1.5 32B. Para probar esta afirmación, comparemos Gemma 2 y Llama 3, dos de los principales modelos de código abierto en la actualidad.

Escritura creativa

Primero, veamos qué tan buenas son Gemma 2 y Llama 3 cuando se trata de escritura creativa. El autor del artículo pidió a ambas modelos que escribieran una historia corta sobre la relación entre la luna y el sol. Ambos hacen un gran trabajo, pero el modelo Gemma 2 de Google destaca gracias a su prosa atractiva y su buena historia.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

Por otro lado, Llama 3 parece un poco aburrido y robótico. Google siempre ha sido bueno en la generación de texto con los modelos Gemini y el Gemma 2 27B más pequeño no es una excepción.

Opción ganadora: Gemma 2

Pruebas multilingües

En la próxima ronda, veremos qué tan bien ambos modelos manejan idiomas distintos del inglés. Como Google anuncia que Gemma 2 es bueno para comprender varios idiomas, el autor lo comparó con el modelo Llama 3 de Meta. El autor pidió a ambos modelos que tradujeran un pasaje en hindi. Tanto Gemma 2 como Llama 3 tuvieron un muy buen desempeño.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

El autor también probó con otro idioma, el bengalí, y los modelos dieron resultados igualmente buenos. Al menos para las lenguas indias, se puede decir que Gemma 2 y Llama 3 están bien entrenados en un corpus grande. Sin embargo, el Gemma 2 27B es casi 2,5 veces más pequeño que el Llama 3 70B, lo que lo hace aún más impresionante.

Opciones ganadoras: Gemma 2 y Llama 3

Comprueba la lógica

Si bien Gemma 2 y Llama 3 no son los modelos más inteligentes del mercado, pueden realizar algunas pruebas de razonamiento comunes al igual que modelos mucho más grandes. En la comparación anterior entre Llama 3 y GPT-4 , el modelo 70B de Meta fue impresionante ya que demostró una inteligencia bastante buena incluso en su tamaño más pequeño.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

En esta ronda, Llama 3 derrotó a Gemma 2 con una gran diferencia de puntuación. Llama 3 respondió 2 de 3 preguntas correctamente, mientras que Gemma 2 tuvo dificultades para responder incluso una correctamente. Gemma 2 simplemente no está entrenada para resolver preguntas de razonamiento complejas.

Por otra parte, Llama 3 tiene una base de razonamiento sólida, que probablemente se puede inferir del conjunto de datos cifrados. A pesar de su pequeño tamaño (al menos comparado con modelos de billones de parámetros como GPT-4), exhibe un nivel de inteligencia más que aceptable. En última instancia, utilizar más tokens para entrenar el modelo en realidad da como resultado un modelo más poderoso.

Opción ganadora: Llama 3

Siga las instrucciones

En la siguiente ronda, el autor pidió a Gemma 2 y Llama 3 que crearan 10 palabras que terminaran con la palabra “NPU”. Y Llama 3 obtuvo 10/10 respuestas correctas. Por el contrario, Gemma 2 solo produjo 7 oraciones correctas de 10. En muchas versiones anteriores, los modelos de Google, incluido Gemini, no siguieron bien las instrucciones del usuario. Y la misma tendencia continúa con Gemma 2.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

Seguir las instrucciones del usuario es crucial para los modelos de IA. Asegura confiabilidad y genera retroalimentación precisa sobre lo que usted ha instruido. Desde el punto de vista de la seguridad, también ayuda a mantener el modelo en tierra para un mejor cumplimiento de los protocolos de seguridad.

Opción ganadora: Llama 3

Encuentre información

Tanto Gemma 2 como Llama 3 tienen una longitud de contexto de 8K tokens. El autor agregó un enorme bloque de texto, extraído directamente del libro Orgullo y prejuicio, que contiene más de 17.000 caracteres y 3.800 tokens. Como siempre, el autor coloca una cita aleatoria en algún lugar del texto y pide a ambos modelos que la encuentren.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

Gemma 2 rápidamente descubrió la información y señaló que la cita fue insertada al azar. Llama 3 también encontró y sugirió que esta afirmación parecía fuera de lugar. En términos de memoria de contexto larga, aunque limitada a tokens de 8K, ambos modelos son bastante fuertes en este sentido.

Tenga en cuenta que el autor ejecutó esta prueba en HuggingChat (web) porque meta.ai se negó a ejecutar este mensaje, probablemente debido al contenido protegido por derechos de autor.

Opciones ganadoras: Gemma 2 y Llama 3

Comprueba si hay alucinaciones

Los modelos más pequeños tienden a sufrir alucinaciones de IA debido a datos de entrenamiento limitados y a menudo inventan información cuando el modelo se encuentra con temas desconocidos. Entonces el autor agregó el nombre de su país inventado para probar si Gemma 2 y Llama 3 estaban alucinando. Y sorprendentemente, no lo hicieron, lo que significa que tanto Google como Meta tienen una base bastante buena para sus modelos.

¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?
¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

El autor también planteó otra pregunta (falsa) para probar la validez de los modelos, pero nuevamente, no eran alucinógenos. Por cierto, el autor probó Llama 3 en HuggingChat mientras meta.ai navegaba por Internet en busca de información actualizada sobre temas relevantes.

Opciones ganadoras: Gemma 2 y Llama 3

Concluir

Si bien el modelo Gemma 2 27B de Google no obtiene buenos resultados en las pruebas de razonamiento, es capaz de realizar otras tareas. Es ideal para la escritura creativa, admite varios idiomas, tiene buena memoria y, sobre todo, no es tan alucinógeno como los modelos anteriores.

Llama 3 es mejor, por supuesto, pero también es un modelo significativamente más grande, entrenado con 70 mil millones de parámetros. Los desarrolladores encontrarán útil el modelo Gemma 2 27B para una amplia gama de casos de uso. Y por si fuera poco, también está disponible el Gemma 2 9B.

Además, los usuarios deberían probar el Gemini 1.5 Flash, que es un modelo mucho más pequeño y también admite entrada multimodal. Sin mencionar que es increíblemente rápido y eficiente.

Dejar un comentario

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

Una guía sobre los artículos 4 y 5 de la OTAN, las normas de legítima defensa de la ONU y por qué la consulta no implica la entrada automática de Europa en la guerra.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

Evaluar las afirmaciones sobre Irán en seis pasos, distinguiendo entre enriquecimiento de uranio, desarrollo de armas y posesión verificada.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Comprenda la autoridad para tomar decisiones nucleares en seis pasos, incluyendo el control civil estadounidense y los límites de la información pública sobre Israel.

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Una guía con la información oficial disponible hasta 2026 sobre las interrupciones en el transporte marítimo por el estrecho de Ormuz, las reclamaciones relacionadas con Irán, los incidentes confirmados y las cuestiones que aún se desconocen.

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

Una guía basada en fuentes sobre los riesgos de escalada nuclear, las normas de la Carta de las Naciones Unidas y el Artículo 5 de la OTAN en un escenario estrictamente hipotético con Irán.

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Siga estos cinco pasos para prepararse ante un apagón; los escenarios nucleares y de pulso electromagnético son hipotéticos, y las instrucciones oficiales de refugio deben seguirse primero.

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Siga estos 5 pasos de defensa para verificar una interrupción cibernética, proteger las cuentas domésticas y evitar confundir un apagón con una guerra.

Invierno nuclear: cómo evaluar los efectos climáticos globales de un hipotético ataque iraní.

Siga estos 5 pasos para evaluar los efectos climáticos de un hipotético ataque en Irán, comparar las suposiciones de los modelos y evitar predicciones sin fundamento.

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

Descubra seis pasos para interpretar investigaciones sobre el clima, la alimentación y la recuperación de los ecosistemas tras un hipotético conflicto nuclear.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Crea un kit práctico de preparación para emergencias por lluvia radiactiva en seis pasos, con alimentos y agua envasados, una radio, suministros médicos e instrucciones para refugiarse.