¿Gemma 2 o Llama 3 es el mejor modelo de código abierto?

En I/O 2024, Google anunció su próxima línea de modelos Gemma 2, y ahora la compañía finalmente está lanzando los modelos livianos bajo una licencia de código abierto. Se dice que el nuevo modelo Gemma 2 27B es muy prometedor, superando a algunos modelos más grandes como el Llama 3 70B y el Qwen 1.5 32B. Para probar esta afirmación, comparemos Gemma 2 y Llama 3, dos de los principales modelos de código abierto en la actualidad.

Escritura creativa

Primero, veamos qué tan buenas son Gemma 2 y Llama 3 cuando se trata de escritura creativa. El autor del artículo pidió a ambas modelos que escribieran una historia corta sobre la relación entre la luna y el sol. Ambos hacen un gran trabajo, pero el modelo Gemma 2 de Google destaca gracias a su prosa atractiva y su buena historia.

Por otro lado, Llama 3 parece un poco aburrido y robótico. Google siempre ha sido bueno en la generación de texto con los modelos Gemini y el Gemma 2 27B más pequeño no es una excepción.

Opción ganadora: Gemma 2

Pruebas multilingües

En la próxima ronda, veremos qué tan bien ambos modelos manejan idiomas distintos del inglés. Como Google anuncia que Gemma 2 es bueno para comprender varios idiomas, el autor lo comparó con el modelo Llama 3 de Meta. El autor pidió a ambos modelos que tradujeran un pasaje en hindi. Tanto Gemma 2 como Llama 3 tuvieron un muy buen desempeño.

El autor también probó con otro idioma, el bengalí, y los modelos dieron resultados igualmente buenos. Al menos para las lenguas indias, se puede decir que Gemma 2 y Llama 3 están bien entrenados en un corpus grande. Sin embargo, el Gemma 2 27B es casi 2,5 veces más pequeño que el Llama 3 70B, lo que lo hace aún más impresionante.

Opciones ganadoras: Gemma 2 y Llama 3

Comprueba la lógica

Si bien Gemma 2 y Llama 3 no son los modelos más inteligentes del mercado, pueden realizar algunas pruebas de razonamiento comunes al igual que modelos mucho más grandes. En la comparación anterior entre Llama 3 y GPT-4 , el modelo 70B de Meta fue impresionante ya que demostró una inteligencia bastante buena incluso en su tamaño más pequeño.

En esta ronda, Llama 3 derrotó a Gemma 2 con una gran diferencia de puntuación. Llama 3 respondió 2 de 3 preguntas correctamente, mientras que Gemma 2 tuvo dificultades para responder incluso una correctamente. Gemma 2 simplemente no está entrenada para resolver preguntas de razonamiento complejas.

Por otra parte, Llama 3 tiene una base de razonamiento sólida, que probablemente se puede inferir del conjunto de datos cifrados. A pesar de su pequeño tamaño (al menos comparado con modelos de billones de parámetros como GPT-4), exhibe un nivel de inteligencia más que aceptable. En última instancia, utilizar más tokens para entrenar el modelo en realidad da como resultado un modelo más poderoso.

Opción ganadora: Llama 3

Siga las instrucciones

En la siguiente ronda, el autor pidió a Gemma 2 y Llama 3 que crearan 10 palabras que terminaran con la palabra “NPU”. Y Llama 3 obtuvo 10/10 respuestas correctas. Por el contrario, Gemma 2 solo produjo 7 oraciones correctas de 10. En muchas versiones anteriores, los modelos de Google, incluido Gemini, no siguieron bien las instrucciones del usuario. Y la misma tendencia continúa con Gemma 2.

Seguir las instrucciones del usuario es crucial para los modelos de IA. Asegura confiabilidad y genera retroalimentación precisa sobre lo que usted ha instruido. Desde el punto de vista de la seguridad, también ayuda a mantener el modelo en tierra para un mejor cumplimiento de los protocolos de seguridad.

Opción ganadora: Llama 3

Encuentre información

Tanto Gemma 2 como Llama 3 tienen una longitud de contexto de 8K tokens. El autor agregó un enorme bloque de texto, extraído directamente del libro Orgullo y prejuicio, que contiene más de 17.000 caracteres y 3.800 tokens. Como siempre, el autor coloca una cita aleatoria en algún lugar del texto y pide a ambos modelos que la encuentren.

Gemma 2 rápidamente descubrió la información y señaló que la cita fue insertada al azar. Llama 3 también encontró y sugirió que esta afirmación parecía fuera de lugar. En términos de memoria de contexto larga, aunque limitada a tokens de 8K, ambos modelos son bastante fuertes en este sentido.

Tenga en cuenta que el autor ejecutó esta prueba en HuggingChat (web) porque meta.ai se negó a ejecutar este mensaje, probablemente debido al contenido protegido por derechos de autor.

Opciones ganadoras: Gemma 2 y Llama 3

Comprueba si hay alucinaciones

Los modelos más pequeños tienden a sufrir alucinaciones de IA debido a datos de entrenamiento limitados y a menudo inventan información cuando el modelo se encuentra con temas desconocidos. Entonces el autor agregó el nombre de su país inventado para probar si Gemma 2 y Llama 3 estaban alucinando. Y sorprendentemente, no lo hicieron, lo que significa que tanto Google como Meta tienen una base bastante buena para sus modelos.

El autor también planteó otra pregunta (falsa) para probar la validez de los modelos, pero nuevamente, no eran alucinógenos. Por cierto, el autor probó Llama 3 en HuggingChat mientras meta.ai navegaba por Internet en busca de información actualizada sobre temas relevantes.

Opciones ganadoras: Gemma 2 y Llama 3

Concluir

Si bien el modelo Gemma 2 27B de Google no obtiene buenos resultados en las pruebas de razonamiento, es capaz de realizar otras tareas. Es ideal para la escritura creativa, admite varios idiomas, tiene buena memoria y, sobre todo, no es tan alucinógeno como los modelos anteriores.

Llama 3 es mejor, por supuesto, pero también es un modelo significativamente más grande, entrenado con 70 mil millones de parámetros. Los desarrolladores encontrarán útil el modelo Gemma 2 27B para una amplia gama de casos de uso. Y por si fuera poco, también está disponible el Gemma 2 9B.

Además, los usuarios deberían probar el Gemini 1.5 Flash, que es un modelo mucho más pequeño y también admite entrada multimodal. Sin mencionar que es increíblemente rápido y eficiente.