Foxconn anuncia un modelo de lenguaje grande (LLM) perfeccionado a partir de Llama 3.1 de Meta

Foxconn, la compañía más conocida por fabricar iPhones y otros productos de hardware de Apple, acaba de sorprender a todos al anunciar su primer modelo de lenguaje de gran tamaño (LLM), llamado FoxBrain, que pretende ser utilizado para mejorar la gestión de la cadena de suministro y fabricación.

El fabricante taiwanés afirma que FoxBrain fue entrenado con solo 120 GPU H100 de Nvidia. Este LLM está desarrollado básicamente en base a la arquitectura Llama 3.1 de Meta, con 70 mil millones de parámetros mediante destilación. El concepto de refinamiento de LLM implica utilizar un modelo "padre" y entrenar un modelo "hijo" en función de sus respuestas. Foxconn también admitió que su LLM no es tan bueno como el modelo refinado de DeepSeek (China), pero el rendimiento general está muy cerca de los estándares de clase mundial.

Al hablar sobre este logro, el Dr. Yung-Hui Li, director del Centro de Investigación de Inteligencia Artificial del Instituto de Investigación Hon Hai (Foxconn), dijo:

En los últimos meses, la mejora de las capacidades de razonamiento y el uso eficiente de las GPU se ha convertido gradualmente en una tendencia importante en el campo de la IA. Nuestro modelo FoxBrain adoptó una estrategia de entrenamiento muy eficiente, centrándose en optimizar el proceso de entrenamiento en lugar de acumular potencia informática a ciegas.

“Mediante métodos de entrenamiento cuidadosamente diseñados y la optimización de recursos, hemos logrado construir un modelo de IA local con fuertes capacidades de razonamiento”.

Foxconn no sólo ensambla productos de Apple, sino que también fabrica los servidores de inteligencia artificial de Nvidia. Junto con 120 GPU H100, FoxBrain se amplía utilizando la red Quantum-2 InfiniBand de Nvidia, y el entrenamiento lleva aproximadamente 4 semanas (por un costo computacional total de 2,688 días de GPU). Foxconn generó 98 mil millones de tokens de datos de preentrenamiento de alta calidad en chino tradicional con una longitud de ventana de contexto de hasta 128 000 tokens.

La asociación entre Foxconn y Nvidia no es nueva, y las dos compañías también están trabajando en otros proyectos, incluida la construcción de la instalación de fabricación de GPU Blackwell más grande del mundo.

Nvidia también proporcionó a Foxconn la supercomputadora Taipei-1 para completar el proceso de preentrenamiento del modelo. Foxconn dijo que FoxBrain se convertirá en un “motor clave” para actualizar las tres plataformas principales de la compañía: Fabricación inteligente, Vehículos eléctricos inteligentes y Ciudades inteligentes.