Cerebras lanza la tecnología de inferencia de IA más rápida del mundo, con un rendimiento 20 veces superior al de NVIDIA

Cerebras Systems acaba de anunciar oficialmente Cerebras Inference, considerada la solución de inferencia de IA más rápida del mundo. Esta inferencia de Cerebras ofrece un rendimiento de hasta 1.800 tokens por segundo para los modelos Llama 3.1 8B (8 mil millones de parámetros) y 450 tokens por segundo para Llama 3.1 70B, lo que es hasta casi 20 veces más rápido que las soluciones de inferencia de IA basadas en GPU de NVIDIA disponibles en las nubes de hiperescala actuales en todo el mundo, incluido Microsoft Azure.

Además de su increíble rendimiento, el precio del servicio de esta nueva solución de inferencia también es muy económico, una fracción del precio de las populares plataformas de nube de GPU. Por ejemplo, un cliente puede obtener un millón de tokens por solo 10 centavos, lo que proporciona un rendimiento de precio 100 veces mayor para cargas de trabajo de IA.

La precisión de 16 bits de Cerebras y la velocidad de inferencia 20 veces más rápida permitirán a los desarrolladores crear aplicaciones de IA de alto rendimiento de próxima generación sin comprometer la velocidad ni el costo. Esta innovadora relación precio/rendimiento es posible gracias al sistema Cerebras CS-3 y al procesador de inteligencia artificial Wafer Scale Engine 3 (WSE-3). CS-3 ofrece 7.000 veces más ancho de banda de memoria que Nvidia H100, lo que resuelve el desafío técnico del ancho de banda de memoria para la IA generativa.

Cerebras Inference está actualmente disponible en los siguientes tres niveles:

• El nivel gratuito ofrece acceso gratuito a la API y límites de uso generosos para cualquier persona que se registre.
• El nivel de desarrollador está diseñado para implementaciones flexibles y sin servidor, y proporciona a los usuarios puntos finales de API a una fracción del costo de las alternativas existentes en el mercado, con los modelos Llama 3.1 8B y 70B con un precio de solo 10 centavos y 60 centavos por millón de tokens respectivamente.
• Los planes de nivel empresarial ofrecen modelos optimizados, acuerdos de nivel de servicio personalizados y soporte dedicado. Ideal para cargas de trabajo persistentes, las empresas pueden acceder a Cerebras Inference a través de la nube privada administrada por Cerebras o en las instalaciones locales.

Con un rendimiento récord, precios competitivos y acceso API abierto, Cerebras Inference establece un nuevo estándar para el desarrollo e implementación de LLM abierto. Como la única solución capaz de ofrecer entrenamiento e inferencia de alta velocidad, Cerebras abre posibilidades completamente nuevas para la IA.

Con las tendencias de IA evolucionando rápidamente y NVIDIA actualmente ocupando una posición dominante en el mercado, el surgimiento de empresas como Cerebras y Groq señala un cambio potencial en la dinámica de toda la industria. A medida que aumenta la demanda de soluciones de inferencia de IA más rápidas y rentables, soluciones como Cerebras Inference están bien posicionadas para arriesgarse al dominio de NVIDIA, especialmente en el espacio de inferencia.