Cerebras lanza la tecnología de inferencia de IA más rápida del mundo, con un rendimiento 20 veces superior al de NVIDIA

Cerebras Systems acaba de anunciar oficialmente Cerebras Inference, considerada la solución de inferencia de IA más rápida del mundo. Esta inferencia de Cerebras ofrece un rendimiento de hasta 1.800 tokens por segundo para los modelos Llama 3.1 8B (8 mil millones de parámetros) y 450 tokens por segundo para Llama 3.1 70B, lo que es hasta casi 20 veces más rápido que las soluciones de inferencia de IA basadas en GPU de NVIDIA disponibles en las nubes de hiperescala actuales en todo el mundo, incluido Microsoft Azure.

Además de su increíble rendimiento, el precio del servicio de esta nueva solución de inferencia también es muy económico, una fracción del precio de las populares plataformas de nube de GPU. Por ejemplo, un cliente puede obtener un millón de tokens por solo 10 centavos, lo que proporciona un rendimiento de precio 100 veces mayor para cargas de trabajo de IA.

La precisión de 16 bits de Cerebras y la velocidad de inferencia 20 veces más rápida permitirán a los desarrolladores crear aplicaciones de IA de alto rendimiento de próxima generación sin comprometer la velocidad ni el costo. Esta innovadora relación precio/rendimiento es posible gracias al sistema Cerebras CS-3 y al procesador de inteligencia artificial Wafer Scale Engine 3 (WSE-3). CS-3 ofrece 7.000 veces más ancho de banda de memoria que Nvidia H100, lo que resuelve el desafío técnico del ancho de banda de memoria para la IA generativa.

Cerebras lanza la tecnología de inferencia de IA más rápida del mundo, con un rendimiento 20 veces superior al de NVIDIA

Cerebras Inference está actualmente disponible en los siguientes tres niveles:

  • El nivel gratuito ofrece acceso gratuito a la API y límites de uso generosos para cualquier persona que se registre.
  • El nivel de desarrollador está diseñado para implementaciones flexibles y sin servidor, y proporciona a los usuarios puntos finales de API a una fracción del costo de las alternativas existentes en el mercado, con los modelos Llama 3.1 8B y 70B con un precio de solo 10 centavos y 60 centavos por millón de tokens respectivamente.
  • Los planes de nivel empresarial ofrecen modelos optimizados, acuerdos de nivel de servicio personalizados y soporte dedicado. Ideal para cargas de trabajo persistentes, las empresas pueden acceder a Cerebras Inference a través de la nube privada administrada por Cerebras o en las instalaciones locales.

Con un rendimiento récord, precios competitivos y acceso API abierto, Cerebras Inference establece un nuevo estándar para el desarrollo e implementación de LLM abierto. Como la única solución capaz de ofrecer entrenamiento e inferencia de alta velocidad, Cerebras abre posibilidades completamente nuevas para la IA.

Con las tendencias de IA evolucionando rápidamente y NVIDIA actualmente ocupando una posición dominante en el mercado, el surgimiento de empresas como Cerebras y Groq señala un cambio potencial en la dinámica de toda la industria. A medida que aumenta la demanda de soluciones de inferencia de IA más rápidas y rentables, soluciones como Cerebras Inference están bien posicionadas para arriesgarse al dominio de NVIDIA, especialmente en el espacio de inferencia.

Sign up and earn $1000 a day ⋙

Leave a Comment

Diferencia entre un televisor normal y un Smart TV

Diferencia entre un televisor normal y un Smart TV

Los televisores inteligentes realmente han conquistado el mundo. Con tantas funciones excelentes y conectividad a Internet, la tecnología ha cambiado la forma en que vemos televisión.

¿Por qué el congelador no tiene luz pero el refrigerador sí?

¿Por qué el congelador no tiene luz pero el refrigerador sí?

Los refrigeradores son electrodomésticos familiares en los hogares. Los refrigeradores suelen tener 2 compartimentos, el compartimento frío es espacioso y tiene una luz que se enciende automáticamente cada vez que el usuario lo abre, mientras que el compartimento congelador es estrecho y no tiene luz.

2 maneras de solucionar la congestión de la red que ralentiza el Wi-Fi

2 maneras de solucionar la congestión de la red que ralentiza el Wi-Fi

Las redes Wi-Fi se ven afectadas por muchos factores más allá de los enrutadores, el ancho de banda y las interferencias, pero existen algunas formas inteligentes de mejorar su red.

Cómo degradar de iOS 17 a iOS 16 sin perder datos usando Tenorshare Reiboot

Cómo degradar de iOS 17 a iOS 16 sin perder datos usando Tenorshare Reiboot

Si quieres volver a iOS 16 estable en tu teléfono, aquí tienes la guía básica para desinstalar iOS 17 y pasar de iOS 17 a 16.

¿Qué le pasa al cuerpo cuando comes yogur todos los días?

¿Qué le pasa al cuerpo cuando comes yogur todos los días?

El yogur es un alimento maravilloso. ¿Es bueno comer yogur todos los días? Si comes yogur todos los días, ¿cómo cambiará tu cuerpo? ¡Descubrámoslo juntos!

¿Qué tipo de arroz es mejor para la salud?

¿Qué tipo de arroz es mejor para la salud?

Este artículo analiza los tipos de arroz más nutritivos y cómo maximizar los beneficios para la salud del arroz que elija.

Cómo despertarse a tiempo por la mañana

Cómo despertarse a tiempo por la mañana

Establecer un horario de sueño y una rutina para la hora de acostarse, cambiar el despertador y ajustar la dieta son algunas de las medidas que pueden ayudarle a dormir mejor y despertarse a tiempo por la mañana.

Consejos para jugar a Rent Please! Simulación de propietario para principiantes

Consejos para jugar a Rent Please! Simulación de propietario para principiantes

¡Alquiler por favor! Landlord Sim es un juego de simulación para dispositivos móviles iOS y Android. Jugarás como propietario de un complejo de apartamentos y comenzarás a alquilar un apartamento con el objetivo de mejorar el interior de tus apartamentos y prepararlos para los inquilinos.

Últimos códigos de defensa de torres para baños y cómo introducirlos

Últimos códigos de defensa de torres para baños y cómo introducirlos

Obtén el código del juego Bathroom Tower Defense de Roblox y canjéalo por emocionantes recompensas. Te ayudarán a mejorar o desbloquear torres con mayor daño.

Estructura, símbolos y principios de funcionamiento de los transformadores

Estructura, símbolos y principios de funcionamiento de los transformadores

Aprendamos la estructura, los símbolos y los principios de funcionamiento de los transformadores de la forma más precisa.

4 maneras en que la IA está mejorando los televisores inteligentes

4 maneras en que la IA está mejorando los televisores inteligentes

Desde una mejor calidad de imagen y sonido hasta control por voz y más, ¡estas funciones impulsadas por IA hacen que los televisores inteligentes sean mucho mejores!

Por qué ChatGPT es mejor que DeepSeek

Por qué ChatGPT es mejor que DeepSeek

Al principio, la gente tenía grandes esperanzas en DeepSeek. Como chatbot de IA comercializado como un fuerte competidor de ChatGPT, promete capacidades y experiencias de chat inteligentes.

Conoce Fireflies.ai: La secretaria con IA gratuita que te ahorra horas de trabajo

Conoce Fireflies.ai: La secretaria con IA gratuita que te ahorra horas de trabajo

Es fácil pasar por alto detalles importantes cuando se anotan otros elementos esenciales, y tratar de tomar notas mientras se chatea puede ser una distracción. Fireflies.ai es la solución.

Cómo criar Ajolote en Minecraft, domesticar Salamandra en Minecraft

Cómo criar Ajolote en Minecraft, domesticar Salamandra en Minecraft

Axolot de Minecraft será un gran asistente para los jugadores cuando trabajen bajo el agua si saben cómo usarlos.

Configuración del juego para PC A Quiet Place: The Road Ahead

Configuración del juego para PC A Quiet Place: The Road Ahead

La configuración de A Quiet Place: The Road Ahead tiene una calificación bastante alta, por lo que deberás tener en cuenta la configuración antes de decidir descargarla.