La startup xAI d'Elon Musk est actuellement en train de mettre à niveau son cluster de supercalculateurs Colossus AI de 100 000 GPU NVIDIA Hopper AI, le doublant à un nombre insensé de 200 000 GPU NVIDIA Hopper AI.
Colossus est le plus grand superordinateur d'IA au monde et il est utilisé pour former la famille Grok de LLM (grands modèles de langage) de xAI, avec des chatbots proposés aux abonnés X Premium. L'énorme cluster de supercalculateurs xAI Colossus d'Elon a récemment été visité (plus d'informations à ce sujet dans les liens ci-dessous) et n'a pris que 122 jours pour être terminé, ce qui Le PDG de NVIDIA, Jensen Huang, a récemment qualifié Elon Musk de « surhumain » à cause de ça.
NVIDIA a récemment publié du contenu expliquant son partenariat avec Elon et xAI, la société expliquant : « L'installation de support et le supercalculateur de pointe ont été construits par xAI et NVIDIA en seulement 122 jours, au lieu du délai habituel pour les systèmes de cette taille, cela peut prendre plusieurs mois, voire plusieurs années. Il a fallu 19 jours entre le moment où le premier rack a roulé sur le sol et le début de la formation.
« En entraînant le modèle Grok extrêmement volumineux, Colossus atteint des performances réseau sans précédent. Sur les trois niveaux de la structure réseau, le système n'a connu aucune dégradation de la latence des applications ni aucune perte de paquets due à des collisions de flux. Il a maintenu un débit de données de 95 % grâce à Spectrum. -X. Ce niveau de performance ne peut pas être atteint à grande échelle avec Ethernet standard, qui crée des milliers de collisions de flux tout en fournissant seulement 60 % de débit de données ».
Gilad Shainer, vice-président senior des réseaux chez NVIDIA explique : « L’IA devient essentielle à la mission et nécessite des performances, une sécurité, une évolutivité et une rentabilité accrues. La plate-forme réseau Ethernet NVIDIA Spectrum-X est conçue pour fournir aux innovateurs tels que xAI un traitement, une analyse et une exécution plus rapides des charges de travail d'IA, et accélère ainsi le développement, le déploiement et les délais de commercialisation des solutions d'IA.« .
Elon Musk a expliqué sur X : «Colossus est le système de formation le plus puissant au monde. Beau travail de l'équipe xAI, de NVIDIA et de nos nombreux partenaires/fournisseurs« .
Un porte-parole de xAI a ajouté : «xAI a construit le supercalculateur le plus grand et le plus puissant au monde. Les GPU Hopper et Spectrum-X de NVIDIA nous permettent de repousser les limites de la formation de modèles d'IA à grande échelle, en créant une usine d'IA ultra-accélérée et optimisée basée sur la norme Ethernet.« .