Elon Musk a annoncé une étape importante pour sa startup d'IA, xAI, qui vient de mettre en ligne son nouveau système de formation d'IA « Colossus » au cours du week-end.
Elon a tweeté : «Ce week-end, l'équipe xAI a mis en ligne notre cluster de formation Colossus 100K H100. Du début à la fin, cela a été fait en 122 jours. Colossus est le système de formation d'IA le plus puissant au monde. De plus, sa taille va doubler pour atteindre 200K (50K H200s) dans quelques mois. Excellent travail de l'équipe, de NVIDIA et de nos nombreux partenaires/fournisseurs« .
Colossus abrite 100 000 GPU IA Hopper H100 de la génération actuelle de NVIDIA, tandis que Musk affirme que bientôt le système de formation IA le plus puissant au monde disposera de 50 000 GPU IA H200 renforcés de NVIDIA (mémoire HBM3E plus rapide et plus importante que le GPU IA H100).
Le LLM phare de xAI, Grok 2, a été formé sur 15 000 GPU IA… ainsi, avec Colossus ayant accès à plus de 100 000 GPU IA, nous pourrions voir des modèles de langage volumineux de nouvelle génération avec des capacités bien meilleures. Elon Musk lui-même a déclaré en avril 2024 que la formation de Grok 3 nécessiterait 100 000 GPU IA NVIDIA H100… et seulement 5 mois plus tard, nous sommes là, avec 100 000 GPU IA NVIDIA H100 allumés et en cours de formation.
Les nouveaux GPU IA Hopper H200 de NVIDIA disposent d'une mémoire HBM3E plus rapide pouvant atteindre 141 Go, tandis que le H100 dispose d'une mémoire HBM3 pouvant atteindre 80 Go. Elon Musk et l'équipe xAI s'en donnent à cœur joie avec cette immense puissance d'entraînement de l'IA.