Mark Zuckerberg a fourni une petite mise à jour sur le travail de Meta sur son nouveau modèle Llama 4, qui est formé sur un cluster de GPU AI « plus grand que tout ce que Zuck a vu ».
VOIR LA GALERIE – 2 IMAGES
Meta prépare actuellement son nouveau Llama 4, Zuckerberg déclarant aux investisseurs et aux analystes lors d'une conférence téléphonique cette semaine que le lancement initial de Llama 4 est attendu plus tard cette année. Zuck a dit : « Nous entraînons les modèles Llama 4 sur un cluster plus grand que 100 000 H100, ou plus grand que tout ce que j'ai vu rapporté pour ce que font les autres. Je m'attends à ce que les plus petits modèles Llama 4 soient prêts en premier« .
Le nouveau supercalculateur IA de Meta, avec ses plus de 100 000 GPU NVIDIA H100 AI, aurait coûté plus de 2 milliards de dollars rien que pour les puces GPU H100 AI, ce qui signifie que Mark Zuckerberg signe de gros chèques à NVIDIA. En parlant de cela, le PDG de NVIDIA, Jensen Huang, s'est récemment entretenu avec le PDG de Meta, Mark Zuckerberg, où Jensen a déclaré que Meta disposait désormais de plus de 600 000 GPU NVIDIA H100 AI, ce à quoi Zuck a répondu en disant que Meta était de « bons clients pour NVIDIA ».
Meta est dans une course avec xAI et Elon Musk, avec xAI de Musk pour doubler la taille de son cluster de supercalculateurs Colossus AI, qui dispose de 100 000 GPU NVIDIA Hopper AI et est en cours de mise à niveau vers 200 000 GPU NVIDIA Hopper AI. Mais le combat du plus grand superamas d’IA est sacrément intéressant à regarder, mais ne me montrez pas les factures d’électricité.