Intel vient de dévoiler son accélérateur Gaudi 3 AI de nouvelle génération, doté de deux puces de 5 nm fabriquées par TSMC, comprenant 64 cœurs Tensor (5e génération), 128 Go de mémoire HBM2e et jusqu'à 900 W de puissance en refroidissement par air ou par eau.
8VOIR LA GALERIE – 8 IMAGES
Advertisement
Intel dispose de 32 cœurs Tensor sur chaque puce, pour un total de 64 cœurs Tensor. Chaque puce contient 48 Mo de SRAM, pour un total de 96 Mo de SRAM par package complet. La SRAM de l'accélérateur Intel Gaudi 3 AI offre une bande passante de 12,8 To/s, prise en charge par la mémoire HBM du Gaudi 3. Les 128 Go de mémoire HBM2e offrent jusqu'à 3,7 To/s de bande passante mémoire.
L'accélérateur Intel Gaudi 2 AI de la génération précédente comportait 96 Go de HBM, de sorte que le nouveau Gaudi 3 a une plus grande capacité HBM2e de 128 Go avec jusqu'à 3,7 To/s de bande passante mémoire, contre seulement 2,45 To/s de bande passante mémoire sur Gaudi 2.
Le nouvel accélérateur Gaudi 3 AI d'Intel dans sa conception de facteur de forme PCIe (HL-388) utilise la nouvelle interface PCIe 5.0 avec des voies PCIe 5.0 x16 complètes. Sous sa forme PCIe 5.0, le nouvel accélérateur Intel Gaudi 3 AI a un TDP de 450 W et 600 W, un niveau de puissance que nous ne voyons pas beaucoup dans ce facteur de forme. Intel propose également une version OAM (HL-328/325L/335) avec un TDP compris entre 450 W et 900 W pour le refroidissement par air du serveur, tandis que le Gaudi 3 refroidi par eau sous forme OAM offre jusqu'à 900 W de TDP.
8Intel a comparé son nouvel accélérateur Gaudi 3 AI aux GPU Hopper H100 et H200 AI de la génération actuelle de NVIDIA, les tests internes d'Intel montrant que le Gaudi 3 est jusqu'à 1,7 fois plus rapide pour la formation en IA que le H100. Cela dépend du Large Language Model (LLM) utilisé, le Gaudi 3 étant entre 1,4x et 1,7x plus rapide que le H100.
Advertisement
8
En termes de vitesse d'inférence, les performances varient considérablement : le nouvel accélérateur Gaudi 3 AI d'Intel est parfois plus faible, jusqu'à 10 % plus lent que le GPU NVIDIA H100 AI, tandis que parfois le Gaudi 3 est jusqu'à 70 % plus rapide que le H100. Le nouvel accélérateur d'IA Gaudi 3 d'Intel serait entre 1,2 et 1,3 fois plus efficace que le H100, mesuré en jetons par seconde, par carte et par watt.
8Intel disposera des premiers échantillons de son nouvel accélérateur d'IA Gaudi 3 au premier semestre de cette année, des volumes plus importants n'étant pas attendus avant le second semestre de l'année. Intel combattra la génération actuelle de NVIDIA Hopper H100 et les nouveaux GPU H200 AI qui dominent le marché, la société consommant environ 90 % du marché des GPU AI, tandis que son GPU Blackwell B200 AI de nouvelle génération sera lancé plus tard cette année. et les systèmes d'inondation à travers le monde en 2025.