Le nouvel accélérateur d'IA Instinct MI300X d'AMD avec 192 Go de HBM3E a fait l'objet d'une plongée en profondeur lors du Hot Chips 2024 cette semaine, tandis que la société a présenté son MI325X rafraîchi avec 288 Go de HBM3E plus tard cette année.
6VOIR LA GALERIE – 6 IMAGES
À l'intérieur, le nouvel accélérateur d'IA Instinct MI300X d'AMD comprend un total de 153 milliards de transistors, utilisant un mélange de nouveaux nœuds de processus FinFET 5 nm et 6 nm de TSMC. Il y a 8 chipsets dotés de 4 moteurs partagés, et chaque moteur partagé contient 10 unités de calcul.
La puce entière contient 32 moteurs de shader, avec un total de 40 moteurs de shader dans un seul XCD et 320 au total dans l'ensemble du package. Chaque XCD individuel dispose de son cache L2 dédié, et à la périphérie du package, se trouvent l'Infinity Fabric Link, 8 sites d'E/S HBM3 et un seul lien PCIe Gen5 avec 128 Go/s de bande passante qui connecte le MI300X à un processeur AMD EPYC.
6AMD utilise son Infinity Fabric de 4e génération sur son accélérateur d'IA Insintct MI300X, avec jusqu'à 896 Go/s de bande passante. Le MI300X utilise également le lien Infinity Fabric Advanced Package, reliant toutes les puces avec jusqu'à 4,8 To/s de bande passante de bisection, tandis que l'interface XCD/IOD est à 2 To/s de bande passante.
AMD a fourni un schéma fonctionnel complet de l'architecture MI300X, chaque XCD contenant 2 unités de calcul désactivées, pour un total de 304 CU dans le MI300X sur une conception complète de 320 CU. La puce complète contient 20 480 cœurs tandis que le MI300X en compte 19 456. AMD dispose également de 256 Mo de cache Infinity dédié sur le MI300X.
6La société souligne également que son Instinct MI300X est le premier accélérateur d'IA à présenter une conception de mémoire HBM3 à 8 piles, la conception à 8 piles permettant à AMD d'atteindre une capacité 1,5 fois supérieure (128 Go à 192 Go) mais également une bande passante mémoire 1,6 fois supérieure (3 To/sec à 5,2 To/sec) par rapport au MI250X.
6AMD affirme qu'avec la mémoire HBM plus grande et plus rapide, le nouveau Instinct MI300X peut gérer des tailles de LLM plus importantes (FP16) allant jusqu'à 70 B en formation et 680 B en inférence. Les systèmes NVIDIA HGX H100 ne peuvent gérer que des modèles LLM allant jusqu'à 30 B en formation et jusqu'à 290 B en inférence.
6L'une des fonctionnalités intéressantes de l'Instinct MI300X est qu'AMD dispose de sa propre technologie de partitionnement spatial, qui permet aux utilisateurs de partitionner les XCD en fonction de leurs charges de travail. Chacun des XCD fonctionne ensemble comme un seul processeur, mais ils peuvent être partitionnés puis regroupés pour apparaître comme plusieurs GPU.
AMD a annoncé pour octobre la mise à jour de son accélérateur IA Instinct MI325X, qui embarquera une mémoire HBM3E et jusqu'à 288 Go de mémoire, avec des vitesses encore plus élevées. AMD promet une bande passante mémoire 1,3 fois supérieure et des améliorations de performances de calcul théoriques maximales FP16 et FP8 1,3 fois supérieures à celles de l'Instinct MI300X et de sa mémoire HBM3.
En 2026, nous découvrirons la série Instinct MI400 de nouvelle génération, basée sur une architecture CDNA de nouvelle génération que la société a baptisée « CDNA Next ».
Le nouvel accélérateur AMD Instinct MI325X, qui apportera 288 Go de mémoire HBM3E et 6 téraoctets par seconde de bande passante mémoire, utilise la même conception de serveur Universal Baseboard standard de l'industrie utilisée par la série AMD Instinct MI300, et sera généralement disponible au quatrième trimestre 2024. L'accélérateur aura une capacité de mémoire et une bande passante de pointe, respectivement 2x et 1,3x supérieures à celles de la concurrence4, et des performances de calcul 1,3x supérieures5 à celles de la concurrence.
Le premier produit de la série AMD Instinct MI350, l'accélérateur AMD Instinct MI350X, est basé sur l'architecture AMD CDNA 4 et devrait être disponible en 2025. Il utilisera la même conception de serveur Universal Baseboard standard de l'industrie que les autres accélérateurs de la série MI300 et sera construit à l'aide d'une technologie de processus avancée de 3 nm, prendra en charge les types de données AI FP4 et FP6 et disposera jusqu'à 288 Go de mémoire HBM3E.
L'architecture AMD CDNA « Next », qui alimentera les accélérateurs AMD Instinct MI400 Series, devrait être disponible en 2026 et offrir les dernières fonctionnalités et capacités qui contribueront à débloquer des performances et une efficacité supplémentaires pour l'inférence et la formation de l'IA à grande échelle.