SK hynix, qui fournit notamment des puces mémoire à NVIDIA (entre autres clients), a annoncé avoir commencé la production en série des premières puces mémoire 3E (HBM3E) à 12 couches au monde d'une capacité de 36 Go, soit la plus grande capacité de tous les produits HBM existants à ce jour. Selon SK hynix, les clients pourront mettre la main sur les nouvelles pièces d'ici la fin de l'année.
Le principal avantage est un gain de temps pour les charges de travail d’IA gourmandes en mémoire. Selon SK hynix, un seul GPU équipé de quatre produits HBM3E exécutant Llama 3 70B, un modèle de langage étendu (LLM), serait capable de lire 70 milliards de paramètres au total 35 fois en une seule seconde.
« SK hynix a une fois de plus dépassé les limites technologiques, démontrant ainsi notre leadership dans le secteur de la mémoire IA », a déclaré Justin Kim, président (directeur de l'infrastructure IA) chez SK hynix. « Nous conserverons notre position de premier fournisseur mondial de mémoire IA tout en préparant régulièrement des produits de mémoire de nouvelle génération pour surmonter les défis de l'ère de l'IA. »
L'augmentation de capacité de 50 % par rapport à la précédente solution à 8 couches de SK hynix est due à l'empilement d'une douzaine de couches de puces DRAM de 3 Go de la même épaisseur qu'auparavant. Afin de rendre cet exploit possible, SK hynix a réduit la taille de chaque puce DRAM de 40 % et a exploité la technologie TSV (Through-Silicon Via). Bien que ce ne soit pas une nouveauté (ni une exclusivité de SK hynix), le TSV consiste à réaliser des perforations à travers toute la plaquette de silicium afin de former des milliers d'interconnexions verticales de l'avant vers l'arrière (et vice versa).
SK hynix affirme également avoir utilisé son procédé Advanced MR-MUF pour contourner les problèmes structurels qui peuvent survenir lors de l'empilage vertical de puces plus fines. Selon SK hynix, cela permet une amélioration de 10 % de la dissipation thermique par rapport à la génération précédente, ce qui offre un meilleur contrôle contre la déformation.