Nous avons déjà parlé à plusieurs reprises de la mémoire SOCAMM2, donc si vous n’êtes pas familier, consultez une ou toutes ces histoires. Le dernier de ces liens renvoie à une histoire sur les modules SOCAMM2 de 192 Go d’échantillonnage Micron. Eh bien, comme vous l’avez déjà lu dans le titre, la société américaine de mémoire est désormais en mesure de fabriquer des modules SOCAMM2 de 256 Go grâce aux nouvelles puces LPDDR5 de 32 Go, que Micron affirme être la première à commercialiser.
Si vous pensiez : « Zak, 32 gigabits est bien plus petit que 256 gigaoctets », vous avez raison ! Les puces LPDDR5X des modules SOCAMM2 empilent seize de ces puces dans un seul boîtier, ce qui signifie que chacune des quatre LPDRAM du gumstick SOCAMM2 contient 64 Go de RAM haute vitesse. Multipliez par quatre et vous obtenez la capacité de 256 Go que nous avons notée dans le titre, les modules de mémoire les plus denses à ce jour en termes de capacité logique et de volume physique.
Images dans cet article : Micron
C’est un gros problème car les charges de travail d’IA utiliseront volontiers toute la RAM que vous pourrez leur consacrer. Ces nouveaux modules permettent à un système doté de mémoire à 8 canaux de prendre en charge jusqu’à 2 téraoctets de RAM totale par CPU. Plus impressionnant encore, Micron affirme que les modules SOCAMM2 n’utilisent qu’un tiers de la puissance de la mémoire enregistrée traditionnelle (RDIMM), ce qui est d’une grande aide étant donné que d’énormes montagnes de modules de mémoire finissent par contribuer de manière majeure à la consommation d’énergie des puissants serveurs rack utilisés pour la formation et l’inférence de l’IA.
Micron fait quelques affirmations audacieuses sur les avantages de l’ajout de plus de mémoire à vos serveurs IA. Plus précisément, la société affirme que vous pouvez réduire le temps nécessaire à l’obtention du premier jeton (avec une longueur de contexte franchement absurde de 1 million de jetons) à seulement une seconde avec 2 To de RAM. La société affirme également que le passage de modules de 192 Go à des modules de 256 Go peut doubler les performances d’analyse des données Spark SVM et offrir une amélioration de 2,3 fois du temps d’obtention du premier jeton avec une longueur de contexte de 500 000 par rapport à la configuration de 1,5 To avec des modules de 192 Go. Cela ne nous surprendrait pas si de nombreux opérateurs disposant de systèmes en place supprimaient la mémoire actuelle et installaient la nouvelle RAM pour la capacité supplémentaire.
Les modules SOCAMM2 sont déjà utilisés dans certains systèmes, comme le Blackwell Ultra de NVIDIA, ainsi que dans les stations de travail de bureau basées sur les superpuces Grace Blackwell comme le Pro Max GB300 de Dell. Ce serait bien de les voir également arriver sur le bureau, car ils offrent également des taux de transfert améliorés par rapport aux modules DIMM standard. Standardiser l’ensemble du secteur sur un seul type de module améliorerait la logistique pour tout le monde, mais au vu de l’évolution des choses, nous devrions peut-être pousser un soupir de soulagement en sachant que les ordinateurs de bureau standard utilisent un type de mémoire différent.