Pisaliśmy już kilka razy o pamięci SOCAMM2, więc jeśli nie jesteś zaznajomiony, sprawdź jedną lub wszystkie te historie. Ostatni z tych linków prowadzi do historii o próbkowaniu przez firmę Micron modułów SOCAMM2 o pojemności 192 GB. Cóż, jak już przeczytałeś w nagłówku, amerykańska firma zajmująca się pamięciami jest teraz w stanie wyprodukować moduły SOCAMM2 o pojemności 256 GB dzięki nowym 32-gigabitowym chipom LPDDR5, które Micron twierdzi, że jako pierwsze wprowadza na rynek.
Jeśli pomyślałeś: „Zak, 32 gigabity to znacznie mniej niż 256 gigabajtów”, masz rację! Chipy LPDDR5X w modułach SOCAMM2 łączą szesnaście takich kości w jednym pakiecie, co oznacza, że każda z czterech pamięci LPDRAM w gumstickach SOCAMM2 mieści 64 GB szybkiej pamięci RAM. Pomnóż przez cztery, a otrzymasz pojemność 256 GB, o której wspominaliśmy w nagłówku, czyli najgęstsze moduły pamięci w historii, zarówno pod względem pojemności logicznej, jak i wolumenu fizycznego.
Obrazy w tym poście: Micron
To wielka sprawa, ponieważ obciążenia AI chętnie wykorzystają całą pamięć RAM, jaką możesz na nie rzucić. Dzięki tym nowym modułom system z 8-kanałową pamięcią może obsłużyć do 2 terabajtów całkowitej pamięci RAM na procesor. Co bardziej imponujące, Micron twierdzi, że moduły SOCAMM2 wykorzystują zaledwie jedną trzecią mocy tradycyjnej pamięci rejestrowanej (RDIMM), co jest dużą pomocą, biorąc pod uwagę, że ogromne góry modułów pamięci w ostatecznym rozrachunku są głównym czynnikiem wpływającym na zużycie energii przez potężne serwery stelażowe używane do szkolenia i wnioskowania AI.
Mikron sprawia kilka odważnych twierdzeń na temat korzyści płynących z dodania większej ilości pamięci do serwerów AI. W szczególności firma twierdzi, że możesz skrócić czas potrzebny do pierwszego tokena (przy szczerze mówiąc absurdalnej długości kontekstu wynoszącej 1 milion tokenów) do zaledwie jednej sekundy dzięki 2 TB pamięci RAM. Firma twierdzi również, że przejście z modułów 192 GB na moduły 256 GB może podwoić wydajność analizy danych Spark SVM i zapewnić 2,3-krotne skrócenie czasu do pierwszego tokena przy długości kontekstu 500 KB w porównaniu z konfiguracją 1,5 TB z modułami 192 GB. Nie zdziwiłoby nas, gdyby wielu operatorów posiadających już systemy faktycznie usunęło obecną pamięć i zainstalowało nową pamięć RAM, aby uzyskać dodatkową pojemność.
Moduły SOCAMM2 są już używane w niektórych systemach, takich jak Blackwell Ultra firmy NVIDIA, a także stacjonarnych stacjach roboczych opartych na superchipach Grace Blackwell, takich jak Dell Pro Max GB300. Byłoby miło zobaczyć je również na komputerach stacjonarnych, ponieważ oferują one również lepsze prędkości transferu w porównaniu ze standardowymi modułami DIMM. Standaryzacja całej branży w oparciu o jeden typ modułu usprawniłaby logistykę dla wszystkich, ale biorąc pod uwagę obecny rozwój sytuacji, być może powinniśmy odetchnąć z ulgą, że standardowe komputery stacjonarne korzystają z innego rodzaju pamięci.