HBM2e da ​​128 GB fino a 3,7 TB/sec, fino a 900 W di potenza

Intel ha appena presentato il suo acceleratore AI Gaudi 3 di nuova generazione, che presenta due die da 5 nm realizzati da TSMC, con 64 Tensor Core (quinta generazione), 128 GB di memoria HBM2e e fino a 900 W di potenza con raffreddamento ad aria o ad acqua.

8

VISUALIZZA GALLERIA – 8 IMMAGINI

Intel ha 32 Tensor Core su ciascun chip, per un totale di 64 Tensor Core. Ogni chip dispone di 48 MB di SRAM, per un totale di 96 MB di SRAM per pacchetto completo. La SRAM dell'acceleratore Intel Gaudi 3 AI offre 12,8 TB/sec di larghezza di banda, supportata dalla memoria HBM del Gaudi 3. I 128 GB di memoria HBM2e offrono fino a 3,7 TB/sec di larghezza di banda della memoria.

L'acceleratore AI Intel Gaudi 2 di precedente generazione presentava 96 GB di HBM, quindi il nuovo Gaudi 3 ha una capacità HBM2e maggiore di 128 GB con un massimo di 3,7 TB/sec di larghezza di banda di memoria rispetto a soli 2,45 TB/sec di larghezza di banda di memoria su Gaudi 2.

Il nuovo acceleratore AI Gaudi 3 di Intel nel suo design con fattore di forma PCIe (HL-388) utilizza la nuova interfaccia PCIe 5.0 con corsie PCIe 5.0 x16 complete. Nella sua forma PCIe 5.0, il nuovo acceleratore AI Intel Gaudi 3 ha un TDP di 450 W e 600 W, un livello di potenza che non vediamo molto in questo fattore di forma. Intel ha anche una versione OAM (HL-328/325L/335) con un TDP compreso tra 450 W e 900 W per il raffreddamento ad aria del server, mentre il Gaudi 3 raffreddato ad acqua in formato OAM presenta un TDP fino a 900 W.

8

Intel ha confrontato il suo nuovo acceleratore AI Gaudi 3 con le GPU AI Hopper H100 e H200 di NVIDIA dell'attuale generazione, con i benchmark interni di Intel che mostrano che Gaudi 3 è fino a 1,7 volte più veloce per l'addestramento AI rispetto all'H100. Ciò dipende dal Large Language Model (LLM) utilizzato, con il Gaudi 3 che è tra 1,4x e 1,7x più veloce dell'H100.

8

Nella velocità di inferenza, le prestazioni varieranno notevolmente: il nuovo acceleratore AI Gaudi 3 di Intel è a volte inferiore, fino al 10% più lento della GPU AI NVIDIA H100, mentre a volte Gaudi 3 è fino al 70% più veloce dell'H100. Secondo quanto riferito, il nuovo acceleratore AI Gaudi 3 di Intel è da 1,2 a 1,3 volte più efficiente dell'H100, misurato in token al secondo per scheda, per watt.

8

Intel avrà i primi campioni del suo nuovo acceleratore AI Gaudi 3 nella prima metà di quest'anno, con volumi maggiori non previsti fino alla seconda metà dell'anno. Intel combatterà l'attuale generazione di NVIDIA Hopper H100 e le nuove GPU AI H200 che stanno dominando il mercato con l'azienda che consuma circa il 90% + del mercato delle GPU AI, mentre la sua GPU AI Blackwell B200 di prossima generazione verrà lanciata entro la fine dell'anno e sistemi di inondazione in tutto il mondo nel 2025.