La startup AI TensorWave è una delle prime con una configurazione distribuita pubblicamente basata sugli acceleratori AI AMD Instinct MI300X e il suo CEO afferma che sono un'opzione di gran lunga migliore rispetto alla GPU AI Hopper H100 dominante di NVIDIA.
TensorWave ha iniziato a collezionare sistemi di intelligenza artificiale basati sull'acceleratore AI Instinct MI300X appena rilasciato di AMD, che prevede di noleggiare i chip MI300X a una frazione del costo della GPU AI Hopper H100 di NVIDIA. TensorWave prevede di avere 20.000 dei nuovi acceleratori AI Instinct MI300X di AMD entro la fine dell'anno in due strutture e prevede di avere sistemi raffreddati a liquido online nel 2025.
Jeff Tatarchuk ha affermato che la nuova GPU AI Instinct MI300X di AMD “solo con specifiche grezze, l'MI300X domina H100” e non ha torto. Ma questo è l'H100 originale con opzioni HBM3 da 40 GB e 80 GB, mentre un H200 potenziato con 141 GB di memoria HBM3e ultraveloce con un massimo di 4,8 TB/sec di larghezza di banda di memoria, ma una volta che Blackwell B200 è qui, NVIDIA possiede il Gioco GPU AI con 192 TB di HBM3e con larghezza di banda di memoria di 8 TB/sec per la GPU AI B200.
- AMD Instinct MI300X: HBM3e da 192 GB fino a 5,3 TB/sec
- NVIDIA H100: HBM3 da 80 GB fino a 3,35 TB/sec
- NVIDIA H200: 141 GB di HBM3e @ fino a 4,8 TB/sec
- NVIDIA B200: 192 GB di HBM3e @ fino a 8 TB/sec
AMD ha finora la maggiore VRAM su una GPU AI, con NVIDIA in ritardo con H100 e 80 GB ai suoi limiti – a meno che tu non sia in Cina, con accesso ai modelli H100 da 96 GB – e persino al prossimo H200 con 141 GB di HBM3e – – sì, è HBM3e e ha più larghezza di banda della memoria, ma non è così grande e non così veloce come l'Instinct MI300X di AMD.
Advertisement
Ma non si tratta solo di puro hardware e VRAM per i carichi di lavoro AI: gli acceleratori AI o le GPU AI devono offrire le stesse prestazioni delle GPU AI H100 dominanti di NVIDIA. Tatarchuk afferma che c'è molto entusiasmo attorno ai nuovi acceleratori AI Instinct MI300X di AMD che rappresentano un'ottima alternativa a NVIDIA, ma i clienti non sono sicuri che otterranno le stesse prestazioni.
Egli ha detto: “ci sono anche molti “non siamo sicuri al 100% se sarà eccezionale come quello a cui siamo attualmente abituati su NVIDIA”,'” che è vero.
Advertisement