Jeśli chodzi o szkolenie sztucznej inteligencji i radzenie sobie z dużymi zbiorami danych oraz coraz bardziej złożonymi modelami dużych języków (LLM), takimi jak Llama 70b, nie chodzi po prostu o to, czy potrafisz wykorzystać moc procesora graficznego, aby rozwiązać problem, dopóki nie znajdziesz rozwiązania. Przynajmniej nie powinno tak być.
4ZOBACZ GALERIĘ – 4 ZDJĘCIA
aiDAPTIV+ firmy Phison to hybrydowe rozwiązanie programowe i sprzętowe do szkoleń LLM. Integruje dyski SSD Pascari A100 M.2 firmy Phison w kompletne rozwiązanie ze skalowaniem liniowym. Imponujący! Według Phisona odblokowuje to dostęp do obciążeń wcześniej zarezerwowanych dla centrów danych na pojedynczej stacji roboczej lub serwerze – obsługując aż do Llama-3 70B i Falcon 180B.
Wykres Phisona przedstawia możliwości aiDAPTIV+. Powyżej widać pojedynczy system w tej samej konfiguracji: cztery procesory graficzne RTX 6000 Ada, 192 GB pamięci GDDR6 i dodatkowe 512 GB pamięci RAM. Oprogramowanie pośrednie aiDAPTIVLink firmy Phison rozszerza pojemność pamięci GPU o dwa dyski SSD o pojemności 2 TB, torując drogę do obsługi masowych modeli przy niskim opóźnieniu.
4Ma to sens, ponieważ jednym z powodów, dla których do trenowania dużych modeli potrzeba tak wielu procesorów graficznych, jest szybkość pamięci GPU i ograniczona pojemność. Brzmi to jak proste rozwiązanie, ale można odnieść wrażenie, że eksperci od dysków SSD, pamięci i pamięci masowych w firmie Phison musieli wykonać pewne cyfrowe czary, aby wszystko działało.
Najlepsze jest to, że jest to ekonomiczne rozwiązanie typu „drop-in”, które nie wymaga wprowadzania fundamentalnych zmian ani modyfikacji w istniejących aplikacjach AI. „Możesz bez wysiłku ponownie wykorzystać istniejący sprzęt lub dodać węzły, jeśli zajdzie taka potrzeba” – pisze Phison. „Integratorzy systemów mają dostęp do dysków SSD AI100E, licencji bibliotek oprogramowania pośredniego i pełnego wsparcia firmy Phison, aby ułatwić płynną integrację systemów”.
4Obsługiwane modele obejmują poniższe, a więcej w drodze.
- Lama, Lama-2, Lama-3, KodLama
- Wigoń, Sokół, Szept, Duży Klip
- Metaformer, Resnet, baza Deit, Mistral, TAID
Teraz potrzebujemy tylko, aby Phison stworzył podobne rozwiązanie do gier komputerowych, w którym aiDAPTIV+ wykorzystuje pamięć SSD, aby zamienić dowolną kartę graficzną o pojemności 8 GB w bestię o pojemności 128 GB, której nigdy nie zabraknie pamięci.