Mistral-NeMo-Minitron 8B to „zminiaturyzowana wersja” nowego, bardzo dokładnego modelu Mistral NeMo 12B AI. Jest dostosowany do centrów danych akcelerowanych przez GPU, chmury i wysokiej klasy stacji roboczych wyposażonych w sprzęt NVIDIA RTX. Często poświęca się dokładność, aby zapewnić wydajność skalowalnych modeli sztucznej inteligencji; Mistral AI i nowy Mistral-NeMo-Minitron 8B firmy NVIDIA zapewniają to, co najlepsze z obu światów.
2ZOBACZ GALERIĘ – 2 ZDJĘCIA
Wystarczająco mały, aby działać w czasie rzeczywistym na stacji roboczej lub komputerze stacjonarnym z wysokiej klasy kartą graficzną GeForce RTX z serii 40. Firma NVIDIA zauważa, że wariant 8B lub 8 miliardów wyróżnia się w testach porównawczych dla chatbotów AI, wirtualnego asystenta, generowanie treści i narzędzia edukacyjne.
Dostępny i spakowany jako mikrousługa NVIDIA NIM (do pobrania za pośrednictwem Hugging Face), Mistral-NeMo-Minitron 8B osiąga obecnie lepsze wyniki niż Llama 3.1 8B i Gemma 7B w najważniejszej kategorii dokładności w co najmniej dziewięciu popularnych testach porównawczych modeli językowych AI.
„Połączyliśmy dwie różne metody optymalizacji sztucznej inteligencji – przycinanie w celu zmniejszenia 12 miliardów parametrów Mistral NeMo do 8 miliardów oraz destylację w celu poprawy dokładności” – powiedział Bryan Catanzaro, wiceprezes ds. badań stosowanych w zakresie głębokiego uczenia się w firmie NVIDIA. „Dzięki temu Mistral-NeMo-Minitron 8B zapewnia dokładność porównywalną z oryginalnym modelem przy niższych kosztach obliczeniowych”.
Przycinanie i destylacja na potrzeby szkolenia AI obejmuje zmniejszenie rozmiaru sieci neuronowej poprzez usunięcie komponentów, które „w najmniejszym stopniu przyczyniają się do dokładności” i ponowne uczenie oczyszczonego modelu poprzez destylację. NVIDIA potwierdziła również, że ma jeszcze „mniejszą” wersję o nazwie Nemotron-Mini-4B-Instruct, która jest zoptymalizowana pod kątem małej ilości pamięci i krótszych czasów reakcji na komputerach stacjonarnych i laptopach NVIDIA GeForce RTX AI.
Aby uzyskać więcej informacji na temat Mistral-NeMo-Minitron 8B, sprawdź Blog techniczny NVIDIA.