Nowa generacja Meta Llama3 LLM jest już dostępna, a Intel Arc A770 przewyższa GeForce RTX 4060

Generatywna sztuczna inteligencja i ogólna wydajność LLM staną się w nadchodzących latach znaczącymi elementami pomiaru wydajności procesorów i procesorów graficznych. Najnowsze szczegółowe spojrzenie firmy Intel na grafikę Arc podkreśla wydajność LLM aktualnej flagowej karty graficznej Intel Arc A770 16 GB do komputerów stacjonarnych.

ZOBACZ GALERIĘ – 3 ZDJĘCIA

Procesor graficzny jest ogólnie dostępny w cenie około 300 dolarów, a Intel porównuje jego wydajność AI z główną kartą graficzną NVIDIA GeForce RTX 4060 8 GB, która jest jej najbliższym konkurentem cenowym Team Green. „Przyjrzeliśmy się dwóm odrębnym procesorom graficznym w podobnym segmencie cenowym” – pisze Intel w swoim raporcie.

Test Intela obejmuje różne modele działające z IPEX-LLM, biblioteką LLM dla PyTorch. Ta biblioteka zawiera optymalizacje dla sprzętu Intel i wykorzystuje akcelerację XMX AI występującą w kartach graficznych Arc w celu zwiększenia wydajności. Po stronie GeForce RTX 4060 zastosowano technologię CUDA Torch.

Dzięki kompresji wagi INT4, wykonaniu FP16 i maksymalnej wydajności 1024 tokenów, Intel Arc A770 16 GB deklasuje GeForce RTX 4060 8 GB, jeśli chodzi o wydajność tokenów na sekundę. Ogólnie rzecz biorąc, wydajność Arc A770 jest do 70% większa niż GeForce RTX 4060. Wyniki obejmują również najnowszy model Llama3 firmy Meta, co jest fajne. W rzeczywistości, cały sprzęt Intel AI obsługuje następną generację Meta Llama 3 LLM.

Nowa generacja Meta Llama3 LLM jest już dostępna, a Intel Arc A770 przewyższa GeForce RTX 4060 02

Jednym z powodów jest to, że wiele modeli AI jest zależnych od pojemności i szybkości pamięci GPU. Zatem szybsze 16 GB pamięci VRAM w Intel Arc A770 lepiej nadaje się do obciążeń AI niż wolniejsze 8 GB VRAM w GeForce RTX 4060. Oczywiście optymalizacje i inne czynniki wyjaśniają rozbieżności w wydajności, a CUDA firmy NVIDIA jest nadal powszechnie brana pod uwagę złoty standard.

Mimo to jest to imponujący wynik dla firmy Intel, a biorąc pod uwagę, że Intel Arc A770 16 GB jest zdecydowanie jednym z najtańszych procesorów graficznych 16 GB na rynku, postępy w zakresie sztucznej inteligencji firmy Intel sprawiają, że jest to doskonała opcja dla osób poszukujących wydajnego i niedrogiego procesora graficznego ze sztuczną inteligencją rozwiązanie.