Le Llama3 LLM de nouvelle génération de Meta est là et l'Intel Arc A770 surpasse la GeForce RTX 4060

L’IA générative et les performances globales du LLM devraient devenir des éléments importants dans la mesure des performances des CPU et GPU dans les années à venir. La dernière analyse approfondie d'Intel dans les graphiques Arc met en évidence les performances LLM de sa carte graphique phare actuelle Intel Arc A770 16 Go pour ordinateurs de bureau.

3

VOIR LA GALERIE – 3 IMAGES

Le GPU est généralement disponible pour environ 300 $, et Intel compare ses performances d'IA à la carte graphique grand public GeForce RTX 4060 8 Go de NVIDIA, qui est son concurrent le plus proche en termes de prix Team Green. « Nous avons examiné deux GPU discrets positionnés dans un segment de prix similaire », écrit Intel dans son rapport.

Le test d'Intel inclut différents modèles fonctionnant avec IPEX-LLM, une bibliothèque LLM pour PyTorch. Cette bibliothèque contient des optimisations pour le matériel Intel et utilise l'accélération XMX AI trouvée sur les cartes graphiques Arc pour améliorer les performances. Du côté de la GeForce RTX 4060, c'est CUDA Torch qui est utilisé.

Avec une compression de poids INT4, une exécution FP16 et une sortie maximale de 1024 jetons, l'Intel Arc A770 16 Go surclasse la GeForce RTX 4060 8 Go en termes de performances de jetons par seconde. Dans l'ensemble, les performances sont jusqu'à 70 % plus rapides sur l'Arc A770 que sur la GeForce RTX 4060. Les résultats incluent également le dernier modèle Llama3 de Meta, ce qui est cool. En fait, tout le matériel Intel AI prend en charge le Llama 3 LLM de nouvelle génération de Meta.

3

L’une des raisons à cela est que de nombreux modèles d’IA dépendent de la capacité et de la vitesse de la mémoire GPU. Ainsi, les 16 Go de VRAM plus rapides de l'Intel Arc A770 sont mieux adaptés aux charges de travail d'IA que les 8 Go de VRAM plus lents de la GeForce RTX 4060. Bien entendu, les optimisations et d'autres facteurs expliquent les écarts de performances, et le CUDA de NVIDIA est toujours largement pris en compte. L'étalon-or.

Il s’agit néanmoins d’une performance impressionnante pour Intel, et comme l’Intel Arc A770 16 Go est de loin l’un des GPU 16 Go les plus abordables du marché, les avancées d’Intel en matière d’IA en font une excellente option pour ceux qui recherchent une IA puissante et abordable. solution.