Comment exécuter Meta's Llama 3 sur votre PC

Meta, la société anciennement connue sous le nom de Facebook, a récemment dévoilé Llama 3, la dernière itération de son grand modèle de langage. Ce modèle avancé est disponible en deux versions : une version à huit milliards (8B) de paramètres et une version à 70 milliards (70B) de paramètres. Dans cet article, nous explorerons comment exécuter localement la version à paramètres 8B de Llama 3, une option plus réalisable pour les ordinateurs de bureau ou portables standard qui peuvent avoir du mal à exécuter la version 70B plus grande.

Aperçu des performances de Llama 3

Llama 3 est un grand modèle de langage impressionnant. La version avec paramètres 8B, entraînée avec 1,3 million d'heures de temps GPU, surpasse son prédécesseur, Llama 2, de plusieurs manières. Par exemple, il est 34 % meilleur que la version à 7 milliards de paramètres de Llama 2 et 14 % meilleur que la version à 13 milliards de paramètres. Remarquablement, la version à paramètres 8B de Llama 3 surpasse même les performances de la version à paramètres 13 milliards de Llama 2. Elle n'est inférieure que de 8 % par rapport à la version à paramètres 70B de Llama 2, ce qui en fait un modèle impressionnant pour sa taille.

La version à paramètres 8B de Llama 3 a une date limite de connaissance en mars 2023, tandis que la version 70B s'étend jusqu'en décembre 2023. En conséquence, il y aura un écart d'informations réel entre les deux.

Pour exécuter Llama 3 sous Windows, nous utiliserons LM Studio.

1. Pour commencer, visitez lmstudio.ai et téléchargez la version LM Studio appropriée pour votre système.
2. Une fois téléchargé, installez LM Studio.
3. Ouvrez LM Studio.
4. Une fois dans LM Studio, assurez-vous que le modèle Llama 3 est téléchargé. S'il est déjà installé, il devrait s'afficher sur la page d'accueil. Si ce n'est pas le cas, utilisez la barre de recherche ou l'icône de recherche sur la barre verticale de gauche pour le trouver, puis téléchargez-le.
5. Une fois Llama 3 installé, cliquez sur le bouton Chat IA icône sur la barre verticale de gauche dans LM Studio. Cela ouvrira une interface de discussion similaire à ChatGPT.
6. Cliquez sur Sélectionnez un modèle à charger en haut de la page. Sélectionnez le Llama 3 LLM que vous venez de télécharger. LM Studio va charger le modèle, ce qui peut prendre quelques secondes.
7. Vous pouvez désormais discuter avec Llama 3 sur votre appareil.

Notamment, si vous n'utilisez pas de machine Windows, LM Studio peut également être utilisé par les propriétaires de Mac exécutant de nouveaux processeurs M (M1, M2 et M3). Une version bêta est également disponible pour Linux.

Comment exécuter Llama 3 avec Ollama

Alternativement, vous pouvez exécuter Llama 3 localement à l'aide du projet Ollama. Cette méthode plaira à ceux qui souhaitent exécuter le LLM sur un Raspberry Pi.

Pour Mac et Windows, visitez oolama.com et téléchargez la version compatible avec votre système d'exploitation. Si vous utilisez Linux (ou si vous souhaitez installer Llama 3 sur votre Raspberry Pi), copiez et collez simplement la ligne fournie pour télécharger et exécuter le script d'installation. Une fois installé, vous pouvez exécuter Llama 3 directement depuis l'application terminal de votre choix.