Meta a annoncé son sortie de Llama 3.1 405Bce que l'entreprise décrit comme le «le plus grand du monde » modèle de langage open source de grande taille.
3VOIR LA GALERIE – 3 IMAGES
Meta explique via un nouveau billet de blog que Llama 3.1 405B est « dans une classe à part » avec « capacités de pointe » qui rivalisent avec les principaux modèles d'IA actuellement sur le marché en matière de connaissances générales, de maniabilité, de mathématiques, de traduction multilingue et d'utilisation d'outils. Meta compare directement Llama 3.1 405B avec des modèles d'IA concurrents, tels que les différents modèles GPT d'OpenAI, présentant le modèle récemment publié formé sur 15 000 milliards de jetons. Un jeton peut être considéré comme un fragment d'une question et d'une réponse.
Pour réaliser l’entraînement de ce modèle de 405 milliards de paramètres, Meta a utilisé 16 000 GPU NVIDIA H100, qui coûtent 25 000 $ chacun. Cela signifie que le modèle d’IA a été entraîné par des GPU NVIDIA d’une valeur de 400 millions de dollars, ce qui a nécessité 30,84 millions d’heures de GPU et produit environ 11 390 tonnes de CO2.
À titre de comparaison, le dernier modèle d'IA de Meta compte 405 milliards de paramètres, tandis que le GPT-4 d'OpenAI en compterait 220 milliards. Cependant, les rapports indiquent GPT-4 pourrait être en fait huit modèles d'IA cachés sous un même manteau, ce qui représenterait un total de 1,7 billion de paramètres. Cela n'est pas confirmé et reste une rumeur.
3