Lors du Computex 2024, nous avons pu tester l'un des impressionnants humains numériques de NVIDIA dans le cadre de la démonstration technologique et ludique de Covert Protocol (développé en collaboration avec Inworld AI et optimisé par les technologies NVIDIA ACE). Son fonctionnement est relativement simple : les personnages du jeu sont tous générés par l'IA et dotés de personnalités, de connaissances et de relations. Ainsi, en utilisant du texte ou de la voix, l'objectif est de trouver des informations spécifiques dans un rôle de détective.
Découvrez mon rapport complet sur son fonctionnement et comment j'ai extrait des informations critiques de l'un des personnages en sautant quelques étapes de type puzzle. C'est un aperçu fascinant de l'avenir du développement de jeux, avec la démonstration exécutée localement sur un GPU GeForce RTX 40 Series haute puissance.
À la Gamescom 2024, NVIDIA présente une version in-game de la technologie utilisée dans Mecha BREAK, un jeu de mecha multijoueur d'Amazing Seasun Games actuellement en développement. Le jeu est alimenté par le nouveau modèle de langage réduit Nemotron-4 4B NIM de NVIDIA pour les personnages de jeu – une avancée qui, selon NVIDIA, aidera à intégrer les Digital Humans dans les jeux le plus tôt possible.
3VOIR LA GALERIE – 3 IMAGES
« Digital Human de Mecha BREAK exploite également Audio2Face-3D NIM pour une animation faciale dynamique exécutée sur l'appareil », ajoute NVIDIA. « Les modèles tiers de Whisper fournissent une reconnaissance vocale exécutée sur l'appareil, et Elevenlabs fournit des voix réalistes exécutées dans le cloud. »
Donc oui, c'est un mélange de reconnaissance vocale, exploitant l'IA générative, puis utilisant l'IA pour créer l'animation faciale et la voix que vous entendez.
C'est un outil de pointe, et dans Mecha BREAK, les joueurs peuvent interagir avec le mécanicien Martel pour parler des missions à venir, des chargements de mechs et des conseils. Martel peut agir sur la commande vocale, faire des suggestions et modifier les configurations de mechs pour les joueurs, ce qui en fait un excellent outil pour les nouveaux joueurs qui souhaitent utiliser les outils de personnalisation approfondis du jeu.
La démo de Digital Human Mecha BREAK sera présentée au salon de la Gamescom. NVIDIA précise que l'IA nécessite un matériel puissant pour fonctionner localement, donc un GPU puissant est nécessaire pour l'exécuter en temps réel. Cependant, il y aura des composants cloud pour décharger le traitement. Avec Digital Humans fonctionnant dans un jeu comme Mecha BREAK, l'impact sur la fréquence d'images est d'environ 5 %, donc ce n'est pas un impact significatif sur les performances, comme le changement de qualité de texture de faible à élevée. Cela dit, la démo fonctionne sur une plate-forme alimentée par GeForce RTX 4090, donc comme Path Tracing, cette technologie se situe dans le haut de gamme du jeu PC.
Pour en savoir plus sur Mecha BREAK, consultez lepage Steam du jeu.