TL;DR : Oasis AI de Decart est un modèle mondial d'IA en temps réel pour les jeux, démontré à travers une version de Minecraft générée par l'IA fonctionnant sur un seul GPU NVIDIA H100. Il génère des cadres basés sur les entrées de l'utilisateur mais manque de permanence des objets, ce qui entraîne des changements désorientants dans l'environnement.
Oasis AI, de Decart, est décrit comme « le premier modèle mondial d'IA en temps réel » pour les jeux. Il propose une version jouable en temps réel de Minecraft générée par l'IA et fonctionnant sur un seul GPU NVIDIA H100 pour démontrer ses capacités. Il faut la contribution de l'utilisateur, du mouvement à l'utilisation d'un outil, pour générer l'image suivante.
Il s'agit d'une petite démo technologique impressionnante, car ce que vous voyez n'est pas rendu dans le sens traditionnel que nous associons au jeu ; cependant, dans son état actuel, jouer à Minecraft en 720p fortement compressé à 20 FPS n'est pas vraiment immersif ou engageant. Il s'agit davantage d'une preuve de concept : générer des images entières, de la physique, de l'éclairage et de la mécanique après avoir été formé à regarder des heures et des heures de jeu Minecraft.
Après avoir joué à la démo, que vous pouvez faire via le site Oasis AI, vous verrez un gros défaut dans son fonctionnement en tant que jeu : il n'y a pas de véritable permanence d'objet.
Lorsque vous faites demi-tour ou revenez en arrière, la version Oasis AI de Minecraft réorganise souvent les objets ou « restitue » une version différente de l'environnement que vous venez de voir et avec lequel vous avez interagi – ce qui peut être désorientant. Il s’agit donc plus d’une approximation de Minecraft que du jeu lui-même. Bien sûr, Minecraft est jouable sur tablettes, téléphones, consoles et PC depuis plusieurs années, il n'est donc pas censé être un remplacement mais un aperçu du potentiel des environnements ouverts générés par l'IA. Et pour des expériences qui ne se limitent pas à des jeux.
« Oasis marque notre première incursion dans des mondes interactifs plus complexes et offre un aperçu de ce que nous appelons et espérons créer une » expérience interactive générative « », explique Decart. « Cette nouvelle technologie pourrait changer de nombreux types d'expériences en créant des vidéos interactives que les utilisateurs peuvent contrôler en temps réel. Imaginez un monde dans lequel les modèles d'IA rendent le divertissement plus personnalisé. »
Ce qui différencie Oasis AI des exemples de jeux similaires générés par l'IA que nous avons vus, c'est qu'il peut générer chaque image avec une faible latence et qu'il est optimisé pour fonctionner sur un seul GPU ou plusieurs GPU.
« Cette percée découle d'innovations dans l'ensemble de notre pile technologique », ajoute Decart. « Nous avons développé une architecture de modèle qui permet une faible latence entre l'action et l'image, associée à des optimisations de système propriétaires ciblant des architectures matérielles de GPU et de serveur spécifiques. »