NVIDIA erläutert seine KI-basierte ACE-Technologie für NPCs der nächsten Generation

Digitale Charaktere steigen auf

Nicht spielbare Charaktere spielen oft eine entscheidende Rolle in der Erzählung von Videospielen, aber da sie normalerweise für einen bestimmten Zweck konzipiert sind, können sie eintönig und langweilig werden, insbesondere in großen Welten, in denen es Tausende von ihnen gibt.

Zum Teil dank unglaublicher Fortschritte im Visual Computing, wie Raytracing und DLSS, sind Videospiele immersiver und realistischer als je zuvor, was Begegnungen mit NPCs besonders trocken und beunruhigend macht.

Zu Beginn des Jahres Produktions-Microservices der NVIDIA Avatar Cloud Engine wurden veröffentlicht und bieten Spieleentwicklern und digitalen Entwicklern ein Ass im Ärmel, wenn es darum geht, realistische NPCs zu erstellen. ACE-Microservices ermöglichen Entwicklern die Integration modernster generativer KI-Modelle in die digitalen Avatare von Spielen und Anwendungen. Mithilfe von ACE-Mikrodiensten können NPCs dynamisch mit Spielern im Spiel und in Echtzeit interagieren und sich unterhalten.

Führende Spieleentwickler, Studios und Startups integrieren ACE bereits in ihre Titel und verleihen NPCs und digitalen Menschen ein neues Maß an Persönlichkeit und Engagement.

Erwecken Sie Ihre Avatare mit NVIDIA ACE zum Leben

Der Prozess der Erstellung von NPCs beginnt damit, ihnen eine Geschichte und einen Zweck zu geben, die dabei helfen, die Erzählung zu leiten und einen relevanten kontextuellen Dialog sicherzustellen. Anschließend arbeiten die ACE-Unterkomponenten zusammen, um die Interaktivität des Avatars zu entwickeln und seine Reaktionsfähigkeit zu verbessern.

NPCs nutzen bis zu vier KI-Modelle, um zu hören, zu verarbeiten, Dialoge zu generieren und zu reagieren.

Zuerst wird die Stimme des Spielers übertragen bei NVIDIA RivaEine Technologie, die vollständig anpassbare Konversations-KI-Pipelines in Echtzeit aufbaut und Chatbots durch GPU-beschleunigte mehrsprachige Sprach- und Übersetzungs-Microservices in ausdrucksstarke Assistenten verwandelt.

Mit ACE verarbeitet die automatische Spracherkennung (ASR) von Riva das Gesagte und nutzt KI, um eine hochpräzise Transkription in Echtzeit bereitzustellen. Entdecken Sie a Demonstration der Konvertierung von Sprache in Text in einem Dutzend Sprachen, produziert von Riva.

Die Transkription wird dann in ein LLM übertragen – etwa Googles Gemma, Metas Llama 2 oder Mistral – und nutzt die neuronale maschinelle Übersetzung von Riva, um eine Textantwort in natürlicher Sprache zu generieren. Anschließend generiert die Text-to-Speech-Funktion von Riva eine Audioantwort.

Endlich, NVIDIA Audio2Face (A2F) erzeugt Gesichtsausdrücke, die in vielen Sprachen mit Dialogen synchronisiert werden können. Dank dieses Microservices können digitale Avatare dynamische und realistische Emotionen darstellen, live übertragen oder in der Nachbearbeitung integriert werden.

Das KI-Netzwerk animiert automatisch Gesichts-, Augen-, Mund-, Zungen- und Kopfbewegungen basierend auf dem ausgewählten Emotionsbereich und Intensitätsniveau. Und A2F kann Emotionen automatisch direkt aus einem Audioclip ableiten.

Jeder Schritt erfolgt in Echtzeit, um den flüssigen Dialog zwischen Spieler und Charakter sicherzustellen. Die Tools sind anpassbar und ermöglichen es Entwicklern, die Arten von Charakteren zu erstellen, die sie für eine fesselnde Geschichte oder den Aufbau einer Welt benötigen.

Geboren zum Rollen

Auf der GDC und GTC präsentierten Entwickler und Plattformpartner Demos, die NVIDIA ACE-Mikroservices nutzen, von interaktiven NPCs im Spiel bis hin zu leistungsstarken digitalen Krankenschwestern.

Ubisoft erforscht neue Arten interaktiver Spiele mit dynamischen NPCs. NEO-NPCs aus dem neuesten Forschungs- und Entwicklungsprojekt sind so konzipiert, dass sie in Echtzeit mit Spielern, ihrer Umgebung und anderen Charakteren interagieren und so neue Möglichkeiten für dynamisches und aufkommendes Geschichtenerzählen eröffnen.

Die Fähigkeiten dieser NEO-NPCs wurden durch Demonstrationen demonstriert, die sich jeweils auf unterschiedliche Aspekte des NPC-Verhaltens konzentrierten, darunter das Bewusstsein für Umgebung und Kontext, Echtzeitreaktionen und -animationen, Gesprächsgedächtnis, Zusammenarbeit und strategische Entscheidungsfindung. Diese Demonstrationen verdeutlichten das Potenzial der Technologie, die Grenzen des Spieldesigns und der Immersion zu erweitern.

Mithilfe der KI-Technologie von Inworld hat das Erzählteam von Ubisoft zwei NEO-NPCs erschaffen, Bloom und Iron, jeder mit seiner eigenen Geschichte, Wissensbasis und einem einzigartigen Gesprächsstil. Die Technologie von Inworld versorgte NEO-NPCs außerdem mit intrinsischem Wissen über ihre Umgebung sowie interaktiven Antworten, die durch das LLM von Inworld unterstützt wurden. NVIDIA A2F stellte Gesichtsanimationen und Lippensynchronisation für beide NPCs in Echtzeit bereit.

Inworld und NVIDIA sorgten mit einer neuen Tech-Demo namens „Covert Protocol“ für Aufsehen bei der GDC und stellten NVIDIA ACE-Technologien und die Inworld Engine vor. In dieser Demo steuerten die Spieler einen Privatdetektiv, der Ziele basierend auf den Ergebnissen von Gesprächen mit NPCs vor Ort erfüllte. Covert Protocol erschließt die Mechanismen sozialer Simulationsspiele mit KI-gestützten digitalen Charakteren, die wichtige Informationen übermitteln, Herausforderungen darstellen und wichtige narrative Entwicklungen vorantreiben. Dieses erhöhte Maß an KI-gesteuerter Interaktivität und Spieleraktion sollte neue Möglichkeiten für ein neues, spielerspezifisches Gameplay eröffnen.

Covert Protocol basiert auf der Unreal Engine 5 und nutzt die Inworld Engine und NVIDIA ACE, einschließlich NVIDIA Riva ASR und A2F, um die Sprach- und Animationspipelines von Inworld zu erweitern.

In der neuesten Version der Tech-Demo NVIDIA Kairos Riva ASR und A2F wurden in Zusammenarbeit mit Convai entwickelt und auf der CES vorgestellt und wurden verwendet, um die NPC-Interaktivität deutlich zu verbessern. Das neue Framework von Convai ermöglichte es NPCs, sich miteinander zu unterhalten, und vermittelte ihnen ein Bewusstsein für Gegenstände, sodass sie Gegenstände abholen und an gewünschte Orte liefern konnten. Darüber hinaus haben NPCs die Fähigkeit erlangt, Spieler zu Zielen zu führen und Welten zu durchqueren.

Digitale Charaktere in der realen Welt

Die zur Erstellung von NPCs verwendete Technologie wird auch zur Animation von Avataren und digitalen Menschen verwendet. Über das Gaming hinaus erstreckt sich die aufgabenspezifische generative KI auf das Gesundheitswesen, den Kundenservice und viele andere Bereiche.

NVIDIA hat bei GTC mit Hippocratic AI zusammengearbeitet, um seine Lösung für Gesundheitspersonal zu erweitern und das Potenzial eines Avatars für Gesundheitspersonal mit generativer KI zu demonstrieren. Weitere Arbeiten sind im Gange, um eine Inferenzplattform mit extrem geringer Latenz für Echtzeit-Anwendungsfälle zu entwickeln.

„Unsere digitalen Assistenten versorgen Patienten auf der ganzen Welt mit nützlichen, zeitnahen und genauen Informationen“, sagte Munjal Shah, Mitbegründer und CEO von Hippocratic AI. „NVIDIA ACE-Technologien erwecken sie mit modernster Grafik und realistischen Animationen zum Leben, die dazu beitragen, besser mit den Patienten in Kontakt zu treten.“

Die internen Tests der ersten KI-Gesundheitshelfer von Hippocratic konzentrieren sich auf chronisches Pflegemanagement, Wellness-Coaching, Gesundheitsrisikobewertung, soziale Determinanten von Gesundheitsumfragen, präoperatives Bewusstsein und Nachsorge nach der Entlassung aus dem Krankenhaus.

UneeQ ist eine autonome digitale menschliche Plattform, die sich auf KI-gestützte Avatare für den Kundenservice und interaktive Anwendungen konzentriert. UneeQ hat den NVIDIA A2F-Mikrodienst in seine Plattform integriert und ihn mit seiner synthetischen Animationstechnologie Synanim ML kombiniert, um äußerst realistische Avatare zu erstellen und so das Kundenerlebnis und die Kundenbindung zu verbessern.

„UneeQ kombiniert NVIDIA-Animations-KI mit unserer eigenen synthetischen Animationstechnologie Synanim ML, um digitale menschliche Interaktionen in Echtzeit bereitzustellen, die auf Emotionen reagieren und dynamische Erlebnisse liefern, die auf Konversations-KI basieren“, sagte Danny Tomsett, Gründer und CEO von UneeQ.

KI in Spielen

ACE ist eine von mehreren KI-Technologien von NVIDIA, die Gaming auf die nächste Stufe heben.

• DER NVIDIA DLSS ist eine revolutionäre Grafiktechnologie, die KI nutzt, um die Bilder pro Sekunde zu erhöhen und die Bildqualität auf GeForce RTX-GPUs zu verbessern.
• NVIDIA RTX-Remix ermöglicht Moddern die einfache Erfassung von Spielressourcen, die automatische Verbesserung von Materialien mit generativen KI-Tools und die schnelle Erstellung beeindruckender RTX-Remaster mit vollständigem Raytracing und DLSS.
• NVIDIA Freestyle, zugänglich über das neue NVIDIA Beta-Appermöglicht es Benutzern, die visuelle Ästhetik von über 1.200 Spielen durch Echtzeit-Nachbearbeitungsfilter mit Funktionen wie RTX HDR, RTX Dynamic Vibrance und mehr anzupassen.
• Die App NVIDIA-Übertragung Verwandelt jeden Raum in ein Heimstudio und stattet den Livestream mit KI-gestützten Sprach- und Videotools aus, darunter Rausch- und Echounterdrückung, virtueller Hintergrund und KI-Greenscreen, Auto-Frame, Video-Rauschunterdrückung und Augenkontakt.