In das Omniverse: Wie offene Weltmodelle die Grenzen der physischen KI verschieben

6. August 2026 by

Anmerkung der Redaktion: Dieser Beitrag ist Teil von „Into the Omniverse“, einer Serie, die sich darauf konzentriert, wie Entwickler, 3D-Anwender und Unternehmen ihre Workflows mit den neuesten Fortschritten in OpenUSD und NVIDIA Omniverse transformieren können.

Im Juli hat NVIDIA gemeinsam mit mehr als 200 Unternehmen und Organisationen den offenen Brief „Open Weights and American AI Leadership“ unterzeichnet, in dem argumentiert wird, dass die Führung im Bereich KI nicht an einem einzigen Frontier-Modell gemessen wird, sondern daran, ob ein offenes Ökosystem jeden Sektor erreicht.

Offene Modelle, die jeder herunterladen, prüfen, ändern und auf seiner eigenen Infrastruktur ausführen kann, machen das möglich. Nirgendwo ist das entscheidender als in der physischen KI, wo jede Bereitstellung ein Spezialisierungsproblem ist.

Physische KI muss Konsequenzen verstehen und vorhersagen, nicht nur Erscheinungsbilder. 

Um dies zu ermöglichen, lernen Weltmodelle, wie sich physische Umgebungen verhalten, was als Nächstes passieren kann und welche folgenden Handlungen Sinn ergeben. Sie können physisch geerdete Welt- und Aktionsdaten generieren, zukünftige Zustände simulieren und eine Grundlage bieten, auf die Teams sich für einen Roboter, ein autonomes Fahrzeug oder ein Vision-KI-System spezialisieren können.

Offene Weltmodelle werden bereits genutzt, um Trainingsdaten zu generieren, Richtlinien zu testen und physische KI-Systeme zu spezialisieren. NVIDIA Cosmos 3 vereint diese Funktionen in einer offenen Modellfamilie, die zu führenden Benchmark-Ergebnissen und zur Einführung in den Bereichen Robotik, autonome Fahrzeuge und Vision-KI geführt hat.

Und die NVIDIA Omniverse-Bibliotheken, die Teil des NVIDIA Agent Toolkit sind, bieten vorgefertigte Funktionen für die Erstellung simulationsfähiger Welten, die Teams für physische KI nutzen können, um Systeme vor der Bereitstellung in der realen Welt zu trainieren, zu testen und zu validieren.

Weltmodelle sind die Grundlage der physischen KI

Die Daten hinter der physischen KI sind in dem erforderlichen Maßstab schwierig und teuer zu sammeln. Seltene Ereignisse und Long-Tail-Szenarien können besonders schwierig sein, sicher und wiederholt zu reproduzieren. 

Weltmodelle ermöglichen:

  • Nützlichere Daten, indem wir aus groß angelegten multimodalen Szenarien lernen.

  • vielfältigere Umgebungen, die sich in Wetter, Beleuchtung, Objekten und Bewegungsbahnen unterscheiden.

  • Eine bessere Grundlage, auf der man aufbauen und die man an einen bestimmten Roboter, ein Fahrzeug, eine Sensorkonfiguration, eine Aufgabe oder eine Betriebsumgebung anpassen kann.

 

Ein allgemeines Modell hat den speziellen Roboter, die Sensoren oder die Betriebsumgebung eines Teams nicht gesehen. Um diese Lücke zu schließen, ist der Zugang zu Modellgewichten, eine Lizenz, die die Anpassung ermöglicht, und die für das Nachtrainieren erforderlichen Tools erforderlich.

Die NVIDIA Cosmos World Foundation-Modelle sind unter der OpenMDW-1.1-Lizenz der Linux Foundation verfügbar, sodass Teams die Modelle mit ihren eigenen Daten und Hardware nachtrainieren können. In der Spezialisierung wird Offenheit zu einer praktischen technischen Anforderung.

Das Spezialisieren eines Modells ist nur ein Teil des Workflows. Teams benötigen außerdem Umgebungen, um Daten zu generieren, Simulationen auszuführen und Verhalten zu testen. 

Omniverse-Bibliotheken helfen Entwicklern dabei, simulationsfähige Umgebungen zu erstellen, während OpenUSD das offene Framework für die Zusammenstellung, Wiederverwendung und den Austausch komplexer 3D-Daten über digitale Zwillinge, Simulationen und Workflows zur Generierung synthetischer Daten hinweg bietet. Gemeinsam haben Omniverse und OpenUSD die doppelte Arbeit reduziert, die sich sonst jedes Mal anhäufen kann, wenn sich Assets, Sensorkonfigurationen oder Umgebungsbedingungen ändern.

Cosmos 3: Das Frontier-Modell

NVIDIA Cosmos 3 – ein offenes Omni-Modell für physische KI, das auf einer Mixture-of-Transformator-Architektur basiert – kombiniert visuelles Reasoning, Weltgenerierung und Handlungsvorhersage, sodass Entwickler eine einzige Modellfamilie nutzen können, um Szenen zu verstehen, synthetische Daten zu generieren, zukünftige Zustände zu simulieren und spezialisierte Welt-Aktionsmodelle zu erstellen.

Entwickler können Cosmos 3 als visuelles Sprachmodell, als physikbasierten Weltsimulator, der zukünftige Weltzustände vorhersagt und groß angelegte synthetische Daten generiert, oder als Grundlage für Weltaktionsmodelle nutzen, anstatt ein separates Modell für jede Funktion zusammenstellen und pflegen zu müssen.

Die Familie umfasst Cosmos 3 Super (64B) für die hochpräzise Weltmodellierung, Cosmos 3 Nano (16B) für effizientes Reasoning und Nachtrainieren und Cosmos 3 Edge (4B) für das visuelle Reasoning auf dem Gerät und die Bereitstellung von Roboterrichtlinien. Das Cosmos 3 Edge ist leicht genug, um auf Edge-GPUs ausgeführt zu werden. Es kann auf NVIDIA RTX-GPUs, NVIDIA DGX-Systemen und NVIDIA Jetson, einschließlich Jetson Thor-Plattformen, bereitgestellt werden.

In allen Benchmark-Bewertungen belegt Cosmos 3 den ersten Platz bei Artificial Analysis für die Text-zu-Bild- und Bild-zu-Video-Generierung mit offenen Gewichten, bei PAI-Bench für die Generierung von Welten und in der Image-to-Video-Kategorie von Physics-IQ. Für die Roboter-Policy belegt es den ersten Rang bei RoboLab. Cosmos 3 Super ist außerdem das am höchsten platzierte offene Modell auf VANTAGE-Bench für das Verständnis von Vision.


Neben Cosmos umfasst der physische KI-Stack von NVIDIA Isaac GR00T für Robotik, Alpamayo für autonome Fahrzeuge und Metropolis für visuelle KI. 

Wie Entwickler Cosmos 3 einsetzen

In verschiedenen Branchen setzen Entwickler auf NVIDIA Cosmos für physische KI-Anwendungen: Doosan Robotics, LG Electronics, Samsung Electronics und Skild AI in der Robotik; Li Auto, Xiaomi und Afari in autonomen Fahrzeugen; und Centific, Fogsphere, Linker Vision, Milestone Systems und Yuan für Vision-KI-Agenten, die industrielle KI und Smart-Spaces-Anwendungen unterstützen.

Die NVIDIA Cosmos Coalition erweitert diese Arbeit, indem sie Entwickler von Weltmodellen, KI-Entwickler und Experten für physische KI zusammenbringt, um Modelle, Forschungs- und Evaluierungsmethoden beizutragen. NVIDIA hat die Koalition kürzlich auf Japan ausgeweitet, wo führende Robotik- und Fertigungsunternehmen zusammenarbeiten und offene Weltmodelle für Fabriken, Logistik, Landwirtschaft, Baugewerbe, Gesundheitswesen und Transport entwickeln möchten.

Zusammen etablieren diese Implementierungen und Kooperationen offene Weltmodelle als anpassungsfähige Grundlage für physische KI in den Bereichen Roboter, autonome Fahrzeuge und Vision-KI-Systeme.

Jetzt vernetzen

Erfahren Sie mehr über Weltmodelle, OpenUSD und die Entwicklung physischer KI, indem Sie diese Ressourcen erkunden: