Hinweis der Redaktion: Dieser Beitrag ist Teil der Serie „Into the Omniverse“, die sich damit befasst, wie Entwickler, 3D-Anwender und Unternehmen ihre Workflows mit den neuesten Entwicklungen in OpenUSD und NVIDIA Omniverse transformieren können.
Open Source ist für die Förderung von Innovationen in den Bereichen Robotik und Autonomie unverzichtbar geworden. Durch die Bereitstellung von Zugang zu kritischer Infrastruktur – von Simulationsframeworks bis hin zu KI-Modellen – ermöglicht NVIDIA eine kollaborative Entwicklung, die den Weg zu sichereren und leistungsfähigeren autonomen Systemen beschleunigt.
Auf der CES im Januar stellte NVIDIA eine neue Suite offener physischer KI-Modelle und Frameworks vor, die die Entwicklung von Humanoiden, autonomen Fahrzeugen und anderen physischen KI-Ausführungsformen zu beschleunigen. Diese Tools umfassen den gesamten Robotik-Entwicklungslebenszyklus – von der hochpräzisen Weltsimulation und der Generierung synthetischer Daten bis hin zur Cloud-nativen Orchestrierung und Edge-Bereitstellung – und bieten Entwicklern ein modulares Toolkit zur Entwicklung autonomer Systeme, die in der realen Welt logisch denken, lernen und handeln können.
OpenUSD bietet das gemeinsame Framework, das die gemeinsame Nutzung von 3D-Daten zwischen diesen physischen KI-Tools standardisiert. Dadurch können Entwickler präzise digitale Zwillinge erstellen und diese nahtlos von der Simulation bis zur Bereitstellung wiederverwenden. NVIDIA Omniverse Bibliotheken, die auf OpenUSD basieren, dienen als Quelle für Ground-Truth-Simulationen, die den gesamten Stack versorgen.
Vom Labor auf die Messe
Auf der CES 2026 holten Entwickler den physikalischen KI-Stack von NVIDIA aus dem Labor und präsentierten ihn auf der Messe: vom schweren Gerät und Fabrikassistenten bis hin zu Sozial- und Servicerobotern.
Der Stack stützt sich auf NVIDIA Cosmos-Weltmodelle, NVIDIA Isaac-Technologien, einschließlich des neuen Open-Source-Frameworks Isaac Lab-Arena zur Richtlinienbewertung, sowie das offene Portfolio NVIDIA Alpamayo mit KI-Modellen, Simulationsframeworks und physikalischen KI-Datensätzen für autonome Fahrzeuge, und dem NVIDIA OSMO-Framework, um das Training über Rechenumgebungen hinweg zu koordinieren.
Der Cat AI Assistant von Caterpillar, der auf offenen NVIDIA Nemotron Modellen für agentische KI basiert und mit dem NVIDIA Jetson Thor Edge-KI-Modul arbeitet, ermöglicht eine natürliche Sprachinteraktion direkt in der Kabine von Schwerlastfahrzeugen. Bediener können Fragen im Stil von „Hey Cat“ stellen und erhalten schrittweise Anleitungen sowie die Möglichkeit, Sicherheitsparameter per Sprachbefehl anzupassen.
Hinter den Kulissen nutzt Caterpillar Omniverse-Bibliotheken, um digitale Zwillinge von Fabriken und Einsatzorten zu erstellen, mit denen Layouts, Verkehrsmuster und Arbeitsabläufe mit mehreren Maschinen simuliert werden können. Diese Erkenntnisse werden in Maschinen und Flotten zurückgespielt, bevor Änderungen an Einsatzorten umgesetzt werden, was KI-gestützte Betriebsabläufe sicherer und effizienter macht.
LEM Surgical präsentierte das Dynamis Robotic Surgical System, das von der FDA zugelassen ist und routinemäßig in der klinischen Praxis für Wirbelsäuleneingriffe eingesetzt wird. Das System der nächsten Generation arbeitet mit NVIDIA Jetson AGX Thor für Rechenaufgaben, NVIDIA Holoscan für die Echtzeit-Sensorverarbeitung und NVIDIA Isaac for Healthcare für das Training seiner autonomen Arme.
LEM Surgical nutzt außerdem NVIDIA Cosmos Transfer – ein offenes, vollständig anpassbares Weltmodell, das die physikalisch basierte Generierung synthetischer Daten ermöglicht –, um synthetische Trainingsdaten zu generieren, sowie das NVIDIA Isaac Sim-Framework für die Simulation digitaler Zwillinge. Das Dynamis-System wurde als humanoider Chirurgieroboter mit zwei Armen für die Knochenchirurgie entwickelt. Er ahmt die Fertigkeiten eines menschlichen Chirurgen nach und ermöglicht komplexe Wirbelsäuleneingriffe mit erhöhter Präzision. So wird die körperliche Belastung für Chirurgen und Operationsassistenten verringert.
NEURA Robotics entwickelt kognitive Roboter vollständig auf dem NVIDIA-Stack und nutzt Isaac Sim und Isaac Lab für das Training von humanoiden 4NE1 und MiPA-Servicerobotern in digitalen Zwillingen basierend auf OpenUSD vor dem Einsatz in privaten und professionellen Einsatzumgebungen. Das Unternehmen nutzte NVIDIA Isaac GR00T-Mimic , um das Isaac GR00T Foundation Model für seine Plattformen nachzutrainieren.
Darüber hinaus arbeitet NEURA Robotics mit SAP und NVIDIA zusammen, um die Joule-Agenten von SAP in seine Roboter zu integrieren. Dabei wird der Mega NVIDIA Omniverse Blueprint verwendet, um das Verhalten der Roboter in komplexen, realistischen Betriebsszenarien zu simulieren und zu verfeinern, bevor diese Agenten und Verhaltensweisen im Neuraverse-Ökosystem des Unternehmens sowie in realen Flotten eingesetzt werden.
AgiBot nutzt NVIDIA Cosmos Predict 2 als Grundgerüst für die Weltmodellierung seiner Genie Envisioner (GE-Sim)-Plattform. Dadurch kann die Plattform handlungsorientierte Videos generieren, die auf starken visuellen und physikalischen Vorbedingungen basieren. Die Kombination dieser Daten mit Isaac Sim und Isaac Lab sowie das Nachtrainieren mit den eigenen Daten von AgiBot ermöglicht es, Richtlinien, die in Genie Envisioner entwickelt wurden, zuverlässiger auf Genie2-Humanoide und kompakte, mit Jetson Thor betriebene Tabletop-Roboter zu übertragen.
Intbot nutzt das offene Modell NVIDIA Cosmos Reason 2, um seinen sozialen Robotern einen „sechsten Sinn“ für die reale Welt zu geben. Dabei werden die Schlussfolgerungsfähigkeiten des Modells genutzt, um einfache soziale Signale und Sicherheitskontexte zu erkennen, die über einfache skriptgesteuerte Aufgaben hinausgehen. In seinem Cosmos-Kochbuch-Rezept zeigt Intbot, wie logische Schlussfolgerungs-Sprachmodelle Robotern dabei helfen können, zu entscheiden, wann sie sprechen und wie sie natürlicher mit Menschen interagieren können.
Wie Robotikentwickler neue Toolkits und Frameworks nutzen
NVIDIA hat kürzlich Agile vorgestellt, eine auf Isaac Lab basierende Engine für die humanoide Lokomanipulation, die einen vollständigen, simulations- und realitätsgeprüften Workflow für das Training robuster Reinforcement-Learning-Strategien auf Plattformen wie Unitree G1 und LimX Dynamics TRON umfasst.
Robotikentwickler können die integrierten Aufgabenkonfigurationen von Agile, mathematische Modelle des Markov-Entscheidungsprozesses für die Entscheidungsfindung, Trainingsdienstprogramme und deterministische Evaluierungswerkzeuge zur Feinabstimmung von Richtlinien nutzen. Entwickler können diese Richtlinien dann im Isaac Lab testen und Lokomotion und Ganzkörperverhalten zuverlässiger und effizienter auf reale Roboter übertragen.
Hugging Face und NVIDIA bündeln ihre Robotik-Communities durch die Integration von NVIDIA Isaac GR00T N-Modellen und Simulationsframeworks im LeRobot Ökosystem. Entwickler können jetzt innerhalb von LeRobot direkt auf Isaac GR00T N1.6-Modelle und Isaac Lab-Arena zugreifen, um das Training und die Evaluierung von Richtlinien zu optimieren.
Darüber hinaus ist der Open-Source-Humanoid Reachy 2 von Hugging Face nun vollständig kompatibel mit NVIDIA Jetson Thor, was den direkten Einsatz fortschrittlicher Vision-Language-Action-Modelle (VLA) für eine robuste Leistung in der Praxis ermöglicht.
ROBOTIS, einer der führenden Entwickler von intelligenten Servomotoren, industriellen Aktuatoren, Manipulatoren, Open-Source-Humanoid-Plattformen und Roboter-Bausätzen für Bildungszwecke, hat mithilfe von NVIDIA Isaac-Technologien eine Open-Source-Pipeline entwickelt, die Simulationen in die Realität umsetzt. Der Workflow beginnt mit der Generierung hochpräziser Daten in Isaac Sim, skaliert Trainingssätze mithilfe von GR00T-Mimic zur Erweiterung und optimiert anschließend ein VLA-basiertes Isaac GR00T N-Modell, das direkt auf der Hardware bereitgestellt wird. Dies beschleunigt den Übergang von der Simulation zu robusten Aufgaben in der realen Welt.
Bitte anschließen
Erfahren Sie in den folgenden Ressourcen mehr über OpenUSD und die Robotikentwicklung:
- Erfahren Sie in diesem Technik-Blog, wie sich allgemeine humanoide Fähigkeiten mit NVIDIA Isaac und GR00T N1.6 entwickeln lassen.
- Erfahren Sie in diesem Technik-Blog, wie sich Steuerungsregeln für Roboter in der Simulation mit NVIDIA Isaac Lab – Arena evaluieren lassen.
- Erfahren Sie in diesem zweiteiligen Video-Tutorial, wie sich Isaac GR00T nachtrainieren lässt.
- Sehen Sie sich den CES-Spezialvortrag von NVIDIA-Gründer und -CEO Jensen Huang an.
- Verbessern Sie Ihre Fähigkeiten für die Robotikentwicklung mit dem selbstbestimmten Lernpfad für Robotik.
- Machen Sie mit beim Cosmos Cookoff, einem Praxiswettbewerb im Bereich physische KI, bei dem Entwickler Cosmos Reason einsetzen, um Robotik, autonome Systeme und Vision-KI-Workflows zu steuern.