In den nächsten zwei Jahrzehnten wird der Markt für humanoide Roboter voraussichtlich 38 Mrd. USD erreichen. Um dieser hohen Nachfrage, insbesondere in der Industrie- und Fertigungsbranche, gerecht zu werden, veröffentlicht NVIDIA eine Sammlung von Roboter-Foundation-Modellen, -Datenpipelines und -Simulations-Frameworks, um die Entwicklung von humanoiden Robotern der nächsten Generation zu beschleunigen.
Der NVIDIA Isaac GR00T Blueprint für die Generierung synthetischer Bewegungen wurde heute von NVIDIA Gründer und CEO Jensen Huang auf der CES angekündigt. Er soll Entwicklern dabei helfen, exponentiell große synthetische Bewegungsdaten zu generieren, um ihre Humanoiden mit Imitation Learning zu trainieren.
Imitation Learning ist eine Untergruppe des Roboterlernens. Es ermöglicht Humanoiden, neue Fähigkeiten zu erwerben, indem sie menschliche Demonstrationen von Experten beobachten und nachahmen. Das Erfassen dieser umfangreichen, hochwertigen Datenmengen in der realen Welt ist mühsam, zeitaufwändig und oft unerschwinglich. Die Implementierung des Isaac GR00T Blueprints für die Generierung synthetischer Bewegungen ermöglicht es Entwicklern, exponentiell große synthetische Datenmengten aus nur einer kleinen Anzahl von menschlichen Demonstrationen zu generieren.
Beginnend mit dem GR00T-Teleop-Workflow können Benutzer die Apple Vision Pro nutzen, um menschliche Aktionen in einem digitalen Zwilling zu erfassen. Diese menschlichen Aktionen werden von einem Roboter in der Simulation nachgeahmt und zur Verwendung als Ground Truth aufgezeichnet.
Der GR00T-Mimic-Workflow multipliziert dann die erfasste menschliche Demonstration zu einer größeren Datenmenge synthetischer Bewegungen. Schließlich erweitert der GR00T-Gen-Workflow, der auf den Plattformen NVIDIA Omniverse und NVIDIA Cosmos basiert, diese Datenmenge durch Domänenrandomisierung und 3D-Upscaling exponentiell.
Die Datenmenge kann dann als Eingabe für die Roboterrichtlinie verwendet werden, die Robotern beibringt, wie sie sich in NVIDIA Isaac Lab, einem Open-Source- und modularen Framework für das Roboterlernen, effektiv und sicher in ihrer Umgebung bewegen und mit ihr interagieren können.
World-Foundation-Modelle verkleinern die Lücke zwischen Simulation und Realität
NVIDIA kündigte zudem Cosmos auf der CES an, eine Plattform mit einer Serie offener, vorab trainierter World-Foundation-Modelle, die speziell für die Generierung von physikbasierten Videos und Umgebungszuständen für die Entwicklung physischer KI entwickelt wurden. Sie umfasst autoregressive und Diffusionsmodelle in verschiedenen Größen und Eingabe-Datenformaten. Die Modelle wurden mit 18 Billiarden Token trainiert, darunter 2 Millionen Stunden autonomes Fahren, Robotik, Drohnenaufnahmen und synthetische Daten.
Cosmos hilft nicht nur bei der Generierung großer Datenmengen, sondern kann auch die Lücke zwischen Simulation und Realität verringern, indem Bilder von 3D zur Realität hochskaliert werden. Die Kombination von Omniverse – einer Entwicklerplattform für Anwendungsprogrammierschnittstellen und Microservices für die Erstellung von 3D-Anwendungen und -Diensten – mit Cosmos ist von entscheidender Bedeutung, da somit potenzielle Halluzinationen, die üblicherweise mit Weltmodellen assoziiert werden, minimiert werden, indem sie durch ihre hoch steuerbaren und physikalisch genauen Simulationen entscheidende Sicherheitsmaßnahmen bietet.
Ein expandierendes Ökosystem
NVIDIA Isaac GR00T, Omniverse und Cosmos sorgen gemeinsam dafür, dass physische KI und humanoide Innovationen einen riesigen Sprung nach vorne machen können. Große Roboterunternehmen haben damit begonnen, Isaac GR00T einzuführen und Ergebnisse damit zu demonstrieren, darunter Boston Dynamics und Figure.
Hersteller von Humanoiden-Software, Hardware und Robotern können sich für den frühen Zugang zum Entwicklerprogramm für humanoide Roboter von NVIDIA bewerben.
Sehen Sie sich den Eröffnungsvortrag von NVIDIA Gründer und CEO Jensen Huang auf der CES an und bleiben Sie auf dem Laufenden, indem Sie den Newsletter abonnieren und NVIDIA Robotics auf LinkedIn, Instagram, X und Facebook folgen.
Siehe Hinweis zu Software-Produktinformationen.