Open-Source-KI hat gezeigt, wie schnell Entwickler innovieren können, wenn Modelle, Daten und Tools gemeinsam genutzt werden. Die Robotik hat die gleiche Chance, aber Fortschritte in der Entwicklung physischer KI können immer noch durch kostspielige und fragmentierte Ressourcen eingeschränkt werden – von großen Datensätzen und Foundation-Modellen für Roboter bis hin zu Simulations-, Rechen- und Validierungstools.
NVIDIA und Hugging Face arbeiten zusammen, um das offene NVIDIA Isaac GR00T 1.7 Reasoning-Vision-Language-Action-Modell (VLA) für humanoide Roboter und das NVIDIA Isaac Teleop-Framework in LeRobot – die Open-Source-Bibliothek von Hugging Face für Robotik – einzuführen, wobei NVIDIA Cosmos 3, ein Spitzenmodell für physische KI, in Kürze geplant ist. Zusammen bieten diese Integrationen Entwicklern einen zugänglicheren und standardisierten Weg für die End-to-End-Roboterentwicklung und fördern gleichzeitig Innovationen und Zusammenarbeit in der offenen Robotik-Community.
„Open Source ist die Art und Weise, wie ein Fachgebiet fortschrittliche Forschung in etwas verwandelt, das Menschen studieren, anpassen und aufbauen können“, erklärte Thomas Wolf, Mitbegründer und Chief Science Officer bei Hugging Face. „Mit NVIDIA Isaac GR00T 1.7 und Isaac TeleOp in LeRobot können Robotikentwickler heute gemeinsame Modelle, Daten und Workflows nutzen, um Roboter offen zu trainieren und zu bewerten. Und da NVIDIA Cosmos 3 als Nächstes geplant ist, wird die Community eine Möglichkeit haben, wegweisende Weltmodelle in denselben kollaborativen Kreislauf einzubinden.“
Eine offene Pipeline für Foundation-Modelle von Robotern
Hugging Face LeRobot ist eine Open-Source-Robotikbibliothek für das Trainieren, Ausführen und Teilen von Roboterdatensätzen, Modellen, Richtlinien und Workflows. Die fortgesetzte Partnerschaft von NVIDIA mit Hugging Face verbindet die 3 Millionen Robotikentwickler von NVIDIA mit den 16 Millionen KI-Entwicklern von Hugging Face und erweitert den Zugang zu bahnbrechenden Tools für physische KI durch offene Workflows.
Die Integration der physischen KI-Funktionen von NVIDIA in LeRobot bietet Entwicklern eine einheitliche Möglichkeit, Daten zu sammeln und zu standardisieren, Foundation-Modelle für Roboter zu trainieren und zu optimieren, die Leistung zu bewerten und Modelle über offene Workflows bereitzustellen. Zu den Integrationen gehören:
- NVIDIA Isaac Teleop, ein Open-Source-Framework für die Erfassung von Roboterdaten, hilft Entwicklern dabei, hochwertige menschliche Demonstrationen von externen Geräten mit standardisierten, interoperablen Formaten zu erfassen, Datensätze dann zu erweitern und mit der Community zu teilen – alles direkt in LeRobot.
- NVIDIA Isaac GR00T 1.7, das erste offene und kommerziell tragfähige Roboter-Foundation Model, erleichtert das Nachtrainieren und die Bereitstellung von Modellen über LeRobot-Workflows und hilft Entwicklern, GR00T an neue Roboter-Ausführungsformen und -Aufgaben mit Benchmark-Leistung anzupassen.
- NVIDIA Cosmos 3, ein bahnbrechendes Foundation Model für physische KI, das in Kürze zu LeRobot kommt, wird Entwicklern dabei helfen, Robotikdaten zu generieren und zu ergänzen, Szenarien zu simulieren und die Strategieentwicklung zu unterstützen, wenn reale Daten begrenzt oder zu teuer zu erfassen sind.
Diese Integrationen bauen auf einer breiteren Palette von NVIDIA-Ressourcen auf, die bereits mit LeRobot verbunden sind, um den gesamten Robotik-Entwicklungszyklus zu unterstützen. Dazu gehört unter anderem:
- Der größte Open-Source-Datensatz für physische KI, der mehr als 15 Millionen Mal heruntergeladen wurde und mehr als 350.000 reale und simulierte Bewegungsbahnen sowie 57 Millionen Griffvorgänge enthält, um Entwicklern zu helfen, ihre Robotik-Workflows zu starten.
- NVIDIA Isaac Sim– und Isaac Lab-basierte Simulations-Frameworks, um Entwicklern dabei zu helfen, Umgebungen einzurichten, Roboterdaten zu generieren, Richtlinien zu testen und Verhaltensweisen zu validieren, bevor sie zu physischen Robotern übergehen.
- NVIDIA Isaac Lab-Arena in LeRobot Environment Hub, um Entwicklern die schnelle Prototypisierung komplexer Simulationsumgebungen zu ermöglichen, diese in LeRobot EnvHub zu registrieren und sie nahtlos im LeRobot-Ökosystem zu nutzen, um generalistische Steuerungsregeln für Roboter wie GR00T, Pi und SmolVLA zu trainieren und zu bewerten.
- NVIDIA Jetson Thor-Integration mit Reachy 2 von LeRobot, um die Bereitstellung von VLA-Modellen auf humanoiden Open-Source-Robotern zu unterstützen.
Erfahren Sie mehr darüber, wie Sie Isaac Teleop, Isaac GR00T 1.7 und Isaac Lab-Arena mit LeRobot für die End-to-End-Entwicklung von Humanoiden nutzen können und entdecken Sie detaillierte LeRobot-Integrations-Workflows.