Roboter transportieren Waren in Lagern, verpacken Lebensmittel und helfen bei der Fahrzeugmontage, was eine verbesserte Automatisierung von Anwendungen in verschiedensten Branchen ermöglicht.
Ihr Erfolg beruht auf zwei Komponenten: physischer KI und Robotiksimulation.
Physische KI steht für KI-Modelle, die die physische Welt verstehen und mit ihr interagieren können. Dabei stellt physische KI die nächste Welle autonomer Maschinen und Roboter dar, wie selbstfahrende Autos, industrielle Manipulatoren, mobile Roboter, Humanoide und roboterbetriebene Infrastruktur wie Fabriken oder Lager.
Bei der virtuellen Inbetriebnahme von Robotern in digitalen Welten werden Roboter zunächst mit Robotersimulationssoftware trainiert, bevor sie für reale Anwendungsfälle bereitgestellt werden.
Robotiksimulation in Kurzform
Ein fortschrittlicher Robotiksimulator erleichtert das Roboterlernen und Testen virtueller Roboter, ohne dass der physische Roboter benötigt wird. Durch die Anwendung von Prinzipien aus der Physik und die Replikation realer Bedingungen generieren solche Simulatoren synthetische Datenmengen, um Modelle für maschinelles Lernen zu trainieren und in physischen Robotern bereitzustellen.
Simulationen werden für das anfängliche Training von KI-Modellen und dann zur Validierung des gesamten Software-Stacks verwendet, wodurch der Bedarf an physischen Robotern beim Testen minimiert wird. NVIDIA Isaac Sim, eine Referenzanwendung, die auf der NVIDIA Omniverse-Plattform basiert, erlaubt präzise Visualisierungen und unterstützt Workflows auf Grundlage von Universal Scene Description (OpenUSD)
zur fortschrittlichen Simulation und Validierung von Robotern. Das Drei-Computer-Framework von NVIDIA erleichtert die Robotersimulation
Zum Trainieren und Bereitstellen von Robotertechnik werden drei Computer benötigt.
- Ein Supercomputer zum Trainieren und Feinabstimmen leistungsstarker Foundation- und generativer KI-Modelle.
- Eine Entwicklungsplattform für Robotiksimulation und Tests.
- Ein integrierter Laufzeit-Computer zur Bereitstellung trainierter Modelle in physischen Robotern.
Erst nach einem angemessenen Training in simulierten Umgebungen können physische Roboter in Betrieb genommen werden.
Die NVIDIA DGX-Plattform kann als erstes Rechensystem zum Trainieren von Modellen dienen.
NVIDIA Omniverse, das auf NVIDIA OVX-Servern ausgeführt wird, fungiert als zweites Rechensystem und dient als Entwicklungsplattform und Simulationsumgebung zum Testen, Optimieren und Debuggen von physischer KI.
Die Robotik-Computer NVIDIA Jetson Thor wurden für Onboard-Computing entwickelt und dienen als Laufzeit-Computer.
Wer nutzt Robotiksimulation?
Robotiktechnik und Robotersimulationen sorgen heute in allen Anwendungsbereichen für eine massive Verbesserung der Betriebsabläufe.
Delta Electronics, ein weltweit führender Anbieter von Strom- und Wärmetechnik, nutzt Simulationen, um seine optischen Inspektionsalgorithmen für die Erkennung von Produktfehlern in Produktionslinien zu testen.
Das Deep-Tech-Startup Wandelbots entwickelt durch Integration von Isaac Sim in seine Anwendung einen eigenen Simulator, der es Endbenutzern erlaubt, robotische Arbeitszellen in Simulationen zu programmieren und Modelle nahtlos auf einen echten Roboter zu übertragen.
Boston Dynamics unterstützt Forscher und Entwickler mit seinem Reinforcement Learning Researcher Kit.
Das Robotikunternehmen Fourier simuliert reale Bedingungen, um humanoide Roboter mit der Präzision und Agilität zu trainieren, die für eine enge Zusammenarbeit zwischen Mensch und Roboter erforderlich sind.
Mithilfe von NVIDIA Isaac Sim hat das Robotikunternehmen Galbot DexGraspNet entwickelt, eine umfassende simulierte Datenmenge für geschickte Robotergriffe mit über 1 Million ShadowHand-Griffen auf über 5.300 Objekte. Die Datenmenge kann auf jede geschickte Roboterhand angewendet werden, um komplexe Aufgaben zu erledigen, die Feinmotorik erfordern.
Verwendung von Robotiksimulation für die Planung und Steuerung von Ergebnissen
In komplexen und dynamischen industriellen Umgebungen entwickelt sich Robotiksimulation durch die Integration digitaler Zwillinge weiter, die Planung, Kontrolle und Lernergebnisse verbessern.
Entwickler importieren CAD-Modelle in einen Robotik-Simulator, um virtuelle Szenen zu erstellen und Algorithmen für die Entwicklung des Betriebssystems für Roboter bereitzustellen und die Planung von Aufgaben und Bewegungen zu unterstützen. Während herkömmliche Methoden die Vorgabe von Steuersignalen beinhalten, ermöglicht es die Umstellung auf maschinelles Lernen Robotern, durch Imitation und Verstärkungslernen Verhaltensweisen zu erlernen. Dabei kommen simulierte Sensorsignale zum Einsatz.
Diese Entwicklung setzt sich mit digitalen Zwillingen in komplexen Anlagen wie Montagelinien fort, wo Entwickler KI komplett in Simulationen sowie in Echtzeit testen und verfeinern können. Dieser Ansatz spart Zeit und Geld bei der Softwareentwicklung und reduziert durch das Antizipieren von Problemen Ausfallzeiten. Beispielsweise können Entwickler mit mit NVIDIA Omniverse, Metropolis und cuOpt digitale Zwillinge verwenden, um physische KI in Simulationen zu entwickeln, zu testen und zu verfeinern, bevor sie in einer industriellen Infrastruktur bereitgestellt wird.
Durchbruch bei hochgenauen physikbasierten Simulationen
Hochgenaue physikbasierte Simulationen haben industrielle Robotik durch realistische Experimente in virtuellen Umgebungen deutlich vorangetrieben.
NVIDIA PhysX, eine Lösung, die in Omniverse und Isaac Sim integriert ist, ermöglicht es Robotikentwicklern, Fein- und Grob-Motorikfähigkeiten für Robotermanipulatoren, Dynamik von starren und weichen Körpern, Fahrzeugdynamik und andere kritische Funktionen zu entwickeln, die sicherstellen, dass der Roboter die Gesetze der Physik beachtet. Das umfasst eine präzise Kontrolle über Aktoren und die Modellierung von Kinematik, die für präzise Roboterbewegungen unerlässlich sind.
Um die Lücke zwischen Simulation und realer Welt zu schließen, bietet Isaac Lab ein hochgenaues Open-Source-Framework für Verstärkungs- und Imitationslernen, das eine nahtlose Richtlinienübertragung aus simulierten Umgebungen auf physische Roboter ermöglicht. Mit GPU-Parallelisierung beschleunigt Isaac Lab das Training und verbessert die Leistung, wodurch komplexe Aufgaben für Industrieroboter einfacher und sicherer werden.
Um mehr über die Erstellung einer Richtlinie zum Verstärkungslernen für Fortbewegung mit Isaac Sim und Isaac Lab zu erfahren, lesen Sie diesen Entwicklerblog.
Das Trainieren von kollisionsfreien Bewegungen für autonome
Industrieroboter erfolgt häufig in bestimmten Umgebungen, wie Fabriken oder Fulfillment-Centern. Dort helfen Simulationen, Herausforderungen im Zusammenhang mit verschiedenen Robotertypen und chaotischen Umgebungen zu lösen. Ein entscheidender Aspekt solcher Simulationen ist die Generierung von kollisionsfreien Bewegungen in unbekannten, überfüllten Umgebungen.
Herkömmliche Ansätze zur Bewegungsplanung, die solche Herausforderungen angehen, sind in unbekannten oder dynamischen Umgebungen nicht immer erfolgreich. SLAM (Simultaneous Localization And Mapping) kann zur Erstellung von 3D-Karten mit Kamerabildern aus verschiedenen Perspektiven dienen. Die Karten müssen jedoch überarbeitet werden, wenn sich Objekte bewegen und Umgebungen verändern.
Das Forschungsteam von NVIDIA Robotics und die University of Washington haben Motion Policy Networks (MπNets) entwickelt, eine neuronale End-to-End-Richtlinie, die mit einem einzigen Datenstrom einer festen Kamera kollisionsfreie Bewegungen in Echtzeit erzeugt. MπNets wurde mit über 3 Millionen Problemen bei der Bewegungsplanung und 700 Millionen simulierten Punkt-Clouds trainiert, sodass MπNets auch unbekannte reale Umgebungen effektiv navigieren kann.
Während das MπNets-Modell für Bahnkurven direktes Lernen nutzt, entwickelte das Team außerdem ein Punkt-Cloud-basiertes Kollisionsmodell namens CabiNet, das mit über 650.000 prozedural generierten simulierten Szenen trainiert wurde.
Mit dem CabiNet-Modell können Entwickler universelle Pick-and-Place-Richtlinien für unbekannte Objekte über flache Oberflächen hinaus bereitstellen. Durch das Trainieren mit einer großen synthetischen Datenmenge konnte das Modell Szenen außerhalb der Verteilung in einer realen Küchenumgebung generalisieren, ohne echte Daten zu benötigen.
Wie Entwickler mit dem Entwickeln von Robotik-Simulatoren beginnen können
Legen Sie los mit technischen Ressourcen, Referenzanwendungen und anderen Lösungen für die Entwicklung physisch präziser Simulations-Pipelines, indem Sie die Seite von NVIDIA Robotics mit Anwendungsbeispielen für Simulationen aufrufen.
Roboter-Entwickler können NVIDIA Isaac Sim nutzen, das verschiedene Verfahren zum Trainieren von Robotern unterstützt:
- Generierung synthetischer Daten für das Trainieren von Wahrnehmungs-KI-Modellen
- Software-in-the-Loop-Tests für den gesamten Roboter-Stack
- Trainieren von Roboterrichtlinien mit Isaac Lab
Entwickler können außerdem ROS 2 mit Isaac Sim kombinieren, um ihre Robotersysteme zu trainieren, zu simulieren und zu validieren. Der Workflow von Isaac Sim zu ROS 2 ähnelt den Workflows, die bei anderen Robotersimulatoren wie Gazebo ausgeführt werden. Zunächst wird ein Robotermodell in eine vordefinierte Isaac-Sim-Umgebung eingebunden. Dann werden dem Roboter Sensoren hinzugefügt und die relevanten Komponenten mit dem ROS-2-Action-Graph verbunden. Anschließend wird der Roboter simuliert, indem er über ROS-2-Pakete gesteuert wird.
Bleiben Sie auf dem Laufenden, indem Sie unseren Newsletter abonnieren und NVIDIA Robotics bei LinkedIn, Instagram, X und Facebook folgen.