Die Entwicklung autonomer Fahrzeuge (AVs) wird durch drei verschiedene Computer ermöglicht: NVIDIA DGX-Systeme für das Trainieren des KI-basierten Stacks im Rechenzentrum, NVIDIA Omniverse, das auf NVIDIA OVX-Systemen ausgeführt wird, zur Simulation und Generierung synthetischer Daten und der NVIDIA AGX-Computer in Fahrzeugen zur Verarbeitung von Echtzeit-Sensordaten für die Sicherstellung der Sicherheit.
Zusammen ermöglichen diese zweckgebundenen Full-Stack-Systeme kontinuierliche Entwicklungszyklen, um die Verbesserung von Leistung und Sicherheit zu beschleunigen.
Bei der CES hat NVIDIA heute einen neuen Bestandteil angekündigt: NVIDIA Cosmos, eine Plattform, die hochmoderne generative World-Foundation-Modelle (WFMs), fortschrittliche Tokenizer, Guardrails und eine beschleunigte Videoverarbeitungspipeline umfasst, um die Entwicklung von physischen KI-Systemen wie AVs und Robotern voranzutreiben.
Durch Ergänzung der Drei-Computer-Lösung um Cosmos erhalten Entwickler ein Daten-Flywheel, das Tausende von menschlich gefahrenen Kilometern in Milliarden von virtuell gefahrenen Kilometern umwandeln kann, um so die Qualität von Trainingsdaten deutlich zu verbessern.
„Das Flywheel der AV-Datenfabrik besteht aus der Erfassung von Flottendaten, einer präzisen 4D-Rekonstruktion und KI zur Generierung von Szenen und Verkehrsvarianten für das Training und die Closed-Loop-Evaluierung“, sagt Sanja Fidler, Vice President of AI Research bei NVIDIA. „Mit der NVIDIA Omniverse-Plattform sowie Cosmos und unterstützenden KI-Modellen können Entwickler synthetische Fahrszenarien generieren, um Trainingsdaten um mehrere Größenordnungen zu verbessern.“
„Die Entwicklung von physischen KI-Modellen war für Entwickler in der Vergangenheit ressourcenintensiv und kostspielig. Sie erforderte die Erfassung von Datenmengen aus der realen Welt sowie das Filtern, Kuratieren und Vorbereiten von Daten für das Training“, erklärt Norm Marks, Vice President of Automotive bei NVIDIA. „Cosmos beschleunigt diesen Prozess mit generativer KI und erlaubt eine intelligentere, schnellere und präzisere Entwicklung von KI-Modellen für autonome Fahrzeuge und Robotik.“
Führende Unternehmen im Verkehrswesen nutzen Cosmos zur Entwicklung von physischer KI für AVs, zum Beispiel:
- Waabi, ein Unternehmen, das Pionier bei generativer KI für die physische Welt ist, wird Cosmos für die Suche und Kuratierung von Videodaten zur Entwicklung und Simulation von AV-Software einsetzen.
- Wayve, das KI-Foundation-Modelle für autonomes Fahren entwickelt, evaluiert Cosmos als Tool zur Suche nach ungewöhnlichen Fahrszenarien für Sicherheits- und Validierungszwecke.
- Der AV-Toolchain-Anbieter Foretellix wird Cosmos zusammen mit NVIDIA Omniverse Sensor RTX-APIs nutzen, um hochpräzise Testszenarien und Trainingsdaten in großem Umfang zu bewerten und zu generieren.
- Darüber hinaus arbeitet der Ridesharing-Riese Uber mit NVIDIA zusammen, um die autonome Mobilität zu beschleunigen. Umfangreiche Fahrdatenmengen von Uber in Kombination mit den Funktionen der Cosmos-Plattform und NVIDIA DGX Cloud werden AV-Partnern dabei helfen, noch leichter zuverlässige KI-Modelle zu entwickeln.
Verfügbarkeit
Cosmos-WFMs sind jetzt unter einer offenen Modelllizenz bei Hugging Face und im NVIDIA NGC-Katalog verfügbar. Cosmos-Modelle werden in Kürze als vollständig optimierte NVIDIA NIM-Microservices verfügbar sein.
Siehe Hinweis zu Software-Produktinformationen.