Systeme für physische KI verlassen sich auf Weltmodelle, um die physische Umgebung wahrzunehmen, über sie zu schlussfolgern und sie vorherzusagen. Doch die reale Welt ist riesig, unvorhersehbar und ständig im Wandel.
Ob ein Roboter, der ein Lager durchquert, oder ein Kameranetzwerk, das eine Fabrikhalle überwacht: Systeme für physische KI müssen verstehen, was gerade geschieht, darüber schlussfolgern, was als Nächstes passieren könnte, und schnell genug handeln, um Wirkung zu erzielen. Bislang bedeutete die Bereitstellung solcher Frontier-KI am Edge häufig, die Leistungsfähigkeit des Modells zugunsten der Bereitstellungseffizienz einzuschränken.
Das jetzt verfügbare NVIDIA Cosmos 3 Edge trägt dazu bei, diesen Kompromiss zu beseitigen. Das Omnimodell mit 4 Milliarden Parametern ist für eine speicher-effiziente Bereitstellung und einen hohen Durchsatz auf NVIDIA Jetson, NVIDIA RTX PRO und NVIDIA DGX Systemen sowie auf GeForce RTX GPUs optimiert.
Als Erweiterung von NVIDIA Cosmos 3 kann das kompakte Welt-Foundation-Modell Text, Bild, Video, Umgebungsgeräusche und Aktionen verstehen und generieren. Seine Mixture-of-Transformers-Architektur ermöglicht physikalisch fundierte, echtzeitfähige Bildanalyse und Roboteraktionen direkt auf dem Gerät.
Cosmos 3 Edge liefert Frontier-KI für physische KI am Edge – belegt Platz 1 im VANTAGE-Bench Leaderboard für den Erfolg bei der Bildanalyse in seiner Parameterklasse und ermöglicht durch Post-Training ein hochmodernes Roboter-Lernen.
Physische KI direkt auf dem Gerät für Robotik, autonome Fahrzeuge und intelligente Infrastruktur
Entwickler können Cosmos 3 Edge mit proprietären Roboter- und Sensordaten unter Verwendung des Deskside-KI-Supercomputers NVIDIA DGX Station im Post-Training weiterentwickeln, um spezialisierte Welt-Aktionsmodelle zu erstellen, und diese anschließend auf NVIDIA Jetson Thor für echtzeitfähige Roboter-Steuerungsrichtlinien einsetzen, etwa für Manipulation oder Fortbewegung. Agile Robots, Doosan Robotics, Siemens und Skild AI gehören zu den Partnern, die Cosmos 3 Edge für Robotik-Workflows evaluieren.
Für autonome Fahrzeuge unterstützt Cosmos 3 Edge das Verständnis von Straßenszenen, Verkehrslogik, die Vorhersage von Objektabsichten und die Destillation von Richtlinienmodellen auf ressourcenbeschränkter Hardware. Das Modell kann als Student-Backbone für die Destillation automobiler Richtlinienmodelle eingesetzt werden, unter anderem mit NVIDIA Alpamayo Vision-Language-Action-Modellen.
Für intelligente Infrastruktur ermöglicht Cosmos 3 Edge erstklassigen Durchsatz und Genauigkeit mit Echtzeit-Inferenz auf Jetson Thor für Vision-Agenten, die über Live-Videostreams hinweg schlussfolgern – für Verkehrsüberwachung, öffentliche Sicherheit, Logistik und industrielle Inspektion. Entwickler können außerdem das mit NVIDIA Nemotron betriebene Reasoning-Modul mit 2 Milliarden Parametern eigenständig auf NVIDIA Jetson Orin 8GB ausführen. Centific, Vaidio und YUAN evaluieren Cosmos 3 Edge, um am Edge laufende Vision-Agenten zu beschleunigen.
Cosmos-Plattform jetzt allgemein verfügbar
Cosmos 3 Edge ist Teil der umfassenderen NVIDIA Cosmos Plattform für die Entwicklung von Weltmodellen für physische KI. Da Cosmos 3 in den Größen Edge (4B), Nano (16B) und Super (64B) verfügbar ist, können Entwickler das passende Modell für jede Entwicklungsphase wählen – von der Edge-Bereitstellung bis zur High-Fidelity-Generierung.
Cosmos 3 Edge, Cosmos 3 Nano und Cosmos 3 Super sind ab sofort auf Hugging Face verfügbar, mit Inferenz- und Post-Training-Frameworks sowie Anleitungen auf GitHub.