NVIDIA erweitert das Universum offener Modelle und hat heute neue offene Modelle, Daten und Tools veröffentlicht, um die KI in allen Branchen voranzutreiben.
Diese Modelle – die NVIDIA Nemotron-Familie für agentische KI, die NVIDIA Cosmos-Plattform für physische KI, die neue NVIDIA Alpamayo-Familie für die Entwicklung autonomer Fahrzeuge, NVIDIA Isaac GR00T für die Robotik und NVIDIA Clara für die Biomedizin – werden Unternehmen die Tools zur Entwicklung realer KI-Systeme an die Hand geben.
NVIDIA trägt Open-Source-Trainingsframeworks und eine der weltweit größten Sammlungen offener multimodaler Daten bei, darunter 10 Billionen Sprachtrainings-Token, 500.000 Roboter-Bewegungsbahnen, 455.000 Proteinstrukturen und 100 Terabyte an Sensordaten für Fahrzeuge. Dies ist eine beispiellose Vielfalt an offenen Ressourcen, um Innovationen in den Bereichen Sprache, Roboter, wissenschaftliche Forschung und autonome Fahrzeuge zu beschleunigen.
Führende Technologieunternehmen – darunter Bosch, CodeRabbit, CrowdStrike, Cohesity, Fortinet, Franka Robotics, Humanoid, Palantir, Salesforce, ServiceNow, Hitachi und Uber – setzen die offenen Modelltechnologien von NVIDIA ein und bauen auf ihnen auf.
NVIDIA Nemotron bringt Sprache, multimodale Intelligenz und Sicherheit für KI-Agenten
Aufbauend auf der kürzlich veröffentlichten NVIDIA Nemotron 3-Familie offener Modelle und Daten veröffentlicht NVIDIA Nemotron-Modelle für Sprache, multimodale Retrieval-Augmented Generation (RAG) und Sicherheit.
- Nemotron Speech umfasst erstklassige offene Modelle, darunter ein neues ASR-Modell, die eine Echtzeit-Spracherkennung mit geringer Latenz für Live-Untertitel und Sprach-KI-Anwendungen ermöglichen. Tägliche und modale Benchmarks zeigen, dass das Modell zehnmal schneller als andere Modelle seiner Klasse ist.
- Nemotron RAG umfasst neue Einbettungs- und Rerank-Sprachmodelle (VLMs), die hochpräzise mehrsprachige und multimodale Dateneinblicke liefern, um die Dokumentensuche und den Informationsabruf zu verbessern.
- Nemotron-Sicherheitsmodelle, die die Sicherheit und Vertrauenswürdigkeit von KI-Anwendungen stärken, umfassen jetzt das Llama Nemotron Content Safety Model, das erweiterte Sprachunterstützung bietet, und Nemotron PII, das sensible Daten mit hoher Genauigkeit erkennt.
Bosch setzt auf Nemotron Speech, um Autofahrern die Interaktion mit ihren Fahrzeugen zu ermöglichen. ServiceNow trainiert seine Apriel-Modellfamilie mit offenen Datensätzen, einschließlich Nemotron, für kosteneffiziente multimodale Leistung.
Cadence und IBM testen NVIDIA Nemotron RAG-Modelle, um die Suche und Schlussfolgerung in komplexen technischen Dokumenten zu verbessern.
CrowdStrike, Cohesity und Fortinet setzen NVIDIA Nemotron-Sicherheitsmodelle ein, um die Vertrauenswürdigkeit ihrer KI-Anwendungen zu stärken.
Palantir integriert Nemotron-Modelle in sein Ontology-Framework, um einen einzigartigen integrierten Technologie-Stack für spezialisierte KI-Agenten zu entwickeln. CodeRabbit nutzt Nemotron-Modelle, um seine KI-Code-Überprüfungen voranzutreiben und zu skalieren und so die Geschwindigkeit und Kosteneffizienz bei gleichzeitiger hoher Genauigkeit zu verbessern.
NVIDIA stellt außerdem Open-Source-Datensätze, Trainingsressourcen und Blueprints für Entwickler bereit, einschließlich des Datensatzes und des Trainingscodes für das Modell Llama Embed Nemotron 8B, das auf der MMTEB-Rangliste vertreten ist. Zusätzlich zum aktualisierten LLM Router, der Entwicklern zeigt, wie sie KI-Anfragen automatisch an das beste Modell für die Aufgabe weiterleiten können, und dem Datensatz, aus dem das neue Nemotron Speech ASR-Modell entwickelt wurde.
Neue Modelle für jede Art von physischer KI und Roboter
Die Entwicklung physischer KI für Roboter und autonome Systeme erfordert große, vielfältige Datensätze und Modelle, die in komplexen realen Umgebungen wahrnehmen, schlussfolgern und handeln können. Auf Hugging Face ist die Robotik das am schnellsten wachsende Segment, wobei die offenen Robotikmodelle und Datensätze von NVIDIA die Downloads auf der Plattform anführen.
NVIDIA veröffentlicht NVIDIA Cosmos Foundation-Modelle, die menschliche Schlussfolgerung und die Generierung von Welten ermöglichen, um die Entwicklung und Validierung physischer KI zu beschleunigen.
- Cosmos Reason 2 ist ein neues, erstklassiges logisches Schlussfolgerungs-VLM, das Robotern und KI-Agenten hilft, die physische Welt mit höherer Genauigkeit zu sehen, zu verstehen und mit ihr zu interagieren.
- Cosmos Transfer 2.5 und Cosmos Predict 2.5 sind führende Modelle, die großformatige synthetische Videos in verschiedenen Umgebungen und Bedingungen generieren.
NVIDIA hat außerdem offene Modelle und Blueprints für jede physische KI-Verkörperung veröffentlicht, die auf Cosmos basieren:
- Isaac GR00T N1.6 ist ein offenes Modell für Schlussfolgerung, Vision Language Action (VLA), das speziell für humanoide Roboter entwickelt wurde, die volle Körperkontrolle ermöglicht und NVIDIA Cosmos Reason für besseres Schlussfolgern und kontextbasiertes Verständnis nutzt.
- Der NVIDIA Blueprint für die Videosuche und Zusammenfassung, der Teil der NVIDIA Metropolis-Plattform ist, ist ein Referenz-Workflow für die Entwicklung von Vision-KI-Agenten, die große Mengen an aufgezeichneten und Live-Videos analysieren können, um die betriebliche Effizienz und die öffentliche Sicherheit zu verbessern.
Salesforce, Milestone, Hitachi, Uber, VAST Data und Encord nutzen Cosmos Reason für KI-Agenten im Verkehr und für die Produktivität am Arbeitsplatz. Franka Robotics, Humanoid und NEURA Robotics verwenden Isaac GR00T, um neue Verhaltensweisen für Roboter vor der Einführung in die Produktion zu simulieren, zu trainieren und zu validieren.
NVIDIA Alpamayo für auf logischem Denken basierende autonome Fahrzeuge
Die Entwicklung von sicherem, skalierbarem autonomen Fahren hängt von einer KI ab, die in komplexen realen Umgebungen und Szenarien wahrnehmen, schlussfolgern und handeln kann. Entwicklungs-Workflows ermöglichen ein schnelles Training, Testen und Verbesserungen in großem Maßstab.
NVIDIA veröffentlicht NVIDIA Alpamayo, eine neue Familie offener Modelle, Simulationstools und großer Datensätze, um die Entwicklung autonomer Fahrzeuge auf Basis von logischem Denken voranzutreiben. Dazu gehören:
- Alpamayo 1, das erste offene und groß angelegte VLA-Modell für autonome Fahrzeuge (AVs), mit dem Fahrzeuge ihre Umgebung verstehen und ihre Aktionen erklären können.
- AlpaSim, ein Open-Source-Simulations-Framework, das das Closed-Loop-Training und die Bewertung von schlussfolgerungsbasierten AV-Modellen in verschiedenen Umgebungen und Sonderfällen ermöglicht.
NVIDIA veröffentlicht außerdem offene Datensätze für physische KI, darunter über 1.700 Stunden Fahrdaten, die aus verschiedenen Regionen und Bedingungen gesammelt wurden und seltene und komplexe reale Sonderfälle abdecken, die für die Weiterentwicklung von Schlussfolgerungsarchitekturen unerlässlich sind.
NVIDIA Clara für das Gesundheitswesen und Biowissenschaften
Um die Kosten zu senken und Behandlungen schneller durchzuführen, führt NVIDIA neue Clara-KI-Modelle ein, die die Lücke zwischen digitaler Forschung und realer Medizin schließen.
Diese Modelle helfen Forschern dabei, Behandlungen zu entwickeln, die sicherer, effektiver und einfacher in der Herstellung sind. Dazu gehören unter anderem:
- La-Proteina ermöglicht das Design großer, auf Atomebene präziser Proteine für die Forschung und die Entwicklung von Medikamentenkandidaten und bietet Wissenschaftlern neue Werkzeuge, um Krankheiten zu untersuchen, die bisher als unbehandelbar galten.
- ReaSyn v2 stellt sicher, dass KI-entwickelte Medikamente in der Praxis synthetisiert werden können, indem ein Blueprint in den Entwicklungsprozess integriert wird.
- KERMT bietet hochpräzise rechnergestützte Sicherheitsprüfungen in der frühen Phase der Entwicklung, indem es vorhersagt, wie ein potenzielles Medikament mit dem menschlichen Körper interagieren wird.
- RNAPro erschließt das Potenzial der personalisierten Medizin, indem es die komplexen 3D-Formen von RNA-Molekülen vorhersagt.
Darüber hinaus hilft ein NVIDIA-Datensatz mit 455.000 synthetischen Proteinstrukturen KI-Forschern bei der Entwicklung genauerer KI-Modelle.
Erste Schritte mit offenen Modellen und Technologien von NVIDIA
Offene Modelle, Daten und Frameworks von NVIDIA sind jetzt auf GitHub und Hugging Face sowie auf verschiedenen Cloud-, Inferenz- und KI-Infrastrukturplattformen sowie auf build.nvidia.com verfügbar und bieten Entwicklern flexiblen Zugriff auf unterstützende Ressourcen.
Viele dieser Modelle sind auch als NVIDIA NIM-Microservices für eine sichere, skalierbare Bereitstellung in jeder NVIDIA-beschleunigten Infrastruktur verfügbar, vom Edge bis zur Cloud.
Erfahren Sie mehr über NVIDIA Live auf der CES.