CPUs mit maximaler Single-Thread-Leistung im großen Maßstab sind eine neue Kategorie von CPUs, die für die Ära der agentischen KI entwickelt wurden.
Über die Erstellung und Bereitstellung eines agentischen Systems hinweg liegt die CPU auf dem kritischen Pfad für logisches Schlussfolgern, Reaktionszeit und Lernprozesse. CPUs sind der Prozessor, der die Arbeit ausführt, die das KI-Modell befiehlt: der Tool-Aufruf, die Code-Ausführung, die Datenverarbeitung, der KV-Cache und die Ergebnisanalyse.
Für Agenten in KI-Fabriken ist Geschwindigkeit wichtig.
Je schneller die CPU das Tool ausführen kann, desto schneller kann der Agent die anstehende Aufgabe ausführen.
Für die KI-Fabrik ist die Auslastung der GPU die wertvollste Ressource im Rechenzentrum. Daher schränkt jede Wartezeit auf die Fertigstellung einer Aufgabe den Umsatz einer KI-Fabrik ein – oder schlimmer noch, wirkt sich auf die GPU-Auslastung aus, während auf den Abschluss der CPU-Aufgabe gewartet wird. KI-Fabriken benötigen eine CPU mit maximaler Single-Thread-Leistung, um den Umsatz der KI-Fabriken und die Agentenleistung zu maximieren.
Die heutigen CPUs in Rechenzentren sind nicht für Geschwindigkeit in großem Maßstab ausgelegt.
Während die Welt über schnelle CPUs für PCs und Workstations verfügt, haben sich Rechenzentrums-CPUs in Richtungen entwickelt, die von der Single-Thread-Leistung abweichen. Das Aufkommen der Cloud hat CPU-Hersteller dazu veranlasst, CPUs mit einer höheren Kernanzahl zu entwickeln und gleichzeitig die Kosten auf dem Rücken der Leistung zu minimieren.
Durch die Entwicklung von CPUs, die die Kosten pro mietbarem Kern optimieren, wurde die Anzahl der Kerne pro Chip erhöht, während gleichzeitig Siliziumfläche von denjenigen Bereichen genommen wird, die diese Kerne schnell laufen lassen – wie leistungsstarke Memory Fabrics und schnellere Befehlsverarbeitung pro Kern. Der Umstieg auf Chiplet-Architekturen senkte die Kosten weiter, verursachte jedoch eine „Chiplet-Steuer“, da die Kerne der jeweiligen CPUs nicht mehr auf die volle Speicherleistung des Chips zugreifen können.
KI-Agenten benötigen eine CPU, die für maximale Single-Thread-Leistung in großem Maßstab entwickelt wurde.
Eine CPU mit maximaler Single-Thread-Leistung sorgt bei voller Skalierung dafür, dass jeder Agentenschritt schnell bleibt, während das System vollständig ausgelastet ist. Jeder Kern erledigt die Agentenaufgabe mit voller Leistung, ohne dass andere Kerne ihn verlangsamen. CPUs mit maximaler Single-Thread-Leistung im großen Maßstab sind anders konzipiert und bieten Folgendes:
- Starke Leistung pro Kern unter Last
- Genügend Speicherbandbreite pro Kern, um die Versorgung aktiver Kerne mit Daten zu gewährleisten.
- Vorhersehbare Latenz
Jeder Kern kann seine Aufgabe beenden, ohne dass ein anderer Kern ihn verlangsamt, was einen ausgezeichneten Durchsatz und, was noch wichtiger ist, die schnellstmögliche Single-Core-Performance ermöglicht.
NVIDIA Vera veranschaulicht diese neue Klasse des CPU-Designs.
Wie CPUs mit maximaler Single-Thread-Leistung im großen Maßstab entwickelt wurden, um den Agentic Loop auszuführen
Ein KI-Agent hört nicht nach einer einzigen Anforderung auf zu laufen. Er agiert in einer Schleife. Das Modell denkt über den nächsten Schritt nach. Die CPU führt die Arbeit rund um das Modell aus. Das Ergebnis kommt zurück. Das Modell entscheidet, was als Nächstes getan werden soll. Dann wird die Schleife erneut ausgeführt.
Dieses Muster schafft ein Nachfrageprofil, für das herkömmliche CPUs nicht optimiert wurden. Herkömmliche CPU-Arbeit ist intermittierend und benutzergesteuert und besteht aus kurzen Interaktionen, die von Menschen ausgelöst werden. Agentenbasierte Arbeit ist beständig und parallel: Schwärme von Agenten laufen kontinuierlich und schreiten jeweils durch eine Kette von Schritten voran, in der jeder Schritt vom Ergebnis des vorherigen abhängt.
Mehr Kerne in einer CPU bedeuten mehr Agentenaufgaben pro CPU. Rechenzentrums-CPUs benötigen viele Kerne, um den Durchsatz von Aufgaben zu maximieren.
Das Hinzufügen von mehr Kernen zu einer CPU kann jedoch die Zeit für jeden Schritt innerhalb einer einzigen Agenten-Schleife nicht verkürzen. Mehr Kerne können eine einzelne Aufgabe nicht schneller ausführen. Tatsächlich können CPUs, die auf die Maximierung der Kernanzahl ausgelegt sind, sogar die Leistung jedes einzelnen Kerns verlangsamen, wenn sie um Ressourcen konkurrieren.
Die individuelle Leistung pro Kern ist wichtig, um die Geschwindigkeit der Abwicklung jedes Schritts zu steigern. Der Durchsatz zusätzlicher Kerne ist nützlich, aber nicht ausreichend. Und da jede Aktion vom vorherigen Ergebnis abhängt, bestimmt die Geschwindigkeit pro Kern, wie schnell die Schleife voranschreitet.
Letztendlich benötigt die beste CPU für KI-Agenten die beste Single-Thread-Leistung pro Kern, und jeder Kern muss diese Leistung kompromisslos erbringen. Die Welt zählt in Sekunden. Agenten rechnen in Nanosekunden. NVIDIA Vera wurde für diese neue Kategorie – und diese Geschwindigkeit – der Arbeit entwickelt.
NVIDIA Vera ist die CPU mit der höchsten Single-Thread-Leistung für Agenten in großem Maßstab
NVIDIA Vera ist eine CPU mit maximaler Single-Thread-Leistung in großem Maßstab, die von Grund auf für die Agenten-Schleife entwickelt wurde: die Arbeit, die zwischen Modellaufrufen stattfindet, während Agenten Tools nutzen, Daten verarbeiten, Code ausführen und Ergebnisse überprüfen.
Das Herzstück von Vera ist Olympus, der benutzerdefinierte CPU-Kern von NVIDIA, der 50 % mehr Anweisungen pro Zyklus liefert als NVIDIA Grace. Das ist wichtig, da viele Agentenschritte sequentiell sind. Ein Tool-Aufruf, eine Code-Ausführung, ein Testlauf oder ein Datenverarbeitungsschritt muss abgeschlossen sein, bevor der nächste Modellaufruf das Ergebnis verwenden kann. Schnellere Kerne bringen jede Schleife schneller voran.
Vera kombiniert diese schnelleren Kerne mit bis zu 1,2 TB/s LPDDR5X-Speicherbandbreite bei weniger als 40 Watt Speicherleistung sowie einem monolithischen Compute-Die, der dazu beiträgt, dass aktive Kerne versorgt bleiben und die Datenbewegung mit 3,4 TB/s Core-to-Core-Bandbreite vorhersehbar bleibt – das Dreifache jeder anderen Rechenzentrums-CPU. Dies ermöglicht die Nutzung aller 88 Kerne mit der vollen Speicherleistung der CPU, ohne dass Engpässe entstehen, die jeden Kern verlangsamen.
Das Ergebnis sind schnellere Agentenschleifen. In ausgelasteten CPU-Workloads, die eine agentenbasierte Ausführung darstellen, bietet Vera die 1,8-fache dauerhafte Leistung pro Kern im Vergleich zu x86.
Diese Zuwächse summieren sich über Tool-Aufrufe, Code-Ausführungen, Datenverarbeitungsschritte und Verifizierungsläufe hinweg und helfen KI-Fabriken, mehr Agenten-Aufgaben mit den bereits betriebenen GPUs zu erledigen.
Perplexity hat Vera anhand der agentischen Aufgaben getestet, die Vera jeden Tag ausführt. Durch die Ausführung eines echten Coding-Workflows – das Klonen eines Repositorys und die Ausführung seiner Testsuite in Sandboxes – hat Vera die Aufgabe etwa 1,5-mal schneller als x86 abgeschlossen und gleichzeitige Sandboxes bis zu 1,9-mal schneller gestartet. Perplexity plant jetzt die Bereitstellung von Vera in seinem kommenden Produktionssystem.
Agenten sind außerdem auf Daten angewiesen. Sie fragen ständig ab, rufen ab, filtern und verschieben Informationen, und Vera führt diese CPU-seitigen Daten-Workloads schneller aus. Partner haben 3-mal schnellere SQL-Analysen in großem Maßstab mit Starburst und eine bis zu 6-mal geringere Latenz beim Echtzeit-Streaming mit Redpanda gemessen, beides im Vergleich zu führenden x86-Server-CPUs.
Agentenarbeit ist kein Workload. Ein Agent führt Tools und Sandboxes aus, verarbeitet Daten, bedient Anfragen und trainiert das nächste Modell mit bestärkendem Lernen – und das alles baut auf den gleichen Stärken auf.
Eine Vera bewältigt das gesamte Spektrum, anstatt für jede Art von Arbeit eine andere CPU zu benötigen. Und da Vera dieselbe CPU ist, die die GPUs in NVIDIA Vera Rubin hostet und den NVIDIA BlueField-4 STX Datenspeicherprozessor unterstützt, läuft die gesamte KI-Fabrik auf einer einzigen Architektur und einer einzigen Toolchain.
Und NVIDIA ist noch nicht fertig. Die Rosa CPU der nächsten Generation von NVIDIA mit dem Rigel-Core wird die CPU-Roadmap des Unternehmens für die Ära der agentischen KI fortsetzen. Rigel ist der Arm v9.2 CPU-Kern der nächsten Generation von NVIDIA, der eine höhere Leistung pro Kern als Olympus bietet und gleichzeitig die gleiche Chipfläche beibehält. Zu den wichtigsten Verbesserungen gehören eine bessere Befehlsbereitstellung, ein größerer L2-Cache und eine effizientere Speicherverarbeitung.
Für die Geschwindigkeit von Agenten entwickelt
In der Ära der agentischen KI wird es Milliarden von Agenten geben, und jeder von ihnen wird sich an eine CPU wenden, um zu handeln, zu überprüfen, abzurufen, auszuführen und zu verifizieren. In diesem neuen Markt ist die abgeschlossene Agentenarbeit das Produkt. Schnellere Agenten-Schleifen helfen jeder GPU, mehr Zeit mit der Erledigung umsatzgenerierender Arbeit zu verbringen und weniger Zeit mit Warten.
NVIDIA Vera ist die CPU, die für diese Zukunft entwickelt wurde.
Erfahren Sie mehr über die NVIDIA Vera CPU.