AgentPerf von Artificial Analysis, der erste Benchmark für agentische KI, bietet Entwicklern, Unternehmen und Infrastrukturanbietern eine klare Möglichkeit, Systeme für agentische KI zu vergleichen. In der ersten Runde der veröffentlichten Ergebnisse liefert die NVIDIA Blackwell Ultra NVL72-Plattform eine führende Leistung bei allen getesteten agentenbasierten KI-Workloads und führt 20-mal mehr Agenten pro Megawatt aus als NVIDIA Hopper.
Agentische KI ist eine grundlegend andere Workload als Gesprächs-KI. Ein einzelner Chat-Abschluss ist wie ein Sprint: ein Aufruf eines großen Sprachmodells (LLM), eine Antwort. Ein Agent funktioniert eher wie ein Relais: Er teilt ein Ziel in viele Schritte auf und arbeitet so lange weiter, bis die Aufgabe erledigt ist.
Dies führt dazu, dass Dutzende bis Hunderte von LLM-Aufrufen miteinander verbunden sind, wobei jeweils ein wachsender Kontext an den nächsten weitergegeben wird, wobei Tool-Aufrufe wie Code-Kompilierung und -Ausführung, Datenbanksuche und Web-Browsing bei jeder Übergabe durchgeführt werden. Komplexität ist nicht additiv, sondern multiplikativ.
Diese Unterscheidung ist für die Leistungsmessung von enormer Bedeutung. Bestehende KI-Inferenz-Benchmarks messen einen einzigen LLM-Aufruf: wie schnell ein LLM auf eine einzelne Anfrage reagiert und wie viele gleichzeitige Anfragen ein System bearbeiten kann. Sie wurden nicht für agentische Workloads konzipiert, bei denen verkettete LLM-Aufrufe, Verzögerungen bei Tool-Aufrufen und wachsender Kontextstress Rechensysteme auf grundlegend andere Weise beanspruchen, als dies bei einem einzelnen LLM-Aufruf möglich ist.
Für Unternehmen, die Agenten in großem Maßstab entwickeln und einsetzen, ist es wichtig zu verstehen, wie reaktionsschnell Agenten sind, wie viele gleichzeitig eingesetzt werden können und wie viel nützliche Arbeit eine KI-Infrastruktur für jeden investierten Dollar und jedes investierte Watt leisten kann.
NVIDIA GB300 NVL72 führt 20-mal mehr Agenten pro Megawatt aus
In dieser ersten Runde misst AgentPerf die agentische Leistung mit DeepSeek V4 Pro, einem großen Mixture-of-Experts (MoE)-Modell, das die Klasse der Spitzenmodelle repräsentiert, die die leistungsfähigsten Agenten von heute unterstützen. Bei dieser Workload bietet NVIDIA GB300 NVL72 die höchste Leistung im Benchmark. Es werden bis zu 20-mal mehr Agenten pro Megawatt ausgeführt als das NVIDIA HGX H200-System.
Der Leistungsvorteil beruht auf einem extremen Codesign im gesamten Full Stack. GB300 NVL72 verbindet 72 GPUs in einem einzigen Rack-Scale-System, sodass große MoE-Modelle wie DeepSeek V4 Pro die Modellausführung effizient in großem Maßstab verteilen können.
CUDA-Kernel beschleunigen dies weiter, indem sie Kommunikation und Rechenleistung überschneiden, sodass die Kosten für die Koordination zwischen den Experten absorbiert und nicht zur Latenz addiert werden.
NVIDIA TensorRT LLM erhält die Effizienz aufrecht, während konkurrierende Agent-Sessions skalieren. Beispielsweise wird die Verarbeitung von Eingaben von der Generierung von Ausgaben getrennt, sodass jede unabhängig voneinander optimiert werden kann.
Diese Ergebnisse basieren auf einer Benchmark-Methodik, die von Grund auf darauf ausgelegt ist, die tatsächliche Funktionsweise von Agent-KI in der Produktion widerzuspiegeln.
Artificial Analysis AgentPerf: Basierend auf realen Agent-Workloads
AgentPerf basiert auf echten Codierungs-Agenten-Abläufen: Ein Agent erhält eine Aufgabe, liest Dateien, schreibt und bearbeitet Code, führt Befehle aus und iteriert basierend auf den Ergebnissen – allesamt aus echten öffentlichen Code-Repositories in über 12 Programmiersprachen. Die langen Sequenzlängen, die Tool-Aufrufmuster und die Verzögerungen sind repräsentativ für reale Codier-Workflows.
AgentPerf misst dann, wie viele dieser agentenbasierten Aufgaben eine Plattform gleichzeitig unterstützen kann, während definierte Leistungsschwellen für Reaktionsfähigkeit und Output-Token-Rate erfüllt werden. Tool-Aufrufe werden nicht ausgeführt, sondern mit einer repräsentativen CPU-Verarbeitungszeit simuliert. Daher spiegeln die Unterschiede in den Ergebnissen nur die beschleunigte Rechenleistung wider.
Die Ergebnisse lassen sich direkt in Infrastrukturentscheidungen umsetzen: Wie viele gleichzeitige agentenbasierte Aufgaben pro Beschleuniger und pro Megawatt Strom ausgeführt werden können. Für Unternehmen, die KI-Agenten in großem Maßstab einsetzen, bestimmen diese Zahlen, wie viel produktive Arbeit eine bestimmte Infrastrukturinvestition tatsächlich leisten kann.
NVIDIA Ecosystempartner nutzen die führende Leistung von Blackwell
Führende Inferenzanbieter wie Baseten, DeepInfra und Together AI bedienen bereits heute agentenbasierte Workloads auf Spitzenmodellen wie DeepSeek V4 Pro auf NVIDIA Blackwell und unterstützen schon jetzt agentenbasierte Produktionsanwendungen.
Together AI unterstützt die Echtzeit-Inferenz für Cursor, eine KI-basierte agentenbasierte Codierungsplattform, auf NVIDIA Blackwell. Die Agenten von Cursor debuggen Probleme, generieren Features und führen Refactors aus, während die Entwickler weiterarbeiten.
DeepInfra unterstützt Pam.ai, eine KI-Mitarbeiterplattform für Autohäuser, die Agenten einsetzt, um Servicetermine zu buchen, Anrufe zu bearbeiten und Outbound-Vertriebskampagnen durchzuführen, vollständig auf NVIDIA Blackwell.
Da NVIDIA und das Open-Source-Ökosystem Inferenzsoftware weiter optimieren, werden sich die Leistung und Effizienz bei agentischen Workloads nur noch verbessern. Die NVIDIA Vera Rubin-Architektur ist nun in voller Produktion und bietet die nächste Generation von Infrastrukturkapazität, um die wachsenden Anforderungen an agentische KI in großem Maßstab zu erfüllen.
Erfahren Sie in diesem technischen Blog mehr über die Methodik von AgentPerf und die Full-Stack-Optimierungen von NVIDIA für agentische KI.