Energie ist der unvermeidbare limitierende Faktor für KI-Infrastrukturen. Wie viele Token eine KI-Fabrik mit einem festen Energiebudget generieren kann, bestimmt ihren Umsatz und ihre Rentabilität. Aus diesem Grund ist die Verarbeitungsleistung pro Watt – eine Kennzahl, die sich nicht schönrechnen lässt, sondern sich unter realen Bedingungen beweisen muss – die Grundlage für KI-Fabriken.
Da agentische KI die Nachfrage nach Token steigert, werden die Infrastrukturentscheidungen, die Unternehmen heute treffen, entscheiden, welche Unternehmen in einer durch Energiegrenzen bestimmten Welt skalieren können – und welche nicht.
Nahezu jedes Frontier-KI-Modell basiert heute auf einer Mixture-of-Experts-Architektur (MoE). Um diese umfangreichen Modelle effizient bereitstellen zu können, ist die Größe der GPU-Domäne entscheidend – also die Anzahl der GPUs, die über eine ultraschnelle Scale-up-Verbindung miteinander verbunden sind.
Während die NVIDIA Hopper-Generation mit einer Domäne mit acht GPUs den Standard setzte, hat die Skalierung der heutigen Spitzen-KI diesen übertroffen. Für die Bereitstellung von MoE mit einer 72-GPU-Domäne braucht es Full-Stack-Co-Design und umfassende Betriebserfahrung aus dem Einsatz dieser Modelle unter realer Produktionslast.
Mit der NVIDIA Blackwell NVL72-Plattform ist diese Grundlage bereits geschaffen und hat sich bewährt. Sie bietet die höchste Verarbeitungsleistung pro Watt, um den Umsatz zu maximieren, und die niedrigsten Tokenkosten, um die Gewinnmargen zu maximieren. Auf dieser Grundlage baut die NVIDIA Vera Rubin-Plattform auf, um die Energieeffizienz im Rack-Maßstab weiter zu steigern.
Maximale Verarbeitungsleistung pro Watt für Frontier-KI
Jede neue Generation von Frontier-Modellen bringt architektonische Änderungen mit sich, die mehr Intelligenz ermöglichen und gleichzeitig neue Optimierungen für eine effiziente Ausführung in großem Maßstab erfordern.
In der neuesten Generation führender offener Modelle bietet NVIDIA GB300 NVL72 bis zu 25-mal mehr Verarbeitungsleistung pro Watt als die NVIDIA Hopper-Generation – ein Beweis dafür, dass sich die MoE-Leistung mit dem Wechsel von einer Domänengröße mit 8 auf 72 GPUs verbessert. Diese Zahlen zeigen, wo Blackwell heute steht – ein Ausgangspunkt, der sich ständig weiter verbessert.
Jede einzelne Zahl erzählt nur einen Teil der Geschichte. Verschiedene Workloads erfordern unterschiedliche Betriebspunkte: Einige optimieren für Latenz, andere für Durchsatz und Kosten – und die meisten müssen zwischen den beiden wechseln.
Um diese Betriebspunkte am besten darzustellen, zeigt NVIDIA Pareto-Kurven für jedes Modell statt eines einzelnen Punkts und bietet Tools wie DynoSim, um Teams zu helfen, ihren optimalen Punkt auf der Pareto-Front zu finden, bevor sie auch nur eine GPU-Stunde für die Validierung aufwenden.
Die Verarbeitungsleistung pro Watt von NVIDIA Blackwell ist das Ergebnis extremen Co-Designs. Jede Komponente des Systems im Rack-Maßstab – vom Silizium bis zur Software– wurde gemeinsam entwickelt. Dieses Co-Design berührt jede Ebene des Stacks.
So wurde beispielsweise der NVIDIA NVLink Switch, der für die Leistung im Rack-Maßstab entscheidend ist, speziell für massive GPU-Domänen mit Scale-up-Vernetzung entwickelt – und nicht aus Allzwecknetzwerken abgeleitet. Die Funktionen, die sich jetzt in der sechsten Generation mit der Vera Rubin-Plattform befinden, wurden speziell für KI-Workloads wie SHARP entwickelt, das In-Network-Computing direkt im Switch durchführt und so die GPUs selbst entlastet.
Der Inferenz-Software-Stack von NVIDIA, einschließlich NVIDIA Dynamo und TensorRT LLM sowie SGLang und vLLM, ist für die Ausführung der gesamten Palette von Optimierungen konzipiert: NVFP4-Quantisierung, disaggregiertes Serving, Experten-Parallelismus in großem Maßstab, KV-Cache-bewusstes Routing, KV-Cache-Offloading und mehr. Diese lassen sich kombinieren, um die Leistung jeder einzelnen GPU zu vervielfachen. Darüber hinaus verbessert die Software die Leistung im Laufe der Zeit ständig: Bei DeepSeek V4 stieg die Verarbeitungsleistung pro Watt innerhalb eines einzigen Monats auf das bis zu Fünffache.
In KI-Fabriken kann der Stromverlust aufgrund von Kühlung und Ineffizienzen auf Rack-Ebene dazu führen, dass nur etwa 60 % der aus dem Netz gezogenen Elektrizität in nützliche KI-Arbeit umgewandelt wird. NVIDIA DSX MaxLPS, die Energie- und Effizienzsoftware der NVIDIA DSX-Plattform, schließt diese Lücke, indem sie Energie zwischen GPUs und Racks in Echtzeit verlagert, Warmwasser-Flüssigkeitskühlung unterstützt und Techniken wie Power Steering nutzt, um mehr Leistung herauszuholen. Dadurch können Betreiber innerhalb desselben Energiebudgets bis zu 40 % mehr GPUs betreiben.
Entscheidend ist der Produktivbetrieb
Zuverlässigkeit auf Rack-Ebene und im Maßstab einer KI-Fabrik entsteht nicht von selbst. Rack-Scale-Systeme führen Fehlermodi ein, die bei Single-Node-Bereitstellungen nie auftreten, und ihre Bewältigung erfordert ingenieurtechnische Sorgfalt und Zeit im Produktivbetrieb.
NVIDIA Blackwell NVL72-Systeme setzen weiterhin den Standard für eine Vielzahl von Modellen und Produktionsanwendungsfällen und bieten dauerhafte Leistung, Zuverlässigkeit auf Rack-Ebene sowie eine Wirtschaftlichkeit, die sich unter realem Datenverkehr Tag für Tag bewährt.
Aus diesem Grund nutzen führende KI-Labore wie Anthropic, OpenAI und SpaceXAI NVIDIA Blackwell NVL72-Systeme, um Inferenz auszuführen.
Darüber hinaus nutzt eine Vielzahl von Inferenzdienstanbietern und KI-Native-Unternehmen die Blackwell-Plattform, um offene Modelle in der Produktion bereitzustellen.
CoreWeave hat Kimi K2.6 auf NVIDIA GB300 NVL72 bereitgestellt und NVFP4-Quantisierung und EAGLE3-spekulative Decodierung kombiniert, um die Inferenzleistung zu maximieren.
Perplexity führt Qwen3 235B und das nachtrainierte Qwen3.5-397B-A17B auf NVIDIA GB200 NVL72 für seine KI-Agentenplattform aus und bearbeitet täglich Millionen von Abfragen mit der von Endnutzern erwarteten Latenz und Zuverlässigkeit.
Fireworks AI stellt GLM 5.2 auf der NVIDIA Blackwell-Plattform bereit und ermöglicht so Produktionsbereitstellungen für Kunden wie Cursor und Factory AI.
Diese gesammelte Produktionserfahrung, die über Generationen von Frontier-Modellen und reale Bereitstellungen hinweg aufgebaut wurde, ist es, die NVIDIA Vera Rubin ihren Vorsprung verschafft.
Erfahren Sie mehr über die NVIDIA Vera Rubin-Plattform in diesem technischen Blog und finden Sie weitere Informationen zur NVIDIA DSX-Plattform für KI-Fabriken und zu DSX MaxLPS.