KI ist in die Gigascale-Ära eingetreten.
Die weltweit fortschrittlichsten KI-Fabriken bringen Hunderttausende von GPUs und CPUs zusammen, um Frontier-Modelle zu trainieren, agentische KI zu unterstützen und Intelligenz in einem beispiellosen Maßstab zu generieren. Auf dieser Ebene wird das Netzwerk zu einem kritischen Multiplikator für die Rechenleistung, um die Tokengenerierung voranzutreiben.
NVIDIA Spectrum-6 – ein Ethernet-Switch-System mit 102,4 Terabit pro Sekunde, das die doppelte Kapazität der Systeme der vorherigen Generation bietet und als Teil der NVIDIA Vera Rubin-Plattform entwickelt wurde – wird jetzt in allen Gigascale-KI-Fabriken der Welt eingesetzt.
Spectrum-6 bildet das Fundament der nächsten Generation der NVIDIA Spectrum-X Ethernet-Plattform und liefert die Bandbreite, Skalierbarkeit und Intelligenz, die erforderlich sind, um eine KI-Fabrik als ein End-to-End-Rechensystem zu betreiben.
Führende KI-Entwickler handeln zuerst
Die weltweit führenden Anbieter von KI-Infrastruktur – darunter CoreWeave, Microsoft, Nebius, Oracle Cloud Infrastructure (OCI), SpaceXAI und Tesla – werden zu den ersten gehören, die Spectrum-6 einsetzen, um ihre KI-Fabriken zu beschleunigen.
Für Cloud-Anbieter bedeutet Spectrum-6, dass mehr Rechenkapazität als eine einheitliche, leistungsstarke Ressource arbeiten kann, was Kunden dabei hilft, Modelle zu trainieren und Inferenzdienste schneller bereitzustellen.
„CoreWeave wurde für die anspruchsvollsten KI-Workloads entwickelt, und Netzwerke sind von zentraler Bedeutung, um diese Leistung in großem Maßstab zu bieten“, erklärt Min Jun, Director of Product for Networking bei CoreWeave. „Indem wir NVIDIA Spectrum-6 und die flüssigkeitsgekühlte Spectrum-X-Ethernet-Infrastruktur in unsere KI-Fabriken einbringen, können wir die Bandbreite, Ausfallsicherheit und Effizienz bieten, die Kunden benötigen, um Frontier-Modelle schneller zu trainieren und Inferenz schneller bereitzustellen.“
„Bei Gigascale kommt es bei der Leistung auf die Koordination an: jede GPU wird im Lockstep gehalten, sodass ein langsamer Link nicht den gesamten Job blockiert“, erklärt Laurelle Roseman, Vice President of Global Partnerships bei Nebius. „Darum geht es bei NVIDIA Spectrum-6 und deshalb haben wir es schon früh eingeführt – ein Fabric, das schnell und widerstandsfähig bleibt, selbst wenn die anspruchsvollsten Workloads unserer Kunden skaliert werden.“
Für KI-Pioniere, die ihre eigene Infrastruktur aufbauen, bedeutet Spectrum-6, dass mehr GPUs im Lockstep-System arbeiten, eine höhere Auslastung bei anspruchsvollen kollektiven Operationen und eine größere Ausfallsicherheit für lang laufende Aufgaben.
Über alle Anwendungsfälle hinweg ist das Ergebnis eine kürzere Zeit bis zu den Ergebnissen und eine bessere Wirtschaftlichkeit in einem außergewöhnlichen Maßstab.
CoreWeave, Microsoft, Nebius und OCI werden zu den ersten Anbietern gehören, die eine NVIDIA Vera Rubin-basierte Infrastruktur mit Spectrum-6 bereitstellen und den Zugang zur Plattform auf eine breite Community von Entwicklern, Start-ups und Unternehmen ausweiten.
KI-Leistung ist ein Netzwerkproblem
GPU-Spitzenleistung allein lässt die Leistung einer KI-Fabrik nicht mehr vorhersagen.
Umfangreiche Trainings- und Inferenz-Workloads hängen davon ab, dass Tausende von Beschleunigern kontinuierlich Daten austauschen. Kollektive Kommunikationsvorgänge sind die grundlegenden Operationen, die die Arbeit über GPUs hinweg synchronisieren und einen intensiven Ost-West-Verkehr generieren, oft mit vielen Systemen, die gleichzeitig senden.
Ethernet wurde hauptsächlich für Unternehmensanwendungen und Nord-Süd-Datenverkehr entwickelt, der zwischen Benutzern, Servern und Datenspeichern fließt. Es wurde nicht für die synchronisierten, kollektiv intensiven Kommunikationsmuster der Gigascale-KI entwickelt.
Spectrum-X Ethernet ändert das. Es wurde speziell für KI entwickelt und verwandelt das Ethernet in ein leistungsstarkes Scale-out-Fabric, das entwickelt wurde, um jede GPU mit Daten zu versorgen.
Die nächste Generation von Spectrum-X Ethernet
Der Spectrum-6-Switch-Chip wird mit dem NVIDIA ConnectX-9 SuperNIC kombiniert, um die nächste Generation von Spectrum-X Ethernet zu bilden. Er wurde als Teil von NVIDIA Vera Rubin entwickelt und vereint die NVIDIA Vera CPU, die Rubin-GPU, den NVLink 6 Switch, den ConnectX-9 SuperNIC, die BlueField-4 DPU und den Spectrum-6 Ethernet-Switch.
Spectrum-6 unterstützt sowohl steckbare als auch co-packaged Optics-Formfaktoren. Darüber hinaus unterstützen die Spectrum-6-Angebote eine Flüssigkeitskühlung, was einen umfassenden, durchgängigen Kühlungsansatz für die gesamte KI-Fabrik ermöglicht und gleichzeitig die Energieeffizienz des Netzwerks erhöht.
Im Gegensatz zu Standard-Ethernet kombiniert die NVIDIA Spectrum-X Ethernet-Netzwerkplattform für das Scale-out von KI-Fabriken intelligente Switches, NVIDIA ConnectX-9 SuperNICs und Full-Stack-Netzwerksoftware, die alle speziell für KI entwickelt wurden. Die fortschrittlichen Funktionen der Plattform optimieren kontinuierlich, wie sich der Datenverkehr durch das Fabric bewegt.
Darüber hinaus gleicht die NVIDIA Spectrum-X-Technologie den Verkehr intelligent über die verfügbaren Pfade aus, umgeht schnell Fehler und stellt sich präzise wieder her, wenn Daten, die über ein Netzwerk übertragen werden, ihr Ziel nicht erreichen. Darüber hinaus bietet die Unterstützung für offene Netzwerkbetriebssysteme und eine Auswahl an RDMA-Transportmodellen KI-Entwicklern Flexibilität, ohne die Leistung zu beeinträchtigen.
Spectrum-X Ethernet ist ein inhärenter Bestandteil des vertikal integrierten, horizontal offenen Ansatzes von NVIDIA: Co-Design von Chip, Systemen und Software für die gesamte Rechenplattform, während gleichzeitig Ethernet-Standard, offene Netzwerkbetriebssysteme, offene Protokolle und ein breites Ökosystem aus Cloud-Anbietern, Systemherstellern und Infrastrukturpartnern unterstützt werden. Anstatt eine Sammlung von Teilen zusammenstellen und sie anschließend optimieren zu müssen, erhalten Kunden eine vollständige KI-Fabrik-Plattform, die entwickelt wurde, um die schnellste Trainingszeit und die niedrigsten Kosten pro Token zu bieten.
Als Beispiel für diesen Ansatz bietet Spectrum-X Ethernet eine bis zu 1,6-mal höhere KI-Netzwerkleistung als handelsübliches Ethernet und hält eine Netzwerkeffizienz von bis zu 95 % in Bereitstellungen mit mehr als 100.000 GPUs aufrecht.
Hardware-beschleunigte Spectrum-X-Multiplane-Topologien reduzieren die Anzahl der für Rechenzentren erforderlichen Switches um das 1,7-Fache, um die Netzwerkeffizienz weiter zu beschleunigen. Auf der Grundlage der Vorteile, die mit Spectrum-X Ethernet Photonics erzielt wurden, darunter eine 5-mal höhere Energieeffizienz und eine 10-mal verbesserte mittlere Zeit zwischen Vorfällen, ermöglichen Verbesserungen der Netzwerk-Fabric weiterhin Workload-Beschleunigungen, die über die Optimierung auf Komponentenebene hinausgehen.
Erfahren Sie mehr über die NVIDIA Spectrum-X Ethernet-Plattform.