Whirlpools haben eine Temperatur von etwa 38 bis 40 Grad Celsius, warm genug, dass die meisten Menschen nur etwa 15 Minuten lang darin baden können. Die neuesten KI-Server von NVIDIA können ihre Kühlflüssigkeit sogar noch heißer betreiben – bis zu 45 Grad Celsius oder 113 Grad Fahrenheit. Genau diese höhere Temperaturgrenze macht sie energieeffizienter.
Die Rubin-Generation der KI-Infrastruktur von NVIDIA ist die weltweit erste mit einer 100 % Flüssigkeitskühlung. Jeder Chip, jede Netzwerkkomponente wird vollständig mit Flüssigkeit in einem geschlossenen Kreislauf gekühlt, ohne dass es irgendwo im System Lüfter gibt. Diese Methodik zur Flüssigkeitskühlung wird im NVIDIA DSX AI Factory Reference Design beschrieben, einem Leitfaden, der Best Practices für das Design, den Bau und den Betrieb der gesamten AI Factory-Infrastruktur umreißt.
Obwohl jede Generation deutlich mehr Rechenleistung pro Watt bietet, ermöglicht eine vollständig flüssigkeitsgekühlte KI-Recheninfrastruktur eine drastische Reduzierung des Kühlenergieverbrauchs in Rechenzentren. Dies kann einen wesentlichen Unterschied zum Gesamtenergieverbrauch von Rechenzentren im Hyperscale-Bereich machen.
„Das NVIDIA DSX-Referenzdesign für KI-Fabriken hat keinen Wasserverbrauch – wir haben massive Mengen an Strom und praktisch den gesamten Wasserverbrauch eingespart“, sagte Ali Heydari, Director of Data Center Cooling and Infrastructure bei NVIDIA. „Mit Trockenkühler-basierten Designs handelt es sich um ein geschlossenes System ohne Verdunstungswasserkühlung – außer in vielleicht 1 % des Jahres, in dem wir in einigen Klimazonen Kältemaschinen benötigen.“
In der Vergangenheit machte allein die Kühlung bis zu 40 % des Stromverbrauchs eines Rechenzentrums aus. Damit ist sie einer der wichtigsten Bereiche, in denen Effizienzverbesserungen sowohl die Betriebskosten als auch den Energiebedarf senken können.
Branchenschätzungen zufolge können die Kosten für Kühlenergie um etwa 4 % durch eine Erhöhung der Temperaturen in Kältemaschinen um nur ein Grad gesenkt werden. In großem Maßstab summieren sich diese Einsparungen schnell. Eine 50-Megawatt-Hyperscale-Anlage kann jährlich über 4 Millionen US-Dollar an kühlungsbedingten Energie- und Wasserkosten einsparen, indem sie auf eine flüssigkeitsgekühlte Infrastruktur umstellt.
In günstigen Klimazonen kann die 45-Grad-Flüssigkeitskühlungsarchitektur von NVIDIA einen kühlerlosen Betrieb mit Trockenkühlern ermöglichen. Dadurch wird der Kühlwasserverbrauch von Anlagen von rund 2,6 Millionen Gallonen pro Megawatt pro Jahr für konventionelle Kühlturm-basierte Systeme auf nahezu Null reduziert – und damit wird der Wasserverbrauch um bis zu 100 % reduziert.
Der Grund: Herkömmliche luftgekühlte Rechenzentren sind auf große Mengen gekühlter Luft angewiesen, um die Wärme von IT-Geräten abzuführen, was bei heißem Wetter häufig eine energieintensive Kühlinfrastruktur erfordert. Mit der 45-Grad-Flüssigkeitskühlung von NVIDIA wird Wärme direkt am Chip eingefangen und über Flüssigkeitsschleifen transportiert, die bei viel höheren Temperaturen betrieben werden. So können Trockenkühler im Freien den größten Teil des Jahres effizient Wärme abweisen und gleichzeitig den mechanischen Kühlbedarf und den Wasserverbrauch der Anlage erheblich reduzieren.
Die Umgebungstemperatur im Rechenzentrum ist flexibel – warme Sommerluft ist in Ordnung –, da nichts im Server von kühler Luft abhängig ist. Die Flüssigkeit erledigt die gesamte Arbeit – und dieselbe Flüssigkeit kann in einem geschlossenen Kreislauf rezirkuliert werden, sodass kein neues Wasser zur Kühlung der Chips verbraucht wird.
Ein neuer Standard für die Branche
Da die NVIDIA Rubin-Plattform eine zu 100 % flüssigkeitsgekühlte Infrastruktur integriert, vollzieht jeder Cloud-Anbieter und Rechenzentrumsbetreiber, der für diese Plattform baut, den Übergang.
Das Ökosystem hält Schritt. Motivair, die Sparte für fortschrittliche Kühlung von Schneider Electric, arbeitet seit fast einem Jahrzehnt an der Produktroadmap von NVIDIA – und Richard Whitmore, dessen President und CEO, sagt, dass sich die Beziehung erst intensiviert hat, als die Leistungsdichten die Schwelle überschritten haben, bei der die Luftkühlung nicht mehr eine praktikable Option war.
„Sobald die Watt pro Chip ein bestimmtes Niveau überschritten haben, wurde eine Flüssigkeitskühlung obligatorisch“, sagte Whitmore.
Zu heiß zum Kühlen: KI-Infrastruktur ist heißer, als man denkt
In der Branche gibt es seit langem ein Missverständnis, dass ein kaltes Rechenzentrum effizient ist. Wenn sich ein Rechenzentrum nicht wie ein begehbarer Gefrierschrank anfühlte, gingen die Menschen davon aus, dass etwas nicht stimmte.
In Wirklichkeit können Chips viel wärmere Umgebungen bewältigen, als dieser Instinkt vermuten lässt. Siliziumprozessoren erzeugen enorme interne Wärme – das Kühlmittel, das in einen vollständig flüssigkeitsgekühlten Chip mit 45 Grad Celsius eintritt, verlässt ihn bei etwa 55 Grad, nachdem es diese Wärmelast über die Chipoberfläche absorbiert hat. Doch die Leistung nimmt nicht ab.
Die Prozessoren arbeiten weiterhin mit voller Leistung, da die flüssigkeitsgekühlten Kaltplatten die Gerätememperaturen innerhalb der validierten Betriebsgrenzen halten, selbst wenn das Kühlmittel bei 45 Grad Celsius in das Rack eintritt.
Keine Lüfter, keine Kühlgänge – eine grundlegend andere Maschine
Betreten Sie ein traditionelles Rechenzentrum und bemerken Sie zwei Dinge: den Lärm – Kühlventilatoren tragen zu einem Gesamtgeräuschpegel von 85 Dezibel oder mehr bei, laut genug, um einen Gehörschutz zu erfordern – und die physische Choreographie von Warm- und Kaltgängen, die sorgfältig gesteuert werden, um gekühlte Luft über die Komponenten zu leiten.
Die Rubin-Architektur ändert das Bild.
Kühlmittel – 75 % Wasser und 25 % Propylenglykol – fließt durch Kaltplatten, die direkt auf den Prozessoren sitzen und so die Wärme an der Quelle abziehen. Wenn dieses Kühlmittel bei bis zu 45 Grad Celsius betrieben wird, kann der Kühlkreislauf der Anlage in vielen Klimazonen Wärme abstoßen, ohne mechanische Kältemaschinen und laute Lüfter einschalten zu müssen.
Damit wird über Energieeinsparungen hinaus noch etwas erreicht: die Möglichkeit, den Wasserverbrauch vollständig zu eliminieren.
An der richtigen Stelle – irgendwo mit zuverlässig kühler Außenluft – kann ein flüssigkeitsgekühltes Rechenzentrum seine Wärme über Kühlmittelverteilungseinheiten abführen, die die Wärme direkt an der Quelle erfassen und zu Trockenkühlern im Freien transportieren. Dabei handelt es sich im Wesentlichen um große Radiatorspulen außerhalb des Gebäudes.
Der Kreislauf wird einmal gefüllt und läuft während der gesamten Lebensdauer der Anlage geschlossen. Und im Vergleich zu einer herkömmlichen Infrastruktur mit Luftkühlung wird in der KI-Fabrik deutlich weniger Platz benötigt.
„Am richtigen geografischen Standort und mit dem richtigen Systemdesign benötigen Sie keine Kühlanlagen“, sagte Whitmore. „Man kann einfach große Kühlregister draußen platzieren und die Lufttemperatur für die gesamte Kühlung nutzen. Es ist unglaublich effizient.“
Der geografische Vorbehalt ist wichtig. Ein Rechenzentrum in den schottischen Highlands und eines in Phoenix (Arizona) stehen vor sehr unterschiedlichen Realitäten. Aber selbst in wärmeren Klimazonen bringt die Umstellung auf Kühlmittel mit 45 Grad Celsius die Betreiber diesem Ideal ohne Kältemaschinen deutlich näher. Dort können Kältemaschinen nur an wenigen Tagen im Jahr eingeschaltet werden, wenn die Außentemperatur es erfordert.
Ein weiterer wichtiger Vorteil dieses neuen Modells für KI-Fabriken ist das Potenzial für die Abwärmerückgewinnung, bei der die Restwärme aus dem KI-Fabrikbetrieb zum Heizen von benachbarten Geschäfts- oder Wohngebäuden genutzt werden kann.
Das technische Problem, das niemand gelöst hatte
Bisherige flüssigkeitsgekühlte Server waren Hybrid-Server: GPUs und CPUs erhielten Kühlplatten, aber der Rest des Systems blieb luftgekühlt. Rippen-Kühlkörper wurden für die Abgabe von Wärme an die sich bewegende Luft konzipiert. Bei einem vollständig flüssigkeitsgekühlten Server musste die Kühlung für diese Komponenten komplett neu gestaltet werden, damit Flüssigkeit verwendet werden kann.
Das Team für Kühlungstechnik von NVIDIA hat das Wärmeverhalten dieser Komponenten überarbeitet und Kühlkreisläufe entwickelt, die die Leitung von Flüssigkeit über einen einzigen Ein- und Auslass an mehrere Hochleistungschips auf der Platine vereinfachen, was zu einer saubereren Kühlungsarchitektur auf Schalenebene führt.
Ein sichtbares Ergebnis: Rubin-Server verfügen über saubere, abgedichtete Frontplatten, während luftgekühlte Server perforierte Blenden haben. Eine weitere: vollständig flüssigkeitsgekühlte Server ermöglichen eine höhere Rack-Dichte als luftgekühlte Server. Ein System, das bisher sechs Rack-Einheiten belegte, passt jetzt in zwei Rack-Einheiten – mehr Rechenleistung, weniger Platz, weniger Lärm.
KI-Workloads werden nicht leichter. Der Rechenbedarf, der den Bau von Rechenzentren vorantreibt, wächst schneller als fast jede andere Kategorie von Infrastrukturinvestitionen.
Ohne Effizienzverbesserungen bei der Kühlung dieser Rechner würden die Energiekosten für den Betrieb von KI in großem Maßstab parallel zur Hardware steigen. Flüssigkeitskühlung mit bis zu 45 Grad Celsius – heißer als ein Whirlpool, aber kühler für den Planeten – ist eines der wichtigsten Instrumente, über die die Branche verfügt, um diese Lücke zu schließen.
Erfahren Sie mehr über Flüssigkeitskühlung, die NVIDIA DSX-Plattform für KI-Fabriken und den Ansatz von NVIDIA für eine energieeffiziente KI-Infrastruktur.