Reinforcement-Learning-Agenten – KI-Systeme, die durch Versuch und Irrtum lernen – können Berechnung in neues Wissen umwandeln.
Das ist der Schwerpunkt einer neuen Kooperation auf technischer Ebene zwischen NVIDIA und Ineffable Intelligence, dem in London ansässigen KI-Labor, das vom AlphaGo-Architekten David Silver gegründet wurde, nachdem Ineffable letzte Woche die Geheimhaltungsphase beendete.
„Die nächste Grenze der KI sind Superlearners – Systeme, die kontinuierlich aus Erfahrung lernen“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „Wir freuen uns sehr, mit Ineffable Intelligence zusammenzuarbeiten, um die Infrastruktur für groß angelegtes Reinforcement Learning gemeinsam zu entwerfen, während sie die Grenzen der KI erweitern und Pionierarbeit für eine neue Generation intelligenter Systeme leisten.“
Silver ist einer der Pioniere des Reinforcement Learning, eines Ansatzes, der die KI-Forschung transformiert hat. Er konzentriert sich darauf, diesen Ansatz zu einem neuen Paradigma weiterzuentwickeln.
„Forscher haben das einfachere Problem der KI weitgehend gelöst: wie man Systeme baut, die alles wissen, was Menschen bereits wissen“, sagte Silver. „Aber jetzt müssen wir das schwierigere Problem der KI lösen: wie wir Systeme bauen, die neues Wissen selbst entdecken. Das erfordert einen ganz anderen Ansatz – Systeme, die aus Erfahrungen lernen.“
Diese Art des Lernens benötigt eine leistungsstarke und hochoptimierte Pipeline, um dies zu unterstützen. Im Gegensatz zum Vortraining, bei dem ein fester Datensatz an menschlichen Daten durch das System fließt, generieren Workloads für Reinforcement Learning ihre Daten im laufenden Betrieb.
Das System muss in engen Schleifen kontinuierlich handeln, beobachten, bewerten und aktualisieren, was den Interconnect, die Speicherbandbreite und das Serving auf eine Weise belastet, wie es beim Vortraining nicht der Fall ist. Darüber hinaus wird das System anhand vielfältiger Erfahrungsformen trainiert, die sich von der menschlichen Sprache und anderen menschlichen Daten stark unterscheiden und möglicherweise neuartige Modellarchitekturen und Trainingsalgorithmen erfordern.
Genau darauf konzentrieren sich NVIDIA und Ineffable in ihrer technischen Arbeit: den Aufbau einer Pipeline, die Reinforcement-Learning-Systeme in großem Maßstab versorgen kann. Ingenieure beider Unternehmen haben sich zusammengetan, um den besten Weg zur Schaffung dieser Trainingspipeline zu finden.
Diese Arbeit beginnt auf NVIDIA Grace Blackwell und wird unter den ersten sein, die die kommende NVIDIA Vera Rubin-Plattform erforschen. Das Ziel ist es, die nächste Generation von Hardware und Software zu verstehen, die erforderlich sein wird, wenn sich die KI-Welt über menschliche Daten hinaus hin zu Modellen verschiebt, die durch Simulation und Erfahrung lernen.
Wenn diese Infrastruktur richtig umgesetzt wird, wird sie ein nie da gewesenes Ausmaß an Reinforcement Learning in hochkomplexen und reichhaltigen Umgebungen ermöglichen, wodurch Agenten in allen Wissensbereichen bahnbrechende Entdeckungen machen können.