Anmerkung der Redaktion: Dieser Beitrag ist Teil der Reihe AI Decoded, die KI entmystifiziert, indem sie die Technik zugänglicher macht, und neue Hardware, Software, Tools und Beschleunigungen für Benutzer von GeForce RTX-PCs und NVIDIA RTX-Workstations vorstellt.
In der Reihe AI Decoded wurden im vergangenen Jahr sämtliche Aspekte der KI erklärt, von der Vereinfachung der Komplexität großer Sprachmodelle (LLMs) bis hin zur Hervorhebung der Leistung von RTX KI-PCs und -Workstations.
In dieser Zusammenfassung dreht sich alles um die neuesten Fortschritte in der KI. Es wird aufgezeigt, wie die Technik die Art und Weise verändert hat, wie Menschen online schreiben, spielen, lernen und miteinander kommunizieren.
NVIDIA GeForce RTX GPUs bieten die Leistung, um diese Erlebnisse auf PC-Laptops, Desktop-PCs und Workstations bereitzustellen. Sie verfügen über spezialisierte KI-Tensor-Recheneinheiten, die mehr als 1.300 Billionen Operationen pro Sekunde (TOPS) an Rechenleistung für Spitzenleistung in den Bereichen Gaming, Kreativität, tägliche Produktivität und mehr erreichen können. Für Workstations bieten NVIDIA RTX GPUs über 1.400 TOPS und ermöglichen KI-Beschleunigung und -Effizienz der nächsten Generation.
Steigerung von Produktivität und Kreativität mit KI-gestützten Chatbots
AI Decoded hat Anfang dieses Jahres untersucht, was LLMs sind, warum sie wichtig sind und wie sie verwendet werden.
Für viele stellten Tools wie ChatGPT den Einstieg in den KI-Bereich dar. LLM-gestützte Chatbots haben das Computing von einfachen, regelbasierten Interaktionen zu dynamischen Konversationen transformiert. Sie können Urlaubsideen vorschlagen, Kundenservice-E-Mails schreiben, originelle Gedichte verfassen und sogar Code für Benutzer schreiben.
ChatRTX wurde im März eingeführt und ist eine Demo-App, mit der Benutzer eine GPT-LLM mit eigenen Inhalten, wie Dokumenten, Notizen und Bildern, personalisieren können.
Mit Funktionen wie Retrieval-Augmented Generation (RAG), NVIDIA TensorRT-LLM und RTX Beschleunigung ermöglicht ChatRTX Benutzern, ihre eigenen Daten schnell zu suchen und Fragen zu ihnen zu stellen. Und da die App lokal auf RTX-PCs oder -Workstations ausgeführt wird, sind die Ergebnisse schnell verfügbar und datengeschützt.
NVIDIA bietet die breiteste Auswahl an Foundation-Modellen für Enthusiasten und Entwickler, darunter Gemma 2, Mistral und Llama-3. Diese Modelle können lokal auf NVIDIA GeForce und RTX GPUs ausgeführt werden, um eine schnelle, sichere Leistung zu erzielen, ohne auf Cloud-Dienste angewiesen zu sein.
Laden Sie ChatRTX noch heute herunter.
Einführung von RTX-beschleunigten Partneranwendungen
KI wird in immer mehr Apps und Anwendungsfälle integriert, darunter Spiele, Apps zur Erstellung von Inhalten, Softwareentwicklung und Produktivitätstools.
Diese Expansion wird durch die große Auswahl an RTX-beschleunigten Entwickler- und Community-Tools, Software-Entwicklungskits, Modellen und Frameworks befeuert, die es einfacher denn je gemacht haben, Modelle lokal in gängigen Anwendungen auszuführen.
In AI Decoded wurde im Oktober hervorgehoben, wie die Leo AI von Brave Browser, die von NVIDIA RTX GPUs und der Open-Source-Ollama-Plattform unterstützt wird, es Benutzern ermöglicht, lokale LLMs wie Llama 3 direkt auf ihren RTX-PCs oder -Workstations auszuführen.
Dieses lokale Setup bietet eine schnelle, reaktionsschnelle KI-Leistung und sorgt für den Datenschutz bei den Benutzerdaten, ohne auf die Cloud angewiesen zu sein. Die Optimierungen von NVIDIA für Tools wie Ollama bieten eine beschleunigte Leistung für Aufgaben wie das Zusammenfassen von Artikeln, das Beantworten von Fragen und das Extrahieren von Erkenntnissen – alles direkt im Brave-Browser. Benutzer können zwischen lokalen und Cloud-Modellen wechseln und erhalten so Flexibilität und Kontrolle über ihre KI-Erfahrung.
Einfache Anweisungen zum Hinzufügen von lokaler LLM-Unterstützung via Ollama finden Sie im Blog von Brave. Sobald Leo AI so konfiguriert ist, dass es auf Ollama verweist, verwendet es das lokal gehostete LLM für Aufforderungen und Abfragen.
Agentenbasierte KI ermöglicht die Lösung komplexer Probleme
Agentenbasierte KI ist der nächste Schritt im KI-Bereich. Sie ist in der Lage, komplexe, mehrstufige Probleme autonom zu lösen, indem sie raffinierte Argumentationstechniken und iterative Planung nutzt.
AI Decoded untersuchte, wie die KI-Community mit der Technik experimentiert hat, um intelligentere, leistungsfähigere KI-Systeme zu erstellen.
Partneranwendungen wie AnythingLLM zeigen, wie KI über die einfache Beantwortung von Fragen hinausgeht und die Produktivität und Kreativität verbessert. Benutzer können die Anwendung nutzen, um integrierte Agenten bereitzustellen, die Aufgaben wie das Durchsuchen des Internets oder das Planen von Besprechungen bewältigen können.
Beispiel für einen Benutzer, der einen KI-Agenten in AnythingLLM aufruft, um eine Websuchabfrage abzuschließen.
AnythingLLM ermöglicht es Benutzern, über intuitive Schnittstellen mit Dokumenten zu interagieren, komplexe Aufgaben mit KI-Agenten zu automatisieren und fortschrittliche LLMs lokal auszuführen. Es nutzt die Leistung von RTX GPUs und bietet dadurch schnellere, intelligentere und reaktionsschnellere KI-Workflows – alles im Rahmen einer einzigen lokalen Desktop-Anwendung. Die Anwendung funktioniert auch offline und ist schnell und privat und in der Lage, lokale Daten und Tools zu verwenden, die mit Cloud-basierten Lösungen normalerweise nicht zugänglich sind.
Der Community Hub von AnythingLLM ermöglicht es jedem, einfach auf Systemaufforderungen zuzugreifen, die dem Nutzer dabei helfen können, das LLM-Verhalten zu steuern, produktivitätssteigernde Slash-Befehle zu entdecken und spezialisierte KI-Agentenfähigkeiten für einzigartige Workflows und benutzerdefinierte Tools zu entwickeln.
Indem es Benutzern ermöglicht, agentenbasierte KI-Workflows auf ihren eigenen Systemen mit vollständigem Datenschutz auszuführen, fördert AnythingLLM Innovationen und erleichtert das Experimentieren mit der neuesten Technik.
AI Decoded
Über 600 heutiger Windows-Apps und -Spiele führen KI bereits lokal auf mehr als 100 Millionen GeForce RTX KI-PCs und -Workstations weltweit aus und bieten schnelle, zuverlässige Leistung mit geringer Latenz. Erfahren Sie mehr über NVIDIA GeForce RTX KI-PCs und NVIDIA RTX KI-Workstations.
Sehen Sie sich den Vortrag von NVIDIA Gründer und CEO Jensen Huang vom 6. Januar auf der CES an, um zu erfahren, wie die aktuellen Neuerungen im KI-Bereich das Gaming, die Content-Gestaltung und die Entwicklung vorantreiben.
Generative KI transformiert Gaming, Videokonferenzen und interaktive Erlebnisse aller Arten. Durch ein Abonnement des AI-Decoded-Newsletters erhalten Sie einen Überblick über sämtliche Neuerungen und zukünftigen Entwicklungen.