Mistral AI hat heute die Mistral 3-Familie von Open-Source-Modellen für mehrere Sprachen und Modalitäten vorgestellt, die für NVIDIA-Supercomputing- und Edge-Plattformen optimiert sind.
Mistral Large 3 ist ein Mix-of-Experts-Modell (MoE) – statt jedes Neuron für jedes Token zu aktivieren, werden nur die Teile des Modells aktiviert, die den größten Einfluss haben. Das Ergebnis ist eine Effizienz, die Skalierbarkeit ohne Verluste und Genauigkeit ohne Kompromisse bietet und Unternehmens-KI nicht nur möglich, sondern auch praktisch macht.
Die neuen Modelle von Mistral AI bieten branchenführende Genauigkeit und Effizienz für Unternehmens-KI. Sie werden ab Dienstag, dem 2. Dezember, überall verfügbar sein, von der Cloud über das Rechenzentrum bis hin zum Edge.
Mit 41 Milliarden aktiven Parametern, insgesamt 675 Milliarden Parametern und einem großen 256K-Kontextfenster bietet Mistral Large 3 Skalierbarkeit, Effizienz und Anpassungsfähigkeit für KI-Workloads in Unternehmen.
Durch die Kombination von NVIDIA GB200 NVL72-Systemen mit der MoE-Architektur von Mistral AI können Unternehmen massive KI-Modelle effizient bereitstellen und skalieren und dabei von fortschrittlicher Parallelität und Hardware-Optimierungen profitieren.
Diese Kombination macht die Ankündigung zu einem Schritt in Richtung der Ära der – wie Mistral AI es nennt – „verteilten Intelligenz”, die die Lücke zwischen Forschungsdurchbrüchen und realen Anwendungen schließt.
Die granulare MoE-Architektur des Modells erschließt die vollen Leistungsvorteile der groß angelegten Expertenparallelität, indem sie die kohärente Speicherdomäne von NVIDIA NVLink nutzt und umfassende Optimierungen der Expertenparallelität einsetzt.
Diese Vorteile werden durch die genaue, niedrigpräzise NVFP4- und NVIDIA Dynamo-Optimierungen für disaggregierte Inferenz ergänzt, die eine Spitzenleistung für groß angelegtes Training und Inferenz gewährleisten.
Mit GB200 NVL72 erzielte Mistral Large 3 eine 10-fache Leistungssteigerung im Vergleich zur Vorgängergeneration NVIDIA H200. Diese Generationssteigerung führt zu einer besseren Benutzererfahrung, niedrigeren Kosten pro Token und einer höheren Energieeffizienz.
Mistral AI treibt nicht nur die Entwicklung modernster großer Sprachmodelle voran, sondern hat auch neun kleine Sprachmodelle veröffentlicht, mit denen Entwickler KI überall ausführen können.
Die kompakte Ministral 3-Suite ist für die Ausführung auf den Edge-Plattformen von NVIDIA optimiert, darunter NVIDIA Spark, RTX-PCs und -Laptops sowie NVIDIA Jetson-Geräte.
Um Spitzenleistung zu erzielen, arbeitet NVIDIA mit führenden KI-Frameworks wie Llama.cpp und Ollama zusammen, um Spitzenleistung auf NVIDIA-GPUs am Edge zu liefern.
Heute können Entwickler und Enthusiasten die Ministral 3-Suite über Llama.cpp und Ollama ausprobieren, um schnelle und effiziente KI am Edge zu nutzen.
Die Mistral 3-Modellfamilie ist frei verfügbar und ermöglicht Forschern und Entwicklern überall auf der Welt, mit KI-Innovationen zu experimentieren, sie anzupassen und zu beschleunigen, während gleichzeitig der Zugang zu Spitzentechnologien demokratisiert wird.
Durch die Verknüpfung der Modelle von Mistral AI mit den Open-Source-Tools von NVIDIA NeMo für die Entwicklung des Lebenszyklus von KI-Agenten – Data Designer, Customizer, Guardrails und NeMo Agent Toolkit – können Unternehmen diese Modelle weiter für ihre eigenen Anwendungsfälle anpassen und so schneller vom Prototyp zur Produktion gelangen.
Um Effizienz von der Cloud bis zum Edge zu erreichen, hat NVIDIA Inferenz-Frameworks wie NVIDIA TensorRT-LLM, SGLang und vLLM für die Mistral 3-Modellfamilie optimiert.
Mistral 3 ist ab sofort auf führenden Open-Source-Plattformen und bei Cloud-Dienstleistern verfügbar. Darüber hinaus werden die Modelle in Kürze als NVIDIA NIM-Mikroservices einsetzbar sein.
Siehe Hinweis zu Software-Produktinformationen.