Am 30. Januar führte Mistral AI, das französische Einhorn der GenAI, Small 3 ein, ein LLM mit 24 Milliarden Parametern, das zeigt, dass ein leistungsstarkes LLM keine astronomische Anzahl von Parametern benötigt. Small 3.1, sein Nachfolger, behält eine kompakte Architektur bei und bietet gleichzeitig signifikante Verbesserungen in Bezug auf Leistung, multimodales Verständnis und Handhabung langer Kontexte, wodurch Modelle wie Gemma 3-it 27B von Google und GPT-4o Mini von OpenAI übertroffen werden.

Wie sein Vorgänger verfügt Small 3.1 über 24 Milliarden Parameter und kann auf zugänglichen Hardware-Konfigurationen eingesetzt werden, wie einem PC mit nur einer RTX 4090 GPU oder einem Mac mit 32 GB RAM, was es Unternehmen ermöglicht, die Kontrolle über ihre sensiblen Daten zu behalten, ohne auf eine zentralisierte Cloud-Infrastruktur angewiesen zu sein. Die Inferenzgeschwindigkeit bleibt gleich: 150 Tokens pro Sekunde, was eine minimale Latenz für Anwendungen gewährleistet, die sofortige Antworten erfordern. Getreu seinem Engagement für Open Source bietet Mistral AI beide Modelle unter der Apache 2.0-Lizenz an, sodass die Community sie nutzen, verfeinern und für verschiedene Anwendungsfälle einsetzen kann. 

Quelle: Mistral AI

Leistungsoptimierung

Obwohl Small 3.1 auf Small 3 basiert, liegt eine der größten Fortschritte in der Erweiterung des Kontextfensters von 32.000 auf 128.000 Tokens, was für Aufgaben, die ein Denken über lange Textsequenzen erfordern, von entscheidender Bedeutung ist. Während sich Mistral Small 3 hauptsächlich auf Text konzentrierte, verbessert Version 3.1 die Interpretation von Bildern und Dokumenten, was es im Vergleich zu proprietären kleinen Modellen in eine vorteilhafte Position bringt und Türen zu vielfältigen Anwendungen öffnet, von der industriellen Qualitätskontrolle über die Dokumentenerkennung bis hin zur automatischen Analyse medizinischer Bilder.
Mistral Small 3.1 ist in zwei Formaten erhältlich: 
  • Eine instruierte Version, Mistral Small 3.1 Instruct, bereit für den Einsatz in konversationellen Aufgaben und Sprachverständnis;
  • Eine vortrainierte Version, Mistral Small 3.1 Base, ideal für das Feintuning und die Spezialisierung auf spezifische Bereiche (Gesundheit, Finanzen, Recht, etc.).
 
Die Instruct-Version ist eines der besten Modelle seiner Kategorie und übertrifft seine Konkurrenten bei Benchmarks, die logisches Denken und kontextuelles Verständnis erfordern. Laut den von Mistral AI geteilten Benchmarks:
  • Zeigt Small 3.1 Instruct bessere Leistungen als Gemma 3-it (27B) von Google in textuellen, multimodalen und mehrsprachigen Aufgaben;
  • Es übertrifft GPT-4o Mini von OpenAI bei Benchmarks wie MMLU, HumanEval und LongBench v2, insbesondere dank seines erweiterten Kontextfensters von 128.000 Tokens; 
  • Es übertrifft auch Claude-3.5 Haiku bei komplexen Aufgaben, die lange Kontexte und multimodale Daten beinhalten;
  • Es brilliert gegenüber Cohere Aya-Vision (32B) bei multimodalen Benchmarks wie ChartQA und DocVQA und zeigt ein fortschrittliches Verständnis von visuellen und textuellen Daten;
  • Small 3.1 zeigt hohe Leistungen im Multilingualismus und übertrifft seine Konkurrenten in Kategorien wie europäischen und asiatischen Sprachen.
Mistral Small 3.1 kann auf der Huggingface-Plattform heruntergeladen und auf der Mistral AI-Plattform getestet werden. Es ist auch auf Google Cloud Vertex AI verfügbar und wird in den kommenden Wochen auf NVIDIA NIM angeboten.

Übersetzt von Mistral AI lance Mistral Small 3.1 : une nouvelle référence pour l'IA open source ?

Besser verstehen

Was ist ein LLM (Large Language Model) in Bezug auf Technologie und Funktion?

Ein LLM ist ein KI-Modell, das entwickelt wurde, um natürliche Sprache zu verstehen und zu erzeugen. Es besteht aus Milliarden von Parametern, die durch Training mit großen Textmengen angepasst werden, um das nächste Wort in einem Satz vorherzusagen. LLMs werden in Anwendungen wie automatischer Übersetzung, Textzusammenfassung und Konversationsagenten eingesetzt.

Was ist die Apache 2.0 Lizenz und warum ist sie für Open-Source-Projekte bedeutend?

Die Apache 2.0 Lizenz ist eine Open-Source-Softwarelizenz, die es Benutzern ermöglicht, erhebliche Änderungen vorzunehmen und die Software für kommerzielle oder private Zwecke zu verwenden, während Patente gewährt werden. Sie ist bedeutend, weil sie sicherstellt, dass Beiträge frei und zugänglich bleiben, was die Innovation und die Einführung neuer Technologien fördert.