TLDR : Mistral AIがSmall 3の改良版であるSmall 3.1を発表しました。コンパクトなアーキテクチャで優れたパフォーマンスを発揮し、長いテキストや画像の高度な理解を必要とするタスクに適しています。企業はクラウドインフラに依存せずにデータを管理できます。
目次
1月30日、Mistral AI、フランスのGenAIユニコーン企業は、24億パラメータのLLMであるSmall 3を導入しました。性能を発揮するために天文学的な数のパラメータは必要ないことを示しました。後継モデルであるSmall 3.1は、コンパクトなアーキテクチャを維持しつつ、パフォーマンス、マルチモーダル理解、長いコンテキストの管理において大幅な改善を導入し、GoogleのGemma 3-it 27BやOpenAIのGPT-4o Miniのようなモデルを凌駕しています。
その前身モデルと同様に、Small 3.1は24億パラメータを有し、RTX 4090を搭載したPCや32GBのRAMを持つMacのような手頃なハードウェア設定で展開可能です。これにより、企業は中央集権化されたクラウドインフラに依存せずに機密データを管理することができます。推論速度は同じく毎秒150トークンで、即時応答を必要とするアプリケーションにおいて最小限の遅延を保証します。オープンソースへのコミットメントに忠実であるMistral AIは、Apache 2.0ライセンスの下で両モデルを提供し、コミュニティが様々な使用ケースに利用、微調整、展開できるようにしています。
出典: Mistral AI
パフォーマンスの最適化
Small 3.1はSmall 3を基にしており、主要な進化の一つはコンテキストウィンドウが32,000トークンから128,000トークンに拡大されたことです。これは長いテキストシーケンスの推論を含むタスクにおいて重要な利点です。Mistral Small 3が主にテキストに焦点を当てていたのに対し、バージョン3.1は画像やドキュメントの解釈を改善し、小型のプロプライエタリモデルに対抗し、産業品質管理からドキュメント認識、医療画像の自動分析に至るまで多様なアプリケーションへの道を開きます。
Mistral Small 3.1は二つの形式で利用可能です:
-
会話と言語理解のタスクに使用できる準備が整ったバージョン、Mistral Small 3.1 Instruct、
-
特定のドメイン（医療、金融、法務など）での微調整と専門化に理想的な事前学習されたバージョン、Mistral Small 3.1 Base、
Instructバージョンは、そのカテゴリで最も優れたモデルの一つであり、推論とコンテキスト理解を必要とするベンチマークで競合を上回ります。Mistral AIが共有したベンチマークによれば：
-
Small 3.1 Instructは、GoogleのGemma 3-it (27B)をテキスト、マルチモーダル、マルチリンガルのタスクで上回っています;
-
MMLU、HumanEval、LongBench v2のようなベンチマークでOpenAIのGPT-4o Miniを、特に128,000トークンに拡張されたコンテキストウィンドウのおかげで上回っています;
-
複雑なタスクでClaude-3.5 Haikuを長いコンテキストとマルチモーダルデータを含むタスクで上回っています;
-
ChartQAやDocVQAのようなマルチモーダルベンチマークでCohere Aya-Vision (32B)を上回り、視覚的およびテキストデータの高度な理解を示しています;
-
Small 3.1は多言語対応で高いパフォーマンスを示し、ヨーロッパやアジアの言語のカテゴリーで競合を凌駕しています。
Mistral Small 3.1は、Huggingfaceプラットフォームでダウンロード可能で、Mistral AIプラットフォームでテストできます。また、Google Cloud Vertex AIで利用可能で、数週間以内にNVIDIA NIMでも提供される予定です。
Pour mieux comprendre
LLM（大規模言語モデル）とは、技術と機能の観点から何ですか？
LLMは、自然言語を理解し生成するために設計された人工知能モデルです。数十億のパラメータで構成され、大量のテキストでの訓練を通じて調整され、文章内の次の単語を予測します。自動翻訳、テキスト要約、会話エージェントなどのアプリケーションで使用されます。
Apache 2.0 ライセンスとは何ですか、それがオープンソースプロジェクトにとって重要である理由は何ですか？
Apache 2.0 ライセンスは、ユーザーが大幅な変更を加え、特許を付与しながら商業目的または個人的な目的でソフトウェアを利用できるオープンソースソフトウェアライセンスです。貢献が無料でアクセス可能であり続けることを保証し、新技術の革新と採用を促進するために重要です。