LLM : 大規模言語モデルとfoundation models

アーキテクチャ：transformerから現代モデルへ

すべての現代LLMの基盤となるtransformerアーキテクチャは、2つの基本要素に支えられています。第1は自己attentionメカニズムであり、モデルがテキスト内の各位置ごとに他の位置の表現を重み付きで組み合わせて計算できるようにします。この処理は本質的に並列化が可能であり、そのためtransformerは2017年までNLP分野を席巻していたRNNやLSTMといったリカレントアーキテクチャに取って代わりました。第2の要素は、同一のtransformer層を数十層（先端モデルでは通常32〜96層）積み重ねることで、それぞれが表現を洗練させていきます。

現代のLLMは、いくつかのアーキテクチャバリエーションに分かれています：

• denseモデル：すべてのパラメータが各推論時に活性化されます（GPT-4の初期版、Claude、Llama 3.1 405Bなど）。
• Mixture of Experts（MoE）モデル：トークンごとにごく一部のサブネットワーク（エキスパート）のみが活性化され、同等パラメータ数でも推論コストが低減します（Mixtral、DeepSeek-V3、推定されるGPT-4oなど）。
• ネイティブマルチモーダルモデル：テキスト、画像、音声、動画を統一された表現空間で入出力できます（Gemini、GPT-4o、Pixtral Large、Claude 3.5 Sonnetなど）。
• reasoning models（reasoning models）：応答前に明示的なchain-of-thoughtを生成するタイプで、DeepSeek-R1、OpenAI o1/o3、Tencent Hunyuan-T1、Gemini Thinkingなどが該当。数学・論理・プログラミングタスクで高品質ですが、レイテンシは増加します。

2026年の主要プレイヤー

OpenAIはChatGPT、GPT-4o、GPT-4o mini、reasoningモデルo1/o3ファミリーにより市場のリーダーと見なされ続けています。同社は2026年時点で数千億ドル規模の評価額となっており、主にMicrosoftとSoftBankが出資しています。API（トークン課金）、一般向け製品（ChatGPT Plus、月額20ドル）、法人向け（ChatGPT Enterprise、Azure OpenAI Service）を組み合わせた商業戦略を展開。OAI-SearchBot（自社検索クローラー）やSearchGPTの投入で事業領域も拡大しています。

Anthropicは2021年にOpenAI出身のDarioとDaniela Amodeiらによって設立され、安全性を差別化ポイントとしています。Claudeファミリー（Haiku、Sonnet、Opus）は特にライティング、コーディング、長文推論で高評価。Amazon、Google、SoftBankが出資。2026年5月にはxAIのColossus 1の計算リソースの一部を月額約12.5億ドルで借り受けると発表し、計算資源の集中化を象徴しました。

Google DeepMindは2023年からAI事業をGeminiブランドに統合。Geminiファミリー（Nano、Flash、Pro、Ultra、そして2024年12月のGemini 2.0 Flash）は検索エンジン（AI Overviews）やWorkspaceに組み込まれています。Googleは学習データ（Web、YouTube、Books）とTPUインフラを自社でコントロールできる構造的優位性を持っています。

Metaはweights open戦略でLlamaファミリー（Llama 1：2023年2月、Llama 2：2023年7月、Llama 3：2024年4月、Llama 3.1 405B：2024年7月）を展開。foundation modelsへのアクセスを民主化し、VicunaやTulu、分野特化のfine-tuneなど派生モデルのエコシステムを育成しました。一方、2025年7月には欧州GPAI行動規範への署名を拒否し、Llama 3マルチモーダルの欧州リリースを一時停止しました。

Mistral AIは2023年4月にArthur Mensch、Guillaume Lample、Timothée Lacroixによってパリで創業し、欧州のチャンピオンとして台頭。オープンモデル（Mistral 7B、Mixtral 8x7B、Codestral Mamba、Mathstral、Ministral 3B/8B）とプロプライエタリモデル（Mistral Large 2、Pixtral Large）を組み合わせたハイブリッド戦略を展開。GPAI行動規範に署名し、NVIDIA（Mistral NeMo 12B）、Dassault Systèmes、Capgemini、SAPと戦略的提携を結びました。

中国では、Alibaba（Qwenファミリー）、Baidu（ERNIE 4.5、ERNIE X1）、Tencent（Hunyuan-T1）、そして特にDeepSeekが米国勢に追いつき、挑戦しています。DeepSeek-V3は2025年1月、同等品質ながら西側競合の約30分の1の学習コストでコミュニティを驚かせました。続いてリリースされたDeepSeek-R1は2025年6月（R1-0528）にアップデートされ、NVIDIA株価の一時急落を引き起こすなど、過剰なインフラ依存に疑問を投げかけました。

その他にも、xAI（Grok、Colossusインフラ）、Cohere（企業向け多言語モデル、Aya 23）、AI2（Tülu 3 405B、完全openモデル）、Aleph Alpha（Pharia-1-LLMドイツ語版）、Black Forest Labs（FLUX-1：text-to-image用）、LightOn（企業向けParadigm）、Hugging Face（モデルハブ、SmolLM2）、OpenEuroLLM（欧州openコンソーシアム）などが専門分野で活躍しています。

2026年の代表的モデル

2026年時点の先端LLMは、各ファミリーごとにサイズやバリエーションを持つ十数種で構成されています：

• GPT-4o / GPT-4o mini（OpenAI）：ネイティブマルチモーダル、低レイテンシ、128kトークンのコンテキストウィンドウ。GPT-4o miniは大規模展開の経済的標準となりました。
• o1 / o3（OpenAI）：内部chain-of-thoughtを持つreasoningモデル。競技数学（AIME、IMO）やプログラミング（Codeforces）で圧倒的な性能。
• Claude 3.5 Sonnet / Claude 3 Opus（Anthropic）：200kウィンドウ、長文執筆や文書読解で優秀。
• Gemini 2.0 Flash / Gemini Ultra（Google DeepMind）：ネイティブマルチモーダル、Googleエコシステムと統合。
• Llama 3.1 405B / Llama 3.3（Meta）：open source denseのリーダー。
• Mistral Large 2 / Pixtral Large（Mistral AI）：欧州勢、一部バージョンはopen weights。
• DeepSeek-V3 / DeepSeek-R1-0528（DeepSeek）：中国のopen source、reasoning、学習コストが驚異的に低い。
• Qwen2.5（Alibaba）：中国多言語open sourceリーダー、1Mトークンウィンドウ。
• NOVA（Amazon）：2024年12月発表の独自foundationファミリー。
• Phi-3 / Phi-3.5（Microsoft）：組み込み向けの小型・高効率モデル。
• Hunyuan-T1（Tencent）：中国のreasoningモデル、最先端に匹敵。
• Grok 3（xAI）：Xへのリアルタイムアクセス、巨大インフラ。

学習とコスト

先端LLMの学習には膨大なリソースが必要です。GPT-4の場合、公開推定では約1億ドル、数万台のGPU H100を3カ月間使用したとされます。Llama 3.1 405Bは16,000台のH100と約3,000万GPU時間を要しました。Mistral Large 2やMixtralなど欧州勢は、より控えめな予算で競争力のある性能を達成し、データ品質への注力による効率性を示しました。

OpenAIが提唱し、その後DeepMind（Chinchilla, 2022）が洗練させたscaling lawsは長らく業界の指針となってきました。モデルの品質はパラメータ数と学習データ量の積に比例して向上するというもので、両者のバランスが重要です。しかし2024年末にはこの方程式に変化が生じ、予算の増大がベンチマーク上の劇的な性能向上につながらなくなり、データ品質やpost-training reasoning、エージェント、マルチモーダル性など新たな軸に注目が移っています。

計算インフラは地政学的な争点となりました。NVIDIAはH100/H200/B200 GPUのほぼ独占により市場価値の大半を掌握。米国の輸出規制で中国向け販売が制限され、DeepSeekやAlibabaは劣化版チップ（H800）での学習最適化を迫られました。xAIは2024年、メンフィスにColossusデータセンターを建設し、10万台から20万台のH100/H200を1年足らずで導入するという産業記録を樹立しました。

能力と限界

現代LLMは、執筆、要約、翻訳、コード生成、対話、情報抽出、分類、構造化・非構造化文書処理など幅広いタスクを高水準でこなします。これらは多くのアプリケーション（対話型検索エンジン、コーディングアシスタント（Copilot、Cursor）、法務・医療エージェント、カスタマーサポート、OfficeやWorkspaceの生産性ツール）の標準コンポーネントとなっています。

一方で限界も明確です。LLMは事実と異なるもっともらしい内容（いわゆる「ハルシネーション」）を特に専門的分野や正確な数値、文献情報で生み出す傾向があります。敵対的攻撃（prompt injection、jailbreak）への耐性も十分ではなく、2024年12月のEPFL研究では適応型攻撃に対する脆弱性が指摘されました。2024年4月のEPFL研究では、ユーザーの意見を誘導する操作も可能であることが示されています。また、エネルギー・水消費量も大きく、規制当局や株主の監視が強まっています。バイアスも学習コーパス（主に英語・欧米圏）に由来しています。

open source vs プロプライエタリ

open LLMとクローズドLLMの対立は2023年以降、議論の構造を形作っています。openモデルの支持者（Meta、Mistral、Hugging Face、AI2、DeepSeek、La Quadrature du Netなど）は技術主権、独立監査の可能性、学術的普及、産業レジリエンスを主張。反対派（Anthropic、OpenAIの一部領域）は、悪用リスク（バイオテロ、大規模な偽情報、詐欺）や一度公開したモデルの撤回が不可能な点を問題視しています。

AI Actはこの問題に部分的に決着をつけ、パラメータ・アーキテクチャ・利用情報が公開されたモデルには一部免除を認めています。ただし、システミックリスクのあるモデル（10²⁵ FLOPSの学習）は対象外です。2026年時点でopen sourceエコシステムはLlama、Mistral、DeepSeek、Qwenが主導し、ほとんどの企業・学術用途を単一ベンダーAPIに依存せずカバーしています。

専門・縦型モデル

汎用モデルに加え、エコシステムは縦型モデルへと多様化しています。医療分野ではBioptimusのH-optimus-0（医療診断支援）、Aleph AlphaのPharia-1-LLM（ドイツ語）、放射線科・腫瘍科向けfine-tuneも登場。法務分野ではLefebvre Dalloz-Barreau de Parisのアシスタント、Talan-Mutuelle Généraleのアプリケーション。コード分野ではCodestral（Mistral）、Code Llama（Meta）、DeepSeek-Coder。金融ではBNP Paribas、Crédit Agricole、JPMorganの社内モデル。小型高効率モデル（SLM、Small Language Models）の動きも活発で、Phi-3、Mistral Ministral、SmolLM2、Gemma 2 2Bなどが、スマートフォン・自動車・IoTなど組み込み用途に向け、低コストで実用的な品質を実現しています。

2025年にはAIエージェントがLLM活用の新パラダイムとして台頭。単一の質問応答にとどまらず、ツール呼び出し、Web参照、ファイル作成、コード実行など一連のアクションを自動で組み合わせ、複雑なタスクを解決します。Gemini 2.0 Flashは2024年12月、この新たな製品群の先駆けとして発表されました。AI BuildersのAI Decision Matrixは、多様化するソリューション選定に悩むIT責任者向けの比較評価フレームワークを提供しています。

2026年以降の争点

今後18カ月で注視すべき動向：

• 2025年8月から適用されたAI Actに基づくGPAI準拠；
• 推論経済（インファレンスエコノミー）の台頭とMoEアーキテクチャや量子化（BitNet、vLLM、llm-optimizer）へのシフト；
• 著作権との関係性、特にフランスのDarcos法の棚上げやMeta-Llama、NYT-OpenAI、Getty-Stable Diffusionの係争を受けた法的整理；
• OpenAI o3、DeepSeek-R1、Gemini Thinking、Hunyuan-T1が競うreasoningモデル競争；
• テキスト・画像・動画・音声を統合的に扱えるマルチモーダル収束；
• エージェントの台頭と、それに伴う信頼性（長期タスクでの成功率）、安全性（実行アクションの管理）、ビジネスモデルの課題；
• Mistral、OpenEuroLLM、LightOn、Aleph Alpha、OVHcloudと新型NVIDIA Tensor Core GPUによる欧州の主権確立への取り組み。

LLMの進化はもはやパラメータ数競争だけではありません。勝者となるプレイヤーは、データ品質、強化学習によるpost-training、推論インフラの制御、ターゲット市場に合致したライセンス戦略、規制遵守を組み合わせる必要があります。今や産業・地政学・法務の課題でもあり、単なる科学技術の話ではありません。