昨日、アースデイに際し、IBMと欧州宇宙機関（ESA）は、地理空間データを用いて地球の動態を分析、解釈、予測するために設計された生成AI基盤モデル、TerraMindの発表を行いました。
この発表は、欧州の先進的コンソーシアムによるFAST-EO（Foundation Models for Advanced Space-based Earth Observation）というイニシアチブの一環として行われました。FAST-EOは、DLR（ドイツ航空宇宙センター）、Forschungszentrum Jülich、IBM Research Europe、KP Labsが連携し、ESAのイノベーションラボであるΦ-labの科学的および財政的支援のもと進められています。
FAST-EOの目的は、地球観測（EO）コミュニティ内で基盤モデルへのアクセスを民主化し、自然資源の持続可能な管理、生物多様性の保護、気候災害の予防、農業環境システムの分析といった重要な分野での活用を促進することにあります。
この枠組みでTerraMindが位置付けられています。このモデルは、Forschungszentrum Jülichで「TerraMesh」と呼ばれるこれまでで最大の地理空間データセットを用いて事前訓練されています。このコーパスには、Copernicus Sentinel-1および-2衛星から取得された光学およびレーダー画像、環境のテキスト表現、地形学、歴史的気象データなど、9つの異なるモダリティをカバーする900万以上のサンプルが含まれています。
TerraMindは、対称トランスフォーマーに基づくエンコーダー・デコーダーアーキテクチャを採用しており、ピクセル、トークン、シーケンスの入力を同時に処理することができます。例えば、植生被覆の動態を過去の気象トレンドや土地利用の記述と組み合わせ、新たなリスクを特定したり、生態系の進化をモデル化することが可能です。
破壊的イノベーション：Thinking-in-Modalities（TiM）
TerraMindは、大量の異種データを処理する能力を超えて、Thinking-in-Modalities（TiM）という方法論的な進化を導入しています。これは、地球観測に応用された初の本格的な生成的マルチモーダル基盤モデルであると考えられています。このアプローチは、雲の覆い、センサーの解像度の違い、観測シリーズの時間的ギャップなどにより、入力が欠落する状況で自律的に人工データを生成することを可能にします。
このプロセスの独創性は、モダリティ間の文脈化された推論に基づいています。LLMで使用される思考の連鎖に触発されたTiMメカニズムは、画像、テキスト、物理的または地理的変数間の学習された相関からデータを組み合わせ、外挿し、再構築することをモデルに可能にします。ファインチューニングや推論時において、この部分的な文脈を豊かにする能力は、モデルの堅牢性を向上させるだけでなく、特定の状況での応答を精緻化することを可能にします。
気候、土地利用、植生、水系、農業慣行といった多様な変数を動員する水不足の予測といった課題へのこの技術の応用は、データのサイロや時間的ギャップに直面していた従来のアプローチを超える実用的な可能性を示しています。
効率性の最適化
その規模にもかかわらず、トレーニングフェーズで5000億以上のトークンを使用したTerraMindは、特に効率的なモデルです。それは、アーキテクチャと効果的な表現の圧縮により、類似のタスクでの比較可能なモデルよりも10倍少ないリソースを消費します。この差異は、計算能力や接続性に制約のある環境でも大規模な展開の具体的な可能性を開きます。
また、最もパフォーマンスが高いです。TerraMindは、ESAによってPANGAEAという標準的なベンチマークで評価され、地表被覆の分類、変化の検出、環境監視、マルチセンサーおよびマルチテンポラル解析といった実際のタスクで、人気のある12の地球観測基盤モデルを8％以上上回りました。
このモデルは、IBMの気候および環境AI戦略において、IBM-NASA PrithviおよびGraniteモデルを補完する形で位置付けられています。IBM Geospatial StudioやHugging Faceでの利用可能性により、そのアクセス性と相互運用性が強化されています。
ESAのEarth Observation Data ScientistであるNicolas Longepeは次のように述べています：
「このプロジェクトは、科学コミュニティ、大手テクノロジー企業、専門家が地球科学のために技術の可能性を活用するための成功したコラボレーションの完璧な例です。地球観測データの専門家、機械学習スペシャリスト、データサイエンティスト、高性能コンピューティング（HPC）エンジニアとの相乗効果は魔法のようです」。