昨天，借着地球日的机会，IBM 和欧洲航天局（ESA）宣布推出 TerraMind，这是一种生成性 AI 基础模型，用于分析、解释和预测基于多模态地理空间数据的地球动态。
这一发布是 FAST-EO (Foundation Models for Advanced Space-based Earth Observation) 的一部分，这是由德国航空航天中心 (DLR)、Forschungszentrum Jülich、IBM Research Europe 和 KP Labs 等前沿机构组成的欧洲联合体发起的倡议，得到了 ESA 专门从事地球科学的创新实验室 Φ-lab 的科学和财政支持。
FAST-EO 的目标是让地球观测（EO）社区更容易获取基础模型，并鼓励在自然资源的可持续管理、生物多样性的保护、气候灾害的预防以及农业环境系统的分析等关键领域的使用。
TerraMind 正是在此背景下开发的。该模型在 Forschungszentrum Jülich 基于“TerraMesh”进行了预训练，这是迄今为止最大的地理空间数据集，包含超过 900 万个样本，涵盖九种不同的模式：从 Copernicus Sentinel-1 和 -2 卫星的光学和雷达图像，到环境的文本表示，再到地貌学和历史气候数据。
TerraMind 基于对称变换器的编码器-解码器架构，能够同时处理像素、标记和序列类型的输入。它可以例如将植被覆盖动态与过去的气象趋势和土地使用描述结合起来，以识别潜在风险或模拟生态系统的演变。
突破性创新：多模态思维 (TiM)
除了处理大量异构数据的能力外，TerraMind 还引入了一种方法学上的突破：多模态思维 (TiM)。据其设计者称，这是第一个真正用于地球观测的生成性多模态基础模型。这种方法使其能够在缺少输入时自动生成人工数据——在遥感中因云层覆盖、传感器分辨率变化或观测时间序列中的缺失而常见的情况。
这一过程的独特性在于模式之间的情境化推理。受 LLMs 中使用的思维链启发，TiM 机制使模型能够结合、外推和重建数据，从图像、文本、物理或地理变量中学到的相关性中构建。在微调或推理时，这种丰富部分环境的能力不仅提高了模型的稳健性，还在特定情况下细化其响应。
将这一技术应用于如水资源短缺预报等问题上——涉及气候、土地使用、植被、水文或农业实践等多种变量——展示了其操作潜力，而传统方法则因数据孤岛或时间缺口面临挑战。
优化的效率
尽管规模庞大——在训练阶段使用了超过 5000 亿个标记——TerraMind 是一个特别高效的模型。凭借其架构和有效的表示压缩，它在类似任务上消耗的资源比同类模型少十倍。这种差异为在计算能力或连接性有限的环境中大规模部署带来了实际前景。
它也是性能最佳的。TerraMind 在 ESA 的 PANGAEA 标准基准上进行了评估：在实际任务中，如土地覆盖分类、变化检测、环境监测以及多传感器和多时间分析，它在 12 种流行的地球观察基础模型中以 8% 或更高的优势超越了其他模型。
该模型继续 IBM 在气候和环境 AI 战略中的应用，与 IBM-NASA Prithvi 和 Granite 模型相辅相成。其在 IBM Geospatial Studio 和 Hugging Face 上的可用性增强了其可访问性和互操作性。
对于 ESA 的地球观测数据科学家 Nicolas Longepe 来说：
“这个项目是科学界、大型科技公司和专家之间成功合作的完美例子，利用技术的潜力为地球科学服务。地球观测数据专家、机器学习专家、数据科学家和高性能计算（HPC）工程师之间的协同效应是神奇的。”