Gisteren, ter gelegenheid van de Dag van de Aarde, kondigden IBM en de Europese Ruimtevaartorganisatie (ESA) de lancering aan van TerraMind, een generatief AI-fundamentmodel ontworpen om de dynamieken van de planeet te analyseren, te interpreteren en te anticiperen op basis van multimodale geospatiale gegevens.
Deze lancering maakt deel uit van FAST-EO (Foundation Models for Advanced Space-based Earth Observation), een Europees initiatief gedragen door een toonaangevend consortium — bestaande uit het DLR (Duits Lucht- en Ruimtevaartcentrum), het Forschungszentrum Jülich, IBM Research Europe en KP Labs — met wetenschappelijke en financiële steun van het Φ-lab van de ESA, het innovatiecentrum gewijd aan aardwetenschappen.
Het doel van FAST-EO is om de toegang tot fundamentmodellen binnen de gemeenschap van aardobservatie (EO) te democratiseren en hun toepassing aan te moedigen in cruciale gebieden — zoals duurzaam beheer van natuurlijke hulpbronnen, behoud van biodiversiteit, preventie van klimaatgerelateerde rampen of analyse van agro-milieusystemen.
In dit kader past TerraMind. Het model is vooraf getraind bij het Forschungszentrum Jülich op "TerraMesh", de grootste ooit samengestelde verzameling geospatiale gegevens. Deze verzameling omvat meer dan 9 miljoen monsters die negen verschillende modaliteiten dekken: van optische en radarbeelden van de Copernicus Sentinel-1 en -2 satellieten, tot tekstuele beschrijvingen van de omgeving, en geomorfologie en historische klimaatgegevens.
Gebaseerd op een encoder-decoder architectuur met symmetrische transformatoren, kan TerraMind gelijktijdig pixel-, token- en sequentie-invoer verwerken. Het kan bijvoorbeeld vegetatiebedekkingsdynamieken kruisen met historische weerspatronen en bodemgebruikbeschrijvingen om opkomende risico's te identificeren of de evolutie van een ecosysteem te modelleren.
Een baanbrekende innovatie: Thinking-in-Modalities (TiM)
Naast zijn vermogen om een enorme hoeveelheid heterogene gegevens te verwerken, introduceert TerraMind een methodologische doorbraak: het Thinking-in-Modalities (TiM). Volgens zijn ontwerpers is het het eerste echt generatieve en multimodale fundamentmodel dat wordt toegepast op aardobservatie. Deze aanpak maakt het mogelijk om zelfstandig kunstmatige gegevens te genereren bij ontbrekende invoer — een veelvoorkomende situatie in teledetectie door wolkendekking, variabele resolutie van sensoren of temporele hiaten in observatiereeksen.
De originaliteit van de methode berust op een contextueel redeneren tussen modaliteiten. Geïnspireerd door de denkketens gebruikt in LLM's, stelt het TiM-mechanisme het model in staat om gegevens te combineren, extrapoleren en reconstrueren op basis van de geleerde correlaties tussen beelden, teksten, fysieke of geografische variabelen. Tijdens finetuning of inferentie verbetert dit vermogen om een gedeeltelijke context te verrijken niet alleen de robuustheid van het model, maar ook om zijn antwoorden in specifieke situaties te verfijnen.
De toepassing van deze techniek op uitdagingen zoals het voorspellen van watertekorten — waarbij variabelen worden gemobiliseerd zoals het klimaat, landgebruik, vegetatie, hydrografie of landbouwpraktijken — illustreert het operationele potentieel, waar traditionele benaderingen werden belemmerd door datasilo's of temporele hiaten.
Een geoptimaliseerde efficiëntie
Ondanks zijn omvang — meer dan 500 miljard tokens gebruikt tijdens de trainingsfase — is TerraMind een bijzonder efficiënt model. Dankzij zijn architectuur en een effectieve compressie van representaties, verbruikt het tien keer minder middelen dan vergelijkbare modellen voor vergelijkbare taken. Dit verschil opent concrete mogelijkheden voor grootschalige implementatie, ook in omgevingen met beperkte rekenkracht of connectiviteit.
Het is ook het meest performante model. TerraMind is door de ESA geëvalueerd op PANGAEA, een standaard benchmark van de gemeenschap: het overtrof 12 populaire fundamentmodellen voor aardobservatie met 8% of meer op reële taken, zoals landbedekkingsclassificatie, veranderingendetectie, milieubewaking en multi-sensor en multi-temporele analyse.
Het model sluit aan bij de strategie van IBM op het gebied van klimaaten milieugerelateerde AI, ter aanvulling van de IBM-NASA Prithvi en Granite modellen. De beschikbaarheid op IBM Geospatial Studio en Hugging Face versterkt zijn toegankelijkheid en interoperabiliteit.
Volgens Nicolas Longepe, Earth Observation Data Scientist bij de ESA:
"Dit project is een perfect voorbeeld van succesvolle samenwerking tussen de wetenschappelijke gemeenschap, grote technologiebedrijven en experts om het potentieel van technologie te benutten ten dienste van de aardwetenschappen. De synergie tussen experts in aardobservatiegegevens, machine learning specialisten, datawetenschappers en high-performance computing (HPC) ingenieurs is magisch".