Ieri, cu ocazia Zilei Pământului, IBM și Agenția Spațială Europeană (ESA) au anunțat lansarea TerraMind, un model de fundație AI generativ conceput pentru a analiza, interpreta și anticipa dinamica planetei pornind de la date geospațiale multimodale.
Lansarea face parte din cadrul FAST-EO (Foundation Models for Advanced Space-based Earth Observation), o inițiativă europeană susținută de un consorțiu de vârf — reunind DLR (Centrul Aerospațial German), Forschungszentrum Jülich, IBM Research Europe și KP Labs — cu sprijinul științific și financiar al Φ-lab de la ESA, laboratorul de inovație dedicat științelor Pământului.
Obiectivul FAST-EO este de a democratiza accesul la modelele de fundație în cadrul comunității de observare a Pământului (EO) și de a încuraja utilizarea lor în domenii cu impact major — gestionarea durabilă a resurselor naturale, conservarea biodiversității, prevenirea catastrofelor climatice sau analiza sistemelor agro-mediu.
În acest context se înscrie TerraMind. Modelul a fost pre-antrenat la Forschungszentrum Jülich pe "TerraMesh", cel mai mare set de date geospațiale adunat vreodată. Acest corpus include peste 9 milioane de eșantioane acoperind nouă modalități distincte: de la imagini optice și radar de la sateliții Copernicus Sentinel-1 și -2, la reprezentări textuale ale mediului, trecând prin geomorfologie și date climatice istorice.
Bazat pe o arhitectură encoder-decoder bazată pe transformatoare simetrice, TerraMind poate procesa simultan intrări de tip pixel, token și secvență. De exemplu, poate corela dinamica acoperirii vegetale cu tendințe meteorologice trecute și descrieri ale utilizării solului pentru a identifica riscuri emergente sau a modela evoluția unui ecosistem.
O inovație disruptivă: Thinking-in-Modalities (TiM)
Dincolo de capacitatea sa de a procesa un volum masiv de date eterogene, TerraMind introduce un avans metodologic: Thinking-in-Modalities (TiM). Conform creatorilor săi, este primul model de fundație cu adevărat generativ și multimodal aplicat observării Pământului. Această abordare îi permite să genereze autonom date artificiale în caz de intrări lipsă — o situație frecventă în teledetecție din cauza acoperirii cu nori, rezoluției variabile a senzorilor sau lacunelor temporale în seriile de observații.
Originalitatea procedurii se bazează pe un raționament contextualizat între modalități. Inspirat de lanțurile de gândire utilizate în LLM-uri, mecanismul TiM permite modelului să combine, extrapoleze și reconstruiască date pe baza corelațiilor învățate între imagini, texte, variabile fizice sau geografice. În timpul fine-tuning-ului sau inferenței, această capacitate de a îmbogăți un context parțial nu doar îmbunătățește robustețea modelului, ci și îi rafinează răspunsurile în situații specifice.
Aplicarea acestei tehnici la probleme precum predicția penuriilor de apă — care mobilizează variabile diverse precum clima, utilizarea solului, vegetația, hidrografia sau practicile agricole — ilustrează potențialul său operațional, acolo unde abordările tradiționale se loveau de silozuri de date sau lacune temporale.
O eficiență optimizată
În ciuda anvergurii sale — peste 500 miliarde de tokens utilizate în faza de antrenament — TerraMind este un model deosebit de eficient. Datorită arhitecturii sale și unei compresii eficiente a reprezentărilor, consumă de zece ori mai puține resurse decât modele comparabile pe sarcini similare. Acest diferențial deschide perspective concrete de implementare la scară largă, inclusiv în medii limitate în capacități de calcul sau conectivitate.
Este și cel mai performant. TerraMind a fost evaluat de ESA pe PANGAEA, un benchmark standard al comunității: a depășit cu 8% sau mai mult 12 modele de fundație de observare a Pământului populare pe sarcini reale, cum ar fi clasificarea acoperirii terestre, detectarea schimbărilor, monitorizarea mediului și analiza multi-senzor și multi-temporală.
Modelul se înscrie în continuitatea strategiei IBM în materie de AI climatică și de mediu, completând modelele IBM-NASA Prithvi și Granite. Disponibilitatea sa pe IBM Geospatial Studio și Hugging Face îi întărește accesibilitatea și interoperabilitatea.
Pentru Nicolas Longepe, Earth Observation Data Scientist la ESA:
"Acest proiect este un exemplu perfect de colaborare reușită între comunitatea științifică, marile companii tehnologice și experți pentru a valorifica potențialul tehnologiei în slujba științelor Pământului. Sinergia între experții în datele de observare a Pământului, specialiștii în Machine learning, oamenii de știință în date și inginerii în calcul de înaltă performanță (HPC) este magică".