Minicurso 9: Foundation Models para Sensoriamento Remoto utilizando a biblioteca TerraTorch

Foundation models são modelos de inteligência artificial pré-treinados em grandes conjuntos de dados não rotulados por meio de auto-supervisão, que podem ser facilmente adaptados para diversas tarefas. Recentemente, modelos desse tipo vêm sendo desenvolvidos e utilizados para tarefas de sensoriamento remoto como classificação de cenas e detecção de mudanças. Nesse mini-curso abordaremos como funcionam os foundation models em dados de sensoriamento remoto e como eles podem ser adaptados para diferentes tarefas. Para isso, faremos uso do TerraTorch (https://github.com/IBM/terratorch), uma biblioteca de código aberto baseada no PyTorch Lightning e no TorchGeo, que simplifica o processo de ajuste de foundation models geoespaciais. A biblioteca oferece integração com foundation models disponíveis publicamente (por exemplo, Prithvi, SatMAE e ScaleMAE) e treinadores flexíveis para tarefas de segmentação, classificação e regressão, permitindo aos desenvolvedores criar decodificadores para essas e outras tarefas. Ela permite que as tarefas de ajuste sejam iniciadas por meio de arquivos de configuração flexíveis e facilita a automação de experimentos para otimização de hiperparâmetros. Usaremos os exemplos disponíveis no repositório do TerraTorch para demonstrar como ajustar foundation models para tarefas como mapeamento de enchentes, classificação de uso/cobertura do solo e detecção de mudanças.

1.    Parte Teórica: Introdução aos Foundation models para Sensoriamento Remoto

a.    Redes neurais para sensoriamento remoto

b.    Foundation models em visão computacional ( i. Introdução, ii.Pré-treinamento, iii.Fine-tuning)
   
c.    Arquiteturas
   
d.    Foundation models em sensoriamento remoto (i.Exemplos da literatura)

2.    Parte Prática: Uso da biblioteca TerraTorch
 
a.    Introdução ao TerraTorch: pacote especializado na execução de tarefas de fine-tuning. 

b.    Apresentação do software e de seu ambiente de configuração. 

c.    Organização de datasets

d.    Preparação de arquivos de configuração YAML

e.    Execução de tarefas de fine-tuning (i. Classificação)

3. Execução de tarefas de inferência usando modelos treinados. ( i.Classificação)

4. Mais exemplos completos: fine-tuning e inferência ( i. Segmentação, ii. Regressão, iii. Detecção de mudanças)