中国研究团队发布全球首个百亿级遥感大模型

在9月21日召开的第一届空天信息技术大会上，我国研究团队发布了全球首个百亿级遥感解译基础模型。遥感大模型通过遥感影像数据结合人工智能数据，提供精准精细化服务，在多个行业具有广泛的应用场景。

据悉，最新发布的全球首个百亿级遥感解译基础模型为“空天·灵眸”3.0版，由中国科学院空天信息创新研究院科研团队联合鹏城实验室研发。研究团队基于中国算力网“鹏城云脑II”枢纽节点，历时数月攻关完成了在4亿张国产化多模态空天遥感数据样本上的预训练，基础模型参数规模首次超过百亿。

近年来，我国遥感数据获取能力不断增强，已进入遥感大数据时代，人工智能等新型数据处理方式也为数据服务模式的变革提供了可能。模型的参数越大，能捕捉和处理复杂信息的能力就越强，从而更加准确、精细地完成更困难、更复杂的任务。

中国科学院空天信息创新研究院研究员孙显介绍，“空天·灵眸”3.0版内核工作架构是基于热传导，这是联合团队自主研发的一套小而精的原创性架构。受传热学物理思想启发，联合团队将场景目标间视觉语义传播建模为热能扩散过程，从而使该架构有效突破了遥感模型推理的性能和速度瓶颈，计算速度较传统结构模型提升2.4倍以上。

目前，“空天·灵眸”3.0版在覆盖场景分类、目标检测、语义分割、变化检测等6大类任务的23个国际基准数据集上测试，指标均达到领先水平，并已在应急、国土、海洋、住建等多个行业部署试运行，特别是在最具挑战性的复杂要素精细分类、运动小目标连续跟踪等任务上性能卓越，为天临空地一体化应用提供了一套行之有效的解决方案。

随着遥感技术的高速发展，遥感领域持续生产了海量的多时相的遥感数据。据介绍，这些数据有接近自然影像的可见光影像，也有光谱信息比较多的多光谱数据，还有雷达SAR影像，这些数据来自不同的卫星，不同的传感器，可将其视为不同模态的数据。但过去，这些数据都是没有经过标注的，而且标注这些数据不仅费时费力，在很多情况下只有依赖于专家经验才能进行。

近年来，业界出现了很多遥感影像数据获取的渠道，比如欧空局哥白尼平台，谷歌GEE平台，中国资源卫星中心的数据平台，这些平台都为研究人员获得遥感数据提供了便利。结合视觉大模型的成功经验，这些因素为遥感大模型的研发提供了发展契机和动力。

第一财经记者了解到，在国内，自2021年以来，业界就开始使用无监督预训练的算法做遥感影像的识别，2022年中国科学院空天院发布了RingMo模型，2023年发布了Satlas模型，复旦大学也发布了GRAFT模型，模型的数据和参数的规模越来越大，性能越来越强。

从遥感模型的发展趋势来看，呈现出三大趋势：从支持单模态的数据到融合多模态的数据；从只能覆盖单一数据源的影像到可以融合多数据源的影像；从仅支持单张静态影像的解译到融合整个时序影像的信息。

包括蚂蚁集团在内的公司都在开发遥感大模型。在今年的上海全球人工智能大会（2024 WAIC）上，蚂蚁集团遥感大模型负责人王剑介绍，蚂蚁集团基于蚂蚁百灵大模型平台，已经研发了20亿参数多模态遥感模型SkySense。通过在数据、模型架构和无监督预训练算法等方面的技术创新，SkySense在土地利用监测、地物变化检测等7种常见遥感感知任务。

一位空间科学资深研究人员对第一财经记者表示，遥感大模型在多个应用领域都展现出潜力，例如环境监测与保护、农业与自然资源管理、城市规划与发展、应急响应与灾害管理等，同时，也越来越多地应用在碳中和领域。

据介绍，此前在森林保护项目中，已经能通过遥感大模型支持自然风化的变化检测和人为破坏的变化检测，从而实现大规模林地定期监测和保护；而遥感大模型也能够在像素级别对主粮作物做出精准识别。