使用机器学习的方法和技术来处理卫星遥感数据，获取有价值的信息，一直以来是遥感信息提取的活跃前沿，特别是深度学习作为机器学习的一个研究方向爆发后，深度学习算法大大超过了传统机器学习算法对遥感数据的目标识别、分类等精度。当前有数百颗遥感卫星每天对地球表面持续观测，产生PB量级的时间序列数据，据估计这些数据有超过90%的信息并没有得到有效发掘和利用。机器学习特别是深度学习，就是为从海量数据中提取有价值的见解而产生，自然也适用于从海量的卫
星遥感数据中自动提取有价值的信息、见解和知识。
当前的机器学习方法是为其他模
态的数据而设计的，例如自然图像和语言
。
对机器学习而言卫星遥感数据独特吗？需要专门为卫星遥感数据设计新的机器学习方法吗？
哈佛大学学者Esther
Rolf领衔团队2024年2月2日在arXiv
平台上传了预印本论文，文章题目为《关键任务——卫星数据是机器学习的一种独特模式》(Mission Critical – Satellite
Data is a Distinct Modality in Machine Learning)，该文认为”卫星遥感数据构成了机器学习研究的一个独特模态，必须认识到这一点来推进卫星遥感数据机器学习研究在理论、方法和部署方面的质量和影响力。文章概述了关键的讨论问题和可行的建议，以将卫星遥感数据机器学习从仅仅是一个有趣的应用领域转变为一个专门的研究学科，有助于推动机器学习和社会面临的重大挑战。”
以下节选《关键任务——卫星数据是机器学习的一种独特模式》论文的部分内容介绍卫星遥感数据的独特之处，卫星遥感数据机器学习面临的挑战和专门的方法，最后总结和点评。
《关键任务——卫星数据是机器学习的一种独特模式》论文指出“为其它模态数据设计的机器学习方法无法解决卫星遥感数据具有的明显特征，卫星数据是一种独特的模式。
”
卫星遥感观测的目标对象时空变化幅度跨越对数尺度
；空间上目标和地形的跨度范围可以从小于1米(例如树木)到数千米(例如野火)；时间模式可以在几个小时(例如地震)、几周(例如新增建筑物)、几月(例如农作物种植)、几年(例如冰川退缩)和几十年(例如海平面上升)中显现出来。同时卫星遥感数据由不同轨道高度的多样传感器获取，时间和空间分辨率也不一致(见图1)。
图1 同一地点的卫星图像可能存在较大差异(产品-空间分辨率-时间维度)图(引自参考资料1)
光谱/多极化数据有几个到十几个波段，高光谱数据有上百个波段，大大多于自然图像的3个波段(RBG)；同时当前的卫星遥感数据相比一般8bit量化自然图像有更高的辐射分辨率(10-12bit量化)。
卫星遥感的数据量是PB级的，截至到2024年1月，欧洲哥白尼哨兵任务有66PB公开卫星数据。
卫星遥感标注数据集是小型、稀疏且有偏差的，它们的模式和质量各不相同(见图2)。
图2 卫星观测值和标注图(引自参考资料1)
卫星遥感数据的机器学习面临的挑战
（一）密集预测的部署挑战
卫星遥感数据的机器学习模型部署中需要进行密集预测，因此模型效率是一个重要考虑因素。以10米的空间分辨率为例，全球陆地面积由近 1.5 万亿像素表示。
（二）时空机器学习评估的挑战
传统的机器学习评估，将数据随机分配给训练集和测试集，均匀随机采样的测试分割可能会严重限制理解模型性能，例如标签在
空间上自相关和聚类
。空间感知保持和交叉验证方法旨在测试模型在训练区域之外的表现。这些方法包括阻断或缓冲训练集和测试集之间的距离(见图3)，或参数化地改变训练数据和测试数据之间的距离。
图3 卫星遥感数据机器学习在部署和评估时有不同的考虑因素(引自参考资料1)
遥感数据机器学习社区必须与利益相关者合作，权衡遥感数据机器学习技术的风险和收益，并了解使用遥感数据机器学习生成的地图所做的决策会如何影响政策和社区。
卫星遥感数据可以轻松的转变格式为3通道的RGB图像，因此许多现有计算机视觉模型可以“开箱即用”于卫星数据。卫星遥感数据的机器学习需要专门的方法，在学习策略、模型架构等方面专为卫星遥感数据的机器学习设计。
卫星遥感数据的地理基础、时间规律性、全球覆盖范围和传感器多样性可以激发新数据集、实验和研究方向的创建，在多模态学习、分布偏移、自监督学习和评估、位置编码、人机交互和主动学习等方面丰富机器学习研究(见图4)。
图4 卫星遥感数据的机器学习方法示例(引自参考资料1)
