EOGS：观测地球！

0. 论文信息

标题：EOGS: Gaussian Splatting for Earth Observation

作者：Luca Savant Aira, Gabriele Facciolo, Thibaud Ehret

原文链接：https://arxiv.org/abs/2412.13047

1. 导读

最近，Gaussian splatting已经成为NeRF的强大替代方案，展示了令人印象深刻的3D建模能力，同时只需要少量的训练和渲染时间。在本文中，我们展示了标准高斯分布框架如何适用于遥感，同时保持其高效率。这使我们能够在几分钟内实现最先进的性能，而性能最佳的基于NeRF的地球观测方法需要一整天的优化。提出的框架结合了EO-NeRF的遥感改进，如辐射校正和阴影建模，同时引入了新的组件，包括稀疏性、视图一致性和不透明度规则。

2. 效果展示

使用有限数量的给定场景的卫星图像，拟议的EOGS方法估计场景的外观和几何形状。它实现了与EO-NeRF相同的细节水平。与EO-NeRF需要长达一天的训练时间相比，EOGS只需要几分钟的优化时间。

3. 方法

拟议的地球观测高斯平滑方法，称为EOGS，专门和适应3DGS用于卫星摄影测量任务。给定N张非正射卫星图像和它们相应的RPC相机模型系数，一组高斯形状的3D基本形状被优化以恢复场景的3D几何和外观。

阴影绘图示例。实际上，所有且仅是卫星高度与重新采样太阳高度不匹配的点都应该被遮蔽。图底显示了太阳高程、重新采样的太阳高程和卫星高程渲染图，阴影用红色突出显示。 推荐课程： 实时400FPS！高精NeRF/Gaussian SLAM定位与建图 。

4. 实验结果

5. 总结 & 未来工作

本研究提出了EOGS，这是首个基于高斯-斯派丁（Gaussian-Spatting）的地球观测框架。通过在三维高斯-斯派丁（3DGS）中引入遥感需求，如阴影建模和特定相机的校正，EOGS在保持与当前最先进的方法EO-NeRF相当精度的同时，速度提高了300多倍。因此，EOGS将成为近期大规模数据集的一种实用解决方案。

我们的分析表明，EOGS在高覆盖率区域表现卓越，能够以极低的计算成本生成精细的细节。通过增加额外的正则化或使用更好的初始化方案，可以进一步提高EOGS在低图像覆盖率区域或植被覆盖区域的准确性。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，已沉淀6年，星球内资料包括： 秘制视频课程近20门 （包括 结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云 等）、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、