专栏名称: GIS前沿
分享测绘地信资讯,交流行业软件技巧。
目录
相关文章推荐
创业家  ·  小赛道,才有大机会 ·  昨天  
股妖姬  ·  液冷服务器王者归来,核心公司名单 ·  昨天  
股妖姬  ·  液冷服务器王者归来,核心公司名单 ·  昨天  
游资研报  ·  【1X】NEO Gamma发布 ... ·  2 天前  
51好读  ›  专栏  ›  GIS前沿

3DGS+3D Tiles融合已成 ,更大的场景,更细腻的效果

GIS前沿  · 公众号  ·  · 2024-04-30 16:28

正文

最近国外同行@Kieran Farr发布了一个他制作的3D GussianSplatting(高斯泼溅)+Google Map 3D Tiles的融合叠加的demo案例(如下所示)。
准确来说这是一个数据融合的实景场景,该实景场景使用了倾斜三维和 3D GussianSplatting两种实景表达技术, 该融合场景的倾斜三维使用的是Google Maps的3D Tiles瓦片服务,3D GussianSplatting的场景是通过Luma平台生成导出,场景的裁剪使用playcanvas的SuperSplat工具进行场景的裁剪,前端框架上他选择了A-Frame+Three.js的组合。
从二者的融合,我们可以看出3D GussianSplatting的整个技术特点:对于细节的表达更加真实细腻,比如下图的红色箭头指出的部分其实就是使用3D GussianSplatting生成的照片级的小品场景效果。
除了这些小品场景3D GussianSplatting表现的效果比较出色之外,对于室外更大的场景,根据Luma给出的在线案例效果,同样非常细腻,案例地址放在文末,大家有兴趣可以自己体验一下。
其实在年初的时候,我和国内的一个团队交流过,其实他们内部也已经实现了二者的融合,由于现在开源的框架比较多以及格式开放,所以初步做起来难度并不是很大。
比如在场景生成方面可以采用gaussian-splatting-Windows这个开源工具,而且作者还公布了详细的使用教程,。
在场景编辑方面,对 GussianSplatting PLY格式的场景可以采用PlayCanvas的开源工具SuperSplat,最直接的就是对场景进行裁剪,对周边的一些质量比较差的区域进行裁剪以及对场景文件进行压缩。
在前端方面,基于Threejs,也都有了相应的开源工具GaussianSplats3D可以直接使用,由于3DGS是一种显示表达的格式,每个高斯都有相应的位置,所以模型转换到统一的地理空间坐标系下也是比较容易的。
在游戏引擎方面,UE的市场上也有 GussianSplatting 相应的插件,支持PLY格式数据导入,支持空间点数据的八叉树优化和LOD渲染,不过是付费的。
根据最近的一些进展来看,现在通过AI合成场景的研究工作都开始从NeRF转向了3D GussianSplatting领域,同时最近也产生了一系列的研究成果包括上海人工智能实验室发布的Octree-GS,为了解决3D GussianSplatting大场景的渲染问题,引入了八叉树这种LOD解决方案,这个在地理信息领域一直是一个万金油方法,数据大了就分级、分块。
不过基于「软点」的 GussianSplatting相对于过去基于Mesh的方法处理起来的难度相对来说可能会更小一些,本质上就是在顾及外观表现的情况下做好数据点密度的分级过滤就可以,所以在 GussianSplatting阶段过去一些厂商在数据简化方面积累的优势可能就会不存在了,因为在新的技术条件下这个问题可能根本就不再是个问题了
同时还有InstantSplat方法,其通过使用DUSt3R 来替换传统3D GussianSplatting生成管道中需要依赖的COLMAP, DUSt3R 基于Transformer,采用端到端的训练,可简化从任意图像集合中重建三维场景的过程,而无需事先了解相机校准或视点位置的信息,同时支持使用非常少的照片就可以实现3D的重建,比如下图展示的就是通过该方法可以实现基于两张图片就可以实现3D小熊的重建。
根据论文的介绍,InstantSplat可以做到40秒内实现GussianSplatting场景重建,如果有更广泛的适配性,则该方法真的就可以做到又快又好了。

最近和一些开展实践的团队交流的过程中,也确实发现在工程应用的时候,单纯的依靠相机的数据会出现局部重建失败的情况,所以现在也有通过在硬件上融合激光点云的方案来提升该方法在工程上的稳定性,毕竟做几个demo和真正的复杂工程应用场景相比还是有区别的,在工程上通常需要采用一些冗余的方案来保证稳定性,后面有机会我也会找相应的一些工程化的解决方案具体实践一下,到时候再推出具体的内容。

Luma案例在线体验地址:
https://lumalabs.ai/capture/2fe14849-ffc9-4a9f-a205-340ceb032a803D
GS+3D Tiles融合体验地址:
https://maps-and-splats.glitch.me/

- END -



历史干货

倾斜摄影建筑物模型自动纹理重建
无人机航测作业流程,你会几个?
最新图源+历史影像免费分享!奥维地图秒加载
全国具有测绘工程、地理信息科学本科专业的普通高校名单






请到「今天看啥」查看全文