主要观点总结
本文主要介绍了全球AI芯片峰会的相关内容，同时详细阐述了NeRF技术与3DGS技术在自动驾驶仿真和场景重建中的应用。文章还提到了近期关于3DGS技术的研究成果以及其在自动驾驶实景数据仿真中的应用，并提到了利用这种技术提高自动驾驶系统训练质量的可能性。
关键观点总结
关键观点1: 全球AI芯片峰会
介绍了智猩猩主办的全民关注的AI芯片峰会，包括开幕式和多个专场会议，邀请了众多嘉宾参与。
关键观点2: NeRF与3DGS技术的介绍和对比
NeRF技术利用神经网络和机器学习技术将三维场景转化为连续函数，而3DGS技术则是一种用于实时辐射场渲染的3D高斯分布描述技术。两者在自动驾驶仿真和场景重建中有不同的应用。
关键观点3: NeRF技术的不足和3DGS技术的优势
NeRF技术需要完整的视频序列进行离线训练，无法实现实时渲染，而3DGS技术在渲染速度、图像质量和定位精度等方面表现优异，能够弥补NeRF技术的短板。
关键观点4: 近期的3DGS相关研究
介绍了近期关于3DGS技术的研究进展，包括论文发布和研究成果，以及其在自动驾驶实景数据仿真中的应用。
关键观点5: 未来展望
预计3DGS技术将不断升级，提高自动驾驶仿真场景的保真度和有效性，并与传感器融合技术相结合，为自动驾驶车辆提供更加可靠的三维环境感知解决方案。
正文
9月6-7日
，智猩猩发起主办的
2024全球AI芯片峰会
将在北京辽宁大厦盛大举行。峰会设有开幕式、数据中心AI芯片专场、AI芯片架构创新专场、边缘/端侧AI芯片专场、智算集群技术论坛、Chiplet关键技术论坛、中国Risc-V计算芯片创新论坛。目前，终极议程已公布，50+位来自AI芯片、Chiplet、RISC-V、智算集群与AI Infra系统软件等领域的嘉宾，将带来报告、演讲、高端对话和圆桌Panel。扫码报名或购票～
场景的保真度，对于自动驾驶仿真和合成数据生成至关重要，场景重建保真度不足，将极大地制约高阶自动驾驶系统的训练效果。
同时，在用于训练大模型和具身智能的合成数据领域，同样对低成本的高保真场景有巨大的需求
。
NeRF是前几年在自动驾驶仿真中较为火热的话题，随着今年3DGS技术的突破，自动驾驶仿真将迈向新高。
NeRF，全称为神经辐射场（Neural Radiance Fields）。它利用神经网络和机器学习技术，将三维场景转化为一种连续的函数，这个函数可以描述场景中任意一点在任意方向上的颜色和密度。NeRF技术的核心在于使用神经网络对场景进行编码，并利用多视角图像数据进行训练，最终生成一个能够精准描述场景的三维模型。自2019年NeRF技术首次提出以来，其研究进展迅速，在三维场景的重建、动画制作、虚拟现实等领域取得了显著成果。NeRF技术不仅可以生成高质量的三维模型，还可以通过训练神经网络实现实时渲染和交互，目前被广泛用于自动驾驶的仿真领域。
但大多数NeRF方法需要完整的视频序列进行耗时的离线训练，无法实现实时渲染，限制了其实用性。自动驾驶场景本身就是无界限的场景，之前用NeRF的方法建模时，都是假设场景是稳定的，对于动态场景的捕捉力度不足，在有多个动目标、光线变化的场景里，NeRF合成的图质量很差。
（2）3D Gaussian Splatting 技术
3D高斯泼溅（3D Gaussian Splatting, 简称3DGS）是用于实时辐射场渲染的3D 高斯分布描述的一种渲染技术，通过将多视角图像表示的三维场景转化为各向异性3D高斯点云表示的场景，并能通过参数优化和密度控制来提高重建质量。
与神经辐射场（NeRF）等用位置和视点条件神经网络表示3D场景的神经隐式表示不同，3D GS利用一组高斯椭球来对场景进行建模，因此可以通过将高斯椭球光栅化为图像来实现高效渲染。3DGS在渲染速度、图像质量、定位精度等方面呈现出了非常优异的表现，全面补足了NeRF的短板。同时，基于3DGS的重建场景能够1:1复刻在真实智驾上发现的边缘场景（Corner Case），通过动态场景泛化，提升端到端智驾系统应对Corner Case的能力。下图NeRF和3DGS的对比。
近期不管是学术界还是自动驾驶商业化领域，大家对3DGS的讨论热度都越来越高。
（1）论文《RecentAdvances in 3D Gaussian Splatting》从三维重建、基于3DGS的3D编辑、3DGS在CV领域的前沿应用三个方面介绍了3DGS的最新技术研究。
官网：https://arxiv.org/abs/2403.11134
（2）CVPR2024论文《3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos》展示了迄今为止最快的视频构建技术3DGStream：能够高效重建真实世界动态场景的方法。3DGStream能够在12秒内快速完成每帧的重建，并以每秒200帧的速度实现实时渲染，将训练与渲染速度分别提升近10倍和100倍。如图是3DGStream 概述。
官网：https://arxiv.org/abs/2403.01444
（3）北京大学论文《DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes》用复合Gaussian splatting进行大场景动态驾驶场景的表示和建模框架。首先用增量静态3D高斯逐步搞定静态背景，然后用复合动态高斯图捕捉多个动态场景，能够让复杂驾驶场景的建模质量直线飙升。如图是Gaussian splatting的架构。
官网：https://arxiv.org/abs/2312.07920
（4）清华大学的GaussianFormer证明了3DGS能够降低occupancy显存开销，用稀疏3D语义高斯来实现3D场景。每个高斯都能搞出一片感兴趣的地方，还能看出它是啥特征。从车上的各种角度拍的图里捞信息，然后不停地调整高斯的各种属性，包括位置信息。在nuScenes和KITTI-360数据集上跟最高水平的方法比起来，性能差别不大，但是能够把显存开销降低75%以上。
https://github.com/wzzheng/GaussianFormer
在不加额外标注的情况下，自监督分辨动和静场景，还能快速、高质地渲染动态城市街道场景。为了实现复杂的场景变化，他们还制作出空间-时间分解网络，自动搞定3D高斯体的形变。他们在Waymo 公开数据集上测试，效果超越StreetGaussian等方法，达到了SOTA性能。
https://github.com/nnanhuang/S3Gaussian/
