0. 这篇文章干了啥？

一句话总结：HashPoint通过将光栅化与光线追踪技术结合，着重于主表面，从而提高了点搜索和采样效率，以简化渲染流程。

下面一起来阅读一下这项工作~

1. 论文信息

标题：HashPoint: Accelerated Point Searching and Sampling for Neural Rendering

作者：Jiahao Ma, Miaomiao Liu, David Ahmedt-Aristizaba, Chuong Nguyen

机构：澳大利亚国立大学、CSIRO DATA61

原文链接：https://arxiv.org/abs/2404.14044v1

代码链接：https://github.com/Jiahao-Ma/HashPoint-Code

官方主页：https://jiahao-ma.github.io/hashpoint/

2. 摘要

本文解决了体积神经渲染中的高效点搜索和采样问题。在这个领域内，采用了两种典型的方法：光栅化和光线追踪。基于光栅化的方法能够实现实时渲染，但代价是增加了内存并降低了保真度。相比之下，基于光线追踪的方法能够获得更高的质量，但需要更长的渲染时间。我们通过我们的HashPoint方法解决了这个问题，结合了这两种策略，利用光栅化进行高效的点搜索和采样，利用光线追踪进行渲染。我们的方法通过在相机视图内栅格化点，将它们组织在哈希表中，并促进快速搜索来优化点搜索。值得注意的是，我们通过自适应采样来加速光线遇到的主要表面的渲染过程。我们的方法为一系列最先进的基于光线追踪的方法带来了显著的加速，在合成和真实测试数据集上保持了相当或更高的准确性。

3. 效果展示

HashPoint结合了光栅化和射线跟踪方法，以优化主表面上的点搜索和自适应采样。（A）一条射线与六个表面a∼f相交。（B）放大的表面显示了绿色和红色的采样点，附近检索到的点云为蓝色。从绿色到红色的变化表示采样点的混合权重增加。（C）图表说明了沿着摄像机射线的不透明度和渲染权重的变化。标记为'a'的第一个峰值表示射线首次击中的主表面。较高的渲染权重意味着更重要的采样点。值得注意的是，主表面通常主导着渲染过程。（D）在多个表面上进行采样与HashPoint相比，后者通过仅在主表面上进行采样来加速该过程。

HashPoint 与领先的神经点渲染方法进行深入比较：Point-NeRF采用多表面采样，以及 NPLF利用了 K-NP Extract 技术。

4. 主要贡献

（1）引入了哈希点搜索作为一种新颖的技术，通过优化点搜索来加速光线追踪方法，从而提高效率。

（2）还提出了一种名为自适应主表面采样的新颖技术，通过光线确定的距离来自适应地在首次遇到的表面上进行采样，并结合视点。

（3）在各种基准数据集上验证了我们的方法（合成、真实、室内和室外），展示了它显著加速渲染过程的潜力，而准确率相似或更好。

5. 基本原理是啥？

高效的点云搜索用于光线追踪。(A) 顶部行显示传统的点云搜索策略：均匀网格，K-D树和八叉树在2D中可视化以清晰展示。(A) 底部行显示了哈希点搜索，HashPoint是将点云栅格化到图像平面，然后重新组织点云列表以优化查询，从而构建哈希表。表中的每个键（作为像素索引）映射到点列表中的起始索引，并统计该像素内的点数，具有O(1)的复杂度。(B) 最终选择描述了搜索机制：使用放大的搜索核，目标光线的相邻点（黑色箭头）通过哈希表迅速识别，并根据它们与光线的距离进行评估。

自适应主表面采样的示意图。(A)该图描述了在图像平面上生成搜索核的过程。(B) 将相邻点投影到光线上作为样本点候选（红色十字）。每个候选点的重要性由其与半径内点的距离分布确定，这影响了最终特征聚合时其保留的程度。

不同点云选择策略的比较。(A) K-NP提取：每条射线提取K个最近点特征。（B）深度图采样：基于密集深度图的采样。（C）多表面采样：在多个表面上均匀采样。(D) HashPoint：在主表面上进行自适应采样。

6. 实验结果

验证光线追踪点云渲染中的四个关键基线，重点关注搜索和采样：

• Point-NeRF：通过均匀网格 (UG) 进行搜索，然后在多个表面上进行采样 (MS)。作者将 UG 和 MS 替换为HashPoint (HS) 和主表面采样 (PS)，并进行如表2所示的基准测试。

由于梯度传播有限，仅使用 PS 会阻碍点优化。因此，最初使用 MS 进行几何优化 10K 次迭代，然后切换到 PS 提高效率。通过调整参数 γ 控制过渡。

• Point-SLAM：采用单表面 (SS) 采样，与 Point-NeRF 的 MS 方法不同。虽然 Point-SLAM 的深度引导采样效率高，但它依赖于密集的深度输入，在渲染过程中并不总是可用。如表3所示，HashPoint性能与 Point-SLAM 的两种采样策略进行比较：深度引导和均匀多表面。

• NPLF：首先对点进行降采样，使用暴力搜索 (BF) 搜索附近点，并在 K 个最近点 (K-NP) 上进行渲染。HashPoint通过从主表面选择 K (K = 8) 个最近点而不进行降采样来保持高保真度，如表4所示。

• Pointersect：使用 UG 进行搜索，保留 K (K = 40) 个最近点进行渲染。通过从主表面选择 K (K = 6) 个最近点来改进此方法，从而获得更高的速度和质量，如表5所示。

7. 总结

HashPoint通过将光线追踪与光栅化相结合，提高了点云渲染速度。使用HashPoint技术，点云通过光栅化高效地组织在哈希表中，加速搜索。这种方法，结合主表面采样，减少了输入点并利用几何分布，显著加快了渲染速度。例如，在标准GPU上搜索一百万个点只需要0.5毫秒。在选择方面，HashPoint在准确性上优于K最近点方法，并且比多表面采样更快。Hash-Point易于与现有方法集成，提高了准确性和渲染速度，推动了点云渲染的边界。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 大模型 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机： 四旋翼建模、无人机飞控等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地 、 最新论文 、 3D视觉最新产品 、 3D视觉行业新闻 等交流群

添加小助理: dddvision，备注： 研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。

3D视觉工坊知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目 &作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、 BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、 无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、 LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、 MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等 。