CVPR 2024 | 物体作为体积：不透明固体的随机几何视图

来源：投稿  作者：橡皮
编辑：学姐

论文链接：https://arxiv.org/abs/2312.15406

项目主页：https://imaging.cs.cmu.edu/volumetric_opaque_solids/

摘要：

我们开发了一种将不透明固体表示为体积的理论。从不透明固体作为随机指示函数的随机表示开始，我们证明了可以使用指数体积输运对此类固体进行建模的条件。我们还推导了体积衰减系数的表达式，作为基础指标函数的概率分布的函数。我们概括了我们的理论来解释固体不同部分的各向同性和各向异性散射，以及将不透明固体表示为随机隐式表面。我们从第一原理中得出体积表示，这确保它满足物理约束，例如互易性和可逆性。我们使用我们的理论来解释、比较和纠正以前的体积表示，并提出有意义的扩展，从而提高 3D 重建任务的性能。

1 引言

体积表示在应用物理和计算机图形学领域有着悠久的历史，它们能够在半透明物体（例如组织、云、蜡和肥皂等材料）和参与介质（例如烟、雾、浑水）中进行有效的光传输模拟。自从 Mildenhall 等人引入 NeRF 以来，神经渲染技术不断涌现，这些技术对场景使用体积表示，与上述示例非常不同，包括自由空间（而不是体积介质）中的不透明对象（而不是半透明对象）。没有次表面或体积散射的场景体积表示的巨大成功引发了以下问题：为什么我们可以使用体积光传输来模拟仅具有光表面相互作用的场景？将不透明物体建模为体积的数学基础是什么？这样的体积有什么属性？

我们的目标是回答这些问题。我们从第一原则开始，重新审视半透明物体和参与媒体的体积表示的推导。正如计算机图形学领域最近的工作所强调的那样，体积表示是查询随机几何的一种形式主义：从这个角度来看，诸如透射率和自由飞行分布之类的体积量是诸如“两点是否相互可见”（可见性查询）等查询的答案。）和“沿光线到第一个交点的距离是多少”（光线投射查询），当遮挡可见性和终止光线的几何体是随机的时。

半透明和参与介质的体积表示是其微观结构的随机抽象：此类介质包含大量反射和遮挡光线的微观粒子。对显式微粒配置进行建模并渲染通过它们的光传输是非常昂贵的。作为效率的折衷，体积表示允许平均模拟此类介质中的光传输。这些表示用微粒配置的统计描述（例如，平均颗粒位置、尺寸、形状和方向）取代显式的描述，类似于表面微观几何的统计 BRDF 模型。计算机图形学开发了微粒介质的体积表示，可以解释诸如变化的颗粒尺寸和材料、形状和方向以及位置相关性等细节。

我们使用随机几何理论为包含不透明宏观 3D 对象或不透明固体的场景开发（第 3 节）类似的体积表示。我们证明（第 3.1 节）指数体积表示的形式条件适用于随机不透明固体；以及体积参数（即衰减系数）和随机几何模型之间的函数关系。我们采用（第 3.2 节）微粒几何形状的各向异性体积表示来适应不透明固体，以解释诸如靠近表面的方向相关的透视和远离表面的方向无关的衰减等效应。我们扩展（第 3.3 节）我们的体积表示以利用当前实践中常见的几何模型（例如，隐式曲面）。我们的理论提供了具有物理合理性所需属性（例如互易性和可逆性）的体积表示。

我们的工作并不是第一个导出不透明固体的体积表示的工作。先前的推导通常考虑如何将确定性几何表示（例如，带符号的距离函数）转换为行为近似于确定性几何的体积表示。尽管在经验上取得了成功，但这种方法仍然是启发式的，并且需要任意选择（例如，决定在体积表示中保留确定性几何的哪些属性）。相比之下，我们的推导是严格的，仅从体积传输的公理开始，并有助于将先前的工作建立在坚实的数学基础上：我们表明（第 4 节）我们的理论将先前的体积表示解释为我们的特殊情况，对应于针对底层不透明几何体的不同随机建模选择。我们的理论还强调并解决了先前体积表示的关键缺陷（例如，缺乏互易性和可逆性），并以原则性的方式概括它们。

我们的体积表示可以很容易地合并到现有的体积神经渲染管道中。我们通过实验（第 5 节）证明，用我们的体积表示替换以前的体积表示可以在常见数据集上显着更好（定性和定量）3D 重建。我们在项目网站上提供交互式可视化、开源代码以及包含所有附录的补充。

2 体积光传输背景

我们从体积光传输（也称为辐射传输）的背景开始。我们遵循 Bitterli 等人的工作进行回顾，并参考 Preisendorfer的第 XV 章和 Chiu 等人的工作进行更全面的讨论

设置。 体积光传输模型具有随机几何形状的场景（图 1）。传统上，在计算机图形学中，这些场景包含大量微观粒子（例如半透明材料）；而在神经渲染中，它们是由宏观不透明物体组成的场景。我们分别将这两种设置称为随机微粒几何和随机实体几何。

图 1. 体积表示用随机（右）射线投射取代确定性（左）：它们不是寻找与确定性几何体的第一个相交，而是使用沿着射线的自由飞行分布来表示与随机几何体第一次相交的概率。经典体积表示描述随机微粒几何形状（上）。我们推导出随机实体几何的体积表示（底部）。

在这两种设置中，体积光传输算法模拟了随机几何的所有实现的预期辐射测量。他们利用了确定性光传输算法（例如路径追踪）仅通过两个几何查询与场景几何交互的事实：Q1。可见性查询，计算点 x, y ∈ R 3 之间的可见性 V(x, y) ∈ {0, 1} ；Q2。射线投射查询来计算自由飞行距离 t ∗ x,ω ∈ [0, ∞) 一条原点为 x ∈ R 3 且方向为 ω ∈ S2 的射线一直行进，直到它第一次与场景相交。因此，我们可以通过随机化这些几何查询，将光传输算法从确定性设置转换为体积设置。

为了便于讨论这些随机查询，我们引入了一些符号。我们用 rx,ω(t) ≡ x+t·ω 表示原点为 x ∈ R 3 、方向为 ω ∈ S2 的射线在行进距离 t ∈ [0, ∞) 之后的点；用 Vx,ω(t) ≡ V(x, rx,ω(t)) 表示沿射线的可见性。然后，自由飞行距离变为 t ∗ x,ω ≡ max{t ∈ [0, ∞) : Vx,ω(t) = 1}，我们用 r ∗ x,ω ≡ rx,ω  t ∗ x,ω  表示第一个交点。

**定义 1. **在具有随机几何 O 的场景中，沿光线 rx,ω(t) 的透射率是从光线原点 x 可见的概率，相当于自由飞行距离 t ∗ x,ω 的尾部分布：

沿射线的自由飞行分布是自由飞行距离 t ∗ x,ω 的概率密度函数：

x 点和 ω 方向的衰减系数为零自由飞行距离的概率密度（相当于射线沿 ω 穿过 x 的概率密度）：

我们将随机几何的定义推迟到第 3 节。透射率从可见性中继承了以下属性：1. 它是倒数的，如果 y ≡ rx,ω(t)，则 Tx,ω(t) = Ty,−ω(t)；2. 它是单调不增的，如果 t < s，则 Tx,ω(t) ≤ Tx,ω(s)；3. 它满足 Tx,ω(0) = 1。透射率和自由飞行分布分别概括了可见性 (Q1) 和光线投射 (Q2) 查询：对于确定性几何，等式 (1) 简化为确定性可见性，等式 (2) 简化为以确定性自由飞行距离为中心的狄拉克德尔塔分布 δ  t − t ∗ x,ω 。当我们在下面讨论指数传输时，衰减系数将变得很重要。

我们可以使用这些定义来推广确定性光传输算法，该算法递归地使用沿着光线的辐射守恒方程 Li(x, ω) = Lo  r ∗ x,ω, −ω  到体积光传输算法，递归地使用该方程的期望：

如果我们放弃预期辐射率和实际辐射率之间的区别，方程（5）就是神经体渲染技术使用的体渲染方程。此类技术通常分别对几何形状和全局照明项进行建模，后者作为体积发射或内散射辐射率。我们关注几何术语，但在附录 B 中讨论几何建模选择对全局照明术语的影响。

指数传输。 在计算机视觉和图形学中最常见的是，自由飞行距离是指数随机变量，我们将这种假设称为指数传输。那么，方程（1）-（3）和透射率互易意味着：

这样，衰减系数就成为自由飞行距离的速率参数。给定已知的系数值，自由飞行分布和透射率存在有效且准确的数值近似。

指数输运已针对随机微粒几何进行了广泛的研究：它相当于随机几何的泊松布尔模型，其中微粒位置是独立的并作为空间泊松过程分布。该模型允许将衰减系数分析地表达为粒子位置、尺寸、材料、形状和方向的概率分布的函数。最近神经渲染中指数传输的成功激发了我们在第 3 节中的研究，我们首次推导出随机实体几何的指数传输模型。值得注意的是，Vicini 等人提出对随机立体几何使用非指数输运，我们将在第 6 节中简要讨论。

各向同性和各向异性输运。 各向同性输运中，衰减系数与方向无关，σ(x, ω) = σ(x)；反之亦然，适用于各向异性传输。在随机微粒几何中，各向同性输运将微粒建模为旋转对称散射体（球体）。我们在 3.2 节中解释了随机固体几何的各向同性与各向异性输运。

3 随机不透明固体

我们分三个部分开发了随机固体几何的指数输运理论：

1. 在第 3.1 节中，我们介绍了固体几何的随机模型，证明了指数输运的条件，并推导了衰减系数的表达式。
2. 在第 3.2 节中，我们将这些表达式推广到模型变量各向异性行为。
3. 在第 3.3 节中，我们将表达式调整为隐式曲面几何表示。图 2 总结了我们的理论，项目网站包含视频说明。

图 2. 我们的理论概述，如定理第 4 节、定义第 5 节和命题第 7 节所示。

3.1 指数传输的条件

为了形式化随机不透明实体几何的指数传输模型，我们首先定义一个不透明实体。

**定义 2. **我们定义一个指示函数 I : R 3 → {0, 1} 作为二元标量场，并关联一个立体 O ≡  x ∈ R 3 : I(x) = 1 。立体 O 是不透明的当且仅当对于每个点 x ∈ O 和方向 ω ∈ S2 ，可见性满足 Vx,ω(t) = δ(t)。

不透明度的定义意味着没有光线可以到达固体 O 内部的点。因此，我们的体积光传输公式将排除折射表面。我们现在可以使用定义 2 来定义随机实体。

**定义 3. **当指示函数 I(x) 是随机标量场时，我们将相关固体 O 称为随机固体，为此我们定义占据 o : R 3 → [0, 1] 和空位 v : R 3 → [0, 1] 作为标量场：

通过这个定义，我们可以将方程（1）-（3）中涉及 O 的概率解释为随机指示函数 I 的所有实现的概率。我们将考虑指示函数、占据和空位对原点射线的限制x ε R 3 且方向 ω ε S2 ：Ix,ω(t) ≡ I(rx,ω(t))，对于 ox,ω(t) 和 vx,ω(t) 也类似。现在我们可以陈述我们的主要技术成果。

定理 4：不透明固体中的指数输运

我们假设一个随机指示函数 I 和相关的随机不透明固体 O。然后，对于任何原点 x ∈ R 3 且方向 ω ∈ S2 的射线，自由飞行分布 p ff x,ω 是指数的当且仅当限制该射线上的指示函数 Ix,ω 是连续时间离散空间马尔可夫过程；也就是说，它满足：

另外，过程Ix,ω是可逆的，相应的透射率Tx，当且仅当衰减系数 σ 等于：

我们在 3.2 节中解释了符号 σδ。透射率和自由飞行分布的表达式由方程（6）-（7）得出，衰减系数满足方程（8），满足互易性要求。我们在附录 F.1 中讨论可逆性并证明定理 4。

表 1. 使用我们的理论对不透明固体的先前和新的体积表示进行分类（图 2）。

3.2 各向异性

回到方程（12），我们可以将其重写为乘积：

其中 n(x) ≡ ∇ v(x)/∥∇ v(x)∥ 是 v 穿过 x 的水平集的单位法线。我们将方程（13）与 Jakob 等人和 Heitz 等人的各向异性随机微粒几何形状的衰减系数表达式进行比较。正如在这些工作中一样，我们可以将衰减系数分解为各向同性密度 σ ∥ (x) 和各向异性投影面积 σ ⊥ δ (x, ω) 的乘积。

直观上：

1. 密度 σ ∥ (x) 随着空位 v(x) 的减小而增大；因此，x 被占据的可能性越大，穿过 x 的射线终止概率就越大。
2. 投影面积 σ ⊥ δ (x) 模拟当方向 ω 的光线遇到法线 n(x) 的曲面片时的缩短；在掠射角 (|ω · n(x)| = 0) 处，斑块是不可见的，而在法向入射 (|ω · n(x)| = 1) 处，它是最大可见的，分别对应于零和最大射线终止概率。

这种各向异性行为模仿确定性表面，因此适用于可能位于随机不透明固体表面上的点 x（即 v(x) ≈ 1/2）。然而，可能位于固体内部的点 x（即，分别为 v(x) ≈ 0）应该表现出各向同性：以不同方向穿过它们的光线应该以相同的概率终止。为了模拟这些不同的行为，受到微粒几何微片模型的启发，我们概括了 σ ⊥ δ 和 σδ 的定义。

定义 5：不透明固体的衰减系数

我们将每个点 x ∈ R 3 关联到一个满足句 S2 Dx(m) dm = 1 的法线分布 Dx : S 2 → R≥0。然后，我们将 x 处任意方向 ω ∈ S2 的投影面积定义为预期缩短：

密度为

广义衰减系数为乘积：

对于 Dx,δ(m) ≡ δ(m − n(x))，投影面积减小为 |ω · m|，解释了方程 (12)–(13) 中的符号 σδ、σ⊥ δ。相比之下，对于均匀分布 Dx,unif(m) ≡ 1/4π，投影面积变为 σ ⊥ unif(x, ω) ≡ 1/2；则投影面积和衰减系数都是各向同性的。定义 5 允许这两个极端之间的行为，例如，通过使用正态 Dx,mix(m) eq α(x) Dx,δ(m) + (1 − α(x)) Dx,unif(m) 的线性混合分布）和相应的投影面积：

各向异性参数 α(x) ∈ [0, 1] 在完全各向异性 (α(x) = 1) 和完全各向同性 (α(x) = 0) 投影区域之间连续插值。使该参数在空间上变化可以适应不透明固体不同部分的各向异性行为，例如，其边界附近的各向异性更强，其内部的各向同性更强（图 3）。我们在附录 B 和 E 中讨论了法线 D 分布和相关投影面积 的其他选择。

3.3 随机隐式曲面

定义 2 和 3 通过二元指示函数定义了（随机）实体，因为点 x 处的指示函数（分别为空位）是我们确定穿过 x 的射线的可见性（分别为透射率）所需的最小信息。然而，通常的做法是通过非二元标量场来定义固体，这提供了有关固体及其表面的更丰富的信息。我们接下来探讨这个案例。

图 3. BlendedMVS 中针对 BEAR 场景优化的衰减系数的行为符合我们的理论预期：在对象内部各向同性，在其表面附近各向异性。

**定义 6. **我们将隐函数 G : R 3 → R 定义为实标量场，并将其与指示函数 I(x) ≡ 1{G(x)≤0} 和相应的固体 O 关联起来。如果 G 也是一个随机场，那么我们分别将点状累积分布函数 cdfG(x) 、概率密度函数 pdfG(x) 和均值隐函数 f(x) 定义为：

根据定义 6，随机固体 O 是随机场 G 的一个偏移集 [3，第 1 章]，其表面位于 G 的零水平集，在 G < 0 处位于内部，在其他地方位于外部。此类偏移集在应用数学中得到了广泛的研究，尤其是当 G 是高斯过程时，即其在一个或多个点的（联合）分布是高斯分布 [3，附录]。Sellan 和 Jacobson 最近提出使用高斯过程的偏移集作为基于点的随机隐式表面表示（附录 A）。将我们的理论扩展到各种随机隐式函数 G 的偏移集将使我们能够为先前的不透明固体体积表示提供随机几何解释。

为此，我们专门研究具有对称性的随机隐式函数：在每个 x 处，G(x) 等于空间变化的位移 f(x) 和空间常数尺度 s > 0，一个零均值、单位-方差和对称随机变量，即，对于所有 q ∈ R，满足 PDF ψ : R → R≥0 和 CDF ψ : R → [0, 1]，

此类 CDF Ψ 是 S 型函数，其确切形状取决于概率分布。常见的对称分布包括高斯、逻辑和拉普拉斯（其零均值、单位方差版本），分别产生误差、逻辑和拉普拉斯 S 型函数。对称性意味着 G：

我们在附录 F.2 中证明以下命题。

图 4. 使用 NeuS 优化 BlendedMVS 中的 CLOCK 场景时，ReLU 项会导致衰减系数（顶部）和透射率（底部）值违反互易性。相比之下，使用我们的表示会产生相反的结果。

命题7：随机隐式几何

我们假设随机隐函数 G(x) 满足方程（22）-（23）。那么，相关随机实体 O 的占据和空缺相等：

若随机固体O也满足定理4的条件，则衰减系数等于：

其中 如方程 (14) 所示。

命题 7 完成了我们的体积表示，我们在图 2 中进行了总结。值得注意的是，使用隐式函数的建模选择会影响密度 σ ∥（通过空位 v），但不会影响投影面积 。为了帮助直觉，我们讨论不同数量的行为。

空缺。 空位v（方程（25））是随机隐函数G（方程（20））的期望值f的S形变换。这与直觉一致：f(x) 的较大正值（即 x 在固体之外的可能性很高）导致 v(x) ≈ 1；f(x) 的较大负值（即 x 在固体内部的可能性很高）导致 v(x) ≈ 0；f(x) = 0（即 x 在固体内部或外部的概率相等）导致 v(x) = 1/2。

衰减系数和自由飞行分布。 如果我们考虑平均隐式 f 以恒定梯度单调递减的射线上的点，则衰减系数 σ （方程（26））和自由飞行分布 p ff （方程（7））的行为会更容易理解。然后，衰减系数沿着射线单调增加（即，当我们从可能位于固体外部的点移动到可能位于固体内部的点时）。自由飞行分布在沿着射线 f(x) = 0 的地方（即，在固体内部或外部的可能性相同的点）最大，并随着 f 大小的增加而减小（即，极有可能位于实体内部或外部的点）。

规模和不确定性。 尺度 s 控制 sigmoid Ψ 的宽度，从而控制随着平均隐函数 f 的增加，空位 v 从 0 过渡到 1 的速度——s 越大，Ψ 越窄，v 变化越快。我们可以通过注意到方程（22）-（23）中的 s 是 G 的逐点标准差的倒数来解释这种行为。随着 s 的增加，标准差减小，因此：

1. 点状 PDF pdfG 变得更加集中在其均值 f 周围（即，随机隐函数 G 变得更加确定）；
2. 空位 v 和占用 o 变得更接近二元函数 1{f>0} 和 1{f≤0}（即随机指示函数 I 变得更加确定）。
3. 自由飞行分布p ff 变得更接近以f的零水平集为中心的狄拉克δ函数（即，自由飞行距离变得更加确定）

4 与先前工作的关系

我们的理论提供了不透明固体的体积表示，允许各种概率建模选择，例如选择法线分布（方程（14））和隐函数分布（方程（26））。我们使用我们的理论来解释和比较之前工作中的体积表示，作为与这些分布的特定选择相对应的表示版本（表 1），尽管我们的理论提出了一些关键的警告。

NeuS。 与我们的工作最密切相关的是 Wang 等人的 NeuS 体积表示。使用我们的符号，它们的消光系数等于：

其中：1. ψlogistic 和 ψlogistic 分别是零均值、单位方差 Logistic 分布的 PDF 和 CDF；2. 平均隐函数 f 被参数化为神经场，在训练期间，该神经场也被正则化以近似有符号距离函数（即满足 ∥∇ f(x)∥ ≈ 1）。将方程（27）与方程（13）和（26）进行比较，我们发现 NeuS 模型接近于我们的正态分布 Dx,δ 的狄拉克 δ 分布模型，专门针对点状分布 ψ 和平均隐函数的特定选择f，有一个重要的区别：它取代了狄拉克 δ 投影面积 σ ⊥ δ (x, ω) ≡ |ω · n(x)|使用各向异性项 ReLU(−ω · n(x)) eq max(0, −ω · n(x))，当光线向外传播（朝向更大的空位或平均隐式值）时，有效地将 σNeuS 剪切为零。

不幸的是，这种选择的结果是衰减系数 σNeuS 违反了方程（8）的互易要求，导致物理上不可信的体积表示。我们在图 4 中形象化了这个问题。正如我们在第 5 节中讨论的那样，违反互易性还会对 3D 重建质量产生负面影响。

最后，我们在附录 F.3 中证明，使用 G(x) 的逻辑分布可以简化方程（26）：

与方程（27）中的 σNeuS(x, ω) 类似。我们在接下来讨论 VolSDF 时将使用这一观察结果。

VolSDF。 另一个密切相关的模型是 Yariv 等人的 VolSDF 模型。使用我们的符号：

其中 ΨLaplace 是零均值、单位方差拉普拉斯分布的 CDF；平均隐式函数 f(x) 的参数化与 NeuS 中一样。与式（28）相比，我们对 VolSDF 模型有两点观察：1. 它使用法线 Dx,unif 的均匀分布和各向同性（恒定）投影面积 σ ⊥ unif，因此衰减系数变为各向同性。2. 用拉普拉斯 CDF 代替逻辑后，使用等于方程（28）中密度 σ ∥ 的密度。然而，这种替换并不等同于将 G(x) 建模为拉普拉斯随机变量。这是因为方程（28）的简化表达式仅对于逻辑分布是正确的，而拉普拉斯分布则需要方程（26）的完整表达式。因此，VolSDF 模型使用了不正确的密度项。

余弦退火。 官方 NeuS 实现 [models/renderer.py#L232-L235] 使用余弦退火（随着优化的进展从各向同性过渡到各向异性）来提高收敛性。这意味着将方程 (27) 中的各向异性项替换为：

以及使用预定的退火方案将全局各向异性参数α从0改变为1。与方程（17）相比，我们的理论将这种启发式解释为使用正态混合分布，但需要注意的是，NeuS 还用违反互易性的 ReLU 项替换了 σ ⊥ δ，如我们之前指出的。此外，NeuS 使用空间恒定的各向异性参数 α，该参数无法捕获表面与内部和外部点的定性不同的透视行为（第 5 节）。

规模优化和自适应外壳。 NeuS 和 VolSDF 优化了规模 s，其通常随着优化的进展而增加。我们的理论将这种行为解释为随机几何的不确定性降低和向确定性几何（二元空位）的收敛。

Wang 等人的自适应壳表示修改了 NeuS 表示以使用空间变化的尺度 s(x)。我们的理论将这种选择解释为空间变化的逐点标准差，从而解释了随机隐函数 G(x) 的不确定性。在附录 F.2 中，我们解释了如何修改方程 (26) 中的密度 σ ∥ 以考虑空间变化的尺度 s(x)。