3D Gaussian Splatting（3DGS）已成为获取3D资产的重要方法，但其版权保护问题依旧面临挑战。由于3DGS模型使用显式的3D高斯结构，当前基于深度学习的3D水印技术依赖于隐式的神经网络表征从而无法直接应用于3DGS模型。直接在3DGS模型上嵌入水印可能会导致渲染图像的显著失真。
为了解决这一问题，我们提出了一种基于不确定性估计的水印嵌入方法，该方法可以实现在模型参数的扰动范围内控制水印的可见性。在消息解码阶段，版权信息可以在各种3D和2D干扰下从3D高斯参数和2D渲染图像中可靠提取。通过在Blender、LLFF和MipNeRF-360数据集上进行广泛实验，验证了所提方法在消息解码准确性和视图合成质量上的优越性。
论文标题：
GaussianMarker: Uncertainty-Aware Copyright Protection of 3D Gaussian Splatting
论文链接：
https://arxiv.org/pdf/2410.23718
一、背景与动机
我们在本文中提出的水印嵌入方法GaussianMarker,利用不确定性估计来嵌入二值化的版权消息(如图1所示)。具体来说，我们选择将具有高不确定性的3D高斯参数进行密集化处理，同时保持3DGS模型原始参数不变。然后，我们优化这些通过密集化新嵌入的高斯参数使其具备版权信息。
为了确保在3D高斯参数和渲染的2D图像中的版权信息能够可靠提取，我们设计了3D和2D解码器。即使在各种3D和2D的恶意操作的场景下， 我们的方法依旧可以鲁棒的从3DGS模型或者2D渲染图像当中提取版权信息从而保护创作者的版权。
图1：一种可以嵌入二值化信息的水印方法GaussianMarker用于保护3DGS版权
二、理论
分析为了确保嵌入消息在3D和2D域中的不可见性，我们仅对3D 高斯参数的子集嵌入所有权消息。使用3D高斯模型拟合场景时，具有高不确定性的高斯参数对外部扰动的容忍度更高，因此我们选择具有高不确定性的参数来包含版权消息。我们通过在模型后验上进行边缘化来计算模型预测分布：
对于收敛的模型，由后验方差量化的具备较大不确定性的参数可以容忍更大的扰动。然后，我们通过拉普拉斯近似估计3D高斯参数的后验不确定性。拉普拉斯近似为后验分布以高斯分布的形式提供了一个解析表达式：其均值等于最大后验概率，协方差等于观察到的费希尔信息并可以作为模型参数的不确定性。
因此，我们可以通过计算3DGS模型参数的Hessian矩阵并将其作为近似的费希尔信息。由于费希尔信息具有可加性，我们通过对训练数据集中所有不同视图的模型参数的 Hessian 矩阵求和来计算模型不确定性：
我们选择将具有高不确定性的3D高斯参数进行密集化处理，并且保持3DGS模型原始参数不变。然后，我们优化这些新嵌入的密集化高斯参数，并将其视为包含版权信息的扰动。
三、方法
我们提出的3DGS水印方法包括两个阶段：
第一阶段是训练3DGS模型并获得预训练的2D消息解码器；第二阶段则是应用提出的不确定性水印嵌入方法生成高斯水印，并训练3D消息解码器以提取版权消息
。3D消息解码器基于PointNet架构，提取3D高斯参数中的版权消息，而2D消息解码器则采用HiDDeN方法，从渲染的2D图像中提取消息。通过在训练过程中引入3D和2D扭曲层，增强了对各种恶意操作的鲁棒性。我们提出的GaussianMarker水印方法的整体示意图如图2所示：
图2：基于不确定性评估的3DGS水印方法GaussianMarker框架示意图
四、主要实验结果
在实验部分，我们在本文中使用Blender、LLFF和Mip-NeRF-360数据集进行评估。我们首先可视化了GaussianMarker在2D和3D领域的不可见性，如图3所示：
图3: GaussianMarker的可视化结果
通过对比不同基线方法，评估了嵌入消息的容量、隐蔽性和鲁棒性。结果表明(如表1、表2所示)，所提方法在重建质量和消息提取准确性方面表现优越，尤其在面对各种图像和3D攻击时，能够有效保持版权消息的完整性。
表1：在2D渲染图像上的重建质量以及解码成功率实验数据
表2：在3D高斯上的几何重建质量以及解码成功率实验数据
五、总结与展望
在我们的研究中，我们提出了一种新方法来保护3D模型的版权。首先，我们使用一种叫做“不确定性估计”的技术来识别哪些3D模型的部分可以安全地进行修改，而不会影响它们的外观。然后，我们在这些可以修改的部分上嵌入版权信息，就像在图片上加水印一样，但我们确保这些修改是肉眼看不见的。接下来，我们设计了两种解码器：一种用于提取3D模型中的版权信息，另一种用于从生成的2D图像中提取这些信息。通过这种方法，即使有人对3D模型进行修改，我们仍然可以从中提取出版权信息，从而保护我们的创作不被滥用。在未来的工作中，我们会继续延展我们的方法，使其应用于生成式模型当中。
llustration From IconScout By IconScout Store
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（
www.techbeat.net
）
。
社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
[email protected]
或添加
工作人员微信（
yellowsubbj
）
投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“
投稿
”二字，获得投稿说明。
