港科大最新！GaussianProperty：VLM+3DGS完成零样本物体材质重建与抓取

自动驾驶之心 · 公众号 · · 2025-01-14 07:30

正文

点击下方卡片，关注“ 具身智能之心 ”公众号

本文只做学术分享，如有侵权，联系删文

估计视觉数据的物理属性是计算机视觉、图形学和机器人技术中的重要任务。为了解决物理属性估计的模糊性，我们提出了GaussianProperty，一个无训练的框架，将材料的物理属性分配给3D高斯分布。该方法结合了视觉语言模型（VLM）和高斯溅射（Gaussian Splatting），并通过投票策略从多视角2D图像中提取和重建物体结构和材质属性。实验表明，带有物理属性的3D高斯分布能有效支持基于物理的动态模拟和机器人抓取应用。

邱迪聪 David，港科大博士研究生、雅可比机器人创始人

多视角物体部件材质识别
通过增强 Gaussian Splatting 进行结构与物理属性重构
纯视觉最优抓握力估计

【具身智能之心】技术交流群

具身智能之心是国内首个面向具身智能领域的开发者社区，聚焦大模型、视觉语言导航、VLA、机械臂抓取、双足机器人、四足机器人、感知融合、强化学习、模仿学习、规控与端到端、机器人仿真、产品开发、自动标注等多个方向，目前近60+技术交流群，欢迎加入！ 扫码添加小助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区 ，也是最专业最大的交流平台，近1000人。主要关注具身智能相关的 数据集、 开源项目、 具身仿真平台、 大模型、 视觉语言模型、 强化学习、 具身智能感知定位、 机器臂抓取、 姿态估计、 策略学习、 轮式+机械臂、 双足机器人、

港科大最新！GaussianProperty：VLM+3DGS完成零样本物体材质重建与抓取

正文

请到「今天看啥」查看全文