专栏名称: 奇物论
科学,需要一点好奇心~
目录
相关文章推荐
鼠绘情报站  ·  海贼王1141话情报丨路飞成功释放洛基!官方 ... ·  3 天前  
Kane的小K屋  ·  一年!居然比别人少活了一个月! ·  昨天  
一条漫画  ·  演员郑爽,判了! ·  2 天前  
中核集团  ·  面向全社会发布! ·  3 天前  
51好读  ›  专栏  ›  奇物论

北京邮电大学AFM:人工皮肤—基于视触觉传感的三维重建技术--材料、方法和评估!

奇物论  · 公众号  ·  · 2025-02-17 22:34

正文



论文背景

人工皮肤在机器人感知和医疗保健方面显示出巨大的潜力。它提供了包括三维形状重建、接触反馈和温度感知在内的多功能触觉感知,其中三维重建功能是灵巧手在触觉认知和互动中不可或缺的。视觉触觉传感器(VTS)是一种创新的仿生触觉传感器,与电子触觉传感器相比,它支持高分辨率、高精度、高密度的触觉重建。


图1 基于视触觉传感三维重建技术概览


论文概述

近期, 北京邮电大学方斌教授团队 以视触觉传感为视角,总结了人工皮肤的三维重建功能的技术细节及发展脉络。根据传感方式、硬件类别和建模方式,将三维重建技术分成5类:1)光度立体;2)深度标定;3)光流;4)深度学习;5)深度相机。其次,从硬件角度阐述了重建方法的关联和区别。结合近十五年的文献调研,对三维重建的发展和技术迭代进行了讨论。最后,总结现在三维重建研究的挑战,并提出了未来发展趋势。该工作以“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”为题发表在 Advanced Functional Materials 。该研究得到国家自然科学基金委的支持。


图2 基于光度立体三维重建


光度立体法应用于涂层型视触觉传感器。通过多方向、不同光色的照明,在接触区域提供鲜明的梯度变化。为了减少阴影的影响,通过光路设计和光学优化来提高光照的均匀性。使用特定尺寸的校准球可以标定出Gx和Gy。通过查找表(哑光涂层)或者MLP(半镜面涂层)从光照强度预测梯度信息,并结合泊松求解器计算深度值。MLP对平面和曲面重建都具有通用性,并且简化了查找表的生成。当成像环境足够稳定,单色光也能提供足够的梯度信息,并且RGB与梯度的映射关系趋近于线性拟合。


图3 基于深度学习三维重建


深度标定和光流法适用于标记型视触觉传感器。深度标定依靠双目视觉和标记层来获取视差,进一步推导出深度信息。标记追踪是标定的关键环节。标记物尺寸太小会导致图像处理过程中出现漏点现象。在标记匹配阶段,打乱标记阵列排序,导致左右相机不能追踪到同一个标记。图像分割网络可以避免图像处理的误差,对微型化标记的追踪提供支持。光流法是基于单目相机的深度预测。对流向量应用二维高斯分布核,并在每个点对分布进行累积,得到高斯密度。表面变形的相对深度可以直接从负高斯密度来估计。标记物的随机性提高了触觉数据的鲁棒性。


深度学习方法具有高兼容性。通过数据驱动方式,直接构建RGB与深度信息的映射。深度信息的表达形式多样,包括高度/深度图、点云信息和梯度角。与上述重建方法结合,深度学习可以预测关键参数,简化非线性模型的建立。深度相机可以直接输出深度值,但是需要预留较大的传感空间,导致传感器体积庞大。这不符合视触觉传感器微型化的发展趋势。对于未来发展,本文认为视触觉传感将关注多模态融合、曲面重建和高分辨率三维重建。这也符合机器人交互感知和自适应感知的需求。


原文链接:

https://advanced.onlinelibrary.wiley.com/doi/10.1002/adfm.202411686

纳米材料 定制合成

王老师

198 2262 5523







请到「今天看啥」查看全文