专栏名称: 高分子科学前沿
高分子界新媒体:海内外从事高分子行业及研究的小分子聚合起来
目录
相关文章推荐
高分子科学前沿  ·  北航程群峰教授,2篇Science之后,再发 ... ·  昨天  
高分子科技  ·  中国科大龚兴龙教授课题组《Nano ... ·  3 天前  
高分子科技  ·  华东理工大学田禾院士、马骧教授团队 ... ·  5 天前  
高分子科学前沿  ·  内蒙古大学,首篇Nature ... ·  6 天前  
51好读  ›  专栏  ›  高分子科学前沿

北京邮电大学方斌教授AFM:人工皮肤——基于视触觉传感的三维重建技术:材料、方法和评估

高分子科学前沿  · 公众号  · 化学  · 2024-10-31 07:10

正文

人工皮肤在机器人感知和医疗保健方面显示出巨大的潜力。它提供了包括三维形状重建、接触反馈和温度感知在内的多功能触觉感知,其中三维重建功能是灵巧手在触觉认知和互动中不可或缺的。视觉触觉传感器(VTS)是一种创新的仿生触觉传感器,与电子触觉传感器相比,它支持高分辨率、高精度、高密度的触觉重建。

图1 基于视触觉传感三维重建技术概览

近期,北京邮电大学方斌教授团队以视触觉传感为视角,总结了人工皮肤的三维重建功能的技术细节及发展脉络。根据传感方式、硬件类别和建模方式,将三维重建技术分成5类:1)光度立体;2)深度标定;3)光流;4)深度学习;5)深度相机。其次,从硬件角度阐述了重建方法的关联和区别。结合近十五年的文献调研,对三维重建的发展和技术迭代进行了讨论。最后,总结现在三维重建研究的挑战,并提出了未来发展趋势。该工作以“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”为题发表在Advanced Functional Materials。文章第一作者是中国地质大学(北京)博士研究生章诗昕。该研究得到国家自然科学基金委的支持。

图2 基于光度立体三维重建
光度立体法应用于涂层型视触觉传感器。通过多方向、不同光色的照明,在接触区域提供鲜明的梯度变化。为了减少阴影的影响,通过光路设计和光学优化来提高光照的均匀性。使用特定尺寸的校准球可以标定出Gx和Gy。通过查找表(哑光涂层)或者MLP(半镜面涂层)从光照强度预测梯度信息,并结合泊松求解器计算深度值。MLP对平面和曲面重建都具有通用性,并且简化了查找表的生成。当成像环境足够稳定,单色光也能提供足够的梯度信息,并且RGB与梯度的映射关系趋近于线性拟合。
图3 基于深度学习三维重建
深度标定和光流法适用于标记型视触觉传感器。深度标定依靠双目视觉和标记层来获取视差,进一步推导出深度信息。标记追踪是标定的关键环节。标记物尺寸太小会导致图像处理过程中出现漏点现象。在标记匹配阶段,打乱标记阵列排序,导致左右相机不能追踪到同一个标记。图像分割网络可以避免图像处理的误差,对微型化标记的追踪提供支持。光流法是基于单目相机的深度预测。对流向量应用二维高斯分布核,并在每个点对分布进行累积,得到高斯密度。表面变形的相对深度可以直接从负高斯密度来估计。标记物的随机性提高了触觉数据的鲁棒性。
深度学习方法具有高兼容性。通过数据驱动方式,直接构建RGB与深度信息的映射。深度信息的表达形式多样,包括高度/深度图、点云信息和梯度角。与上述重建方法结合,深度学习可以预测关键参数,简化非线性模型的建立。深度相机可以直接输出深度值,但是需要预留较大的传感空间,导致传感器体积庞大。这不符合视触觉传感器微型化的发展趋势。对于未来发展,本文认为视触觉传感将关注多模态融合、曲面重建和高分辨率三维重建。这也符合机器人交互感知和自适应感知的需求。
论文链接:
S. Zhang, Y. Yang, Y. Sun, N. Liu, F. Sun, B. Fang, Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation. Adv. Funct. Mater. 2024, 2411686. 
https://doi.org/10.1002/adfm.202411686
来源:高分子科学前沿
声明:仅代表作者个人观点,作者水平有限,如有不科学之处,请在下方留言指正!