人工皮肤在机器人感知和医疗保健方面显示出巨大的潜力。它提供了包括三维形状重建、接触反馈和温度感知在内的多功能触觉感知,其中三维重建功能是灵巧手在触觉认知和互动中不可或缺的。视觉触觉传感器(VTS)是一种创新的仿生触觉传感器,与电子触觉传感器相比,它支持高分辨率、高精度、高密度的触觉重建。图1 基于视触觉传感三维重建技术概览
近期,北京邮电大学方斌教授团队以视触觉传感为视角,总结了人工皮肤的三维重建功能的技术细节及发展脉络。根据传感方式、硬件类别和建模方式,将三维重建技术分成5类:1)光度立体;2)深度标定;3)光流;4)深度学习;5)深度相机。其次,从硬件角度阐述了重建方法的关联和区别。结合近十五年的文献调研,对三维重建的发展和技术迭代进行了讨论。最后,总结现在三维重建研究的挑战,并提出了未来发展趋势。该工作以“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”为题发表在Advanced Functional Materials。文章第一作者是中国地质大学(北京)博士研究生章诗昕。该研究得到国家自然科学基金委的支持。
光度立体法应用于涂层型视触觉传感器。通过多方向、不同光色的照明,在接触区域提供鲜明的梯度变化。为了减少阴影的影响,通过光路设计和光学优化来提高光照的均匀性。使用特定尺寸的校准球可以标定出Gx和Gy。通过查找表(哑光涂层)或者MLP(半镜面涂层)从光照强度预测梯度信息,并结合泊松求解器计算深度值。MLP对平面和曲面重建都具有通用性,并且简化了查找表的生成。当成像环境足够稳定,单色光也能提供足够的梯度信息,并且RGB与梯度的映射关系趋近于线性拟合。深度标定和光流法适用于标记型视触觉传感器。深度标定依靠双目视觉和标记层来获取视差,进一步推导出深度信息。标记追踪是标定的关键环节。标记物尺寸太小会导致图像处理过程中出现漏点现象。在标记匹配阶段,打乱标记阵列排序,导致左右相机不能追踪到同一个标记。图像分割网络可以避免图像处理的误差,对微型化标记的追踪提供支持。光流法是基于单目相机的深度预测。对流向量应用二维高斯分布核,并在每个点对分布进行累积,得到高斯密度。表面变形的相对深度可以直接从负高斯密度来估计。标记物的随机性提高了触觉数据的鲁棒性。深度学习方法具有高兼容性。通过数据驱动方式,直接构建RGB与深度信息的映射。深度信息的表达形式多样,包括高度/深度图、点云信息和梯度角。与上述重建方法结合,深度学习可以预测关键参数,简化非线性模型的建立。深度相机可以直接输出深度值,但是需要预留较大的传感空间,导致传感器体积庞大。这不符合视触觉传感器微型化的发展趋势。对于未来发展,本文认为视触觉传感将关注多模态融合、曲面重建和高分辨率三维重建。这也符合机器人交互感知和自适应感知的需求。S. Zhang, Y. Yang, Y. Sun, N. Liu, F. Sun, B. Fang, Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation. Adv. Funct. Mater. 2024, 2411686.
https://doi.org/10.1002/adfm.202411686声明:仅代表作者个人观点,作者水平有限,如有不科学之处,请在下方留言指正!