人类约80%的信息是通过眼睛感知获取的。未来机器人要获得与人类一样的能力,需要发展出强大的视觉感知能力,使其具有更加人性化的功能和行为表现。
“这双眼睛既能看,也要能够连接大脑,进行决策分析,做出行动反馈,这是目前最大的挑战。”发源于以色列的创新企业能赛视觉科技(以下简称“能赛视觉”)高级应用工程师张森洋说。
2016年能赛视觉在以色列成立,公司创始人在摄像头芯片领域拥有20多年的经验。凭借卓越性能与诱人价格的独特组合,能赛视觉荣获了欧洲领先汽车传感器类别“2022年弗若斯特沙利文领导力奖”(the Frost and Sullivan 2022 Leadership Award ),并被《电子工程专辑》杂志评选为“2022年值得关注的 100 家初创企业”之一。
机器视觉技术的发展经历了二维视觉和三维视觉两个阶段。
机器视觉是一门融合图像处理、机械工程、光源照明、光学、传感技术、算法开发以及计算机科学的学科,经由计算机、图像处理器或相关设备来模拟人的视觉行为。视觉设备捕获待检测物品的图像,将亮度、颜色、尺寸等属性转换成数字信号,经图像处理系统处理后,提取出关键特征,并根据这些特征来控制运作。
机器视觉的发展历程跨越了数十年,从20世纪50年代识别形状到如今自动导航以及在具身机器人领域的探索,不断提升设备对外界的感知能力。
1950—1960年代的实验伴随着早期数字计算机的诞生,集中在模式识别和图像处理方面,主要关注边缘检测和形状识别等基础任务。
1970—1980年代边缘检测(如Sobel、Canny算子)、光学字符识别(OCR)和模板匹配技术逐步完善,早期的人工智能和基于规则的系统被集成到机器视觉中,开始在制造业中得到实际应用,主要用于质量检测、条形码识别和零件定位。
1990年代微处理器和GPU的计算能力提高,机器视觉标准(如Camera Link、GenICam)的推出,使视觉系统的集成和互操作更加便捷, 3D视觉系统的出现,使深度感知和复杂形状分析成为可能,机器视觉广泛应用于汽车、电子等行业,实现自动化检测、缺陷识别和机器人引导。
2000—2010年代,卷积神经网络(CNN)的兴起彻底改变了机器视觉,使目标检测和分类的准确率大幅提升。随着大规模标注数据集(如ImageNet)的普及,机器视觉系统变得更强大、更具泛化能力。基于云的机器视觉解决方案使大规模部署和数据分析成为可能,处理单元的微型化,使得视觉功能能够嵌入到智能手机、无人机和物联网设备中。
2020年代至今,边缘计算出现,实现了在设备端处理图像数据,减少延迟,提高效率。AI驱动的机器视觉技术被广泛应用于医疗、农业、物流等行业,用于诊断、产量监测和自动导航。机器视觉与增强现实结合,提供了更丰富的用户体验。
机器视觉技术的发展经历了二维视觉和三维视觉两个阶段。
2D技术获取的是平面图像,在二维空间内定位目标,但其无法提供高度和体积。3D技术能够提供更全面的物体信息,并在三维空间内定位目标,从而实现更为复杂的功能,如人脸识别和3D建模。
3D视觉领域,目前ToF(Time of Fight,飞行时间技术)是主流技术之一。根据调制方法的不同,ToF可以分为两种:脉冲调制(Puised Modulation)和连续波调制(Continuous Wave Modulation)。
2012年,以色列公司Primesense开发了一款ToF传感器,广泛应用于微软Kinect系统,这是将ToF技术带入消费市场的一个重大突破。2013年,苹果推出了带有面部识别功能的TrueDepth相机,采用了ToF传感器,进一步普及了该技术。2014年至今,ToF系统的开发加速,索尼、PMD Technologies等公司专注于ToF传感器的应用,机器人技术、汽车、增强现实/虚拟现实(AR/VR)以及智能手机领域开始大量采用该技术。
能赛视觉用于机器视觉的深度相机传感器服务于多个领域,如汽车安全、工业 4.0、智慧城市与机器人、移动设备、元宇宙等。
索尼、三星、ADI、英飞凌等公司在视觉芯片领域处于业界领导地位,能赛视觉凭借独特的技术,将TOF技术推进到了eTOF
TM
(增强型飞行时间)级别,主打中距离、大面阵分辨率市场。
相较于dTOF和iTOF, eTOF
TM
技术具有高帧率(每秒10万帧),能够快速且详细地获取深度点。在帧与帧之间切换eTOF
TM
步骤时,可实现高灵敏度和高分辨率的测量结果。
能赛视觉用于机器视觉的深度相机传感器服务于多个领域,如汽车安全、工业 4.0、智慧城市与机器人、移动设备、元宇宙等。
推出基于NSI1000传感器的eTOF
TM
激光雷达以及NSI9000芯片,后者提供近50万像素的超高深度分辨率。
张森洋说:“最初人们普遍认为机器人概念已经过时,但随着人形机器人的出现,机器人的应用变得更加广泛,从室内拓展到室外,用于割草、除雪、引导等场景,应用赛道越来越广泛。”
在工业4.0中,工业相机将用3D取代2D,这是一个巨大的产业机会。GGII(工业互联网与工业大数据产业发展联盟) 数据显示,2022 年中国3D工业相机市场规模为 18.40 亿元,同比增长59.90%,渗透率接近10%。随着制造业智能化深入,预计2027年3D工业相机市场规模将接近 160亿元,2022—2027年CAGR为53.8%。
张森洋说:“3D技术可以看深度,观察小到几微米的缺陷,用于瑕疵检测。”工业机器人的“视力”能力增强后,产业应用范围更广,包括工业制造、物流检测、管道检测、轨道交通、物流搬运等多个领域。虽然ToF的像素不如摄像头高,但50万像素在工业领域非常实用。工业相机在流水线上检测物体,距离短,只有几十厘米,但是对“视觉”的精度和速度要求高,需要有很高的帧率,适合产品缺陷检测。
此外,工业相机还可用于工业安全领域,比如机器虚拟边界、跟踪危险区域、进入实时警报、传送带上的异物识别及警报。在物流自动化&AGV(自动导引车)领域,可用于自动导航的精确地图绘制,所有这些都是在低成本解决方案中实现的。“工业相机需要高精度,随着精度的提高,价格也会相应上涨。我们推出第一款芯片后,客户测试发现,在同等帧率的情况下,精度是原先芯片的两倍,且价格也具有一定优势。”张森洋说。
eTOF
TM
技术的另一个应用领域是家用机器人。在动态且杂乱的室内环境中,机器人面临着诸多视觉方面的挑战。机器视觉在机器人领域有着诸多应用。智能(CMOS)传感器可以充当机器人的眼睛。借助能赛视觉集成在芯片上的微控制器(MCU),传感器能够实时采集和分析数据,逐步打造出更加智能、性能更优的机器人。这些传感器将助力机器人从仅适合执行重复任务的“盲人” 机器人向智能机器人转型。
家用机器人会面临哪些视觉挑战呢?