专栏名称: 软件定义世界(SDX)
软件定义世界, 数据驱动未来。
目录
相关文章推荐
大数据分析和人工智能  ·  从构思到成稿:全网最全的论文流程和指令 ·  昨天  
CDA数据分析师  ·  Deepseek来袭,数据分析师会失业吗? ·  4 天前  
CDA数据分析师  ·  【资料】腾讯&字节等大厂110道数据分析面试 ... ·  5 天前  
玉树芝兰  ·  新学期,给你自己配一个好用的 AI ... ·  昨天  
数据派THU  ·  【ICLR2025】VEVO:基于自监督解耦 ... ·  5 天前  
51好读  ›  专栏  ›  软件定义世界(SDX)

AI视觉赋能工业质检应用实践

软件定义世界(SDX)  · 公众号  · 大数据  · 2025-03-01 06:00

正文

热门下载 (点击标题即可阅读全文)

【PPT下载】中国数据分析师行业峰会精彩PPT下载(共计21个文件)

【PPT下载】2023中国企业数字化转型最佳实践案例高层论坛精彩PPT下载(共计15个文件)

数字化转型专题:

【战略】企业数字化转型战略完整指南

【PPT】《数字化转型工作手册》
【战略】普华永道:企业如何进行数字化战略转型
【路径】数字化转型知识:架构、价值及路径
【能力】 一文读懂企业数字化转型能力框架
【报告】《企业数字化升级之路——百家企业数字化转型发展分析报告》
【本源】 数字化转型的本质(10个关键词)

【教训】 麦肯锡:企业数字化转型失败率高达80%
【中台】数据中台唱衰,企业数字化转型路在何方?(上、下)
【金融】中国商业银行数字化转型调查报告
【人才】数字化转型中的人才技能重建
【组织】传统企业数字化部门在数字化转型中的重要性及参考设置
【PPT】指标驱动,数据优先、工业数字化转型的经验分享
【华为】华为的 字化转型方法论

【华为】 华为数字化转型中的数据治理实践 []

【PPT】《华为数据之道》 读书笔记

【PPT】《华为数字化转型之道》读书笔记

【案例】 国资委:国有企业数字化转型百大典型案例

【困境】国企数字化转型六大困境+原因剖析+典型事件

【路径】2021国有企业数字化转型发展指数与方法路径白皮书

【工业】56万台卡特彼勒设备如何实现“卡特智能”?数字化转型对中国工业互联网的启示

【PPT】《2021中国企业数字化转型路径实践研究报告》

【策略】再论数字化转型-转什么,如何转?
【调研】 红杉中国:2022企业数字化指南(附:2022版/2021版下载).

【美的专辑】

【美的1】 方洪波:美的的数字化转型实践
【美的2】 美的:100亿,数字化转型路径与实践

【美的3】 美的集团数字化历程与经验总结(2020年)

【美的4】【PPT】美的从“制造”到“智造”的数字化转型之路


随着新型工业化的推进,工业对生产自动化、工作效率、安全生产、产品质量等提出更高要求。缺陷检测作为产品质量检测的关键环节,检测精度和效率至关重要。目前缺陷检测仍以人工为主,主观依赖性强,存在检测标准不统一且效率低下的问题;同时人口红利渐消,劳动力资源渐少,企业逐步面临人工成本高的挑战,对质检技术的转型升级有迫切需求。


当前新一代信息技术快速发展, 人工智能 技术逐步从理论走向工业领域的应用实践,通过工业知识和数据科学的紧密结合,能大幅提升对问题的洞察与判断,为生产环节的智能化决策提供支撑。其中,机器视觉已成为 人工智能 赋能工业最为活跃的技术,通过机器视觉赋予生产制造 “智慧之眼”,模仿人类视觉能力,对所 “见” 物体开展精准识别、定位、测量等操作。


当今,基于神经网络的深度学习算法技术在机器视觉领域加速应用,提升了视觉技术的工程效果。典型的深度学习网络如卷积神经网络,可以从输入数据中学习到抽象的本质的特征信息,对高维数据有较强学习能力,但计算复杂度随网络层数增加而增加;深度置信网络,有较强的扩展性,适合对图像进行多分类、识别处理,但依赖专家经验;全卷积网络,可以接收任意尺寸的图像且可对其进行像素级分割,在此基础上获得高层语义先验知识矩阵,但对图像的细节信息不敏感且收敛较慢;Transformer 结构,在训练效率、图像分类、分割等任务中取得优异效果,成为学习序列数据的通用框架。


深度学习算法能够在相对理想的条件下解决视觉感知问题,然而该技术对数据规模和计算资源要求较高,当前已有研究大都聚焦于理论与实验层面,在工业落地生产中,面临如下挑战:


(1) 工业部件结构复杂,材质属性多样,难以采集缺陷高表现力的图像数据。


(2) 工业缺陷类型繁多且微小,无明显规律特征,检测准确度不高。


(3) 视觉质检应用复杂且资源消耗大,成本高难以落地应用。


针对以上问题,本文从实际作业需求出发,对视觉成像、检测算法以及工程部署等关键技术开展研究,采用多特征成像光学策略保障数据质量,融合半监督与自监督算法实现缺陷的精准识别,并基于 AI 视觉平台实现模型轻量化部署,降低应用成本,打造了一种高效可靠的高精度视觉质检体系,赋能工业产线需求,助力 智能制造


1 AI 视觉质检关键技术


1.1 整体架构

图片

图 1 AI 视觉检测体系架构


如图 1 所示,本系统基于 AI 视觉检测平台,建立图像感知、缺陷检测模型、以及模型部署的全流程质检体系。根据客户对于检测精度、工作节拍、网络参数的需求,在工厂现场端对接产线搭建图像 信息采集系统 ,通过工业网关进行数据采集和获取,将数据推送至云端平台,在平台侧基于检测模型对数据进行分析后将结果发送至端侧,同步更新缺陷检测模型。数采、训练、推理工作部署在云边端各环节中的不同位置,形成逻辑空间上协同。


1.2 AI 视觉平台架构


AI 视觉平台是质检体系的核心,通过接口调用的形式提供设备接入、数据管理、算法 / 模型开发、模型部署等功能,可适配不同场景的检测需求,降低质检应用落地的门槛。

图片

图 2 AI 视觉平台架构


AI 视觉平台架构如图 2 所示,由边缘层、PASS 层、MAAS 层和 SAAS 应用层组成。以轻量化、弹性伸缩、容器化为基础,进行工业多元场景数据的统一接入与分析,沉淀 AI 基础算法能力,将通用模型算法与特定应用需求解耦,提供可复用、可扩展的 AI 能力服务。可快速实现特定场景的快速微调、训练、迭代与发布。


1.3 工业图像数据采集


光学成像是视觉检测的基础,采集图像的质量是后续图像特征识别的关键。然而工厂光照环境多变、工件结构复杂、工件材质多样等问题造成图像质量难以稳定。为此,本文搭建多特征光学成像采集系统,确保工件的全方位采集;并建立光学效果评价体系,指导光学参数调优。从根源解决数据质量问题,具体介绍如下:


(1) 多特征光学成像


工件通常涉及表面缺陷、内部缺陷以及三维缺陷信息的检测,可概括为 “面特征” 成像、“孔特征” 成像以及 “轮廓尺寸特征” 3D 成像。为避免缺陷漏检,本文设计了全方位、多特征的图像采集系统,如图 3 所示,使用协作机械臂挂载多套视觉成像设备,使用面阵相机、线阵相机和 3D 激光传感器,通过搭载 FA 镜头和远心镜头对表观和三维特征进行不同程度的观测;对于有凹陷结构如孔洞等的工件,镜头无法深入探测,则配备工业内全景镜头进行内壁面检测。由机械臂进行环绕成像,确保工件无死角图像采集。

图片

图 3 视觉图像采集系统


(2) 光学参数自动调优


错误的光学参数设置可能会导致图像模糊、过曝、缺少目标区域等问题,因此成像效果评价方法的研究对于质检系统的稳定运转至关重要。本文将视觉感知特性与深度学习相结合,对图像不同区域给予不同关注,提高关键信息的利用率。通过模拟人类视觉系统的感知来判断工业质检中的图像是否适合后续缺陷检测。

图片

图 4 融合视觉感知特性的光学评价框架


方法架构如图 4 所示,首先对工件图像进行主观打分,构建数据集;之后引入视觉显著机制生成显著性图,并结合 Transformer 特性提取图像全局高层信息特征;将获取的视觉显著性图与输出的全局特征融合,最终通过全连接层映射为质量分数评价结果。利用网格法罗列光源、相机的所有参数组合,并采用全自动轮询的方式拍摄不同参数设置下的工件图片,通过质量评价体系对图片集评级后选取最合适的硬件参数设置方案。


1.4 AI 检测算法


工厂对劣品检出率要求严格,然而现实生产中缺陷数据样本少、缺陷形态多样、且存在大量微小缺陷,对检测模型提出了挑战。针对该问题,本文采用半监督、自监督融合方式,构建神经网络学习非缺陷制品的特征,并以教师 - 学生网络结构通过逆蒸馏实现对缺陷敏感的编码器与对缺陷不敏感的解码器。当图像不含缺陷时,编码器的特征与解码器的特征服从同一分布;反之,在缺陷图像中,二者特征存在较大差异,因此可将差异部分作为缺陷并进行缺陷定位,具体介绍如下。

图片

图 5 缺陷检测模型框架


如图 5 所示,缺陷检测模型包含教师网络 (编码器)、学生网络 (解码器)、单类瓶颈编码器、投影层。


(1) 网络输入为非缺陷数据时,直接计算教师网络和学生网络特征之间的相似性来训练学生网络,使用余弦相似性作为蒸馏损失,使得学生网络和教师网络在非缺陷数据上可提取同分布特征。


(2) 缺陷数据作为输入时,将教师网络提取特征通过投影层映射,并结合对比损失,经过掩码辅助消除缺陷特征,使得解码器的输入特征不含有缺陷相关特征,由此保证解码器对缺陷数据不敏感。


实际推理时,逐层获取教师网络与学生网络的对应特征并进行余弦相似度对比,将所有层的相似度进行融合获取最终差异特征比对图,图中若有差异则表明数据含有缺陷,差异大的位置则作为缺陷的定位。


1.5 轻量化工程部署


在多产线、多种类、多批量的质检范式下,数据中心化的 AI 落地方案成本高昂,难以应用。为此,本文提出模型轻量化的方案,旨在通过降低模型复杂度和计算需求,实现边缘侧的高效部署。


在 AI 视觉平台中,构建了基于泛化式模型精炼的算法压缩过程,使视觉检测模型具备更好的边缘侧部署性能和适应性。平台内置的泛化式模型精炼模块支持视觉算法库的阶段性更新,并允许在检测设备部署过程中根据实际需要替换算法的主干网络,从而得到多个轻量化视觉模型的重组。在模型重组过程中,逐层分析不同模型的特征层,通过特征融合与裁剪等技术,确保重组后的模型在继承各个教师模型优点的同时,实现进一步的轻量化和性能优化。泛化式模型精炼能够自主生成定制化、全能型的轻量化边缘侧模型,实现知识的深度融合,并显著提高视觉检测模型的性能与效率。


2 视觉质检应用测试


汽车行业是支撑国家经济发展的支柱行业,中国汽车行业的总产值约占全国 GDP 总量的 10%,是视觉应用的主力行业。汽车生产过程中涉及大量的自动化引导和质量控制环节,同时由于零部件种类多、尺寸各异、检测环境不一等因素,对产品检测精度要求极高,亟需 AI 工业视觉技术提高质量及效率。


将本文所提出的质检解决方案在汽车轮毂场景中进行测试,轮毂生产过程常出现焊渣、起皱、凹坑、变形等缺陷,工件表面为多曲面高反光材质且结构复杂。针对该检测场景,采用 AI 视觉平台对质检系统进行快速部署,现场如图 6 (a) 所示,分为正面检测、反面检测、轮辋检测三个工位,由机械臂进行位置调控,实现工件表面的全方位高质量数据采集,由检测模型对图像数据进行缺陷识别,检测效果如图 6 (b) 所示。

图片

图6 汽车轮毂 AI 视觉质检测试


采用精确率 P 和召回率 R 作为检测效果的评价指标,计算公式如下:

图片

式中,TP 为检测检出为缺陷的数量,FP 为误检为缺陷的数量,FN 为漏检测的数量。


表 1 视觉质检应用测试结果

图片

检测结果如表 1 所示,对于三个检测工位,召回率均为 100%,即本方案不会出现漏检现象,符合对于工件质量的严格高标准要求。然而,准确率在 80% - 90%,表明存在良品工件被识别为劣品工件的问题,需要人工对检出轮毂进行复筛。虽然该解决方案需要人工复检保障工件筛选的准确率,但相较于纯人工质检产线,大幅缓解了对人工的需求,具有实际应用价值,可有效助力工业制造的数智化转型。


3 结束语


随着机器视觉技术的快速发展,工业质检正经历由传统向现代的转变。在 AI 视觉赋能生产的过程中,视觉质检也面临数据、模型、以及部署等诸多挑战。本文基于 AI 视觉平台,从视觉成像、模型优化、以及轻量化等方面建立视觉质检体系,实现高精度、高效率、低成本的质检解决方案,推动视觉质检的落地应用。同时,系统具有较高的通用性和泛化性,可进行规模化推广与应用。未来将持续探索 AI 视觉技术的应用优化,促进传统产业走向高端化、智能化、绿色化。


原文刊载于《江苏通信》 作者:中国移动通信集团江苏有限公司 陈桃

读大数据应用最佳实践案例,赢数字经济未来!

18个行业,106个中国大数据应用最佳实践案例:

(1)《赢在大数据:中国大数据发展蓝皮书》;

免费试读:https://item.jd.com/12058569.html

(2)《赢在大数据:金融/电信/媒体/医疗/旅游/数据市场行业大数据应用典型案例》;

免费试读: https://item.jd.com/12160046.html

本册“ 微信读书 ”免费阅读:https://weread.qq.com/web/bookReview/list?bookId=f0532d707159f0dff058c4e

(3)《赢在大数据:营销/房地产/汽车/交通/体育/环境行业大数据应用典型案例》;

费试读:https://item.jd.com/12160064.html

(4)《赢在大数据:政府/工业/农业/安全/教育/人才行业大数据应用典型案例》。

免费试读: https://item.jd.com/12058567.html

或点击 “阅读原文” ,购买“赢在大数据系列丛书”。

推荐文章


点击 蓝色标题 即可阅读全文

10万读者睿选 2016年TOP100 2015年TOP100

CCTV大数据名人讲堂PPT&视频: 万亿元大数据产业 安全 城市 】【 农业 航运 】【 数据资产变现

DTiii: 3352家大数据产业地图PPT及下载 】【 TOP100 】【 亿元俱乐部 中国大数据行业应用Top Choice 2019 】【 赢在大数据
数字化转型: 工作手册 战略 路径 百家企业 零售 转型路 银行 人才 组织 工业 华为
卡特彼勒 美的 100亿, 百丽 美的历程 美的PPT 华为数据之道 转型战略 毕马威转型方法论 阿里方法论
元宇宙: 清华大学 元宇宙 、北京大学元宇宙

ChatGPT: 官方使用手册 15美元使用指南 技术详解 工作原理

数据中台: 凯哥八问 颠覆数据工程师 阿里 滴滴数据中台 中台报告 数据中台建设之道高峰论坛视频回放 富国银行和Netflix数据中台 民生银行数据中台

数据资产: 德勤阿里数据资产评估 ,PPT 阿里巴巴数据资产管理实践 ,阿里&毕马威PPT 2021数据资产运营白皮书 数据资产目录建设之数据分类全解 数据资产管理的5个步骤和6个要素 普华永道:数据资产化前瞻性研究白皮书 【实践】 商业银行数据资产管理体系建设实践报告 【行业】 银行数据资产的数据治理 【案例】附表:芝麻信用元素表(DAS)列表及含义


院士: 李国 杰【( PPT )( 全文 )】【 数据开放 】, 邬贺铨 倪光南【大数据时代 )( )】, 怀进鹏 梅宏

大数据100分 :【 金融 】【 制造 】【 餐饮 】【 电信 】【 电商 】【更多行业大数据应用请点击底部导航栏BD100分】;

大数据/人工智能数据竞赛: Kaggle经验分享 NetFlix百万美金 】【 Kaggle案例 】【 2017BDCI 】【 2017BDCI嘉年华 2018BDCI嘉年华 滴滴算法大赛】

征信: ZestFinance 】【 BCG 】【 芝麻信用 】;







请到「今天看啥」查看全文