专栏名称: 产业智能官
用新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能),在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
目录
相关文章推荐
蒲公英Ouryao  ·  已上市中药变更胶囊颜色 ·  17 小时前  
丁香园  ·  这类患者降压 55~85 ... ·  昨天  
肿瘤资讯  ·  【前沿进展】揭示新机制:YAP介导HER3信 ... ·  3 天前  
肿瘤资讯  ·  丽证一线 | 直击绝经后HR+ / ... ·  3 天前  
51好读  ›  专栏  ›  产业智能官

【机器视觉】视觉+机器人,如何实现连接器的自动装配?

产业智能官  · 公众号  ·  · 2018-09-08 00:04

正文

视频:视觉引导的机器人如何实现连接器的自动装配



人类想要实现一系列的基本活动,如生活、工作、学习就必须依靠自身的器官,除脑以外,最重要的就是我们的眼睛了,(工业)机器人也不例外,要完成正常的生产任务,没有一套完善的,先进的视觉系统是很难想象的。

机器视觉系统就是利用机器代替人眼来作各种测量和判断。 它是计算科的一个重要分支,它综合了 光学、机械、电子、计算机软硬件 等方面的技术,涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展,也大大地推动了机器视觉的发展。


了解机器人视觉系统


一般来说, 机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统 对于每一个应用,我们都需要考虑系统的运行速度和图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。

从功能上来看 ,典型的 机器视觉系统可以分为 图像采集部分、图像处理部分和运动控制部分。

机器人视觉系统优点

1、非接触测量,对于观测者与被观测者都不会产生任何损伤,从而提高系统的可靠性。

2、具有较宽的光谱响应范围,例如使用人眼看不见的红外测量,扩展了人眼的视觉范围。

3、长时间稳定工作,人类难以长时间对同一对象进行观察,而机器视觉则可以长时间地作测量、分析和识别任务。

4、机器视觉系统的应用领域越来越广泛。在工业、农业、国防、交通、医疗、金融甚至体育、娱乐等等行业都获得了广泛的应用,可以说已经深入到我们的生活、生产和工作的方方面面。


一、系统构成

视觉系统简单来说就可以用三个及独立又相互联系的模块来概括:目标物图像的采集、图像的处理、指令的发出。


视觉系统的设计分为软件设计和硬件设计两大部分。

(一)视觉系统的硬件设计

视觉系统的硬件主要由镜头、摄像机、图像采集卡、输入输出单元、控制装置构成。

一套视觉系统的好坏则分别取决于摄像机像素的高低,硬件质量的优劣,更重要的是各个部件间的相互配合和合理使用。

(二)视觉系统的软件设计

视觉系统的软件设计是一个复杂的课题,不仅要考虑到程序设计的最优化,还要考虑到算法的有效性,及其能否实现,在软件设计的过程中要考虑到可能出现的问题。

视觉系统的软件设计完成还要对其鲁棒性进行检测和提高,以适应复杂的外部环境。


二、工作原理


机器人视觉硬件 主要包括图像获取和视觉处理两部分,而图像获取由照明系统、视觉传感器、模拟-数字转换器和帧存储器等组成。机器人视觉通过视觉传感器获取环境的二维图像,并通过视觉处理器进行分析和解释,进而转换为符号,让机器人能够辨识物体,并确定其位置。

具体过程如下:


三、实际应用


工业机器视觉难点在于精度和速度,要求都在毫米级,且工业领域工业机器人抓手的变动是在三维空间内。根据功能不同,机器人视觉可分为视觉检验和视觉引导两种。

1、食品安全监测

在流水化作业生产、产品质量检测方面,需要机器视觉观察、识别、发现生产环节中的错误和疏漏。

2、制造业

机器视觉系统的特点 是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;

同时,在大批量工业生产过程中,人工视觉效率低且精度不高,机器视觉检测可以提高生产效率和生产的自动化程度,且易于实现信息集成。

3、太阳能、交通监控

太阳能电池和模块生产者 使用机器视觉来检测产品、识别和跟踪产品以及装配产品。

在交通监控领域,可应用于车牌识别技术、图像分析技术,自动识别车牌,发现违章停车、逆行、发现交通肇事车辆等。


四、市场前景


传统制造业面临新的颠覆,转型升级将给中国自动化行业带来巨大的市场机遇。而机器视觉作为自动化界高智能化产品,未来具有巨大的发展潜力。

中国的电子制造和代工厂商过去几年正在采购大量自动化设备取代人工,以应对中国愈演愈烈的缺工现象,未来几年这一现象将达到高潮。台资工厂纷纷选择提高自动化程度,其自动化换装高潮将在未来2-3年内到来,必将为机器视觉产品在该行业的应用带来新的增长点。




计算机视觉领域研究资源及期刊、会议介绍

做机器视觉和图像处理方面的研究工作,最重要的两个问题:其一是要把握住国际上最前沿的内容;其二是所作工作要具备很高的实用背景。解决第一个问题的办法就是找出这个方向公认最高成就的几个超级专家(看看他们都在作什么)和最权威的出版物(阅读上面最新的文献),解决第二个问题的办法是你最好能够找到一个实际应用的项目,边做边写文章。做好这几点的途径之一就是利用网络资源,利用权威网站和专家们的个人主页。


依照下面目录整理:
[1]研究群体(国际国内)、 专家主页

[2]前沿国际国内期刊与会议

[3]搜索资源

[4]GPL软件资源

一、研究群体
用来搜索国际知名计算机视觉研究组(CV Groups):
国际计算机视觉研究组清单
http://peipa.essex.ac.uk/info/groups.html
美国计算机视觉研究组清单 http://peipa.essex.ac.uk/info/groups.html#USA

http://www-2.cs.cmu.edu/~cil/vision.html http://www.cs.cmu.edu/~cil/vision.html
这是卡奈基梅隆大学的计算机视觉研究组的主页,上面提供很全的资料,从发表文章的下载到演示程序、测试图像、常用链接、相关软硬件,甚至还有一个搜索引擎。著名的有人物Tomasi, Kanade等。
卡内基梅隆大学双目实验室
http://vision.middlebury.edu/stereo/
卡内基梅隆研究组 http://www.cs.cmu.edu/~cil/v-groups.html
还有几个实验室:
Calibrated Imaging Laboratory 图像
Digital Mapping Laboratory 映射
Interactive Systems Laboratory 互动
Vision and Autonomous Systems Center视觉自适应

http://www.via.cornell.edu/
康奈尔大学的计算机视觉和图像分析研究组,好像是电子和计算机工程系的。侧重医学方面的研究,但是在上面有相当不错资源,关键是它正在建设中,能够跟踪一些信息。
Cornell University——Robotics and Vision group

http://www-cs-students.stanford.edu/ 斯坦福大学计算机系主页
1.
http://white.stanford.edu/
2. http://vision.stanford.edu/
3. http://ai.stanford.edu/ 美国斯坦福大学人工智能机器人实验室
The Stanford AI Lab (SAIL) is the intellectual home for researchers in the Stanford Computer Science Department whose primary research focus is Artificial Intelligence. The lab is located in the Gates...
Vision and Imaging Science and Technology

http://www.fmrib.ox.ac.uk/analysis/
主要研究:Brain Extraction Tool, Nonlinear noise reduction, Linear Image Registration, Automated Segmentation, Structural brain change analysis, motion correction, etc.

http://www.cse.msu.edu/prip/ —密歇根州立大学计算机和电子工程系的模式识别--图像处理研究组,它的FTP上有许多的文章(NEW)。
美国密歇根州大学认知模型和图像处理实验室
The Pattern Recognition and Image Processing (PRIP) Lab faculty and students investigate the use of machines to recognize patterns or objects. Methods are developed to sense objects, to discover which...
http://www.cse.msu.edu/rgroups/prip/

http://pandora.inf.uni-jena.de/p/e/index.html
德国的一个数字图像处理研究小组,在其上面能找到一些不错的链接资源。
柏林大学
http://www.cv.tu-berlin.de/

德国波恩大学视觉和认识模型小组
Computer Vision Group located within the Division III of the Computer Science Department in the University of Bonn in Germany. This server offers information on topics concerning our computer vision
http://www-dbv.informatik.uni-bonn.de/

http://www-staff.it.uts.edu.au/~sean/CVCC.dir/home.html
CVIP(used to be CVCC for Computer Vision and Cluster Computing) is a research group focusing on cluster-based computer vision within the Spiral Architecture.

http://cfia.gmu.edu/
The mission of the Center for Image Analysis is to foster multi-disciplinary research in image, multimedia and related technologies by establishing links between academic institutes, industry and government agencies, and to transfer key technologies to help industry build next generation commercial and military imaging and multimedia systems.

英国的Bristol大学的Digital Media Group在高级图形图像方面不错。主要就是涉及到场景中光线计算的问题,比如用全局光照或是各种局部光照对高动态图的处理,还有近似真实的模拟现实环境 (照片级别的),还有用几张照片来建立3D模型(人头之类的)。另外也有对古代建筑模型复原。
http://www.cs.bristol.ac.uk/Research/Digitalmedia/
而且根据Times全英计算机排名在第3, 也算比较顶尖的研究了

http://www.cmis.csiro.au/IAP/zimage.htm
这是一个侧重图像分析的站点,一般。但是提供一个Image Analysis环境---ZIMAGE and SZIMAGE。

麻省理工视觉实验室MIT
http://groups.csail.mit.edu/vision/welcome/
AI Laboratory Computer Vision group
Center for Biological and Computational Learning
Media Laboratory, Vision and Modeling Group
Perceptual Science group

UC Berkeley
http://0-vision.berkeley.edu.ilstest.lib.neu.edu/vsp/index.html
http://www.cs.berkeley.edu.ilste ... n/vision_group.html
加州大学伯克利分校视觉实验室David A. Forsyth: http://www.cs.berkeley.edu/~daf/

UCLA(加州大学洛杉矶分校) http://vision.ucla.edu/ 视觉实验室

英国牛津的A.Zisserman:
http://www.robots.ox.ac.uk/~az/ 机器人实验室

美国南加州大学智能机器人和智能系统研究所University of Southern California, Los Angeles
IRIS is an interdepartmental unit of USC's School of Engineering with ties to USC's Information Sciences Institute (ISI). Members include faculty, graduate students, and research staff associated with...
http://iris.usc.edu/ Computer Vision 实验室
美国南加州大学计算机视觉实验室介绍:
Computer Vision Laboratory at the University of Southern California is one of the major centers of computer vision research for thirty years. they conduct research in a number of basic and applied are...
http://iris.usc.edu/USC-Computer-Vision.html

英国约克大学高级计算机结构神经网络小组
The Advanced Computer Architecture Group has had a thriving research programme in neural networks for over 10 years. The 15 researchers, led by Jim Austin, focus their work in the theory and applicati...
http://www.cs.york.ac.uk/arch/neural/

瑞士戴尔莫尔感知人工智能研究所
IDIAP is a research institute established in Martigny in the Swiss Alps since 1991. Active in the areas of multimodal interaction and multimedia information management, the institute is also the leade...
http://www.idiap.ch/

英国萨里大学视觉,语言和信号处理中心
The Centre for Vision, Speech and Signal Processing (CVSSP) is more than 60 members strong, comprising 12 academic staff, 18 research fellows and more than 44 research students. The activities of the ...
http://www.ee.surrey.ac.uk/Research/VSSP/

美国阿默斯特马萨诸塞州立大学计算机视觉实验室
The Computer Vision Laboratory was established in the Computer Science Department at the University of Massachusetts in 1974 with the goal of investigating the scientific principles underlying the con...
http://vis-www.cs.umass.edu
University of Massachusetts——Computer Vision Laboratory for Perceptual Robotics

美国芝加哥伊利诺伊斯大学贝克曼研究中心智能机器人和计算机视觉实验室
Includes the following groups: Professor Seth Hutchinson's Research Group Professor David Kriegman's Research Group Professor Jean Ponce's Research Group Professor Narendra Ahuja's Research Gro...
http://www-cvr.ai.uiuc.edu/
Computer Vision and Robotics Laboratory
Vision Interfaces and Systems Laboratory (VISLab)

英国伯明翰大学计算机科学学校视觉研究小组
The vision group at the School of Computer Science (a RAE 5 rated department) performs research into a wide variety of computer vision and image understanding areas. Much of this work is performed in ...
http://www.cs.bham.ac.uk/research/vision/

微软研究院机器学习与理解研究小组 / 计算机视觉小组
The research group focuses on the development of more advanced and intelligent computer systems through the exploitation of statistical methods in machine learning and computer vision. The site lists ...
http://research.microsoft.com/mlp/
http://research.microsoft.com/en-us/groups/vision/
微软公司的文献: http://research.microsoft.com/research/pubs
微软亚洲研究院: http://research.microsoft.com/asia/ ,值得关注Harry Shum, Jian Sun, Steven Lin, Long Quan(兼职HKUST)etc.

瑞典隆德大学数学系视觉组:
http://www.maths.lth.se/matematiklth/personal/andersp/
感觉国外搞视觉的好多是数学系出身,大约做计算机视觉对数学要求很高吧。

澳大利亚国立大学:
http://users.rsise.anu.edu.au/~hartley/

美国北卡大学: http://www.cs.unc.edu/~marc/

法国INRIA: http://www-sop.inria.fr/odyssee/team/ 由Olivier.Faugeras领衔的牛人众多。

比利时鲁汶大学的L.Van Gool:
www.esat.kuleuven.ac.be/psi/visics/
据说在这个只有中国一个小镇大小的地方的鲁汶大学在欧洲排行top10,名列世界top100,还出了几个诺贝尔奖,视觉研究也很强.

美国明德
http://vision.middlebury.edu/stereo/
以下含有非顶尖美国学校研究组,没有链接(个别的上面已经提到),供参考。

二、前沿国际国内期刊与会议


这里的期刊大部分都可以通过上面的专家们的主页间接找到
1.国际会议 2.国际期刊 3.国内期刊 4.神经网络 5.CV 6.数字图象 7.教育资源,大学 8.常见问题


1. 国际会议
现在,国际上计算机视觉方面的三大国际会议是ICCV, CVPR和ECCV,统称之为ICE。
ICCV的全称是International Comference on Computer Vision。ICCV两年一次,与ECCV正好错开,是公认的三个会议中级别最高的。

ECCV的全称是Europeon Conference on Computer Vision,是一个欧洲的会议。

CVPR的全称是Internaltional Conference on Computer Vision and Pattern Recogintion国际计算机视觉与模式识别会议。这是一个一年一次的会议,举办地在美国。
ICIP—
BMVC—
MVA—
国际模式识别会议(ICPR ):
亚洲计算机视觉会议(ACCV):


2.国际期刊
以计算机视觉为主要内容之一的国际刊物也有很多,如:
International Journal of Computer Vision
IEEE Trans. On PAMI
http://www.computer.org/tpami/index.htm
IEEE Transactionson Image Processing http://www.ieee.org/organizations/pubs/transactions/tip.htm
Pattern Recognition http://www.elsevier.com/locate/issn/00313203
Pattern Recognition Letters http://www.elsevier.com/locate/issn/01678655
IEEE Trans. on Robotics and Automation,
IEEE TPAMI
IEEE TIP
CVGIP Computer Vision. Graphics and Image Processing,
Visual Image Computing,
IJPRAI(Internatiorial Journat of Pattern Recognition and Artificial Intelligence)

众所周知, computer vision(cv) 存在ICCV/CVPR/ECCV三个顶级会议,它们档次差不多,都应该在一流会议行列,没有必要给个高下。有些us的人认为ICCV/CVPR略好于ECCV,而欧洲人大都认为ICCV/ECCV略好于CVPR,某些英国的人甚至认为BMVC好于CVPR。简言之,三个会议差不多, 各有侧重和偏好。

笔者就个人经验浅谈三会异同, 以供大家参考和讨论。 三者乃cv领域的旗舰和风向标,其oral paper (包括best paper) 代表当年度cv的最高水准, 在此引用Harry Shum的一句话,想知道某个领域在做些什么,找最近几年此领域的proceeding看看就知道了。 ICCV/CVPR由IEEE Computer Society牵头组织, ECCV好像没有专门负责的组织。 CVPR每年(除2002年)都在美国开, ECCV每两年开一次,仅限欧洲, ICCV也是每两年一次,各洲轮值。 基本可以保证每年有两个会议开, 这样研究者就有两次跻身牛会的机会。
就录取率而言, 三会都有波动。如ICCV2001录取率>30%,且出现两个人(华人)各有三篇第一作者的paper的情况,这在顶级牛会是不常见的 (灌水嫌疑)。 但是, ICCV2003, 2005两次录取率都很低, 大约20%左右。 ECCV也是类似规律, 在2004年以前都是>30%, 2006年降低到20%左右。 CVPR的录取率近年来一直偏高,从2004年开始一直都在[25%,30%]。最近一次CVPR2006是28.1%, CVPR2007还不知道统计数据。笔者猜测为了维持录取paper的绝对数量, 当submission少的时候录取率偏高,反之偏低,近几年三大会议的投稿数量全部超过1000, 相对2000年前,三会录取率均大幅度降低,最大幅度50%->20%。 对录取率走势感兴趣的朋友, 可参考
http://vrlab.epfl.ch/~ulicny/statistics/(CVPR2004 的数据是错的), http://www.adaptivebox.net/research/bookmark/CICON_stat.html.

显然, 投入cv的人越来越多,这个领域也是越来越大, 这点颇不似machine learning一直奉行愚蠢的小圈子主义。另外一点值得注意, ICCV/ECCV只收vision相关的topic,而cvpr会收少量的pattern recognition paper,如finger print等,但是不收和image/video完全不占边的pr paper,如speech recognition等。我一个朋友曾经review过一篇投往CVPR的speech的paper,三个reviewer一致拒绝,其中一个reviewer搞笑的指出, 你这篇paper应该是投ICASSP被据而转投CVPR的。就topic而言, CVPR涵盖最广。 还有一个没有验证过的原因导致CVPR录取率高: 很多us的researcher不愿意或没有足够的经费到us以外的地方开会, 故CVPR会优先接收很多来自us的paper (让大家都happy)。

以上对三会的分析对我们投paper是很有指导作用的。 目前的research我想绝大部分还是纸上谈兵, 必经 read paper -> write paper -> publish paper -> publish paper on top conferences and journals流程。故了解投paper的一些基本技巧, 掌握领域的走向和热点, 是非常必要的。避免做无用功,选择切合的topic,改善presentation, 注意格式 (遵守规定的模板),我想这是很多新手需要注意的问题。如ICCV2007明文规定不写summary page直接reject, 但是仍然有人忽视,这是相当不值得的。


3.国内期刊
自动化学报、计算机学报、软件学报、电子学报,中国图象图形学报,模式识别与人工智能,光电子激光,精密光学工程等。


4.神经网络
神经网络-Neural Networks Tutorial Review
http://hem.hj.se/~de96klda/NeuralNetworks.htm
ftp://ftp.sas.com/pub/neural/FAQ.html

Image Compression with Neural Networks
http://www.comp.glam.ac.uk/digimaging/neural.htm

Backpropagator's Review
http://www.dontveter.com/bpr/bpr.html

Bibliographies on Neural Networks
http://liinwww.ira.uka.de/bibliography/Neural/

Intelligent Motion Control with an Artificial Cerebellum
http://www.q12.org/phd.html

Kernel Machines
http://www.kernel-machines.org/

Some Neural Networks Research Organizations
http://www.ieee.org/nnc/
http://www.inns.org/

Neural Network Modeling in Vision Research
http://www.rybak-et-al.net/nisms.html

Neural Networks and Machine Learning
http://learning.cs.toronto.edu/

Neural Application Software
http://attrasoft.com

Neural Network Toolbox for MATLAB
http://www.mathworks.com/products/neuralnet/

Netlab Software
http://www.ncrg.aston.ac.uk/netlab/

Kunama Systems Limited http://www.kunama.co.uk/


5.Computer Vision(计算机视觉)
Annotated Computer Vision Bibliography
http://iris.usc.edu/Vision-Notes/bibliography/contents.html
http://iris.usc.edu/Vision-Notes/rosenfeld/contents.html

Lawrence Berkeley National Lab Computer Vision and Robotics Applications
http://www-itg.lbl.gov/ITG.hm.pg.docs/VISIon/vision.html

CVonline by University of Edinburgh
The Evolving, Distributed, Non-Proprietary, On-Line Compendium of Computer Vision,
www.dai.ed.ac.uk/CVonline

Computer Vision Handbook,
www.cs.hmc.edu/~fleck/computer-vision-handbook

Vision Systems Courseware
www.cs.cf.ac.uk/Dave/Vision_lecture/Vision_lecture_caller.html

Research Activities in Computer Vision
http://www-syntim.inria.fr/syntim/analyse/index-eng.html

Vision Systems Acronyms
www.vision-systems-design.com/vsd/archive/acronyms.html

Dictionary of Terms in Human and Animal Vision







请到「今天看啥」查看全文