专栏名称: 产业智能官
用新一代技术+商业操作系统(AI-CPS OS:云计算+大数据+物联网+区块链+人工智能),在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
目录
相关文章推荐
麒麟出海  ·  TEMU首次开放加拿大本地卖家入驻;TikT ... ·  昨天  
算法爱好者  ·  DeepSeek ... ·  昨天  
雨果网  ·  2025 ... ·  昨天  
算法爱好者  ·  他借助 ChatGPT 杀疯了!做了 3 ... ·  3 天前  
51好读  ›  专栏  ›  产业智能官

【工业大数据】聊聊工业大数据采集的那些事

产业智能官  · 公众号  ·  · 2018-10-26 06:20

正文


实现工业4.0,需要高度的工业化、自动化基础,是漫长的征程。工业大数据是未来工业在全球市场竞争中发挥优势的关键。



大数据时代的到来,最早是由全球知名的咨询公司麦肯锡提出的,在麦肯锡发布的全球大数据统计报告中,数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素,人们对于海量数据的挖掘和运用,预示着新一波生产率增长浪潮的到来。




大数据应用正在向 工业领域 加速渗透,大数据挖掘分析将成为推动工业信息化发展的重要手段。 工业互联网是以数据驱动为主的产业 ,在能源优化方面,利用传感器集中监控所有的生产过程大数据,能够记录能耗状况和发现能耗异常状况,从而在生产过程中进行优化调整,节约企业的生产成本。


工业互联网是大数据的来源,而大数据分析则为工业互联网的发展提供有用的数据支持,这其中所产生的价值,才是各大互联网巨头们聚焦的核心。



实现工业4.0,需要高度的工业化、自动化基础,是漫长的征程; 工业大数据是未来工业在全球市场竞争中发挥优势的关键。


无论是德国工业4.0、美国工业互联网还是《中国制造2025》,各国制造业创新战略的实施基础都是工业大数据的搜集和特征分析,及以此为未来制造系统搭建的无忧环境。不论智能制造发展到何种程度,数据采集都是生产中最实际最高频的需求,也是工业4.0的先决条件。



大数据、物联网、人工智能等新技能都是工业互联网的支撑手法 ,假如没有近几年这些新技能的飞跃开展,也就没有全球范围内工业互联网的布局热潮。”工信部赛迪研究院软件所所长潘文说。


数据显示,2017年中国工业互联网市场规模达到4676.99亿元,增长率为13.5%;随着产业政策逐渐落点,市场空间将有望加速,预计2020年中国工业互联网市场规模可达6929.12亿元。


数据来源:中商产业研究院整理


工业互联网平台需要解决多类工业设备接入、多源工业数据集成、海量数据管理与处理、工业数据建模分析、工业应用创新与集成、工业知识积累迭代实现等一系列问题。


但数据采集一直是困扰着所有制造工厂的传统痛点,自动化设备品牌类型繁多,厂家和数据接口各异,国外厂家本地支持有限,再加上不同的采购年代,即便设备停滞时数据自动采集了,也不等于整个制造过程数据都获得了,只要还有其他人工参与环节,这些数据就不完整。



工业数据采集类型

互联网的数据主要来自于互联网用户和服务器等网络设备,主要是大量的文本数据、社交数据以及多媒体数据等,而 工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。


从数据采集的类型上看,不仅要涵盖基础的数据,还将逐步包括半结构化的用户行为数据,网状的社交关系数据,文本或音频类型的用户意见和反馈数据,设备和传感器采集的周期性数据,网络爬虫获取的互联网数据,以及未来越来越多有潜在意义的各类数据。



1、海量的Key-Value数据。 在传感器技术飞速发展的今天,包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用,而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据,因此,这部分数据的特点是每条数据内容很少,但是频率极高。


2、文档数据。 包括工程图纸、仿真数据、设计的CAD图纸等,还有大量的传统工程文档。



3、信息化数据。 由工业信息系统产生的数据,一般是通过数据库形式存储的,这部分数据是最好采集的。


4、接口数据。 由已经建成的工业自动化或信息系统提供的接口类型的数据,包括txt格式、JSON格式、XML格式等。



5、视频数据。 工业现场会有大量的视频监控设备,这些设备会产生大量的视频数据。


6、图像数据。 包括工业现场各类图像设备拍摄的图片(例如,巡检人员用手持设备拍摄的设备、环境信息图片)。



7、音频数据。 包括语音及声音信息(例如,操作人员的通话、设备运转的音量等)。


8、其他数据。 例如遥感遥测信息、三维高程信息等等。



数据采集的方法

传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面智哥接着和大家介绍 数据采集方式的突破是怎样直接改变着大数据应用的场景的。


1、传感器

传感器是一种检测装置,能感受到被测量的信息,并能将检测感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。



传感器在采集数据的过程中主要特性是其输入与输出的关系。 其静态特性反映了传感器在被测量各个值处于稳定状态时的输入和输出关系,这意味着当输入为常量,或变化极慢时,这一关系就称为静态特性。


一般情况下,输入与输出不会符合所要求的线性关系,同时由于存在这迟滞、蠕变等因素的影响,使输入输出关系的唯一性也不能实现。



2、RFID技术

RFID(Radio Frequency Identification,射频识别)技术是一种非接触式的自动识别技术,通过射频信号自动识别目标对象并获取相关的数据信息; 利用射频方式进行非接触双向通信,达到识别目的并交换数据。


在工作时,RFID读写器通过天线发送出一定频率的脉冲信号,当RFID标签进入磁场时,凭借感应电流所获得的能量发送出存储在芯片中的产品信息,或者主动发送某一频率的信号。 RFID技术解决了物品信息与互联网实现自动连接的问题,结合后续的大数据挖掘工作,能发挥其强大的威力。



数据采集技术难点

在当今的制造业领域,数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式,采集过程中容易出现人为的记录错误且效率低下。


有些企业虽然引进了相关技术手段,并且应用了数据采集系统,但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统,因此也无法实现信息采集的实时性、精确性和延伸性管理,各单元出现了信息断层的现象。



智哥总结了一下,数据采集的技术难点主要包括以下几方面:

1、数据量巨大。 任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。 如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的工业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。


2、工业数据的协议不标准 。互联网数据采集一般都是我们常见的HTTP等协议,但在工业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议,导致在工业协议的互联互通上,出现了极大地难度。



3、视频传输所需带宽巨大。 传统工业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。


但随着云计算技术的普及及公有云的兴起,大数据需要大量的计算资源和存储资源,因此工业数据逐步迁移到公有云已经是大势所趋了。但是,一个工业企业可能会有几十路视频,成规模的企业会有上百路视频,这么大量的视频文件如何通过互联网顺畅到传输到云端,是开发人员需要面临的巨大挑战。



4、对原有系统的采集难度大。 在工业企业实施大数据项目时,数据采集往往不是针对传感器或者PLC,而是采集已经完成部属的自动化系统上位机数据。


这些自动化系统在部署时厂商水平参差不齐,大部分系统是没有数据接口的,文档也大量缺失,大量的现场系统没有点表等基础设置数据,使得对于这部分数据采集的难度极大。



5、安全性考虑不足。 原先的工业系统都是运行在局域网中,安全问题不是突出考虑的重点。


一旦需要通过云端调度工业之中最为核心的生产能力,又没有对安全的充分考虑,造成损失,是难以弥补的。2015年,受网络安全事件影响的工业企业占比达到30%,因病毒造成停机的企业高达20%。仅美国国土安全部的工业控制系统网络应急响应小组(ICS-CERT)就收到了295起针对关键基础设施的攻击事件。



其实,在智哥看来,不论是国家出台关于加快工业互联网发展的指导意见,政策扶持加码,还是两会期间传来各位大佬对于工业互联网的声音,说2018年是工业互联网的井喷之年一点儿也不为过,而工业互联网是以数据驱动为主的产业,伴随着大数据时代的到来,我们就不得不重视工业领域内的数据采集,立足当下,放眼未来,需要我们去做的还很多,行业伙伴儿们,东械愿意和大家携手并肩一起走,您呢?








请到「今天看啥」查看全文