专栏名称: 中国交通信息化
《中国交通信息化》杂志编读互动及交通信息化资讯与学术传播平台。《中国交通信息化》杂志是由中国科学技术协会主管、交通运输部指导、中国公路学会主办,面向全国交通信息化领域的学术期刊。
目录
相关文章推荐
樱桃大房子  ·  新一轮科技大迁徙来了! ·  6 天前  
电池中国  ·  受磷酸铁锂“刺激”的韩国厂商 ·  6 天前  
电池中国  ·  受磷酸铁锂“刺激”的韩国厂商 ·  6 天前  
走出去情报  ·  中国十五冶中标赞比亚矿业项目 ·  1 周前  
走出去情报  ·  中国十五冶中标赞比亚矿业项目 ·  1 周前  
51好读  ›  专栏  ›  中国交通信息化

云南省综合交通大数据中心体系构建思考

中国交通信息化  · 公众号  · 科技创业 科技自媒体  · 2024-10-21 10:00

正文

论  文

作者:李晓燕,邹岩鹏(云南省公路路政管理总队(省综合交通发展中心))

摘要:本文通过对云南省综合交通大数据中心建设背景、建设必要性进行分析梳理,总结了现阶段综合交通运输大数据中心不足之处,从计算存储能力建设、云服务支撑能力建设、数据汇集能力建设、数据开发治理能力建设、数据安全管控能力建设、数据产业生态建设六个方面,深入探讨了新形势下云南省综合交通运输大数据中心建设思路。

在国家一体化大数据中心体系建设背景下,云南省于2019年正式提出加快“数字云南”建设,在交通运输行业方面,相继出台了《云南省数字交通总体方案》《云南省推进新型基础设施建设实施方案(2020-2022年)》等文件,明确要求建设多源异构综合交通大数据中心,推进交通大数据资源共享交换,加强跨行业、跨部门的数据共享和业务协同,实现综合交通运输服务数据资源融合。通过建设云南省综合交通大数据中心,云南省目标实现数据共享、算法共用、算力共配、行业共治,为交通强国建设提供支撑。

1

 现状及问题

经过前期的信息化发展,云南省交通运输行业数据资源已覆盖公路、铁路、水路、民航、邮政五大领域,积累了大量数据资源,通过资源整合,初步实现行业资源的汇聚和复用。
其中,公路领域业务数据是掌握最为全面的数据资源,数据应用围绕“行业管理、公众服务、企业运营”三个方面开展,相关标准与规范的制定推动了交通运输行业数据资源共享工作的开展。
综合交通大数据中心建设中还存在以下问题:一是交通运输行业数据基础相对薄弱,社会信息化的快速发展让公众对交通运输行业信息化的需求越来越强烈,已有的行业数据无论从质量还是数量上都无法满足这种需求;二是行业间的信息壁垒依然存在,行业间的协同整合是大数据共享开放的痛点和难点,如交通部门和公安部门间存在很强的数据共享需求,但行业专网的数据共享和数据标准不统一;三是信息安全问题矛盾突出,交通大数据安全分级分类标准未建立,难以对潜在隐私进行识别,信息开放共享间的安全边界难以界定,开放共享的风险高。

2

中心架构

从对行业的作用来看,交通运输大数据中心体系是对行业信息基础设施的整合和再造,覆盖地高、国高、国省干线、水路和高速公路收费的一体化协同运行体系。交通行业大数据中心体系建设,应实现数据共享、算法共用、算力共配、行业共治。核心是将各级各类数据中心彼此链接、整网运行,推动大数据基础设施的互联互通,节点能力建设主要聚焦在计算存储能力、数据汇集能力、数据治理能力、数据安全能力和数据分析能力。大数据平台架构如图1所示。
图1 云南省交通大数据平台架构

3

建设思路

3.1  计算存储能力建设
建设过程中应推进数据中心集约化、高密化、智能化建设,按照“逻辑集中、物理分散”原则[1],通盘考虑未来数据应用业务增量与现有物理资源局限的两面性,推动数据中心向算力中心演进;应推动数据中心从“云+端”集中式架构向“云+边+端”分布式架构演变,围绕数据量大、实时性要求高的应用场景,建设部署分支云数据中心;采用统一灾备服务,提供数据备份、异地灾备等灾备服务能力;健全交通行业大数据中心通信专网运维管理机制,优化网络结构,整合冗余,扩展骨干和重要节点容量,进一步提升专网管理和使用效能;完善大数据中心发展配套环境,推动数据中心高速度、大宽带、低时延网络建设,实现数据中心与边缘计算中心双向高带宽传输。
3.2  云服务支撑能力建设
云南省交通大数据中心建设以高效服务为宗旨,以资源集约为导向,以安全可靠为重点,运用先进理念和技术,将具有共性的软硬件信息资源云化,建设集IaaS(基础设施即服务)、PaaS(平台即服务)、DaaS(数据即服务)、SaaS(软件即服务)于一体的信息资源池[2]统筹资源配置服务,形成高效、安全、合法、弹性可扩展的云计算中心,为交通大数据产业发展提供支撑软件、数据资源、运行保障和信息安全等服务;搭建起包含私有云、混合云在内的云平台。
云南省交通大数据中心建设大数据开发平台,汇聚多源异构数据,完成数据存储;针对实时数据流做实时业务逻辑处理,满足实时数据处理需求;针对离线数据,经过清洗、转化、存储,根据不同的主题构建数据仓库;结合实时数据流、主题数据集,构建上层应用,提供智能决策分析。建设中,梳理跨层级、跨系统、跨部门、跨业务大数据应用需求,聚焦共性需求,持续构建集成数据分析、数据处理、数据挖掘、数据可视化等功能的大数据通用算法模型库和控件库,提供规范统一的大数据服务支持。大数据中心建设数据采集和加工工具、数据治理工具,标签工具,在线联机分析处理、商业智能、数据挖掘工具,数据可视化工具,数据共享交换工具,数据门户、报表分析工具等[3]建设分布式缓存服务,提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力;建设云资源运营服务平台,提供云服务产品、可视化模块、知识库、运行监测、工单客服、资源集成和安全管理等配套服务;建设数据融合底座支撑系统,搭建业务数据质量监管和运行指标服务,实现业务数据采集的自动化质量评定监管和多业务板块数据基础指标的智慧化融合应用。
3.3  数据汇集能力建设
云南省交通大数据中心依托各类业务平台,推进数据与业务深度融合,推进数据高效汇聚。大数据中心从不同业务视角进行数据汇聚关联,形成更加细致精准、逻辑清晰的交通行业数据体系。行业级数据中心需要对不同类型的数据进行解析,包括普通结构化数据、文件数据、视频数据、音频数据、图片数据,在源数据接入后,根据业务规则和数据标准的要求,在大数据平台中将数据标准化,遵守数据标准,按照统一规定的格式和规则,通过数据清洗、数据切片、基础分类等操作,对数据进行定义、组织、监督和保护。对此需要在国家、行业相关标准规范基础上,进一步完善数据治理体系,规范行业大数据标准,对数据中心的所有数据都依据统一的元数据进行描述,整个治理过程贯穿于数据接入、数据解析、数据组织、数据服务等过程。
对于各业务数据,按照治理体系指定数据责任主体,制定包括数据说明、数据时效、数据可用性、数据权限、数据明细等量化数据质量指标,并根据数据来源绑定数据责任主体,完成数据权责确权。根据数据治理办法在大数据中心绑定业务数据与责任主体、配置数据和角色权限、配置数据质量规则、建设数据质量监测程序、建设数据质量三道防线,辅助监督各业务部门对数据治理办法的执行。
3.4  数据开发治理能力建设
3.4.1  制定数据治理规则
云南省交通大数据中心建立大数据中心与行业内其他单位协调配合机制,协同推进数据联合治理、管理常态化。建立一数一源责任体系,按照“谁生产、谁保障”的原则,将数据汇聚至大数据中心,保障数据的完整性、准确性及时效性。围绕数据采集、汇聚、存储、处理、共享、开发利用、销毁等数据全生命周期,规范各个环节管理流程,建立数据全生命周期管理流程,编制数据相关管理办法,打造数据治理闭环,提高数据管理效率,为数据治理提供支持。数据治理技术架构如图2所示。
图2 数据治理技术架构
3.4.2  完善数据标准体系
云南省交通大数据中心在建设过程中打造行业大数据标准体系,包括核心元数据标准、数据元标准、数据字典等数据标准,及信息资源梳理规范、数据资源编目规范、数据库建设规范、数据资源采集规范、数据资源处理规范、数据资源开放规范、数据资源隐私保护规范等技术规范。在此基础上推动制定一批地方、团体数据标准规范,确保数据定义与使用的一致性,实现交通行业数据指标口径统一。
3.4.3  数据目录管理能力建设
建设过程中,构建“数据图谱”,开展数据普查摸底,梳理数据数量、类型、更新周期、产生来源、支撑应用等情况,分行业、分地域构建覆盖人、物、事等主体的数据图谱。坚持应用导向,强化业务与数据共享协同,建立业务事项目录与数据目录关联机制,实现“数”尽其用。
3.4.4  数据规划与专题库建设
数据资源规划与数据库建设旨在实现全行业数据资源的统一、规范管理,实现数据管理和使用效率。根据交通运输信息化建设现状、数据资源采集现状及数据治理使用需求,按照“三层五库”的架构建设数据资源,即生产层、资产层和应用层三个层次,生产库、业务库、资产库和共享库、专题库五个数据库。数据资源规划总体架构如图3所示。
图3 数据资源规划总体架构
3.4.5  数据服务共享能力建设
建设过程中,制定数据共享管理办法,明确数据共享的原则、范围和机制,支撑数据在企业内、行业内、行业外有序流通和共享应用。通过数据目录服务和数据可视化服务,加快推进跨部门数据资源共享共用,确定部门间交换信息指标及信息交换流程,实现不同部门应用系统间信息交换与共享,支持跨部门业务协同,满足各部门职能需要。同时建设数据交换共享平台,打造“纵向贯通”“横向互联”的数据共享共用通道,提供多类型数据传输、统一调度管理、全链路数据监控、统一数据服务管控能力,打通内外部数据壁垒,实现数据格式互认、数据通道互联、数据价值互享,推动跨层级、跨区域、跨行业数据交换共享,推动数据“零障碍”流动。建立大数据组件工具共享机制,由数据治理能力平台提供数据开发、治理组件,可提供给行业使用。
3.4.6  数据模型开发
围绕路网评价、应急管理、经济指标测算等方面,云南省交通大数据中心构建交通信息化、数字化建设投入产出指标分析模型、交通要素配置优化模型、收费稽查智能化分析模型、驾驶行为智能捕捉分析模型、车辆动态监管模型等数据模型,深化数据挖掘开发,进一步释放数据价值。
3.5  数据安全管控能力建设
云南省交通大数据中心承担交通行业大部分业务的运行职能,因此,大数据中心的网络及网络安全支撑必不可少,从网络安全、数据安全、密钥安全三个方面保障交通行业大数据中心的信息安全,做到可视、可管、可查。构建安全与信息化规划、建设、运维过程匹配的“安全三同步”机制,引入自动化运维技术,简化运维工作机制。同时,按等保、关基要求加强数据中心的冗余性、安全性。对业务数据实施分类分级梳理和防护措施,建立统一密码云平台,完善统一密钥管理系统、统一CA认证管理系统,覆盖交通行业大数据中心所有应用。
3.6  数据产业生态建设
近年来,随着大数据、云计算等新技术的逐步推广应用,交通行业数字化转型逐渐开展。如何对已有数据进行深度挖掘和场景开发,以交通运输行业应用场景为切入点,以应用为导向,推动交通运输行业数据与互联网、文旅、康养、环保、物流等产业创新融合, 以“开放、合作、共享”的心态聚集广泛的产业合作力量,构建以“数据+客群+市场”为资源核心的数据产业生态圈是一个重要课题。
在电子支付产业方面,交通大数据中心可通过对行业数据开发,与电子支付产业融合,降低现金管理成本的同时,获得交易手续费、交易沉淀资金收益。并可据此探索建立高速公路出行会员体系,为其他产业链中产生额外消费和支出打下用户基础。
在出行服务产业方面,交通大数据中心可通过已有的公路建管养运全生命周期等海量数据进行汇聚、分析和加工,并分析计算后转化为有效的数据资产,为广大的出行者提供免费信息服务。既在社会效益上产生巨大的突破,也可作为建立交通行业企业高速公路出行生态圈的基础服务;对政府和其他领域管理部门,提供购买数据应用服务,产生经济效益;对互联网企业或其他合作单位,可进行有偿数据服务或数据交换。
在智慧物流产业方面,交通大数据中心可通过交通运输行业数据的全量汇聚,尤其是基于ETC、收费站数据的挖掘,与物流行业结合,共同建设涵盖货车信息、货源信息、货款电子支付、物流金融、路况服务、高速公路加油住宿就餐综合服务、通行费优惠的智慧物流平台,整合物流生态,推动物流平台的快速发展,探索增值服务。
在智慧交通产业链方面,交通大数据中心可通过对交通运输行业业务信息化建设和数据价值挖掘,切准行业需求,解决行业痛点,形成一套数据资产和智慧交通数字化产品,为相关政府、事业单位和企业提供数据处理服务和一系列行业场景应用。

4

结束语

本文基于对云南省综合交通运输大数据中心建设的思考,分析了行业大数据建设的现状和不足;从计算存储能力建设、云服务支撑能力建设、数据汇集能力建设、数据开发治理能力建设、数据安全管控能力建设、数据产业生态建设六个方面,深入探讨了新形势下综合交通运输大数据中心建设思路;以交通运输行业应用场景为切入点,探讨了发挥交通大数据融合应用的四个方向。通过解析云南省综合交通运输大数据中心的建设思路,可为各地交通运输行业大数据中心的建设提供方向。
参考文献
[1] 孟鸿程.交通大数据的应用现状与未来发展方向[J].科技资讯,2023(4).
[2] 郭明多,杨艳芳,魏彬.综合交通运输大数据应用现状及应用体系构建设想[J].综合运输,2019(12).
[3] 顾瑞琳.交通运输行业大数据形态风险分析对策研究[J].人民交通,2019(7).

(原文刊载于2024年第9期《中国交通信息化》)

责任编辑 | 张华彬

END