专栏名称: 大数据文摘
普及数据思维,传播数据文化
目录
相关文章推荐
数据派THU  ·  【ICLR2025】VEVO:基于自监督解耦 ... ·  2 天前  
51好读  ›  专栏  ›  大数据文摘

每年14PB数据存储需求,海量交通安全数据如何安放?

大数据文摘  · 公众号  · 大数据  · 2017-03-28 13:27

正文


中国汽车工业协会统计分析,2016年8月,在商用车主要品种中,与上月相比, 客车和货车产销均呈增长,货车产销22.26万辆和23.25万辆,环比增长9.15%和10.21%,同比增长20.51%和15.37%。


而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每 月大约600TB,每年7.2PB左右。 100万辆车对数据中心的存储需求大约在14PB。


面对不断增长的数据,对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。 相关交通运输行业作为传统行业的“老大哥”,在大数据时代的背景下,面临 海量交通安全数据的处理,转型势在必行。对基础架构技术进行革新,配合上层 软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。


海量数据存储、实时分析

中交兴路智能车货匹配案例


北京中交兴路信息科技 有限公司(以下简称“中交兴路”)是 一家专注于商用车车联网领域的运营和服务商, 提供 安全、运行稳定可靠的完整车联网信息服务解决方案


传统方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。 各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升, 海量增长的数据也对网络传输和后端处理能力造成很大的压力。



远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每 月大约600TB,每年7.2PB左右。根据政府监管和中交兴路其它增值服务需求 (一年两份冗余),100万辆车对数据中心的存储需求大约在14PB。


面对如此 海量的数据,中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离 出来,使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求,此外中 交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需 求。


打造智慧交通

“芯”方案


如此一来,增强数据存储能力,提高大数据处理和分析性能成为关键。 作为 国内领先商用车车联网服务商和全国性道路货运车辆公共监管与服务平台的供 应商,中交兴路与英特尔合作,配合英特尔架构计算平台的领先优势,部署用以应对海 量数据的采集、存储和分析等业务对数据中心的性能需求。


目前,中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能 力和存储性能需求, 并可灵活扩展以应对更多车辆数据的存储挑战。与此同时, 相应的车联网解决方案对大量车载终端海量实时数据及时采集、处理、存储和分 析,同时支持大规模终端用户实时查看、分析、监控和处理实时业务,并可伴随 业务规模的增长而动态扩充平台性能以满足业务需求。


中交兴路大数据中心利用分布式处理的软件框架ApacheHadoop/HBase 和基于英特尔至强处理器E5系列的服务器实现百万级别车辆数据的存储、查询、 分析和统计。底层架构使用英特尔至强处理器E7系列的出色性能和大内存支持 等特性实现数据的实时分析和处理,并轻松实现计算性能的扩展,用以支持更高 的计算密度和增强的虚拟化等特性,使得中交兴路大数据平台成为理想的云计算 技术运行平台。


针对中交兴路车联网平台百万级车辆管理的业务需求,中交兴路和英特尔还 一起研发实施了英特尔架构的硬件平台和第三方商业、开源软件相结合,基于云 计算和大数据处理技术的车联网平台压力测试。压力测试方案模拟可以10万、 30万、50 万车辆的位置和告警(如超速、疲劳驾驶),持续运行1小时。目前, 中交兴路大数据中心既服务于中交各业务和产品线,也服务于整个货运生态;针 对合作企业需求,通过数据开放平台,提供数据分析、趋势预测、用户行为画像、 区域分析、咨询报告等服务。


“芯”动力

“芯”可能


中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理,满 足车联网业务需求。 该平台帮助确保车辆安全保障和实时护驾,通过实时获取车 辆各项状态及信息数据实现实时管控,高效安全进行车货匹配,创新了行业商业 模式,为行业发展转型奠定了基础。


基于英特尔架构的解决方案,凭借其高性能、可扩展性、灵活性、安全性等 优势而构建起了包括存储、网络、计算在内的下一代数据中心架构,完美地支持 了未来车联网发展和行业业务需求,而这一切只是英特尔助力交通运输行业转型、 企业业务升级的一个“小”体现的缩影。


——素材来自英特尔








请到「今天看啥」查看全文