近日,国家发展改革委员会正式批复同意由清华大学作为承担单位牵头,北京理工大学作为参与单位,联合国防科学技术大学、中山大学、百度、腾讯等相关单位共同建设大数据系统软件国家工程实验室。这是承担我国大数据系统软件技术研发与工程化的唯一国家级创新平台。
大数据系统软件国家工程实验室以创新驱动发展和自主安全可控为使命,以国家“十三五”规划为指导,面向重点领域和重大工程需求,建设大数据系统软件技术创新研发、技术转化和应用示范平台,支撑大规模多源异构数据一体化管理、交互式异构数据分析框架、数据可视化与智能数据工程、领域大数据应用开发运行环境、大数据混源软件可信验证等技术的研发和工程化。
实验室将打造产学研用一体化的体系,研发一系列国际先进、国内领先的大数据系统软件核心技术与产品,突破创新驱动产业转型升级以及关键领域自主可控中的技术瓶颈,探索大数据系统软件应用实施的工程方法,建设国际一流、开放协同的产学研用大数据系统软件技术创新团队。与公安部一所、沈阳消防研究所、国家气象中心、环保部信息中心、北京工业大数据创新中心、中国农科院等重点应用单位建立合作关系,支撑政府治理、公共服务、工业和新兴产业、现代农业等国家重大战略方向的大数据应用,增强对国家重点工程的大数据应用的保障能力。
同时,实验室将打造我国大数据系统软件的国际影响力,已经与国际大数据开源社区、学术研究机构建立了紧密的合作关系。清华大学已经与Apache顶级开源项目Hadoop的商业公司Cloudera、Apache顶级开源项目Spark主要支持商业公司Databricks、Apache顶级开源项目Kafka主要支持商业公司Confluent等建立了合作关系,推动我国大数据系统软件开源创新。美国三院院士Mike Jordan教授、美国工程院院士C. Mohan博士、Hadoop之父Doug Cutting、Cloudera公司创始人Mike Olson、Databricks公司首席架构师Reynold Xin等国际大数据领域的顶级专家也将担任实验室技术委员会委员。
大数据系统软件国家工程实验室主任、清华大学孙家广院士表示,作为国家级的大数据系统软件研发平台,要解决我国大数据领域应用需求对底层系统软件的性能、易用性和可信性挑战,研发“好用、管用、敢用”的大数据系统软件生态及工具栈,实现大数据从精英化到平民化,让大数据能够走进各个产业,走进千家万户。
数据工程师的崛起