在当前国家信创的背景下,推进大数据平台/数据仓库与数据湖的信创改造是信创战略的重要组成部分,能显著增强金融数据平台的安全性和自主可控性,夯实金融数据基础。而湖仓一体架构整合了数据湖的灵活性和数据仓库的规范性,支持多模异构数据的统一存储和管理,提高了数据的时效性和一致性;同时通过温冷热全生命周期管理,合理调度存储和计算资源,也能降低数据运营成本。
但同时湖仓一体融合建设也面临问题,一是信创环境下国产软硬件适配复杂,不同 CPU 架构、硬件规格和操作系统之间的混合部署,调测周期较长,同时还要解决兼容性和老集群平滑演进的问题;二是在近年来数据安全政策逐步趋严,银行需确保数据的高可靠、业务高可用,并且在数据共享过程中保护好客户隐私和敏感信息;三是面向未来,数据量激增,金融行业需要考虑如何打造高效的大数据平台,支撑金额业务创新,提升行业竞争力。
本期交流议题来自企业IT应用趋势项目创新联盟课题组专家选题规划,为此twt社区特别邀请了金融行业的多位专家来一起线上参与选题互动探讨,尽可能形成行业交流共识,能更好的帮助社区金融企业大数据相关岗位同行们加快落地优化湖仓一体的融合建设,欢迎大家线上参与!
核心探讨问题:
(1)系统多、集市多,多个集群加工流转,如何能从应用层和技术层优化架构、进行数据集约化建设?
(2)跑批、查询业务不能停,如何实现湖仓底座信创平滑替换和迁移?缩短迁移周期?
(3)总行内部如何降低数据共享成本?总行与分行之间如何降低数据共享成本?
(4)数据仓库和数据湖在信创改造工作中如何进行数据的平滑迁移?
互动嘉宾:
金海波 昆仑银行 数据架构师
多年来一直从事银行系统的开发和管理工作,牵头组织实施了多个行内大型项目的研发和投产,包括:数据仓库、大数据平台、知识图谱、机器学习、大数据风控、智能营销、RPA等,参与的项目多次获得监管机构、外部机构及行内创新项目成果奖,对银行数据能力建设有丰富实践经验。
任工 某股份制银行 基础平台运维组组长
主要负责数据湖、数据仓库、批处理调度等数据平台类系统,以及AI类系统的应用运维。负责部门内Hadoop,ES,Kafka等大数据组件的运维技术支持。