专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
CDA数据分析师  ·  Deepseek来袭,数据分析师会失业吗? ·  昨天  
数据派THU  ·  AAAI 2025 | ... ·  2 天前  
数据派THU  ·  李飞飞巴黎演讲:如果 AI ... ·  3 天前  
51好读  ›  专栏  ›  DataFunTalk

一次吃透元数据管理!

DataFunTalk  · 公众号  · 大数据  · 2024-08-16 13:00

主要观点总结

在DataFunSummit2024数据治理在线峰会上,由Bilibili大数据架构团队负责人陈昱康老师出品的元数据管理论坛将邀请多位嘉宾分享元数据管理的前沿技术和落地实践。论坛涵盖了不同公司的6位嘉宾,包括同程旅行、Bilibili、Aloudata大应科技、货拉拉和联通数科等。论坛详细描述了每位嘉宾的个人介绍、演讲题目、演讲提纲和听众收益。

关键观点总结

关键观点1: 论坛主办和嘉宾介绍

DataFunSummit2024数据治理在线峰会由Bilibili大数据架构团队负责人陈昱康老师出品,邀请来自不同公司的6位嘉宾分享元数据管理的前沿技术和落地实践。这些嘉宾分别来自同程旅行、Bilibili、Aloudata大应科技、货拉拉和联通数科等。

关键观点2: 论坛日程和演讲主题

论坛包括嘉宾的个人介绍、演讲题目、演讲提纲和听众收益。每位嘉宾的演讲都围绕元数据管理的不同方面展开,如B站的Gravitino在元数据管理中的应用、货拉拉大数据元数据管理演进和实践、同程旅行的基于Waggle-Dance元数据方案实践等。

关键观点3: 论坛收益

听众可以了解不同嘉宾分享的元数据管理经验和技术,包括如何解决传统元数据管理的痛点、如何通过统一元信息管理实现降本增效等。


正文

8月17日,09:00-17:00,在DataFunSummit2024: 数据治理在线峰会 ,由 bilibili大数据架构团队负责人陈昱康 老师出品的元数据管理论坛,将邀请来自 同程旅行、bilibili、Aloudata大应科技、货拉拉和联通数科 的6位嘉宾,分享元数据管理的前沿技术和落地实践, 感兴趣的小伙伴欢迎 识别二维码免费报名 ,收看直播:

扫码免费报名,收看直播

论坛日程:

详细介绍

出品人:陈昱康 哔哩哔哩 大数据架构团队负责人

个人介绍:B站大数据架构团队负责人,目前负责B站的大数据计算平台、OLAP平台、存储系统、资源调度、平台工程等系统的建设工作。有10年以上的大数据架构和平台产品建设经验,曾在大众点评、阿里云、携程负责大数据平台和架构组件的研发工作,对分布式计算、分布式存储、OLAP引擎,数据治理,大数据平台产品和系统架构等方面有丰富的研发和落地实践经验。

李天航 哔哩哔哩 大数据开发工程师

个人介绍:李天航,Bilibili 大数据开发工程师,Apache Gravitino contributor,专注于大数据场景下的元数据管理 & Spark 计算引擎优化。

演讲题目:统一元数据管理 - Gravitino 在 B 站的最佳实践

演讲提纲:

1. 当前元数据管理的现状

- 介绍当前元数据管理面临的主要问题和挑战

- 分析传统元数据管理架构的局限性

2. 引入 Gravitino 的背景

- 解释引入中心化元数据管理系统的重要性

- 分析与对比目前工业界主流的元数据管理组件

- 强调 Gravitino 在数据治理方面的重要意义及潜力

3. Gravitino 在B站元数据管理中的应用

- 具体介绍引入 Gravitino 的场景以及解决的痛点

- 分析 Gravitino 在数据治理过程中遇到的挑战及解决方案

4. Gravitino 在B站实践的成果

- 分享对于多数据源的统一元信息管理的提效成果

- 分享在 Kafka schema 信息管理的提效成果

- 分享基于对 Fileset 管理的数据治理降本成

5. 未来 Gravitino 在B站大数据基础架构中场景的探索和展望

- 潜在的数据治理场景以及方案

· 短期 ec, 列ttl, 文件ttl

· 长期(统一权限、统一血缘等)

听众收益:

1. Gravitino 解决了传统元数据管理的哪些痛点

2. 如何通过统一元信息管理,实现降本增效

张放 货拉拉 大数据工程师

个人介绍:张放,货拉拉大数据工程师,专注于数据治理、OLAP引擎等方向的工作。

吴刚 货拉拉 高级大数据工程师

个人介绍:吴刚,货拉拉大数据工程师,专注于数据安全、数据治理等方向的工作。

演讲题目:货拉拉大数据元数据管理演进和实践

演讲提纲:

1. 元数据管理介绍

① 面临的问题和挑战

② 元数据管理总体介绍

2. 元数据管理实践

① 数据血缘:血缘介绍、血缘演进、应用场景

② AI智能检索:元数据整体框架介绍、元数据检索演进、基于大模型+RAG落地的难点

③ 支撑成本治理:成本治理体系介绍、自主治理能力、降本

④ 数据安全 - 敏感数据管理:分类分级、数据加密、更多安全场景

3. 未来规划

① 继续探索和优化AI大模型在数据检索领域的

② 持续降本增效

③ 更多的数据血缘场景

听众收益:

1. 货拉拉大数据元数据管理体系如何演进

2. 大模型 + RAG 是如何在元数据检索场景中落地的

韩杰 同程旅行 大数据高级工程师

个人介绍:大家好,我是韩杰,一名专注于大数据技术的开发者,拥有5年的大数据经验,致力于流批计算引擎,积极参与和贡献多个大数据开源项目。

演讲题目:同程旅行基于 Waggle-Dance 元数据方案实践

演讲介绍:

1. 背景

2. Federation 方案

3. 方案实践

4. 未来规划

听众受益:

1. 数据联邦Waggle-Dance架构体系

2. 同程构建水平拓展的联邦元数据之路

3. 同程统一元数据的方案与实践

宫钰辰 联通数科 产品经理

个人介绍:宫钰辰 联通数科数据智能事业部产品经理 5年大数据产品领域经验 完成10+数据治理产品0-1构建。

演讲题目:联通数科基于一体化数据平台的元数据管理实践

演讲介绍:介绍联通数科在元数据管理领域探索实践,平台对内实现数科日均200tb数据量统一管理,对外赋能50+政府企业实现元数据统一管理。

演讲提纲:

1. 元数据管理框架

2. 联通数科基于一体化数据平台的元数据管理实践

① 元数据于一体化平台定位;② 元数据基础管理能力;③ 元数据全链血缘

3. 元数据管理未来规划:

① 智能补齐探索实践;② 助力数据资产入表

听众收益:

1. 了解联一体化平台中元数据管理体系如何构建

2. 大模型与元数据结合探索经验

周省 Aloudata大应科技 产品专家

个人介绍:周省先后在金融信息行业头部公司就职,具有金融与数据复合工作经验,曾担任金融产品经理、数据产品经理、产品线负责人等职位,带领团队帮助博时基金、南方基金、海通证券等客户完成金融数据体系的建设和金融高频数据方案的落地。现在 Aloudata 主要负责为客户提供数据智能化体系搭建以及元数据应用咨询方案,在金融行业元数据分析应用、金融指标构建与市场分析方面具备丰富的实践经验,能够基于企业现状和行业趋势,提供数据驱动业务价值提升方案。

演讲题目:Aloudata BIG 主动元数据平台在数据治理中的应用实践

演讲介绍:本次演讲聚焦于数智化时代下的数据治理新挑战与解决方案,深入探讨主动元数据如何以算子级血缘技术为核心,重构并优化数据治理模式,并通过分享 Aloudata BIG 主动元数据平台及其多场景应用方案,以及在国内头部银行的实践,展示了主动元数据及算子级血缘在实际数据治理环境中的成效和价值,为数据治理带来新思路与策略。







请到「今天看啥」查看全文