专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
人民网舆情数据中心  ·  广东吴川一中学生疑遭欺凌、官方回应网传浙江一 ... ·  10 小时前  
人民网舆情数据中心  ·  从农村聚餐不得使用四季豆事件分析基层移风易俗 ... ·  10 小时前  
人民网舆情数据中心  ·  《哪吒2》登顶全球动画电影票房榜、河北邢台立 ... ·  3 天前  
人民网舆情数据中心  ·  金融机构接入DeepSeek,这些舆情风险需 ... ·  3 天前  
51好读  ›  专栏  ›  DataFunTalk

数据编织在数据分析与治理的应用

DataFunTalk  · 公众号  ·  · 2024-10-09 13:00

正文

AI+BI:数据分析新范式

快手大数据分析在NoETL驱动下的功能实践

基于NoETL的架构演进最佳实践

数据编织在京东零售数据分析与治理中的应用

数据编织在数据分析与治理的应用

如何优化数据存储与管理?

Lambda架构的替代性创新架构

新一代湖仓架构设计理念

快手分析领域 BI+AI 探索与实践

DataFun 特别策划了 DataFunSummit2024: 新一代数据架构技术峰会 ,峰会含有六大重量级论坛,将聚集行业专家、学者及企业领袖,分享他们的研究成果和实践经验,探索数据架构发展的最新趋势与挑战。为你呈现数据架构领域的前沿技术与创新趋势,期待和你共同探讨。

感兴趣的小伙伴欢迎 识别二维码免费报名 ,收看直播:

重磅论坛,引领数据架构未来

1.  面向大模型的数据基础架构

在大模型时代,数据基础架构面临新的挑战。如何支持大模型的高效训练和推理?如何优化数据存储与管理?本论坛将探讨大模型相关的底层架构优化方案,助你提升模型性能,赋能业务决策。

2.  Lambda架构的局限与创新

Lambda架构因其处理批量和实时数据的能力而广受关注,但其局限性也逐渐显现。论坛将深入剖析Lambda架构的短板,并探索替代性创新架构,帮助企业应对数据实时处理需求的挑战。

3.  数据编织与智能数据管理

数据编织(Data Mesh)是分布式架构的新兴概念,智能数据管理也成为企业未来发展的关键。本论坛将分享如何构建数据编织架构,实现跨部门数据共享与治理,让企业在复杂数据环境中从容应对。

4.  新一代湖仓架构

数据湖和数据仓库的融合趋势愈发明显,新一代湖仓架构正在重塑企业数据存储与分析方式。本论坛将深入探讨湖仓一体化的设计理念、实施路径与实际案例,帮助企业更好地挖掘数据价值。

5.  从ETL到NoETL的数据架构演进

传统的ETL架构面临着性能瓶颈与扩展性问题,NoETL的概念逐渐成为焦点。本论坛将探讨数据架构从ETL向NoETL演进的技术趋势,如何实现实时、灵活的数据管道构建,带来数据流处理的革命性变化。

6.  AI+BI:数据分析新范式

人工智能与商业智能的结合,正在为数据分析带来全新视角。本论坛将展示AI驱动的BI工具如何改变企业决策流程,帮助企业快速获取深度洞察,实现智能化数据分析。

无论你是数据架构师、技术决策者,还是大数据与AI领域的从业者,这次峰会都将为你带来无与伦比的学习和交流机会。扫描下方二维码或点击链接,即可免费报名,不要错过与数据架构专家一同探索未来的机会!

峰会内容专家团

董西成 快手 数据平台研发负责人

个人介绍:董西成,快手数据平台研发负责人,超过10年大数据经验,《Hadoop技术内幕》书籍作者,擅”长大数据架构、数据工具链、数据中台等技术方向。

堵俊平 Datastrato 创始人兼CEO

个人介绍:Datastrato创始人兼CEO,LF AI & DATA基金会董事,Apache软件基金会成员,大数据技术与开源领域专家,开放原子开源基金会TOC(技术监督委员会)主席,Apache 开源基金会 Member, Apache Hadoop 以及Submarine等项目 Committer 和 PMC,Apache YuniKorn, TubeMQ等项目导师。曾任腾讯开源联盟主席兼大数据平台研发总监,Hortonworks Hadoop YARN团队负责人等。

梁李印 滴滴出行 大数据技术总监

个人介绍:2010年毕业于上海交通大学并入职阿里巴巴参与并负责阿里第一代大数据平台及分布式图计算框架建设工作。2017年加入滴滴出行,先后构建了滴滴实时计算和OLAP服务体系,现在担任滴滴大数据技术总监,负责计算平台部。在大数据领域深耕十年,具备丰富的超大规模分布式系统实践经验,对行业有深刻理解。

论坛出品人

论坛:面向大模型的数据基础架构

出品人:王海华 货拉拉 大数据 高级架构师

个人介绍:王海华,货拉拉高级架构师/大数据基础架构负责人,现负责公司大数据和大模型项目的相关技术工作。曾在滴滴/饿了么/拼多多经历和负责过几千到几万台的超大规模数据平台架构。8年以上大数据架构经验,主要研究方向是大数据平台产品和系统架构、计算机体系结构和分布式系统、大模型应用落地等,在以上领域具备大规模的落地实践经验。腾讯云TVP,曾经多次在QCon/ArchSummit/SACC/DTCC/DataFunSummit等著名技术会议上作为出品人和演讲嘉宾进行技术分享。

论坛:Lambda架构的局限与创新

出品人:陈昱康 哔哩哔哩 大数据架构团队负责人

个人介绍:B站大数据架构团队负责人,负责B站的大数据计算平台、OLAP平台、存储系统、资源调度、平台工程等系统的建设工作。有10年以上的大数据架构和平台产品建设经验,曾在大众点评、阿里云、携程负责大数据平台和架构组件的研发工作,对分布式计算,分布式存储、OLAP引擎,数据治理,大数据平台产品和系统架构等方面有丰富的研发和落地实践经验。

论坛:数据编织与智能数据管理

出品人:Legend Han 京东 平台产品与研发中心数据服务研发负责人

个人介绍: Legend Han,目前为京东零售数据服务团队负责人,京东数据通道委员,北京计算机学会理事会成员。毕业于北京大学,先后在头部互联网公司从事数据计算引擎、基础架构与微服务、广告数据平台的设计与研发,主导多个从0到1的数据链路重构与升级,深耕大数据与数据工程领域,对于数据治理、数据质量、数据能力有着较为丰富的方法论与实践经验。

论坛:从ETL到NoETL的数据架构演进

出品人:张蕤 快手 大数据分析平台研发负责人

个人介绍:多年大数据平台工具建设经验,当前负责快手大数据分析平台建设,专注于大数据管理、大数据服务与分析等大数据中台建设工作。

论坛:AI+BI:数据分析新范式

出品人:王涛 滴滴出行 数据平台与应用部首席工程师

个人介绍:王涛,滴滴大数据平台产研负责人,2018 年加入滴滴,专注于构建智能、易用、安全的数据产品矩阵,并推动 AI 技术在数据平台的深度融合。曾在阿里巴巴集团担任工程技术关键岗 8 年。技术专长覆盖大数据、人工智能、泛前端等多个领域。

精彩议题

张型龙 快手数据平台部 工具链团队负责人

个人介绍:毕业于中国科学院软件研究所,目前就职于快手数据平台部,主要负责指标中台和分析服务建设。发表专著《用户画像:平台构建与业务实践》,其对于用户画像平台、指标中台等数据平台建设有比较深入的了解。

演讲题目: 快手大数据分析:NoETL驱动下的功能实践

演讲介绍:介绍快手在大数据分析场景下,基于NoETL驱动下的架构设计以及功能实践,重点介绍NoETL的基础:数据虚拟化思路,以及自动化建模、自定义字段以及自动化加速等NoETL思路下的功能实践方案。

演讲大纲:

1. 快手大数据分析体系介绍

2. NoETL对大数据分析的启示

3. 从ETL到NoETL的功能实践

  • NoETL基础:数据的虚拟化

  • 建模NoETL:自动的数据建模

  • 查询NoETL:灵活的自定义字段

  • 加速NoETL:高效的数据加速

4. 业界趋势及未来规划

听众收益:

1. 了解快手大数据分析体系

2. 了解NoETL对大数据建设的启示

3. 了解快手在NoETL建设中的一些功能实践及实现原理

叶强盛 腾讯科技 高级研发工程师

个人介绍:目前任职腾讯高级研发工程师,先后参与/负责过ClickHouse、StarRocks、SuperSQL、一体化大数据架构项目,申请8+专利、出版技术书籍作者之一。加入腾讯前,先后服务过B站、阿里、Kyligence,带过团队,具备ToB大数据产品设计、研发、售前经验。

演讲题目: 天穹大数据基于NoETL的架构演进

演讲介绍:业界许多公司的大数据架构平台历史债较重,在引入新引擎的时候,融合到原来的架构成本比较高;需要配置大量的ETL作业进行数据迁移等,迁移成本高,数据一致性保证难。我们团队提出了NoETL的解决方案,通过提供统一元数据(unitycatalog),用户仅需要写SQL,无需关注底层的计算逻辑;由统一SQL层根据对应的元数据自动选择合适的计算引擎进行计算并返回结果。本次分享,我就为大家详细拆解NoETL的解决方案,以及实际落地过程中的挑战和应对思路及方案,希望为大家提供优化或重构大数据架构的新思路。

演讲大纲:

1. 业务背景

2. NoETL技术方案

3. 挑战及解决思路

4. 未来规划

5. 总结

听众收益:

1. 基于历史债较重的大数据架构演进新思路

2. 如何有章可循的去实践 NoETL架构

落地挑战和方案重点:多引擎的一致性







请到「今天看啥」查看全文