专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
BIE别的  ·  我跟一对情侣试着谈恋爱,结果失败了 ·  4 天前  
参考消息  ·  “特朗普愿与金正恩见面” ·  2 天前  
参考消息  ·  《哪吒2》,破130亿! ·  2 天前  
51好读  ›  专栏  ›  DataFunTalk

Data+AI:面向大模型的数据加速实践!

DataFunTalk  · 公众号  ·  · 2024-10-16 13:00

正文

大模型海量数据处理与复杂模型训练怎么搞?

B站大模型存储高效落地实践?

爱奇艺大数据体系技术架构升级探索?

在金秋十月十九日下午,我们将联合Alluxio、B站、爱奇艺来到上海,邀请到来自国内头部视频大厂的 AI & Data Infra 专家,一同将更多的人工智能与大数据分析新趋势、新技术以及新的应用实践带给大家。感兴趣的小伙伴欢迎 识别二维码,免费报名参加线上/线下沙龙:

识别二维码,免费收看/参会

活动日程

详细介绍

胡梦宇 Alluxio 核心研发工程师

个人介绍:胡梦宇,Alluxio 社区 PMC,Alluxio 核心研发工程师。加入 Alluxio 之前曾在知名互联网公司担任数据架构开发工程师,工作内容集中在 HDFS,Flink,Alluxio 的研发和运维。

演讲题目:Alluxio 在数据索引和模型分发场景的核心价值与应用

演讲介绍:在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

在这样的背景下,Alluxio Enterprise AI 在数据索引与模型分发/部署方面展示了其独特的优势,特别是在处理海量数据扇出( Fanout )场景时,显著提升了系统的效率和成本效益。

演讲提纲:

· 模型分发的主要场景类型和数据特点

· 模型分发中通常面临的挑战

· Alluxio Enterprise AI 的创新性解决方案

听众收益:

· 了解 Alluxio Enterprise AI 之于数据索引和模型分发的创新性解决方案

· Alluxio Enterprise AI 在性能提升和成本效益方面的优势

陈诚 bilibili 大数据存储团队负责人

个人介绍:陈诚,B站大数据存储团队负责人,负责B站离线存储(HDFS/Alluxio)、Kafka、数据集成服务等建设工作,10年以上大数据领域的研发实践经验。

演讲题目:B 站 Alluxio 存储加速方案:赋能 AI 大模型高效落地实践

演讲介绍:人工智能以优质数据为食, 为确保优质数据得以稳定、可靠、高效地供给给 AI 系统,B站构建了基于 Alluxio 系统的存储加速方案,以满足 AI 训练数据访问诉求。本次分享将深入剖析该方案的实施细节,同时介绍在生产实践中遭遇的稳定性挑战及我们采用的优化策略。

演讲提纲:

· AI 训练数据存储加速方案介绍

· 存储加速方案遇到的集群稳定性挑战及应对方案

· 存储加速方案未来的演进方向

听众收益:

· 了解B站如何结合 Alluxio 满足 AI 平台的数据访问诉求

· 了解B站加速方案在生产中遇到的稳定性挑战及应对措施

杨愉恒 爱奇艺 资深研发工程师

个人介绍:杨愉恒,爱奇艺资深研发工程师,负责 Druid、Trino、StarRocks 等 OLAP 服务体系架构的深入研究与演进,并参与爱奇艺大数据文件系统开发、Alluxio 缓存研究与应用等工作。

演讲题目:Alluxio 在爱奇艺大数据场景下的实践

演讲介绍:爱奇艺大数据集群分散在多个 AZ,通过自研的 QBFS 大数据文件系统组成跨 AZ 统一存储资源池,面临跨 AZ 专线流量大、计算任务不稳定、OLAP 存算分离 IO 不稳定等挑战,通过 QBFS 与 Alluxio 的结合,实现了通用化的缓存路由与管理能力,使得网络流量成本降低、查询稳定性和性能大幅提升。本次分享,我们将深入探讨 Alluxio 在爱奇艺大数据场景下的技术架构以及实际应用中的具体案例和效果。

演讲提纲:

· 爱奇艺大数据跨 AZ 统一存储系统、OLAP 存算分离架构面临的挑战

· Alluxio 与爱奇艺大数据体系结合的技术架构

· Alluxio 的应用方案及效果

听众收益:

· 如何实现计算层透明访问 Alluxio、缓存的分区级路由策略、路径级别配置、异常降级等能力

· 如何构建数据热度分析,找到大数据场景下文件重复访问率高的表、设置合理的 TTL, 以降低跨网络带宽、提高缓存利用率

· Alluxio 在大数据存储及 Trino、StarRocks 等 OLAP 分析场景中的应用







请到「今天看啥」查看全文