专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
歸藏的AI工具箱  ·  火山返利活动搞好可以实现 Deepseek ... ·  3 天前  
歸藏的AI工具箱  ·  火山返利活动搞好可以实现 Deepseek ... ·  3 天前  
江苏新闻  ·  江苏通报20款APP! ·  3 天前  
江苏新闻  ·  江苏通报20款APP! ·  3 天前  
51好读  ›  专栏  ›  DataFunTalk

腾讯云流式湖仓技术和一站式RAG前沿技术实践

DataFunTalk  · 公众号  ·  · 2024-10-19 13:00

正文

10月25-26日, DA数智大会 将落地深圳机场凯悦酒店。本次会议以“ 大模型让数据涌现业务价值 ”为主题,特别策划 AI Agent 落地、大模型驱动的搜推广新范式、数智提效、多模态 RAG等前沿论坛,近70位数智领域资深专家将亲临现场分享最佳实践,600+数智领域技术骨干和业务负责人将共聚一堂,共同探讨大数据和大模型领域的最新实践洞见与深层经验。

大会特别邀请了腾讯云的两位资深技术专家——腾讯云大数据高级工程师李哲和腾讯云大数据 ES 专家工程师黄国航,他们将分别就流式湖仓技术和一站式RAG解决方案发表精彩演讲。

精彩演讲一:Streaming-iceberg: 腾讯云流式湖仓统一存储实践

随着大数据技术的发展,大数据流批链路会存在不可避免的问题和挑战,传统上,用户会选用 Lambda 架构来搭建数据分析的链路。但是它也存在一些问题:灵活性低、Update 场景支持不足、开发和维护成本高昂、数据一致性问题、可扩展性瓶颈此外,由于 Lambda 离线和实时都走独立的链路,其数据存储和计算引擎都是隔离的,相同的数据需要进行重复存储,实时与离线的计算逻辑也需要单独开发,因此其维护、管理和业务变更的成本都很高。因此,我们需要一套新的架构,能够对实时和离线的分析链路进行统一,并且尽可能降低实时分析的成本。

针对以上问题,腾讯云推出了流式湖仓 Streaming Iceberg ,这是腾讯自研的基于 Iceberg 生态的流式湖仓解决方案。

本次分享中,腾讯云大数据高级工程师李哲老师将深入探讨腾讯云流计算 oceanus 在流式湖仓方向的探索,详细解析流式湖仓 Streaming Iceberg 的优势,并结合实际案例展示流式湖仓的效果和能力。通过本演讲,你将了解流式湖仓的原理与该领域的发展,以及腾讯云流式湖仓实践与优化。

精彩演讲二:腾讯云 ES:一站式 RAG 方案,开启智能搜索新时代

在大型语言模型(LLM)引领的革命浪潮中,搜索与大模型的紧密结合已成为推动知识进步的关键要素。作为开源搜索引擎排名第一的 Elasticsearch(ES),结合沉淀多年的文本搜索能力和强大的向量检索能力实现混合搜索,使搜索变得更准、更全、更智能。在现阶段大模型应用落地中,RAG 已经成为了必不可少的“最后一公里”,一个优秀的 RAG 系统必须能有效应对低延时、线上大规模运行时的稳定性、数据新鲜度以及成本控制等挑战。腾讯云 ES 多年来持续对开源 ES 的性能、成本、稳定性以及分布式架构进行深度增强优化,并在海量规模的云业务中接受考验。腾讯云基于 ES 实现了一站式 RAG 解决方案,具备了 RAG 技术规模化落地能力。







请到「今天看啥」查看全文