大模型专题：大模型在华为推荐场景中的探索和应用

如何下载资料？

微信扫下方二维码加入星球平台

【老会员续费特惠】

今天分享的是：大模型专题：大模型在华为推荐场景中的探索和应用

报告共计：33页

《大模型专题：大模型在华为推荐场景中的探索和应用》由华为诺亚方舟实验室高级算法工程师陈渤在AiCon全球人工智能开发与应用大会上演讲内容整理而成。报告介绍了大模型在华为推荐场景中的应用，包括背景、LLM for Feature、LLM for Ranking和总结与展望四部分。推荐系统旨在为用户推荐感兴趣的资讯，提升用户体验，同时帮助广告主精准投放，挖掘潜在客户。大模型时代下的推荐系统引入外部开放世界知识，具备跨域推荐能力，但也存在计算复杂度高、难以处理海量样本等问题。LLM4Rec在工业推荐链路中的应用包括特征工程、特征编码、打分/排序、用户交互和流程控制等环节。现有LLM4Rec工作可根据训练和推理阶段分为四个象限，呈现出语义+协同的趋势。利用LLM开放知识辅助推荐的通用框架KAR，通过知识推理和生成、知识适配和知识利用等技术方案，在9个SOTA的推荐模型上平均AUC显著提升，在华为音乐歌单推荐和应用市场场景全量上线取得良好效果，并进行了进一步探索。面向LLM推荐知识生成的解码加速方法，通过基于检索的投机解码分析等技术方案，在4个LLM知识生成框架中取得3 - 5x的加速效果，在5个不同类型LLM中取得一致加速效果，并在华为广告场景落地。LLM for Ranking介绍了LLM直接排序的长序列理解方法及相关技术方案和实验结果，包括ReLLa方法可提升推荐性能，LLM个性化参数微调方法及相关技术方案和实验结果，如RecLoRA取得更好的预测效率和模型效果，语义增强的推荐方法及相关技术方案和实验结果，如CTRL方法提升了AUC和推理效率。最后总结大模型对推荐系统的信息增益，包括拥有世界知识和逻辑推理能力等，突破传统定位，重塑推荐流程，语义协同兼顾，空间融合，缓解稀疏场景，并提出了面临的挑战与展望，如ID特征的索引和建模、推荐领域的长文本建模、训练效率和推理时延等问题。

以下为报告节选内容