2亿日活，日均千万级视频上传，快手推荐系统如何应对技术挑战？

AI科技大本营 · 公众号 · AI · 2019-09-03 20:06

正文

据移动应用数据分析平台 App Annie 在 7 月 10 日发布的 2019 年第二季度最新移动应用市场报告显示，快手在 2019 年第二季度消费额排名中位于第四，成为中国最赚钱的短视频平台之一。

快手的盈利能力从侧面反映出快手内容的受欢迎程度，用过这个软件的小伙伴可能深有体会，当你点击感兴趣的视频之后，快手会自动推荐更多符合你的兴趣的内容，不知不觉时间就过去很久。快手能够了解用户兴趣并根据用户喜好推荐感兴趣的视频，归功于它背后的个性化推荐系统。

然而，面对 2 亿日活，日均千万级视频上传的业务规模，快手推荐系统面临的技术挑战巨大。短视频内容推荐领域有哪些难点和痛点？快手推荐系统如何解决这些问题？与同类型平台的推荐系统相比，快手推荐系统有何特别之处？这些疑问，快手推荐架构负责人任恺将在本文一一解答。

短视频内容推荐的难点和挑战

任恺表示，和其他大体量的短视频平台一样，快手的短视频内容推荐面临着多方面的挑战：一是推荐系统扩展性的挑战，随着活跃用户数、用户时长日益增加，推荐模型和策略日益复杂，都对推荐系统的扩展性形成巨大压力；另一方面，快手短视频每天有千万级别的视频上传，如何进行平等普惠和秒级实时的流量分发、创建社区生态，也对系统和算法提出了巨大挑战。

为了解决上述问题，快手在架构层面上使用计算与存储分离的方式来水平扩展系统，以提高硬件资源的利用率。另一方面，为了建立秒级实时系统，快手首先使用自建的实时数据流系统保证特征和训练样本的实时更新，同时利用自研的模型训练框架来支撑千亿参数的深度模型的在线学习。通过从系统、数据和模型三个层面改善实时性和扩展性，快手基本上可以克服上述短视频内容推荐的难点和痛点。

在此，任恺重点强调了工业级环境对推荐系统提出的挑战，推荐系统如何迭代才能应对工业环境变化带来的挑战呢？任恺说道，工业级别的推荐系统都是多人团队同时迭代的，如何构建好的平台型工具提高每个工程师的效率，以及如何进行服务治理提高系统整体效率和稳健性，都是决定一个系统是否成功的关键要素。另外，任何推荐算法和机制的改进都要围绕用户需求和用户生态来构建，任何工业级的推荐系统迭代都需要考虑以上要素。

快手推荐系统机制与架构

与 YouTube、今日头条、优酷等同类视频内容平台相比，快手的推荐系统有着自身的独特机制与策略，比如为了防止信息茧房，快手会在为用户进行个性化推荐的同时，帮助用户拓展兴趣边界，推荐用户可能感兴趣的内容。

通过推荐，快手想要鼓励视频生产和用户表达。快手每天用户的视频上传量达到千万级别，其中生产者的占比较高，且用户的平均视频上传量较高，因此，快手推荐系统的机制会考虑流量分发的普惠性，通过普惠性来鼓励用户通过短视频表达自己，并与其他用户建立社交关系。

在架构上，目前快手推荐系统采用计算与存储分离的模式(如下图所示)。其中，推荐系统中的存储型服务主要用来存储和实时更新上亿规模的用户画像、数十亿规模的短视频候选池，以及千亿规模的排序模型参数。而计算型服务主要进行视频召回检索、推荐模型预估和推荐策略计算。

（快手推荐系统架构简略图）

短视频行业推荐系统技术变迁

推荐系统用于短视频的历史不算很长，但是在这段时间，推荐技术已经经历过迅速的迭代和优化。从系统架构层面来说，随着用户规模和业务复杂程度的增长，系统逐渐呈现出分布式和异构化的趋势。在算法层面上则经历了树模型、大规模稀疏模型、在线学习模型、在线深度模型等一系列发展。

快手推荐系统也在技术变迁中紧跟技术潮流，采用最新的技术，并成为技术变迁的推动者之一，包括采用千亿级参数在线学习的深度模型、强化学习排序模型、基于 Embedding 向量召回等机器学习技术。

推荐系统值得关注的研究热点

任恺还提到了推荐系统领域未来可以重点关注的一些研究热点。他说道，在系统层面，很多新的商业级硬件技术，如可持久内存、RDMA 和 TPU 等都值得关注，因为系统架构可能需要对这些新硬件进行适配实现效率最大化。在算法层面上，关于推荐算法的公平性、可解释性以及数据隐私的保护也将是未来研究的关注热点。

最后，任恺表示，在不断迭代优化推荐系统的过程中，快手总结出一个经验，那就是以用户为中心和客观指标为导向的快速迭代，是构建推荐系统的成功关键，相信这对所有从事推荐领域的研究者和实践者都有借鉴意义。

想要了解更多关于快手推荐系统的技术细节和推荐技术发展现状吗？ 9 月 6 日，任恺将在 2019 AI ProCon 推荐系统技术论坛现场为大家解密《短视频推荐系统的架构设计与前沿技术探索》。

除了快手科技推荐架构负责人任恺，AI ProCon 推荐系统论坛上还有阿里妈妈深度学习算法平台负责人朱小强、京东集团高级总监殷大伟和华为诺亚方舟实验室推荐与搜索项目组资深研究员唐睿明，从不同维度对推荐系统和推荐技术做一次深度解析。

任恺，快手科技推荐架构负责人， 2015年毕业于卡内基梅隆大学 (Carnegie Mellon University)，获得博士学位。主要研究领域方向为大规模分布式系统、机器学习系统和大数据分析。博士期间发表多篇系统领域顶级会议论文，并曾获得2014年世界超算大会(Supercomputing)最佳论文奖。博士毕业后，曾担任Instagram广告组的研究科学家。作为Instagram广告组的创始成员，从零开始建设Instagram广告排序服务，和团队合作在一年内将Instagram广告营收做到数十亿美元规模。 2019年加入快手，负责核心推荐系统和中台的建设，包括推荐线上服务、推荐模型大规模实时训练、推荐异构计算等项目。

演讲议题：

短视频推荐系统的架构设计与前沿技术探索

2亿日活，日均千万级视频上传，快手推荐系统如何应对技术挑战？

正文

短视频内容推荐的难点和挑战

快手推荐系统机制与架构

短视频行业推荐系统技术变迁

推荐系统值得关注的研究热点

请到「今天看啥」查看全文