阿里、京东、快手、华为......他们是如何构建一个个推荐系统“帝国”的？

AI科技大本营 · 公众号 · AI · 2019-08-08 14:14

正文

推荐系统在人们的日常生活中随处可见，成为我们生命中不可或缺的一部分。作为当今应用最为广泛和成熟的 AI 技术之一，它是信息生产者、传播者与用户之间的桥梁，可以让信息最精准、最高效地到达需求不一的用户面前。

每天打开手机或电脑端的大部分 App 和网页界面，我们第一眼看到的五花八门的内容，都是为你“独家定制”的，正所谓“千人千面”。这背后的技术，就是个性化 AI 推荐算法。

推荐算法总是让你“头大”？

然而，在使用过程中我们会发现，AI 推荐算法推送的内容并不总是让你满意，有时推送的内容甚至与你的兴趣差之千里。

推荐算法给人的感觉差强人意，原因是多种多样的，比如数据的缺失、算法本身存在缺陷，或者推荐机制不完善等。而且，即使是在推荐算法的应用已经相当成熟的今天，还存在着隐私、幕后操纵等问题，比如去年闹得纷纷扬扬的 YouTube “艾莎门”视频事件，Facebook AI 推荐操纵美国总统选举的丑闻，以及近日前谷歌工程师实名揭发老东家利用公司资源，通过修改 YouTube 等产品的后台搜索和推荐算法，找到用户中潜在的特朗普支持者，并向他们推送相反的内容给他们洗脑，目的是让特朗普在 2020 年败选，引得特朗普连发推特进行谴责。不得不感叹，这波操作实在让人大开眼界，同时后背发凉。

（图源：Fox News 公开视频画面）

从技术层面来说，推荐算法主要有基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法等，但是每种方法都有其各自的优缺点，比如基于内容的推荐算法可以根据用户以前的观看历史，推荐强关联性的信息，这种方法可以避免 Item 的冷启动问题，但弊端在于推荐的 Item 可能会重复；协同过滤算法的训练过程比较长，但是训练完成后，推荐过程比较快；基于知识的推荐算法则需要构建复杂的规则等。

在设计一个推荐系统时，都会涉及召回和排序的算法设计，以更好地理解 item 和 user 的特征与他们之间的关系。以我们最常用的一个场景——购物来说，当系统要向一位用户推荐某一商品时，如何设计一个完整的电商领域推荐系统，选择哪个算法的效果最 work？到底怎样才算做到“真的懂他”？

这是推荐系统要解决的一个问题：了解每一个用户（个体），向他们推荐专属需求。从业务角度来说，推荐系统需要更高效、更理解用户，推荐结果更受用户喜欢；推荐算法在更多、更复杂场景下的拓展能力；而企业则是希望在提升效果的同时，还能降低计算、人力等成本。

如果你是一名推荐算法工程师，也许你可以和京东推荐工程团队的负责人殷大伟聊一聊，他建立了京东推荐系统。他将为你介绍电子商务推荐系统的设计，然后对推荐系统中存在的研究问题逐个展开，包括候选检索、用户行为理解，以及推荐排名等。最后，还会与你讨论一下商业推荐系统中对这些问题的最新进展和潜在解决方案。

进入深度学习时代，推荐算法从传统算法现在在结合 DL 方法后，推荐效果得到了很大的提升，但是，面对不断变化的用户需求，在高昂的计算成本、人力成本下，推荐系统领域的企业和开发者还面临很多挑战，比如面对性能瓶颈、高昂计算成本要怎么办？

随着知识图谱、强化学习、AutoML 等技术的研究成果不断应用于工程中，推荐系统也在尝试结合，对于开发者和企业来说，也是一大挑战。而这是否会成为企业都青睐的解决方案？还需要我们在不断探讨与实践。

对这些问题，华为诺亚方舟实验室推荐与搜索项目组资深研究员唐睿明可以给你一些答案和意见。他会告诉你，将 DL、强化学习、AutoML 这三项技术应用于推荐系统，会带来如何的效果，有哪些不错的研究与技术大家可以学习与运用？同时，大家还可以深度了解华为诺亚方舟实验室的研究成果以及其在推荐系统中的落地应用情况。

一言以蔽之，推荐系统不是没有可做的了，是还有很多工作有待大家去挖掘，也为自己的开发道路开辟新方向。在当下主流的购物、短视频、广告等几大场景中，推荐系统的现在与未来，要如何走？

答案尽在这里

身为开发者，这些问题是不是也在困扰着你，但却苦于没有渠道学习到真正有效的解决之道？现在机会就在眼前，来到 AI ProCon 2019，这里有当前一线的推荐系统构建者们，与你分享当今大受欢迎、效果显著的推荐系统实践案例，将推荐系统在各个领域落地复用的经验倾囊相授！

AI ProCon 2019 专设了推荐系统技术专场，大会组委会邀请到了来自阿里妈妈、京东、华为和快手的推荐系统负责人，他们将带来在广告、电商、视频领域构建推荐系统的设计思路和解决方案：

阿里妈妈深度学习算法平台负责人朱小强（出品人）

朱小强，花名怀人，毕业于清华大学，阿里资深算法专家，现任阿里妈妈深度学习算法平台负责人、兼任定向广告&信息流广告排序技术团队负责人。他主持了三代核心算法架构（大规模、深度端到端、深度实时化）的设计和落地，驱动了深度学习对阿里广告技术的全面变革与创新，领导了阿里开源深度学习框架X-DeepLearning从0到1的自研、从1到开源演进的全过程，在KDD、AAAI、SIGIR等顶级会议上发表过DIN/DIEN/ESMM等多篇有影响力的工业实战论文，是workshop DLP-KDD 2019的发起人和联合主席。

京东集团高级总监殷大伟

殷大伟，京东集团高级总监，负责管理推荐工程团队，建立京东推荐系统。他还创建了数据科学实验室，领导推荐、搜索、数据记录、知识图谱等研究工作。在加入京东之前，他是雅虎实验室的高级研究经理，领导相关科学团队并负责雅虎搜索的核心搜索相关性。他获得了利哈伊大学理科硕士学位（2010 年）和博士学位（2013 年），山东大学本科毕业（2006 年）。他的研究领域包括数据挖掘、应用机器学习、信息检索和推荐系统，曾在高级会议和期刊上发表了 70 多篇研究论文，并获得 WSDM 2016 最佳论文奖，KDD 2016 最佳论文奖，WSDM 2018 最佳学生论文奖和 ICHI 2019 最佳论文荣誉奖。

演讲议题：电商中的推荐系统

内容简介 ：电子商务中的推荐系统通过推荐最符合其需求和偏好的项目来帮助用户完成信息搜索任务。个性化推荐系统已经在商业应用中表现出了巨大的成功，例如亚马逊、eBay、淘宝等。在本次演讲中，我将首先介绍电子商务推荐系统的设计，然后对推荐系统中存在的研究问题逐个展开，包括候选检索、用户行为理解，以及推荐排名等。最后，我将讨论商业推荐系统中对这些问题的最新进展和潜在解决方案。

快手科技推荐架构负责人任恺

任恺，快手科技推荐架构负责人，2015年毕业于卡内基梅隆大学 (Carnegie Mellon University)，获得博士学位。主要研究领域方向为大规模分布式系统、机器学习系统和大数据分析。博士期间发表多篇系统领域顶级会议论文，并曾获得 2014 年世界超算大会(Supercomputing)最佳论文奖。博士毕业后，曾担任 Instagram 广告组的研究科学家。作为Instagram 广告组的创始成员，从零开始建设 Instagram 广告排序服务，和团队合作在一年内将Instagram 广告营收做到数十亿美元规模。2019 年加入快手，负责核心推荐系统和中台的建设，包括推荐线上服务、推荐模型大规模实时训练、推荐异构计算等项目。

华为诺亚方舟实验室推荐与搜索项目组资深研究员唐睿明

唐睿明，华为诺亚方舟实验室推荐与搜索项目组资深研究员。他于 2009 年在中国东北大学获得学士学位，专业为计算机科学与技术；并在 2014 年从新加坡国立大学计算机专业获得博士学位。2014 年底，他加入华为诺亚方舟实验室。他的研究方向包括机器学习、推荐系统、深度学习、强化学习、AutoML等。在基于深度学习和强化学习的推荐系统领域，他的多篇论文发表于国际顶级会议和期刊，如WWW，IJCAI，TOIS，AAAI，RecSys，SIGIR等。

演讲议题：推荐系统中的前沿技术研究与落地：深度学习、强化学习与AutoML

内容简介 ：推荐系统在人们的日常生活中随处可见，是不可或缺的一部分。深度学习，在大数据时代，做为主流的机器学习模型之一，在图像和语音识别领域取得了突破性的进展。强化学习，在机器人控制和游戏博弈场景下，取得了长足的进步。AutoML，在计算视觉中的图像分类问题中，自动设计出各种新颖的神经网络，不断刷新各类竞赛的精度上限。

阿里、京东、快手、华为......他们是如何构建一个个推荐系统“帝国”的？

正文

推荐算法总是让你“头大”？

答案尽在这里

请到「今天看啥」查看全文