注意
：
文末有最新
Java实战
项目
和
面试题
做广告业务1年多时间了，但是平时的工作主要和
广告工程
有关，核心的广告算法由 AI 部门支持，对我们而言可以说是「黑盒般」的存在，只需要对训练好的模型进行调用即可。
近期，我打算系统性地学习下广告中的搜索和推荐算法，当然更多是从工程的视角去弄清楚：算法的基本原理、以及面对线上海量数据时算法是如何解决性能问题的？整个过程，我会将有价值的技术点输出成系列文章。
这篇文章属于推荐系统的入门篇，本文暂不考虑线上环境的海量数据，目的是
先
了解清楚推荐系统的基本构成，我会通过图解推荐算法以及程序demo的形式展开，内容包括：
01 走进推荐系统的世界
“啤酒与尿布” 的故事相信很多人都听过，年轻爸爸去超市购买尿布时，经常会买点啤酒犒劳自己。因此，沃尔玛将这两种商品进行了捆绑销售，最终获得了更好的销量。
这个故事背后的理论依据就是 “推荐算法”，
因为尿布和啤酒经常出现在同一个购物车中，那么向购买尿布的年轻爸爸推荐啤酒确实有一定道理。
1. 推荐系统到底解决的是什么问题？
推荐系统从20世纪90年代就被提出来了，但是真正进入大众视野以及在各大互联网公司中流行起来，还是最近几年的事情。
随着移动互联网的发展，越来越多的信息开始在互联网上传播，
产生了严重的信息过载。因此，
如何从众多信息中找到用户感兴趣的信息，这个便是推荐系统的价值。
精准推荐解决了用户痛点，提升了用户体验
，最终便能留住用户。
推荐系统
本质上就是一个信息过滤系统，通常分为：召回、排序、重排序这3个环节，每个环节逐层过滤，最终从海量的物料库中筛选出几十个用户可能感兴趣的物品推荐给用户。
推荐系统的分阶段过滤流程
哪里有海量信息，哪里就有推荐系统，我们每天最常用的APP都涉及到推荐功能：
头条、京东、网易云音乐中的
推荐功能
推荐系统的应用场景通常分为以下两类：
搜索和推荐是AI算法最常见的两个应用场景，在技术上有相通的地方。这里提到广告，主要考虑很多没做过广告业务的同学不清楚为什么广告和搜索、推荐会有关系，所以做下解释。
02 推荐系统的整体架构
推荐系统的整体架构
上面是推荐系统的整体架构图，自下而上分成了多层，各层的主要作用如下：
-
数据源：
推荐算法所依赖的各种数据源，包括物品数据、用户数据、行为日志、其他可利用的业务数据、甚至公司外部的数据。
-
计算平台：
负责对底层的各种异构数据进行清洗、加工，离线计算和实时计算。
-
数据存储层：
存储
计算平台处理后的数据，根据需要可落地到不同的存储系统中，比如Redis中可以存储用户特征和用户画像数据，ES中可以用来索引物品数据，Faiss中可以存储用户或者物品的embedding向量等。
-
召回层：
包括各种推荐策略或者算法，比如经典的协同过滤，基于内容的召回，基于向量的召回，用于托底的热门推荐等。为了应对线上高并发的流量，召回结果通常会预计算好，建立好倒排索引后存入缓存中。
-
融合过滤层：
触发多路召回，由于召回层的每个召回源都会返回一个候选集，因此这一层需要进行融合和过滤。
-
排序层：
利用机器学习或者深度学习模型，以及更丰富的特征进行重排序，筛选出更小、更精准的推荐集合返回给上层业务。
从数据存储层到召回层、再到融合过滤层和排序层，
候选集逐层减少，但是精准性要求越来越高，因此也带来了
计算复杂度的逐层增加，这个便是推荐系统的最大挑战。
其实对于推荐引擎来说，最核心的部分主要是两块：特征和算法。
推荐引擎的核心功能和技术方案
特征计算由于数据量大，通常采用大数据的离线和实时处理技术，像Spark、Flink等，然后将计算结果保存在Redis或者其他存储系统中（比如HBase、MongoDB或者ES），供召回和排序模块使用。
召回算法的作用是：从海量数据中快速获取一批候选数据，要求是快和尽可能的准。这一层通常有丰富的策略和算法，用来确保多样性，为了更好的推荐效果，某些算法也会做成近实时的。
排序算法的作用是：对多路召回的候选集进行精细化排序。它会利用物品、用户以及它们之间的交叉特征，然后通过复杂的机器学习或者深度学习模型进行打分排序，这一层的特点是计算复杂但是结果更精准。
03 图解经典的协同过滤算法
了解了推荐系统的整体架构和技术方案后，下面带大家深入一下算法细节。这里选择图解的是推荐系统中的明星算法：协同过滤（Collaborative Filtering，CF）。
对于工程同学来说，可能觉得 AI 算法晦涩难懂，门槛太高，确实很多深度学习算法的确是这样，但是协同过滤却是一个简单同时效果很好的算法，只要你有初中数学的基础就能看懂。
1. 协同过滤是什么？
协同过滤算法的核心就是
「
找相似
」
，它基于用户的历史行为（浏览、收藏、评论等），去发现用户对物品的喜好，并对喜好进行度量和打分，最终筛选出推荐集合。它又包括两个分支：
-
基于用户的协同过滤：
User-CF，核心是找相似的人。
比如下图中，
用户 A 和用户 C 都购买过物品 a 和物品 b，那么可以认为 A 和 C 是相似的，因为他们共同喜欢的物品多。这样，就可以将用户 A 购买过的物品 d 推荐给用户 C
。
