疫情期间大火的Instacart是如何使用数据科学来解决复杂的业务问题的?

Instacart

有一半的美国家庭甚至不用出门就能从他们最喜欢的杂货店（如Costco, Wegman’s, Whole Foods, Petco等）购买食品杂货。

此外，该公司独特的商业模式使其成为一个令人着迷的案例研究，研究如何将数据科学应用于行业，解决棘手的商业问题。

作为一名数据科学家，你已经学习了算法和技术，但是如何将它们应用到可能带来或损失数百万美元的企业世界中呢？在本文中，我们将了解Instacart如何使用数据科学方法来解决其极其复杂的后端系统背后的导入业务问题。

首先，介绍一下Instacart作为一家企业是如何运作的。 Instacart做了很多工作来确保用户的体验是顺畅的。这很简单。

一小时之内，你的食品就送到了你的门前。用户体验难以置信的简单和容易操作。

购物者的体验要复杂一些。

这个市场有两个明显的方面——顾客和客户。然而，Instacart实际上是一个四面市场（你能说出另外两个吗?）

Instacart还与产品广告商和商店合作。这四个方面中的每一个都以某种方式与其他三个进行交互。每一个箭头都是一个给数据科学加强它的机会。

Instacart通过快递费赚钱——例如，支付几美元就能得到快递服务，或者购买快递会员资格(每年150美元，无限快递)。小费和服务费是付给顾客的，这有助于支付人工成本，但这还不够。Instacart也通过与宝洁等公司和广告商的合作来赚钱——Instacart上大约30%的购买都是广告产品。这是数据科学的一条丰富脉络。

该公司也从商店中获得了相当大的一部分收入——如果Instacart能够大幅提升某一家商店的流量，该商店可能会愿意为此支付一定的费用。

然而，Instacart有很多成本，比如交易、信用卡处理和保险。最大的成本是购物者购物和开车所花费的时间，所以Instacart的主要目标是让系统运行得更高效更快，这样就能获得更多利润。

Instacart独特的商业模式让数据科学成为焦点，帮助提高利润，让四方市场的各方都更开心——让我们来看看Instacart面临的一些数据科学问题和挑战。

Instacart是在公路上运营的，所以当像旧金山或纽约这样的大城市出现道路堵塞时，购物者就会被耽搁。当货物到达晚时，顾客会更不高兴。

天气变化非常大——天气冷的时候，顾客不愿意到外面去买杂货，所以他们可能会更多地使用Instacart(更高的需求)。然而，作为一名购物者，你不会想在寒冷的天气外出，所以更少的购物者可能会打卡上班(需求减少)。如果天气好，情况正好相反——更多的人可能想自己去购物(需求少，供应多)。

Instacart——以及全国50%的食品杂货——都受到天气的影响，而他们对此无能为力。

不仅是天气问题，特殊事件以及名人或皇室成员的到访也会造成道路拥堵，影响Instacart的效率。这些不能被当作异常值而不予考虑，因为它们已经发生而且将来还会发生——它们需要被考虑在内。然而，这意味着数据中存在巨大的差异，这使得数据预测变得困难。

收银台排队的可变长度和送货地点可停靠的停车位是另外两个变量，它们因一些可分割的因素（如日期、温度、给定商店的库存等）的组合而变化很大。

在许多数据科学应用中，均值是最重要的——但在Instacart的例子中，方差和均值一样重要。方差会影响预测，使估计的时间难以置信。(你将如何处理这个问题?)

由此，Instacart面临两个主要挑战。首先是如何平衡供求关系?就像之前的天气所证明的那样，供给和需求经常相互作用，而不是朝着有利的平衡发展。需求过多而供应不足会降低客户的满意度和保留率，供应过多而需求过少，对于依赖紧迫感和效率来获取利润的公司来说，意味着生产力的低下。

第二个挑战是，一个供给、一个需求已经达到平衡，如何将购物者的路线安排得尽可能有效率？哪些购物者应该按什么顺序去哪些地点，以最大限度地提高效率，同时确保送货准时?

衡量需求是困难的。

对任何企业来说，度量需求都是评估其执行情况的必要条件。然而，在Instacart的例子中，做到这一点相当困难。

当用户使用Instacart时，他们会指定自己想要的商品到达的送货窗口。由于在某些时段(比如高峰时段)订单会累积，购物者不可能同时处理所有订单，因此Instacart实施了“繁忙定价”，这提高了配送价格。

Instacart使用机器学习模型来预测何时时段会被填满，从而在实际时段被填满之前实施繁忙定价。当时段全满时，Instacart将从可用交付时间列表中删除该时段。该公司还利用销售定价来填补空时段。

对于每个Instacart用户，有三种结果:

在所有这些场景中，访问者都将访问此页面。你如何区分真正的购买/结帐需求和那些为未来建造篮子的需求，或者只是想探索Instacart的需求?

注:“计算需求”是指计算或已知的需求数量。购买商品的顾客有他们的交易记录。然而，想要购买食品杂货(有需求)但没有留下任何购买记录(没有购买任何东西)的顾客被认为是“未计算需求”。

Instacart建立了一个概率模型来预测一个访客在某种情况下购买商品的机会。它考虑了市场和用户的特点，以及他们看到的可用性——哪些窗口是打开的，他们是繁忙价还是销售价，等等。

运行一个对每个人都有100%可用性的预测，这个模型可以估计需求——如果每个人都看到了100%可用性，会有多少交付？计算和未计算的需求都将被考虑，但虚假的需求不会-这是一个聪明的过滤器。

使用这种方法，Instacart用橙色来估计需求量以及“丢失的交货量”（需求量-成功购买的数量）。

如果Instacart要做任何安排、人员配备或预测，他们希望在正确的需求下进行。现在，他们不仅可以计算，还可以估计损失的交货数量。

在一个小时的时间内，Instacart的工作就是在这段时间内送货。否则，顾客的幸福感就会下降——事实上，早一点买到东西会让顾客的幸福感更高。

考虑到顾客的快乐是特别重要的，能够估算给定顾客的完成时间，以便他们能够得到最有效的路线是必要的。

你可能会认为Instacart可以使用谷歌地图的出行时间——但Instacart建立了自己的模型，比谷歌地图的出行时间更好。该公司需要建立自己的旅行时间估算器，因为他们的顾客不是传统的司机——他们经常要重复去同一家商店，需要下车，进入商店等等，谷歌地图没有包含这些组件，但Instacart的模型可以。

谷歌Maps API不适合Instacart的另一个原因是，它们必须为用户预测Instacart考虑的所有路线组合。有一组候选路径，需要在系统内部进行优化。在估计数万亿路由的执行时间时，等待100毫秒来检查谷歌API是不可行的。

一个内部组件相互通信的系统，一个调整到Instacart特定数据类型的估计器，还是一个需要缓慢外部API的系统？图案由Andre Ye创作。

Instacart使用分位数回归进行预测。而不是找出平均时间，95百分位可能的时间是多少？或者可能是第5个百分点？Instacart的系统考虑了所有步骤中方差的相关性，从而在未来积累方差。

对于模型，Instacart使用梯度增强决策树——它们有过度拟合的倾向(倾向于偏方差尺度上的方差)，这对于Instacart的高方差需求是完美的。

Instacart有一个估算完成时间的好方法——现在它是如何为所有的购物者规划路线的呢?

假设你要处理300个订单和100个购物者。尽管每次只有三个订单，但总共有4.45亿次配送组合和100个不同购物者的3组配送组合。Instacart每时每刻都在处理这些问题——这只是一个小例子。

凭直觉，你知道Instacart不会搜索所有的4.45亿个组合，然后选出最重要的一个。

Instacart的目标是最大化所找到的项的数量。

在许多主要城市，有许多相同的商店，只是在不同的位置。如果他们都有相同的产品，购物者可以选择最接近的一个。

然而，库存并不总是最新的。这意味着，在评估了顾客清单上的产品出现在几家商店库存中的概率后，Instacart可能会用额外的距离来换取顾客满意，因为顾客想要的产品出现在库存中的概率更高。

然而，如果事实证明，Costco #1确实有顾客想要的产品，那么Instacart只是把额外的时间浪费在了去更远的商店的路上——同时，顾客也会因为产品准时到达而感到珍贵的快乐。

对Instacart来说，第二秒，从字面上来说，就是钱。

Instacart使用了贪婪启发式——一种聚合可能的交付并对聚合排序的简单方法。事实上，Instacart的第一个算法甚至更简单，它基于一个问题。