无人零售中的传感器技术

自去年亚马逊推出Amazon Go以来，无人售货就成了大家津津乐道的话题以及资本青睐的对象。其实国内也不乏钻研无人售货技术的企业，比如宗庆后的Take go、F5未来商店、缤果盒子、quiXmart等等。

如今阿里巴巴也来凑热闹了。阿里的第二届造物节即将于7月8日-12日举办。阿里即将在7月初的第二届淘宝造物节上推出阿里无人超市“淘咖啡”。

无人零售除了应用了计算机视觉等 AI 技术外，还涉及到大规模的传感器和智能设备，在整个入店、购物到结算的环节，可以说，没有传感器技术无人零售那只是一个传说.

阿里的淘咖啡

“淘咖啡”是阿里宣布进军新零售计划后首次亮相的产品，阿里实验室筹划许久的无人咖啡店“淘咖啡”已经进入了现场搭建阶段。“淘咖啡”将是一个占地达 200 平方线下实体店，集商品购物、餐饮于一身，可容纳用户达50人以上；而实际容纳规模可随场地面积而增加。在体验方面，“淘咖啡”对比亚马逊超市毫不逊色，而且更加智能！

消费者进入淘咖啡的整个购物过程大致分为三个步骤，首先是进店，用户首次进店需打开“手机淘宝app”，扫码获得电子入场码，同时签署数据使用、隐私保护声明、支付宝代扣协议等条款，然后通过闸机，开始购物（注册是首次消费时进行）。

接着是选购，用户可在店内拿起任何一件或者多件商品，或者在餐饮区点餐，这个过程与日常的购物并无二致。

最后是支付， 离店前，用户必须经过一道结算门 。它由两道门组成，当第一道门感应到用户的离店需求时，它便会自动开启；几秒钟后，第二道门将开启，此时结算门已经完成了扣款。然后，旁边的提示器会说："支付宝共计扣款XX元"，　然后你就可以潇洒地离开了。

阿里的这套无人零售技术主要涉及三大核心技术，即生物特征自主感知和学习系统、结算意图识别和交易系统及目标检测与追踪系统。

生物特征自主感知和学习系统主要解决在开放空间里对消费者身份的识别问题，将顾客的生物特征与淘宝ID进行绑定，以实现对顾客的身份确认。

结算意图识别和交易系统 ，如前文所言的结算门，它是由两道门组成，对商品的识别过程就是在这两道门之间完成的，阿里的这套系统究竟是通过RFID技术还是机器视觉识别来完成对商品识别的，目前谜底还未揭晓，但是机器视觉识别的可能性更大一些。

目标检测与追踪系统则主要是追踪消费者在店内的行为及运动轨迹，该功能主要依赖多路监控摄像头。通过捕捉消费者的行为判断其对特定商品的态度，或通过对诸多消费者在店内的运动轨迹、或在特定货架前的停留时间来指导商家调整货品的陈列方式等。

阿里的淘咖啡与Amazon Go有非常相似支出，原来这主要归咎于Amazon Go的研发负责人任小枫带领团队加入阿里的缘故了，所以淘咖啡相比于Amazo升级改进。 

亚马逊的Amazon Go

这场无人零售店的竞赛，在2016年底由亚马逊开出第一枪。当时，亚马逊筹备4年后正式推出带实验性质的Amazon Go，“拿了就走”是其核心卖点。尽管是个半成品，但无不体现黑科技范：消费者进门、选购、结算、离开全流程实现无人化操作。具体来说，亚马逊的免结账购物体验利用了与无人驾驶汽车同样类型的技术：计算机视觉、传感器和深度学习。

Amazon Go 的商品摆设与普通零售店亦基本一致，主要销售即食早餐、午餐和晚餐，以及每天新鲜的小点心。此外还包括面包、牛奶、手工奶酪和本地制作的巧克力等。

消费者在进入Amazon Go进行购物时首先需要一个亚马逊帐号，并在自己的智能手机上安装亚马逊的应用软件，用户打开手机并进入商店后，在入口处会对顾客进行人脸识别，确认用户身份。当消费者在货架前停留并选择商品时，摄像头会捕捉并记录顾客拿起或放下的商品，同时，置于货架上的摄像头会通过手势识别判断顾客是否将货物置于购物篮还是只是看看然后放回原处。

对于用户购物信息的统计，则是通过货架上的红外传感器、压力感应装置(确认哪些商品被取走)及荷载传感器(用于记录哪些商品被放回原处)，用户所采购的商品数据会实时传输至 Amazon Go商店的信息中枢，不会有任何延迟，顾客付账时直接离店就可，传感器会扫描并记录下消费者购买的商品，同时自动在消费者的账户上结算出相应的金额。

Amazon Go最大的亮点是顾客拿走或者放回物品的同时，用户手机里的系统(该系统与Amazon Go商店的信息中枢无延迟地同步进行更新)会自动更新清单，然后用户直接离开商店即可。

从技术上讲，Amazon Go主要运用了机器视觉、深度学习算法和传感器融合技术。据悉，早在2013年、2014年，亚马逊就提交了两份核心专利，即“侦测物体互动和移动”(Detecting item interaction and movement)和“物品从置物设备上的转移”(Transitioning items from the materials handling facility)，现在看来，正是这两项专利技术促成了Amazon Go的诞生。

一般而言，如果从顾客的角度来判断购买行为显然会非常复杂，但从货架的角度来看就要简单得多，此时的核心动作只有两种，即拿走或放回，Amazon Go是如何做到的呢?首先货架前的摄像头会采集用户手在进入货架平面前的图像，当用户手在货架上拿上商品离开时，此时的图像亦会被采集，然后将两次采集的图像进行对比，判断出用户是拿出货物还是放入货物。

前述只探讨了物品的拿出与放回，那么如何判断被拿出或者放回的物品是什么呢?对被拿走的商品，可分两种情况，即物品处于原本所在的位置上，此时商品直接被标识于系统中，只需利用传感器即可感知到该物品被拿走;当商品与原本位置不一致时(通过图像识别该位置与现有商品不一致时)，尽管Amazon Go系统会对错放商品进行图片对比检索(与数据库内的图片进行比较)识别，但Amazon Go此时往往无法很好地对商品进行识别，这是Amazon Go的一个BUG，当然出现这种情况时，Amazon Go会提醒工作人员将商品放回正确的位置了。

最后，Amazon Go内的商品是如何实现与人关联的?这就需要依靠室内定位技术。Amazon Go定位依靠的是图像分析以及音频来实现的，首先通过店内的摄像头检测用户及其方位，同时商店货架或者天花板内的多个音频根据各声音时差分析出用户的位置，此外，用户手机的GPS以及WIFI信号亦能协助定位的实现。

需要说明的是，Amazon Go目前定位上存在一些技术问题，比如较多顾客拥挤在一个区域时，此时的图像分析会对系统GPU形成高负荷，而其他定位技术亦会因精度问题导致误差，此时定位的可靠性会大打折扣，这也是后续Amazon需要持续解决的问题。

据海外媒体报道，Amazon Go在2017年3月就打算在海外开店，但由于技术原因有所延迟。此外，该店无法在20人以上同时进入时保持正常工作，且无法识别出商品被放到错误的位置

宗庆后的Take go　

一向在经营理念上跟马云有分歧的宗庆后，曾在2016年底央视的《对话》节目上放言称，马云的新零售就是胡说八道，把实体经济搞的乱七八糟。 对于宗庆后的批评，他的回应是：娃哈哈思想太保守，自以为是会被淘汰。

互怼之后，娃哈哈在6月25日，却用行动展示了自己的“前卫”。娃哈哈和人工智能企业深兰科技签订了3年10万台、10年百万台TakeGo无人店协议，协议内容主要围绕深兰科技的支付系统“快猫智能零售系统”，这项技术应用在终端无人售货机上。宗泽后表示，在线下铺自动售货机是娃哈哈去年就有的计划，预计投入金额为20亿元。　

深兰科技的无人智能店快猫quiXmart 系统，应用了人工智能领域的前沿技术，实现了扫手进店、直接购物、拿了就走、无需结账的无人店全智能化操作，整个过程不再有支付环节。TakeGo就像是亚马逊去年12月展示的未来实体商店Amazon Go的中国版。

Take go系统之所以能实现“拿了就走”主要应用了卷积神经网络、Deep learning深度学习、机器视觉、生物识别、生物支付等人工智能领域前沿技术，这其中涉及两个关键的技术，一个是生物识别技术，从take go的应用场景视频中可以看到，顾客进入take go 无人店需要手掌按在生物识别读写器上，这个识别器不是掌纹或者指纹识别器，应该是静脉识别器，静脉识别技术要比指纹识别精确很多，也更大程度地避免了被冒用的可能性，很好地确保了用户资金的安全性。

另外一个关键技术是基于深度学习(Deep learning)的卷积神经网络技术，该技术主要用于对整个无人零售店内物品的监测、识别与跟踪，它可能是一系列技术的融合，包含了视频/图像识别技术、定位技术等。其中，对商品的识别是通过机器学习，然后对图像进行识别，也就是说每次商店进货新品类时，都需要对该商品进行机器学习，将该商品的一些特征数据信息记录到数据库中，然后图像识别系统依据特征数据信息对该商品进行识别。

当顾客走进take go无人零售门店并拿起商品时，不管商品的位置是在顾客手上、怀中、口袋还是背包内，系统都能监测与识别，顾客离开商店时会收到对应的账单，并被系统自动扣款。Take Go还有人店对话系统，通过定向声源原理和算法，Take Go零售店还可以向顾客一对一进行语音产品推荐，根据顾客之前的购买记录判断出其喜好、偏向，向其推荐类似商品。

缤果盒子

欧尚、大润发相继在上海推出无人零售商店缤果盒子，一时之间，缤果盒子俨然成了零售业界的“超级网红”，其背后的研发公司中山市宾哥网络科技有限公司亦受到业界广泛关注。

入口

缤果盒子的购物流程较为简单，首先顾客进入商店需要扫描二维码。用户在商店内选好商品后，需将商品整齐放置于收银台检测区，然后，检测台边上的显示屏会自动显示一个收费二维码，用户可以利用微信或者支付宝扫描二维码即可完成付账，然后离店即可。

收银台

缤果盒子采用的技术相对简单，但可靠稳定。缤果盒子主要采用了RFID技术、人脸识别技术等。店内商品包装上皆贴有RFID标签，这就避免了像Amazon Go、take go那样需要进行复杂的图像识别过程，内置的全视角视频监控，可有效震慑顾客在店内的作弊行为(比如破坏商品、撕毁RFID标签等)。

缤果盒子优势是减轻了对人的依赖，提升管理效率。据官方介绍，4个人可完成40个盒子的管理(盒子最大的SKU为800)，这个相对优势在Amazon Go及take go未被大规模普及前有其存在的合理性与必要性。 

Wheelys

来自瑞典的初创公司Wheelys在上海开设了一家无人零售商店，该商店主要由应用程序控制，首先，顾客需要在智能手机上安装一个允许访问该无人商店的应用，进入商店后，顾客只需要扫描想要购买货物的条形码，离店时可以使用信用卡支付。　

该无人商店由 AI 控制——称为“Hol”的全息商店助理，可帮助客户进行购买或提供使用服务的说明。此外，无人店的屋顶还配备了 4 台无人机，顾客可通过app订购，无人机就会带着商品送至你家(跟京东正在尝试的送货方式相当，但这个功能仍在测试中)。　

防盗防损方面，该门店主要采用摄像机监控+入店进行身份验证，此外还有Wheelys公司的一些专利授权技术的加入，Wheelys公司的盈利大头很可能就是向第三方零售商授权该技术，至于具体是何种技术，Wheelys公司并没有透露更加详细的信息。

Wheelys公司的这套无人商店技术同样处于测试阶段，Wheelys公司对一系列核心技术的遮遮掩掩，一定程度上也透露出该技术似乎并无太多亮点，能不能在国内大范围推广尚未可知，况且国内已有这么多的无人商店竞争者了。

小e微店等准无人超市

号称企业员工“身边的便利店”的小e微店，目前，其主要分布在高端写字楼、科技园区等区域，其入口主要是官方app、微信公众号及微信小程序，用户通过上述入口扫描门店二维码进入无人店，与此同时，实际上也完成了门店的定位，用户选好商品后，用手机扫描商品的二维码，进行结算支付，然后离开。

和小e微店相似的还有便利蜂等，都采用了低成本的二维码解决方案，二者的购物流程也有颇为相似。

无人零售的技术难点

无人零售已成为线上线下商家的共同抢占的市场高地，而最终的胜利者必将是看谁先完全具备了先进成熟、稳定可靠的技术体系，这里我们来关注一下无人零售的技术难点。

1、无人零售的核心问题　

打造 无人零售商店最核心的是要解决“什么商品被谁怎么处理了”这个问题，需要处理的因素有5个：人、人的位置、商品、商品的位置、动作。

动作主要是通过商品与手或货架的状态来识别的，例如手进入或退出货架的手势、物品在手的状态识别拿取或放回商品。

商品识别主要是通过初始状态的选择，中间状态通过购物清单核对来缩小识别范围，降低难度，同时通过雇员保证初始状态不被破坏。

位置主要通过手机定位、传感器定位和图片定位，利用人体姿态识别可以很好的将动作定位到人。

对于超市而言，商品存在两种状态——卖掉或没卖掉；对货架而言，商品的状态是在或不在；对顾客而言，商品的状态是买或不买；对人的手而言，商品的状态是在手或不在手，进一步简化成拿起或放回。

它们的关系链如下表：

那么如何表示或测量这两种状态呢？用相机和传感器都可以表示该状态。

a、相机如何处理

在手进入货架拿取商品前和拿取商品后，对手拍摄 1 组图片，记为第一图片和第二图片，对货架拍摄 1 组图片，记为第三图片和第四图片。比较第一图片和第二图片的差异，此时需要利用到 CV 算法识别出肤色找到手，从而知道第一和第二图片手势的差异，识别握姿和舒展姿态，根据两个姿态在第一第二图片出现的顺序可以判断拿取还是放回。例如，第一图片是握姿，第二图片是舒展，即放回；第一图片是舒展，第二图片是握姿，即拿取。 

随后利用肤色找到手后，再识别第一第二图片手边缘的色差识别商品是否在手，根据前后顺序可以判断拿取或放回。例如，第一图片手边缘色差较浅，表示没有商品，第二图片手边缘色差较深，表示有商品，即商品在手且是拿取过程。放回同理。

利用第三第四图片，对货架进行处理，同样可以判断拿取或放回。例如第四图片比第三图片多了一个或多个商品，那么就是放回；如果第四图片比第三图片少一个或多个商品就是拿取。

b、传感器如何处理

对重力传感器来说，商品被拿取，商品减少，重量减少；商品被放回，商品增加，重量增加。所以重量数值变化可以表示拿取或放回。

对于红外来说，在特定地方，商品被放回，红外会被遮挡，商品被拿取，红外不会被遮挡。可以通过红外遮挡状态表示拿取或放回。

 2、如何有效识别商品

商品的识别应该是难度最大的关键点之一。

在初始状态，特定品类的商品被放在特定位置，由相机和传感器侦测。对相机和传感器而言，它们只需优先识别少数且特定的商品类及数量。这个相对而言是简单的。即使图片无法识别，也可以根据重量识别和筛查。在品类摆放的时候可以选择易区分的品类摆放一起，所有被拿取的商品记录在顾客的购物清单里。

困难在中间状态。由于顾客放回会破坏初始状态，导致识别难度急剧上升。因为顾客可能放回任意商品，所以商品的识别范围又扩大到无法解决的情况。

先讨论放回后的最终状态，一般分成 2 种：放回正确或错误。

对于放回正确，识别难度在初始状态的水平。

对于放回错误，存在 3 种情况：放回错误但可识别；放回错误无法识别；放回错误且识别错误。

放回错误但可识别的情况是因为商品本身易通过图像和重量识别，此种情况较少。大多数情况是放回错误且无法识别或识别错误。放回错误且无法识别的情况可以给用户发送消息，让用户确认。识别错误的情况只能提高算法精度，同时调整判断极限值，将部分识别错误的情况向无法识别装换，同时及时通知雇员来整理回到初始状态。

一般而言拿取商品后放回的情况较多，且不放回正确的位置情况也不少，其中放回错误且无法识别或识别错误又占大多数，放回错误但可识别是少数。总的来说无法识别和误判比例不容忽视，甚至导致整个系统无法工作。

刚才说到，由于顾客放回商品，导致识别范围扩大到所有商品，这是可以部分解决的。因为商品的每次放回都是基于顾客的前 N 次拿取，他放回的商品必须是之前拿取的商品，所以优先识别顾客的购物清单即可，在这种情况下，识别难度又回到初始状态相当的水平。

3、如何知道动作发起者的身份？

将商品记录到动作的发起者身上是一件较为复杂的工程。

识别人大体通过 2 种方式：身体特征或附带物，例如人脸和手机。人脸识别的精度在室内还在可接受范围，几乎可以当做唯一标识。手机也是一个人的唯一标识，通过判断是谁的手机从而判断顾客是谁。

4、如何匹配顾客 ID 与商品 ID？

要匹配顾客和商品的 ID，首先要确定人和商品的定位。

关于人的定位，可以用到追踪系统。手机的 GPS、wifi、蓝牙也可以提供较准确丰富的位置信息。

关于商品的定位，红外、重量感应、相机、商品和货架初始的问题都是已知的，可以推测出来。例如，通过隔板，将同类商品分在不同的网格种，每个网格对应不同的红外或重量感应器，可以知道被拿取或放回商品的位置。

通过人和商品的位置匹配，连接了“什么商品”“被谁”两个因素。

因为成本和技术问题，位置精度是一个很大的问题，再加上这个定位人和商品位置的方案本身的缺陷，顾客和商品的匹配误差较大。例如，顾客 A 站在商品 A 前，顾客 B 站在商品 B 前，顾客 A 伸手去拿商品 B，这种情况系统是无法准确判断的。当然可以由顾客确认，但是这仅仅是无力的补救措施。

之前有人提到过 Amazon Go 可能利用多角度的完整的人体姿态识别来定位匹配人—动作—商品的关系。这种方法的关键是摄像头需要很好的视野和足够的摄像头。从宣传视频来看， Amazon Go 的货架设计使得最低层和中间层是无法获取足够好的视野，可能的解决方式是依靠对面货架和天花板的摄像头。Amazon Go 的货架构造非常重要，只要再提供一份货架结构图或者实物图就可以进一步推测实施方案。货架结构包括是否每层都有设想头，承载商品的承重面的形状及尺寸，特殊开口和螺丝位置等。

5、总结

通过上述方法，难度没有凭空想象的难，但是工程量不小。即使动作和商品识别能达到 100%，因为定位方案和精度问题，导致整体的识别存在一定的误差，而使整个方案无法使用，或者只能部分依靠顾客协助实现。所以 Amazon Go 以及未来的其他无人零售店还只能在小部分范围内对特定人群使用，例如信用度较高的会员。