京东语音交互应用实践——叮咚音箱背后的核心技术

作者：高维国 资深算法工程师；2015年加入京东。主要从事自然语言处理相关工作：罗盘好评差评分析，query数量词识别，商品标题核心产品词识别及属性识别；为叮咚智能语言助手提供分词、词性标注模型以及指令百科意图分类等。

人机交互基于人工智能和大数据，是人与计算机之间使用某种对话语言，为完成确定任务的人与计算机之间的信息交换过程。在人机交互技术领域，存在多种交互方式，比如体感交互、眼动跟踪、语音交互、生物识别等方式，今天要介绍就是京东在语音交互方面的实践——叮咚音箱。

叮咚音箱是一款搭载智能语音助手的产品。用户可以购物、点歌、查新闻、查天气、闲聊。在叮咚音箱的NLU（nature language understand）自然语言理解模块中，    CRF（conditional random field ）条件随机场模型起到重要的作用。分词、词性标注、命名实体识别、槽值提取等都是CRF模型的重要应用。

本文将从CRF概述和音箱分词两大模块阐述观点。

CRF（条件随机场），是指在给定观测序列条件下，计算状态序列的条件概率分布模型。 观测序列是用户可以观测到的序列，可以认为是机器学习中输入变量X，而状态序列是我们需要模型预测的序列，可以认为是要预测的标签序列label。

首先我们通过槽值提取任务的例子来了解下CRF模型中的一些基本概念。槽值提取（slot filling）是一个序列标注任务，可以用CRF建模。可以简单把槽值提取理解为识别某个词是哪种类型的过程。接下来的例子会帮助我们理解什么是CRF模型以及什么是槽值提取。

CRF槽值提取序列标注例子

在上图中，我们期望CRF模型根据“我/要/买/小米/手机”观测序列（X），识别出“O/O/O/品牌词/产品词”这样一个状态序列（Y）。即：识别出小米是品牌词，手机是产品词。这里的“品牌词”、“产品词”就是一个槽，而“小米”“手机”是对应的槽值，将槽值“小米”“手机”与槽“品牌词”“产品词”对应上就是槽值提取任务。其中“我”对应T1时刻，“要”对应T2时刻，以此类推。（其中用“/”来分割各个分词结果以及预测值，O代表other。）

CRF条件随机场可以用概率图的方式来表示。以下是CRF条件随机场对应的概率图：

CRF概率图

在上图中：y1、  y2、  y3、  y4、  y5  表示状态序列，“我”“要”“买”“小米”“手机”是观测序列。y1结点到y2结点之间的边（即各个状态结点之间的边）表示转移概率， “我”结点到y1结点的边（即各个观测结点和状态结点之间的边）表示观测概率。

CRF模型的训练过程就是求解转移概率和观测概率的过程；CRF模型预测就是通过这2个概率来计算最短路径。接下来我们介绍下CRF模型及其训练方法和预测。

CRF模型

该公式是CRF条件随机场对应的假设函数，P(y|x)表示在输入为观测序列的条件下，输出为某个状态序列的条件概率。

例如P(”O/O/O/品牌/产品”|”我/要 买/小米/手机”)。分子表示概率图中各个最大团概率的乘积；分母是归一化因子。（无向图中任何两个结点均有边连接的结点子集称为团。最大团就是不能在加入任何一条边的团。）

CRF公式示例图

以上整个图的概率等于该图中各个最大团对应随机变量概率的乘积。以红色方框中的子图来举例：该图的团是{结点“小米”,y4结点}的子图和{结点y4,结点y5}的子图，同时这两个子图都是最大团，而{结点“小米”, y4, y5}不是最大团，因为结点“小米”与y5没有边。对于红色方框中的子图概率为P(品牌|我/要/买/小米)*P(产品|品牌)。其中表示由小米到品牌的概率，表示由产品到品牌的概率。

模型训练

CRF条件随机场模型的训练是求解转移概率和观测概率的过程，其采用L-BFGS方式来求解。

（L-BFGS是求解优化问题的有效方法之一，相关详细介绍可以参考《统计学习方法》）

当通过L-BFGS求出转移概率和观测概率之后如何预测呢？我们采用Viterbi算法 （动态规划算法）来预测。条件随机场的预测问题是给定条件随机场p(y|x)和观测序列X，求条件概率最大的状态序列Y，即对观测序列进行标注。我们通过Viterbi算法选择概率最大的那条路径。 下面通过一个例子说明下viterbi算法的计算过程。

例如：观测序列为“小米/ 手机”，我们要预测的状态序列为“品牌/产品”（小米是T1时刻，手机是T2时刻）。从T1时刻到T2，一共有4条路。在这个例子中我们假设从11结点转移到22结点的概率最大，在T1时刻到11结点的路径最大概率和到12结点的路径最大概率相同。到T2时刻一共有4条路径，每个路径的概率值见下图。

T2时刻手机应该预测为品牌还是产品？在求T2时刻的最大概率路径时我们采用 Viterbi 来求解。

过程如下： T2时刻一共有4条路径可以选择，即11结点到21节点，11结点到22结点，12结点到21结点，12结点到22结点，其中11结点到22结点的概率最大通过Viterbi算法选择概率最大的一条路径是：小米是品牌，到手机是产品的概路径，因为11到22的概率最大。T2时刻的概率最大值等于T1时刻概率最大值（即11结点的概率最大值）加上由11结点到22结点的概率值。

接下来我们会介绍下CRF的一个重要应用：分词。

叮咚音箱分词

叮咚音箱支持的场景包括购物、百科、音乐、闲聊等。为了更好的理解用户意图，我们需要有准确的分词模型，但互联网公开的中文分词模型在这些领域效果都比较差。

以下是原有Stanford中文分词模型在购物语句上的分词结果：

荣 / 事达 /电水壶/多少钱

帮/我/妈/买/一 个/ 美 / 的 /洗衣机

在上面这2个例子中荣事达被错误的分成“荣/事达”；而“美的”被错误的分成“美 /的”。错误的分词结果会导致叮咚音箱错误的理解用户意图，返回错误结果，影响用户体验。 为了解决在这些垂直领域分词错误的问题，我们需要训练自己的分词模型。

本节内容包括：叮咚音箱分词、分词后处理以及强制分词人工干预字典方法。

叮咚音箱分词

我们使用 Stanford 开源分词工具包来进行分词模型的训练。该工具包提供了分词模型训练以及预测的方法。之所以选择Stanford工具包主要是因为其提供了一整套NLP解决方案，包括模板匹配、分词、词性标注、NER、句法树等中文模型。

接下来本节从模型的训练数据、特征两个方面介绍叮咚音箱分词。

叮咚音箱分词的训练数据大概有20万条标注数据，其中7万条来自于Chinese tree bank 8.0公开的测评数据，剩余的13万条数据是叮咚音箱场景下的数据，重点是购物、音乐、百科、闲聊场景下的语料。该部分数据采用人工标注的方法获得。

分词特征的设计是Stanford 分词工具包的一大亮点。它加入了大量的特征工程，既有离散特征也有连续特征。

离散特征 包括：Char类型特征、各种Char类型的unigram/bigram特征；描述词性特点的特征：Unicode类型特征、Shape String类型特征；字典先验特征；以及以上各种特征的组合。

连续特征包括 ：字向量特征，word2vec预训练的字向量。

以下详细介绍各个类型特征：Char类型特征、字典先验特征。

Char类型特征举例 ：Char特征有unigram、bigram以及对应组合三种大类型特征。

还是以“我要买小米手机”为例，在T4时刻“小”对应Char特征如下：

字典先验特征：