江湖上总有谣言:程序猿最不解风情。
处座莞尔一笑,程序猿总有特殊的恋爱方式,用Python代码画爱心实在小儿科,来看看处座的七夕脱单经历吧。
民政局公布今年办理结婚登记的人比去年下降7%,但处座内心毫无波动,甚至有一点想笑。因为对于处座来说,并不想为了结婚而将就,而是想要有一天对那个人说,遇见你,我才能想象共同的生活有多美好。
淡定的秘汁微笑,单身狗谨慎服用
处座注意到小美,是一个七夕的晚上,处座在加班,小美也在加班。
小美是新来运营经理,她需要时时关注流量、转化量、用户粘性等等数据变化,恨不得能将Excel用得烂熟于心。无奈运营数据更新太快,数据分析费时又费力,如果boss忽然要看数据,她只能加班
加点:表格都是纯手工打造,一不小心忘了点保存,办公室里回荡一声尖叫……
这是小美入职以来度过的第一个七夕,从此处座终于记住了这个节日。
后来,处座和小美渐渐熟络了。认真负责的小美经常向处座讨教数据分析的技巧。处座也非常耐心地帮她梳理了几十种常用的数据分析图,但是她似乎还是手忙脚乱,实在让处座暗暗着急。
这一天,加班的处座小憩中,梦见自己变成了小美的助手,什么报表都帮她做好了。醒来后,处作忽然想到自己曾经苦心钻研的自然语言处理技术(NLP),能否实现让小美使用自然语言提问,数据分析全部交给电脑自动完成呢?
内心似乎荡漾起某种冲动,处座立即开始动手敲代码。
说真的,处座觉得自己很久没有这么高效了。经过数天的调试,处座终于把这套能够接受自然语言指令的数据智能搜索引擎展现给小美,并将其命名为“Telescope”。
小美很快就喜欢上了这款语音下指令就能做报表的神器!“最近半年的客户流失率”、“最近一周的访问量峰值变化”……小美不断地下指令,一张张运营报表瞬间生成。小美两眼放光,不由得对
Telescope背后的技术产生了兴趣:“处座,告诉我,Telescope用了什么魔法,怎么如此智能?
”
处座看了一眼小美,俩人的视线似乎对上了,处座忽然有些心慌,连忙望向显示屏,故作镇定地说道——
传统的数据分析是将数据库中的表Table以及一个自然语言的问句Question,想要让机器自动帮你生成报表,首先需要根据这张表格中的属性及属性值,将Question转化为一个SQL语句的形式。
需要进行抽取的参数涵盖了意图、维度及过滤条件等。针对这个任务,我选择了深度学习模型来解决。
主要有三个模块,其中意图识别使用LSTM网络模型,抽取参数则使用了注意力模型,最后使用pointer network来抽取属性值。
意图的分类有基于规则模板的方法和基于机器学习的方法。
其中基于规则模板的分类方法比较适用于查询非常符合规则的情况,通过解析的方式来获取查询意图。但是这种方法的覆盖度低,而基于机器学习的方法,尤其时基于端到端的深度学习方法,则更为能。LSTM网络在语义理解上也更有优势。
参数抽取和值抽取等工作,主要参考了目前在公开数据集WiKiSQL上表现较好的TypeSQL网络,其主要的结构如下图所示,网络将需要提取的参数根据提取的标准,划分为三个部分,并行进行抽取再最终进行匹配:
而以往的参数抽取工作大多采用归纳的方式,
我们的深度模型不仅能够学习到更多的语义信息,同时为了提升模型的生成效果,还在网络中添加了表Table中属性值的信息,能够帮助模型更好的匹配出自然语言问句当中的参数。
Pointer network网络则使得整个模型能够更加灵活的应对不同场景的需求,抽取的效果也更好。下图详细得描述了整个参数抽取得流程以及语义信息得传递过程:
深度学习模型
在语义的理解上更加柔软,
更加自然有效。另
外,对于场景的切换来说,基于深度学习的模型比传统模型更具泛化性。所以自然语言数据搜索引擎是一次对深度学习的完美应用。
之后的时间,细心的小美不但不断反馈使用情况,甚至还挑出好几个BUG,这让
处座更优不断完善着Telescope,甚至加入了机器学习模块,即使小美面对线性回归预测,相关性分析,聚类用户分群等更深入的大数据分析,也能轻松搞定。
不知不觉,小美连续加班的状况大大减少了。
处座想,以后小美再也不会来找我了吧。
不过,不知道谁把Telescope的神通传了出去,这一下,财务部的lily,市场部的lucy……处座每天都被公司里受数据报表困扰的“表妹”们包围了,还惊动了很多客户。领导很重视,说要给telescope申请专利。
“处座,忙吗?”这一天,许久不小美站到了我的面前。
“跑完数据就下班,有啥事?”
“我忽然明白,你害了我。”
“害了你什么?”
“害我
离不开Telescope……我现在
连excel都生疏了。
”
处座脱口而出:“你也害了我,害我喜欢你……
”
“我不管,你要负责。”
小美说,每次对Telesope发出指令,都像在对处座说话,而Telescope的表现总是跟处座一样,强大又贴心,精准又高效。
处座说,要是Telescope申请专利,一定写上我们俩的名字。小美说,她再也不当“表妹”了,她要跟处座一起把Telescope打造得更完美,解救天下的“表妹”……
虽然
处座
和小美一起加班的情况越来越少,但是他们一起吃饭、看电影的次数越来越多,下个七夕,估计该领证了吧?
而作为处座和小美的爱情见证,Telescope不但“征服”了公司里
运营、
销售、HR、财务等各个部门,
更引发业内广泛的兴趣,
目前已有多家银行和金融机构进行了部署和使用。
◆
◆
◆
▲长按图片,识别二维码进行打赏