安妮 编译自 AWS官方博客
量子位 出品 | 公众号 QbitAI
自然语言处理(NLP)的研究很多,但埃默里大学语言与信息技术发展(ELIT)团队想做的事不太一样,他们想支持大数据分析扩展的端到端NLP pipeline。
近日,埃默里NLP研究团队和AWS MXNet团队合作开发了一个基于AWS云的NLP研究平台。和其他的NLP框架不同,ELIT提供一个网页API将平台独立,研究人员可以随时随地开始大规模计算。
这篇AWS的官博将详细介绍ELIT平台,并且提供网页API的演示及NLP的可视化。
ELIT研究平台
随着机器学习应用范围的扩大,基于机器学习的NLP模型开始对计算能力有要求。虽然AWS这样的云端计算平台给研究人员提供了不受限的资源运行模型,但对云端不熟悉的研究者仍会觉得云端计算使用起来过于繁琐。
ELIT平台就是想提供NLP网页服务,让任何人通过网络连接请求使用这项服务,而无需本地安装或云计算的专业知识。
一起看看用ELIT平台做NLP任务情感分析的例子。
情感分析
在这个例子中,我们需要将每个document归类到消极、中立和积极情绪中的一种。ELIT用CNN模型分析社交媒体和影评中的数据。
CNN模型先通过叠加每个词的向量表示创建输入矩阵,之后,输入矩阵被送入卷积层和池化层,将输出与attention矩阵匹配,测量输入文档中每个n-gram的强度(本例中n=[1…5])。最后,模型将attention输出反馈给softmax层,softmax层判断文本中词语消极、中立和积极的概率。
演示
我们将从ELIT演示页面的屏幕截图开始:
演示页面地址为:
http://demo.elit.cloud/
左上角的文本框中的输入文本是:“我昨晚看了《音乐之声》,虽然这是我最喜欢的电影,但它的结局还可以更好。”
在右上角,有一些帮助我们单词化、分割和情感分析来自影评和Twitter的可选项。我们以影评的单词化、分割和情感分析举个例子:
点击“Analyze”,输入文本被发送到所选的运行NLP pipeline的ELIT服务器,并返回以下输出:
ELIT情感可视化工具将每个句子的情绪编码成一种颜色,红色、绿色和蓝色分别代表消极、中立和积极情绪。此外,不同透明度的词代表情感含义的强烈程度:
可以将强度等级可视化。在下面的图中,圆圈越大,表示的情感越强烈:
将上述两种可视化效果叠加,我们可以得到更清晰明显的图:
网页API
NLP的输出可被用任何语言编程的web API检索到。这是一段简单的Python代码,请求NLP输出我们示例中的输入文本。
根据请求,ELIT需要输入原始文本并且运行的NLP pipeline、分割和电影模型的情感分析,并将输出HTTP返回。最后一行将以JSON格式输出:
JSON输出遵循以下格式:
这一部分的具体细节可参照ELIT官网:
https://elit.cloud/tutorial/decode/
解码框架
解码请求通过弹性负载平衡器(Elastic Load Balancer)确保其可伸缩性。一旦web API服务器接收到请求,就会将请求发送到生成的NLP输出文本的NLP服务器。
如果所请求的文本大于10 MB,NLP服务器就将输出保存到Amazon S3存储。最后,输出被发送回web API服务器,将信息存储到数据库并将NLP输出发送给用户。
路线图
目前,ELIT持三个NLP任务:单词化、分割和情感分析。
展望未来,在2018年第二季度,ELIT将计划支持大多数的核心NLP任务,如词性标注、形态分析、命名实体识别、依存关系语法分析、语义角色标注和指代消解。ELIT将提供一个接口训练自定义模型,项目进展的预计时间线如下:
参考资料
项目介绍:
https://elit.cloud/
代码地址:
https://github.com/elitcloud/elit
AWS官方博客介绍地址:
https://amazonaws-china.com/cn/blogs/ai/aws-collaborates-with-emory-university-to-develop-cloud-based-nlp-research-platform-using-apache-mxnet/
关于埃默里大学NLP研究小组:
http://nlp.mathcs.emory.edu
更多Apache MXNet信息:
https://aws.amazon.com/mxnet
联想全国高校AI精英挑战赛,面向全国征集优秀AI相关领域技术与应用。此次将在全国8大赛区、260所高校开启项目收集和沟通评判,最终入围总决赛的8支参赛队伍,将获得联想创投投资。
量子位AI社群11群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot4入群;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot4,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。