专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
目录
相关文章推荐
黄建同学  ·  即梦 AI 最近开放了 Seaweed ... ·  2 天前  
黄建同学  ·  Ollama 0.4 支持 Llama ... ·  6 天前  
51好读  ›  专栏  ›  量子位

AWS与埃默里大学合作开发基于云的NLP研究平台ELIT

量子位  · 公众号  · AI  · 2017-11-07 13:34

正文

安妮 编译自 AWS官方博客
量子位 出品 | 公众号 QbitAI

自然语言处理(NLP)的研究很多,但埃默里大学语言与信息技术发展(ELIT)团队想做的事不太一样,他们想支持大数据分析扩展的端到端NLP pipeline。

近日,埃默里NLP研究团队和AWS MXNet团队合作开发了一个基于AWS云的NLP研究平台。和其他的NLP框架不同,ELIT提供一个网页API将平台独立,研究人员可以随时随地开始大规模计算。

这篇AWS的官博将详细介绍ELIT平台,并且提供网页API的演示及NLP的可视化。

ELIT研究平台

随着机器学习应用范围的扩大,基于机器学习的NLP模型开始对计算能力有要求。虽然AWS这样的云端计算平台给研究人员提供了不受限的资源运行模型,但对云端不熟悉的研究者仍会觉得云端计算使用起来过于繁琐。

ELIT平台就是想提供NLP网页服务,让任何人通过网络连接请求使用这项服务,而无需本地安装或云计算的专业知识。

一起看看用ELIT平台做NLP任务情感分析的例子。

情感分析

在这个例子中,我们需要将每个document归类到消极、中立和积极情绪中的一种。ELIT用CNN模型分析社交媒体和影评中的数据。

CNN模型先通过叠加每个词的向量表示创建输入矩阵,之后,输入矩阵被送入卷积层和池化层,将输出与attention矩阵匹配,测量输入文档中每个n-gram的强度(本例中n=[1…5])。最后,模型将attention输出反馈给softmax层,softmax层判断文本中词语消极、中立和积极的概率。

演示

我们将从ELIT演示页面的屏幕截图开始:

演示页面地址为:

http://demo.elit.cloud/

左上角的文本框中的输入文本是:“我昨晚看了《音乐之声》,虽然这是我最喜欢的电影,但它的结局还可以更好。”

在右上角,有一些帮助我们单词化、分割和情感分析来自影评和Twitter的可选项。我们以影评的单词化、分割和情感分析举个例子:

点击“Analyze”,输入文本被发送到所选的运行NLP pipeline的ELIT服务器,并返回以下输出:

ELIT情感可视化工具将每个句子的情绪编码成一种颜色,红色、绿色和蓝色分别代表消极、中立和积极情绪。此外,不同透明度的词代表情感含义的强烈程度:

可以将强度等级可视化。在下面的图中,圆圈越大,表示的情感越强烈:

将上述两种可视化效果叠加,我们可以得到更清晰明显的图:

网页API

NLP的输出可被用任何语言编程的web API检索到。这是一段简单的Python代码,请求NLP输出我们示例中的输入文本。

根据请求,ELIT需要输入原始文本并且运行的NLP pipeline、分割和电影模型的情感分析,并将输出HTTP返回。最后一行将以JSON格式输出:

JSON输出遵循以下格式:

  • 一些文件:文件清单→[文件,…,文件]

  • 一个文件:句子列表→[语句,…,句子]

  • 一句话:一本字典的关键词是{token,offset,情感}

    • token:句子中的token列表。

    • offset:指相应的token在原始文本指示位置offset的列表。每个offset由一对(开始,结束)表示,每个文档开头offset均设置为0。

    • 情感:指(消极、中性、积极)情感指数。

这一部分的具体细节可参照ELIT官网:

https://elit.cloud/tutorial/decode/

解码框架

解码请求通过弹性负载平衡器(Elastic Load Balancer)确保其可伸缩性。一旦web API服务器接收到请求,就会将请求发送到生成的NLP输出文本的NLP服务器。

如果所请求的文本大于10 MB,NLP服务器就将输出保存到Amazon S3存储。最后,输出被发送回web API服务器,将信息存储到数据库并将NLP输出发送给用户。

路线图

目前,ELIT持三个NLP任务:单词化、分割和情感分析。

展望未来,在2018年第二季度,ELIT将计划支持大多数的核心NLP任务,如词性标注、形态分析、命名实体识别、依存关系语法分析、语义角色标注和指代消解。ELIT将提供一个接口训练自定义模型,项目进展的预计时间线如下:

参考资料

项目介绍:

https://elit.cloud/

代码地址:

https://github.com/elitcloud/elit

AWS官方博客介绍地址:

https://amazonaws-china.com/cn/blogs/ai/aws-collaborates-with-emory-university-to-develop-cloud-based-nlp-research-platform-using-apache-mxnet/

关于埃默里大学NLP研究小组:

http://nlp.mathcs.emory.edu

更多Apache MXNet信息:

https://aws.amazon.com/mxnet

活动报名

点击图片阅读原文
即可报名参赛和获取更多详情


联想全国高校AI精英挑战赛,面向全国征集优秀AI相关领域技术与应用。此次将在全国8大赛区、260所高校开启项目收集和沟通评判,最终入围总决赛的8支参赛队伍,将获得联想创投投资。

加入社群

量子位AI社群11群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot4入群;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进群请加小助手微信号qbitbot4,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态