视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

作者 | 姜雨帆

责编 | Camel

神经网络的结构学习是目前十分受关注的一个研究方向，主要包含网络结构优化和网络结构搜索两个方向。

本次报告从两方面对神经网络的结构学习进行研究，首先从网络结构优化的角度，提出了一种动态网络连接的自动学习方法。

动态的去学习网络的连接，这种连接生长和剪枝的方式完全和训练相关，参考了训练过程中的梯度，层和层之间信息流传递的有效性，可以更好的对网络连接进行动态操作，从而得到更紧凑、高效的模型结构。

除此之外，我们还对可微分的网络结构搜索方法进行改进，移除了原有的局部归一化限制，同时对网络结构进行采样的更新方法，使得可微的网络结构搜索过程更稳定、高效。

最后，我们也通过定量和定性的实验分析了提出的两种方法的有效性。

（或者到AI研习社官网观解读视频：http://www.mooc.ai/open?from=meeting）

作者简介：

姜雨帆，东北大学计算机系自然语言处理实验室研究生，师从肖桐副教授。 研究方向为自然语言处理，已在EMNLP人工智能和自然语言处理顶级会议发表论文一篇。