千呼万唤，《自然语言处理之序列模型》！

学习收益：

1.  了解基本： 有哪些经典问题，哪些经典模型，哪些经典技巧。

2.  增强直觉：能够做到在脑子中模拟所有模型的训练和推理过程，能够将各种模型统一在尽量少的几个框架之中。

3.  有码可依：能够从0到1的建立起一份自己的Tensorflow的seq2seq模型。

4.  摸到前沿：快速推进自己的自然语言知识，能够看懂现阶段大部分的论文。

5.  转型深度：掌握seq2seq模型，深度学习在自然语言应用最广泛，最成功的模型。

主讲老师： 史  兴   美国南加州大学   计算机博士

毕业于清华大学，现在美国南加州大学攻读计算机博士学位，师从自然语言处理领域专家Kevin Knight教授。先后在AAAI, ACL, EMNLP 等会议发表多篇论文。主要研究方向为神经机器翻译及seq2seq模型的解析及改进。

开课时间：2017年6月28日

学习方式：

在线直播，共10次

每周2次（周三、五晚上20:00-22:00）

直播后提供录制回放视频，在线反复观看，有效期1年

课程简介：

自然语言处理作为人工智能的完备问题（AI-complete ）之一，其目标在于帮助机器理解，处理以及生成人类的语言。互联网上的数据目前绝大多数为自然语言，具有丰富的挖掘价值。

本次课程主要覆盖自然语言处理中的三种模型：基本分类器（1课时 ），经典序列模型（3课时）和神经序列模型（5课时）。课程中，除了基本的算法推导，更加强调直觉上的理解。同时，我们会结合5个实践项目来探讨具体模型的实现细节以及参数调试经验。

课程大纲

第一课：  自然语言处理概论            

     1.  自然语言处理的难点

     2.  经典问题以及解决问题的经典思路

     3.  本次课程覆盖的主要范围：基本分类器，经典序列模型，神经序列模型。

第二课：  基本分类器         

     1. Naive Bayes / Perceptron / SVM / Decision Tree / GBT

     2.  Quora相似问题判断：

           a.  数据清理

           b.  "人眼"智能

           c.  特征提取

           d.  各个分类器的表现：速度，内存，准确率

第三课：  经典序列模型 I：

     1.  EM 算法

     2.  HMM 隐马尔科夫模型

     3.  Conditional Random Field (CRF)

     4.  如何用Lattice来统一理解以上模型

第四课：  经典序列模型 II:

     1.  自动机(WFSA, WFST)

     2.  利用 EM 算法来实现WFST的参数的推倒

     3.  实践展示：教中国人说外语 (语音拟合)

第五课：  经典序列模型 III:

     1.  语言模型

     2.  OOV及平滑方法 (Modified Kneser-Ney Smoothing)

     3.  神经语言模型简介

     4.  实践展示：KenLM 语言模型

第六课：  神经序列模型 I:

     1.  基础的神经网络回顾：

          a.  Forward / backward propagation;

          b.  计算能力的衡量

          c.  Word2vec 以及 King:Man = Queen:Women的本质解释

     2.  RNN 基本概念以及问题：

          a.  Gradients Vanishing / Explosion

     3.  RNN 变种: LSTM

          a.  Gate的作用

          b.  可视化: 在机器翻译以及语言模型中产生的特殊的gate

第七课：  神经序列模型 II:

     1.  LSTM语言模型的实现

          a.  Tensorflow 框架理解

          b.  Padding, Bucketing 以及最佳Bucket算法

          c.  Dropout 作用

          d.  多GPU实现

          e.  多种优化方法对比：SGD, Adagrad 等

          f.   超参数测试策略

    2. 实践展示：LSTM语言模型

第八课：  神经序列模型 III:

     1.  Seq2Seq模型及神经机器翻译

     2.  Decoding: Beam search

     3.  Attention 机制

     4.  实践展示：英法翻译系统

第九课：  神经序列模型 IV:

     1.  Seq2Seq 模型的提速

          a. 训练提速：NCE

          b. 测试提速：利用Word Alignment / LSH

          c. Knowledge Distillation

          d. 最近前沿架构

第十课：  神经序列模型 V:

     1.  Sequence + FSA

     2.  对话生成

     3.  情感分类 Supervised / Unsupervised

     4.  实践展示：基于LSTM的推荐系统