重磅发布！李航《统计学习方法》第二版最新版视频课上线！速来围观！

Week1  

【视频课】第1章 统计学习方法概论

• 理解“本章概要”的5点内容

• 理解模型过拟合产生的原因以及造成的影响

• 理解机器学习的评价标准：模型的泛化能力

• 熟悉极大似然估计和贝叶斯估计基本思想和求解方法

【视频课】第2章 感知机

• 掌握感知机的模型形式、损失函数及对应的优化问题

• 掌握随机梯度下降算法原理

• 理解感知机模型中随机梯度算法的收敛性

【视频课】第3章 k近邻

• 掌握k近邻算法的原理

• 理解k近邻算法三要素及模型对应的损失函数

• 掌握k近邻算法在分类问题上的求解过程

作业：

【推导】推导正态分布均值的极大似然估计和贝叶斯估计

【思考题】思考感知机模型的假设空间？模型复杂度体现在哪里？

【代码复现】自编程/调用sklearn实现一个感知机算例

【思考题】思考k近邻算法的模型复杂度体现在哪里？什么情况下会造成过拟合？

【代码复现】自编程/调用sklearn实现一个k近邻算法算例

作业视频讲解：

极大似然估计和贝叶斯估计作业

感知机算例自编程和sklearn实现

Week2

【视频课】第4章 朴素贝叶斯法

• 理解朴素贝叶斯模型的模型假设

• 理解后验概率最大化与期望损失最小化的关系

• 掌握极大似然估计的求解过程

• 掌握贝叶斯估计的求解过程

【视频课】第5章 决策树

• 理解信息增益、基尼系数的含义和计算方法

• 掌握ID3算法

• 了解决策树剪枝的目的和剪枝准则

• 掌握CART生成算法

作业：

【代码复现】自编程/调用sklearn实现朴素贝叶斯算法

【证明题】证明CART剪枝算法中，当α确定的情况下，存在唯一的最小子树Ta使得损失函数Cα（T）最小。

【代码复现】调用sklearn实现决策树算例，有余力者进行自编程实现

作业视频讲解：

K近邻算法自编程和sklearn实现

朴素贝叶斯自编程和sklearn实现

Week3

【视频课】第6章 逻辑斯谛回归与最大熵模型

• 掌握二项逻辑斯谛和多项逻辑斯谛模型的模型形式和似然函数

• 掌握二项逻辑斯谛求解中的梯度下降法

• 理解最大熵模型的思想，了解拉格朗日对偶性

• 理解最大熵模型中的改进的迭代尺度算法

【视频课】第7章 支持向量机

• 理解线性可分支持向量机硬间隔最大化的思想、对应的优化问题、对偶问题和相应算法

• 理解硬间隔最大化解的存在唯一性

• 理解线性支持向量机软间隔最大化的思想、对应的优化问题、对偶问题和相应算法

• 了解核函数在非线性支持向量机中的应用和对应的算法

• 了解序列最小最优化算法的基本思想

作业：

【代码复现】自编程/调用sklearn实现逻辑斯缔回归模型，尝试改变参数，选择不同算法

【代码复现】手算/自编程/调用sklearn完成习题7.2，求线性可分支持向量机的最大间隔分离超平面和分类决策函数

作业视频讲解：

决策树自编程和sklearn实现

逻辑斯蒂回归自编程和sklearn实现

Week4

【视频课】第8章 提升方法

• 掌握AdaBoost算法的求解过程

• 理解AdaBoost算法的训练误差

• 理解AdaBoost算法是前向分步算法的一个特例

• 掌握回归问题的提升树算法

【视频课】第9章 EM算法及推广

• 通过例题9.1掌握EM算法E步和M步的求解过程

• 了解EM算法求解如何用从最大化观测数据似然函数导出

• 掌握高斯混合模型如何用EM算法估计参数

作业：

【代码复现】自编程/调用sklearn对提升方法例题8.1进行实现

【代码复现】自编程求解两分量高斯混合模型的参数

作业视频讲解：

支持向量机算例自编程和sklearn实现

提升方法算例的自编程和sklearn实现

Week5

【视频课】第10章 隐马尔科夫模型

• 了解隐马尔科夫模型的三要素和三个基本问题

• 通过例题10.2，掌握隐马尔可夫模型概率计算中的向前算法

• 理解隐马尔科夫模型参数的非监督学习算法

• 通过例题10.3，理解维特比算法

【视频课】第11章 条件随机场

• 理解概率无向图

• 通过例题11.1和例题11.2，掌握线性链条件随机场模型参数形式和矩阵形式

• 掌握条件概率和期望的前向-后向算法

• 掌握改进的迭代尺度法和拟牛顿法优化的目标函数

• 通过例题11.3，掌握预测的维特比算法

作业：

【代码复现】自编程实现隐马尔可夫模型的前向、后向和维特比算法

【代码复现】自编程实现条件随机场习题11.4

作业视频讲解：

用EM算法自编程估计两分量高斯混合模型的参数

自编程实现隐马尔可夫模型的前向、后向和维特比算法

自编程实现条件随机场习题11.4

Week6

【视频课】第13章 无监督学习概论

• 理解无监督学习基本原理

• 理解机器学习三要素

• 熟悉无监督学习方法

【视频课】第14章 聚类方法

• 理解聚类的基本概念：相似度或距离、类或簇、类与类之间的距离

• 掌握层次聚类方法

• 掌握k均值聚类的模型、策略、算法和算法特性

【视频课】第15章 奇异值分解

• 掌握奇异值分解的定义与性质

• 掌握奇异值分解的计算步骤

• 熟悉奇异值分解与矩阵近似

作业：

【推导】推导由类与簇的第一个定义得出其他三个定义

【思考题】思考k均值聚类与高斯混合模型加EM算法的异同点？

【代码复现】自编程实现一个k均值聚类案例

【思考题】思考矩阵的奇异值分解与对称矩阵的对角化的异同点？

【代码复现】自编程矩阵的奇异值分解

作业视频讲解：

几类典型的聚类分析方法（系统聚类法、重心法等）

k均值聚类案例的自编程实现

证明任何一个秩为1的矩阵可写成两个向量的外积形式

Week7

【视频课】第16章 主成分分析

• 理解总体主成分分析的定义与性质

• 掌握求解总体主成分的基本定理与运用

• 理解样本主成分分析的定义与性质

• 掌握相关矩阵的特征值分解算法

• 掌握数据矩阵的奇异值分解算法

【视频课】第17章 潜在语义分析

• 理解单向量空间与话题向量空间

• 掌握潜在语义分析算法-矩阵奇异值分解算法

• 掌握非负定矩阵分解算法

• 了解非负定矩阵分解的形式

作业：

【代码复现】自编程实现主成分分析案例

【证明题】证明样本协方差矩阵S是总体协方差矩阵的无偏估计

【代码复现】自编程实现潜在语义分析的奇异值分解法和非负定矩阵分解法

作业视频讲解：

潜在语义分析自编程实现

主成分分析自编程实现

Week8

【视频课】第18章 概率潜在语义分析

• 了解概率潜在语义分析模型的基本想法

• 掌握概率潜在语义分析模型的生成模型、共线模型

• 掌握概率潜在语义分析模型的参数和几何解释

• 掌握概率潜在语义分析运用生成模型学习的EM算法

【视频课】第19章 马尔科夫链蒙特卡罗法

• 理解蒙特卡罗法的随机抽样、数学期望估计和积分计算步骤

• 理解马尔科夫链的基本定义、离散状态与连续状态、基本性质

• 熟悉马尔科夫链蒙特卡罗法的基本想法和实现步骤

• 掌握Metropolis-Hastings算法基本原理与单分量Metropolis-Hastings算法

• 熟悉吉布斯抽样基本原理与算法并进行抽样计算

作业：

【证明题】证明如果马尔科夫链是不可约的，且有一个状态是非周期的，则其他所有状态也是非周期的。

【代码复现】自编程实现马尔科夫链，尝试改变参数，选择不同状态转移矩阵

【代码复现】自编程实现习题18.3潜在语义分析

作业视频讲解：

概率潜在语义分析自编程实现

马尔科夫链自编程实现

证明可逆马尔科夫链一定是不可约的

Week9

【视频课】第20章 潜在狄利克雷分配

• 理解狄利克雷分布的定义与共轭先验

• 掌握潜在狄利克雷分配模型的基本定义、概率图模型

• 理解潜在狄利克雷分配模型中随机变量序列的可交换性

• 熟悉LDA吉布斯抽样算法的基本想法、主要部分和后处理

• 理解LDA的变分推理过程

• 掌握LDA的变分EM算法的基本结构与推导步骤

作业：

【思考题】LDA的吉布斯抽样算法、变分EM算法中利用到狄利克雷分布的部分是哪些？

【证明题】推导狄利克雷分布数学期望公式

【代码复现】自编程针对17.2.2文本案例，使用LDA模型进行话题分析

作业视频讲解：

LDA模型话题分析自编程实现

LDA的吉布斯抽样算法的变分EM算法的Python实现

Week10

【视频课】第21章 PageRank算法

• 理解有向图和随机游走模型的基本想法

• 理解PageRank的基本定义和一般定义

• 掌握PageRank的计算-迭代算法、幂法和代数算法

【视频课】第22章 无监督学习方法总结

• 熟悉各无监督学习方法的关系和特点

• 熟悉基础机器学习方法

• 熟悉话题模型之间的关系和特点

作业：

【证明题】假设方阵A是随机矩阵，即其每个元素非负，每列元素之和为1，证明A的k次方仍是随机矩阵，其中k是自然数

【代码复现】自编程/调用Python验证习题21.2，以不同的初始分布向量进行迭代，仍得到同样的极限向量R

【证明题】PageRank 一般定义中的马尔科夫链具有平稳分布

作业视频讲解：

证明随机矩阵的最大特征值为1

PageRank算法自编程和Python实现

最后一次98，下期即将涨价为198元！