课程大纲
1
、机器学习的数学基础1 - 数学分析
机器学习的一般方法和横向比较
数学是有用的：以
SVD
为例
机器学习的角度看数学
复习数学分析
直观解释常数
e
导数
/
梯度
随机梯度下降
Taylor展式的落地应用
gini系数
凸函数
Jensen不等式
组合数与信息熵的关系
2
、机器学习的数学基础2 - 概率论与贝叶斯先验
概率论基础
古典概型
贝叶斯公式
先验分布
/
后验分布
/
共轭分布
常见概率分布
泊松分布和指数分布的物理意义
协方差
(
矩阵
)
和相关系数
独立和不相关
大数定律和中心极限定理的实践意义
深刻理解最大似然估计MLE和最大后验估计MAP
过拟合的数学原理与解决方案
3、机器学习的数学基础3 - 矩阵和线性代数
线性代数在数学科学中的地位
马尔科夫模型
矩阵乘法的直观表达
状态转移矩阵
矩阵和向量组
特征向量的思考和实践计算
QR分解
对称阵、正交阵、正定阵
数据白化及其应用
向量对向量求导
标量对向量求导
标量对矩阵求导
4
、机器学习的数学基础3 - 数理统计与参数估计
统计量
期望
/
方差
/
偏度
/
峰度
中心矩/原点矩
矩估计
深刻理解最大似然估计
过拟合的数学原理与解决方案
最大后验估计MAP
偏差方差二难
5、Python基础1 - Python及其数学库
解释器Python2.7与IDE：Anaconda/Pycharm
Python基础：列表/元组/字典/类/文件
Taylor展式的代码实现
numpy/scipy/matplotlib/panda的介绍和典型使用
多元高斯分布
泊松分布、幂律分布
典型图像处理
6、Python基础2 - 机器学习库
scikit-learn的介绍和典型使用
损失函数的绘制
多种数学曲线
多项式拟合
快速傅里叶变换FFT
奇异值分解SVD
Soble/Prewitt/Laplacian算子与卷积网络
卷积与(指数)移动平均线
股票数据分析
7、Python基础3 - 数据清洗和特征选择
实际生产问题中算法和特征的关系
股票数据的特征提取和应用
一致性检验
缺失数据的处理
环境数据异常检测和分析
模糊数据查询和数据校正方法、算法、应用
8、回归
线性回归
Logistic/Softmax回归
广义线性回归
L1/L2正则化
Ridge与LASSO
Elastic Net
梯度下降算法：BGD与SGD
特征选择与过拟合
Softmax回归的概念源头
最大熵模型
K-L散度
9、回归实践
机器学习sklearn库介绍
回归代码实现和调参
Ridge回归/LASSO/Elastic Net
Logistic/Softmax回归
广告投入与销售额回归分析
鸢尾花数据集的分类
回归代码实现和调参
交叉验证
数据可视化
10、决策树和随机森林
熵、联合熵、条件熵、KL散度、互信息
最大似然估计与最大熵模型
ID3、C4.5、CART详解
决策树的正则化
预剪枝和后剪枝
Bagging
随机森林
不平衡数据集的处理
利用随机森林做特征选择
使用随机森林计算样本相似度
11、随机森
林实践
随机森林与特征选择
决策树应用于回归
多标记的决策树回归
决策树和随机森林的可视化
葡萄酒数据集的决策树/随机森林分类
12、提升
提升为什么有效
Adaboost算法
加法模型与指数损失
梯度提升决策树GBDT
XGBoost算法详解
13、XGBoost实践
自己动手实现GBDT
XGBoost库介绍
Taylor展式与学习算法
KAGGLE简介
泰坦尼克乘客存活率估计
14、SVM
线性可分支持向量机
软间隔的改进
损失函数的理解
核函数的原理和选择
SMO算法
支持向量回归SVR
15、SVM实践
libSVM代码库介绍
原始数据和特征提取
调用开源库函数完成SVM
葡萄酒数据分类
数字图像的手写体识别
SVR用于时间序列曲线预测
SVM、Logistic回归、随机森林三者的横向比较
16、聚类
各种相似度度量及其相互关系
Jaccard相似度和准确率、召回率
Pearson相关系数与余弦相似度
K-means与K-Medoids及变种
AP算法(Sci07)/LPA算法及其应用
密度聚类DBSCAN/DensityPeak(Sci14)
谱聚类SC
聚类评价和结果指标
17、
聚类实
