知乎 Live | 从主成分分析到自动编码器

正文

最近的一个月里我参加了很多活动，有机会我准备写几篇文章来详细说说这一个月的奇遇。

首先是在六月底七月初在法国 Cargese 举办的理论生物物理暑期学校。奇妙的是，我发现现在的理论生物物理学家都开始转向了机器学习相关的领域：有的科学家用增强学习的方式理解细菌的趋化行为；有的科学家用张量网络识别手写数字，用统计物理尤其是自旋玻璃的一些理论来理解深度学习中的 Dropout 等问题；也有的科学家开始与正则化（regularization）有关的 Lagrangian 乘子在某些具体问题中的实际物理意义……更不必说那些传统上做统计推断的统计物理学家了。机器学习不但在应用领域带来了革命性的变化，在理论问题的研究方面也引起了广泛的研究兴趣。

当我从法国回到北京之后，因为各种机缘巧合，我有幸被邀请去给一群工程师们介绍深度学习，我当时挑了一个比较好讲的内容——即自动编码器（autoencoder）来进行介绍。当时讲完之后似乎大家的评价还是不错的，所以我也希望把这部分介绍的内容放在互联网上跟各位朋友分享，于是决定在本周日（2017年07月30日）北京时间21:00给在知乎 Live 介绍有关的内容，本次 知乎 Live 的标题定为「从主成分分析到自动编码器」。Live 结束后，我会在本页面更新有关的总结。

数据降维是在科学研究和工程实践中经常遇到的基本问题。将高维的原始数据投影到较为低维的曲面上可以帮助我们更好地过滤到噪声信号，并且无监督地提取出数据内部更具普适性的隐藏特征。数据降维还可以帮助我们更好地可视化已有的数据，帮助我们提出更具解释力的模型。在本次 Live 中，我们将主要围绕主成分分析和自动编码器算法及其各种变形展开，希望可以用较为直观的图像帮助听众建立起各类数据降维的算法基本思路的理解。

本次 知乎 Live 主要包括以下内容：

• 背景介绍：数据降维及相关问题
• 主成分分析（PCA）方法：基本思路和延伸讨论
• 自动编码器（Autoencoder）：基本结构和工作原理
• 自动编码器几种常见变形（DAE, CAE, Sparse AE, Stacked AE, VAE, etc.）：基本思路和延伸讨论
• 应用案例

欢迎各位朋友参加！

附上此前几次 Live 的入口，也欢迎各位新老朋友报名参加。另开放 2016 年我的所有 Live 的 PPT 材料（链接: https://pan.baidu.com/s/1nuCeIvR 密码: xtfs），欢迎各位朋友批评指正。

• 数据驱动的集体行为研究
• 复杂系统的简化模型（1）：无处不在的「随机行走」
• 复杂系统的简化模型（2）：用「伊辛模型」理解复杂系统
• 复杂系统的简化模型（3）：「复杂网络」视角下的日常生活
• 复杂系统的简化模型（4）：沙堆模型：临界与智能
• 复杂系统的简化模型（5）：元胞自动机与「混沌边缘」
• 复杂系统的简化模型（6）：理解网络的一种新视角
• 复杂系统的简化模型（7）：熵：时间、信息和生命
• 复杂系统的简化模型（8）：集体行为的数学模型
• 复杂系统的简化模型（9）：重整化：从尺度变换到特征提取
• 复杂系统的简化模型（10）：洞察突变发生前的预警信号
• 复杂系统的简化模型（11）：观念扩散和传播的统计模型
• 复杂系统的简化模型（12）：「反馈」与复杂系统的动力学
• 复杂系统的简化模型（13）：怎样在囚徒博弈中控制对手？
• 学术视角重读凯文·凯利《失控》
• 解读精彩丰富的《混沌》现象