你应该了解的机器学习 #资源

电子书支援计划

一个以数字资源为核心的自我学习社群

机器学习 是 人工智能 的一个分支。人工智能的研究是从以“ 推理 ”为重点到以“ 知识 ”为重点，再到以“ 学习 ”为重点，一条自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域 交叉学科 ，涉及 概率论 、 统计学 、 逼近论 、 凸分析 、 计算复杂性理论 等多门学科。机器学习理论主要是设计和分析一些让 计算机 可以自动“ 学习 ”的 算法 。机器学习算法是一类从 数据 中自动分析获得 规律 ，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与 推断统计学 联系尤为密切，也被称为 统计学习理论 。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多 推论 问题属于 无程序可循难度 ，所以部分的机器学习研究是开发容易处理的近似算法。

机器学习已广泛应用于 数据挖掘 、 计算机视觉 、 自然语言处理 、 生物特征识别 、 搜索引擎 、 医学诊断 、检测 信用卡欺诈 、 证券市场 分析、 DNA序列 测序、 语音 和 手写 识别、 战略游戏 和 机器人 等领域。

定义

机器学习有下面几种定义：

• 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

• 机器学习是对能通过经验自动改进的计算机算法的研究。

• 机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

分类

机器学习可以分成下面几种类别：

• 监督学习 从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括 回归分析 和 统计分类 。

监督学习和非监督学习的差别就是训练集目标是否人标注。他们都有训练集 且都有输入和输出

• 无监督学习 与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有 聚类 。

• 半监督学习 介于监督学习与无监督学习之间。

• 增强学习 通过观察来学习做成如何的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。

算法

具体的机器学习算法有：

• 构造 间隔理论 分布： 聚类分析 和 模式识别

• 人工神经网络

• 决策树

• 感知器

• 支持向量机

• 集成学习 AdaBoost

• 降维 与 度量学习

• 聚类

• 贝叶斯分类器

• 构造 条件概率 ： 回归分析 和 统计分类

• 高斯过程回归

• 线性判别分析

• 最近邻居法

• 径向基函数核

• 通过 再生模型 构造 概率密度函数 ：

• 最大期望算法

• 概率图模型 ：包括 贝叶斯网 和 Markov随机场

• Generative Topographic Mapping

• 近似推断技术：

• 马尔可夫链

• 蒙特卡罗方法

• 变分法

• 最优化 ：大多数以上方法，直接或者间接使用最优化算法。

参考文献

• Bishop, C. M. (1995). 《模式识别神经网络》，牛津大学出版社. ISBN 0-19-853864-2 .

• Bishop, C. M. (2006). 《模式识别与机器学习》，Springer. ISBN 978-0-387-31073-2 .

• Richard O. Duda, Peter E. Hart, David G. Stork (2001). 《模式分类》（第2版）, New York: Wiley. ISBN 0-471-05669-3 .

• MacKay, D. J. C. (2003). 《信息理论、推理和学习算法》