NSR专题：机器学习自动化（特邀编辑：徐宗本、周志华、朱文武）

知社学术圈 · 公众号 · · 2024-09-19 11:29

正文

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

《国家科学评论》（ National Science Review ，NSR）今年第8期出版了 “机器学习自动化”专题 （Special Topic: Machine Learning Automation），专题特邀编辑为： 西安交通大学徐宗本院士 、 南京大学周志华教授 ，以及 清华大学朱文武教授 。本专题共收录9篇文章，包含1篇Editorial、2篇Research Highlight、4篇Perspective和2篇Review，展示了该领域的最新进展，并讨论发展方向。

https://academic.oup.com/nsr/issue/11/8

专题编者按

机器学习自动化

徐宗本（西安交通大学）、周志华（南京大学）、朱文武（清华大学）

随着大数据和大模型技术的迅猛发展，机器学习学科已经进入了一个前所未有的黄金时代。这一时代的典型特点是机器学习在各个领域不断涌现新型的技术方法，包括数据利用、网络架构开发、损失函数设置和算法创新等。这些进步使得机器学习的应用有效扩展到不同领域，如自动驾驶、艺术创作、科学研究等。尽管如此，但配置和部署机器学习系统的复杂性也随之不断增加，大大提升了其有效应用的困难程度，为一般用户使用机器学习算法带来了巨大的挑战。

机器学习自动化（Machine Learning Automation, MLA） 是应对上述挑战的一个重要研究方向。其主要目的是提高机器学习的适应性和效率，特别是对于动态变化的开放环境以及不同的任务，并有望以最小的成本设计出有效的算法。近年来，这一领域吸引了很多研究关注，推动了一系列兼具创新性与实用性的解决方案的出现。

本期NSR专题致力于展示机器学习自动化领域的前沿进展，并为这一重要领域的未来探索提供参考。本专题共收录8篇文章，包括研究亮点（Research Highlight）2篇、观点文章（Perspective）4篇，以及综述文章（Review）2篇。

两篇Research Highlight文章分别介绍了两种最近发展的MLA方法： 开放环境机器学习（OpenML） 和 模拟学习方法论（SLeM） 。它们分别适用于处理开放环境中和动态变化下的任务。第一篇文章中，澳大利亚迪肯大学李罡教授和印度韦洛尔技术大学 Aswani Kumar Cherukuri 教授介绍了OpenML的主要思想及其对鲁棒人工智能的内在贡献。第二篇文章中，北京大学姚方教授介绍了SLeM超越当前机器学习框架的任务泛化能力，并主要强调了其在数据层面的泛化能力。

四篇Perspective文章中， 徐宗本等 全面介绍了 SLeM 的框架、理论、算法和应用，并特别介绍了基于该框架构建的一些MLA实现算法，如数据自动选择、模型自动调整、损失自动设置、算法自动设计等，展示了SLeM对提升机器学习在实际数据和任务上应用效果的潜在应用价值。大连理工大学 刘日升 和北京大学 林宙辰 展示了一项有趣的研究，通过利用 双层优化 策略，从而能够在统一优化的角度下对不同类型的MLA任务进行统一建模，这一思想有望为解决一般MLA问题提供优化工具。清华大学朱军教授介绍了用于模拟连续域数据分布，并为某些学习任务自动生成新样本的 扩散模型 ，并强调了扩散模型的训练稳定性和强大的模型拟合能力。清华大学黄高则对 动态网络 进行了简要介绍。与在推理过程中依赖固定计算图和静态参数的传统深度学习模型不同，动态网络可以根据变化的输入动态调整其架构和参数。这种灵活性在准确性、计算效率、适应性和其他关键性能指标方面具有显著优势。

两篇Review文章中，南方科技大学唐珂和香港岭南大学姚新概述了一系列近期研究，这些研究利用来自特定类别优化问题的一组训练示例来归纳共享知识，从而用以减轻繁重的算法配置过程。这篇综述在 “学习优化” （Learn to Optimize）框架内展开讨论，强调了该领域的关键概念和重大挑战。清华大学的王鑫和 朱文武 综述了 神经网络架构搜索 方面（neural architecture search, NAS）的最新进展、实际应用、工具方法、测评基准和未来方向。这一研究方向有利于系统地探索复杂神经网络架构空间，以最少的手动干预识别最佳的神经网络配置方案。

虽然该专题无法涵盖MLA领域的所有方法和进展，但它重点展示了该领域一些最具代表性的最新成果。我们希望这些文章能够激发进一步的研究，并鼓励更多的研究人员探索这一领域，从而进一步推动MLA研究的进展。

专题篇目

GUEST EDITORIAL

Machine learning automation

机器学习自动化

作者：徐宗本（西安交通大学）、周志华（南京大学）、朱文武（清华大学）

RESEARCH HIGHLIGHT

Embrace Open-environment Machine Learning for Robust AI

拥抱开放环境机器学习，实现稳健人工智能

通讯作者：李罡（澳大利亚迪肯大学）

https://doi.org/10.1093/nsr/nwad300

本文对南京大学周志华教授NSR综述文章“开放环境机器学习”（OpenML）进行推介。作者深入解析了新的OpenML范式，揭示了其在动态环境中实现稳健人工智能的变革性意义。OpenML可以推动自动化机器学习及通用人工智能的发展。

A Learning Theory of Meta Learning

元学习的学习理论

作者：姚方（北京大学）

https://doi.org/10.1093/nsr/nwae133

本文概述了元学习领域的最新理论进展，尤其介绍了模拟学习方法论（Simulate Learning Methodology，SLeM）框架。作者认为，SLeM有望像SRM（结构风险最小化原理）推动传统机器学习发展一样，为元学习的发展提供有力支持。

PERSPECTIVE

Simulating learning methodology (SLeM): An approach to machine learning automation

模拟学习方法论：机器学习自动化的一种实现方法

通讯作者：徐宗本、束俊、孟德宇（西安交通大学）

https://doi.org/10.1093/nsr/nwae277

现有的机器学习算法仍未摆脱依赖人工预设的限制，囿于“人工”决定“智能”的现状。针对这一挑战，本论文介绍了基于“模拟学习方法论”（SLeM）的机器学习自动化实现途径，阐述了SLeM的数学框架、实现方法，以及基于该框架构建的机器学习自动化算法簇及相关应用场景。所推荐的SLeM框架有望扩展机器学习的有效应用边界，对理解大模型的跨任务泛化提供了有趣的新思路。