专栏名称: 知社学术圈
海归学者发起的公益学术交流平台,旨在分享学术信息,整合学术资源,加强学术交流,促进学术进步
目录
相关文章推荐
曹将  ·  2025年每日计划模板,开工就用上! ·  昨天  
移民(微博搜索)  ·  移民(微博搜索)-20250207-3 ·  昨天  
北美留学生观察  ·  想拥有一张真·娃娃脸吗?这个面霜是关键 ·  2 天前  
北美留学生观察  ·  北美留学生注意,四大病毒席卷美国:流感、新冠 ... ·  3 天前  
51好读  ›  专栏  ›  知社学术圈

优化算法:从手工定制迈向自动化设计 | NSR综述“Learn to Optimize”

知社学术圈  · 公众号  ·  · 2024-05-20 11:29

正文

海归学者发起的公益学术平台

分享信息,整合资源

交流学术,偶尔风月




南方科技大学 唐珂 教授、香港岭南大学 姚新 教授以“学习优化”(Learn to Optimize, L2O)为题在《国家科学评论》( National Science Review , NSR)发表综述文章,对“优化算法自动设计”领域的研究进行了系统的归纳和总结,该文将收录于NSR“机器学习自动化”专题。




基于L2O的算法自动设计方法

优化问题的求解是计算机科学、运筹学等领域的核心研究主题之一,也是人工智能的基石。由于在理论上不可能存在对任意问题均性能最优的优化算法,因此新问题的涌现必然伴随着对新型优化算法的需求,这一过程永无止境。

长期以来,人们普遍认为优化算法的设计是高度依赖人类智力的一项任务,需要针对具体问题进行定制化设计。 然而,随着各行业对人工智能需求的不断扩大,新问题不断快速涌现,且问题复杂性显著增加,这种高人力成本的、手工定制的算法设计模式正面临巨大困境。如果机器能以某种方式自动或半自动地设计优化算法,不仅将极大缓解这一局面,还将显著拓展人工智能的边界。

近年来,已有大量研究围绕“优化算法自动设计”这一主题开展,逐渐形成了一套类似于机器学习的新型方法论,即以大量优化问题实例为输入,尝试在某个参数空间(甚至代码空间)训练具备泛化能力的优化算法。

在SAT、机器学习、计算机视觉、对抗样本生成等领域的研究结果表明,这一新模式所自动/半自动设计的优化算法,性能相当于甚至超越了人工设计算法的性能,标志着 优化算法设计这一领域可能已迈入了“机器换人”的前夜。

在这篇综述文章中 ,作者将上述方向的研究进行了系统归纳和总结,探讨了各类训练方法、数学理论进展、算法泛化性能的评估与提升手段、以及成功的应用案例等。作者还进一步对L2O的下一步发展进行了展望和探讨,例如,以L2O为核心手段设计基座优化算法(优化大模型)的可能路径,为该领域的未来发展提供了重要参考。

该工作得到了国家重点研发计划、国家自然科学基金、广东省创新创业团队等项目的支持。


点击“ 阅读原文 ”阅读原文。

扩展阅读







请到「今天看啥」查看全文