本文主要介绍了阿里巴巴达摩院在数字化与人工智能领域的研究与应用。特别是其决策智能实验室在求解器、气象大模型、新能源预测和电力行业等方面的成果。文章提到了决策智能实验室自主研发求解器“敏迭”的成功案例,以及在新能源发电方面的突出进展。同时,也介绍了该实验室面临的挑战和对未来的展望。
实验室在求解器、气象大模型、新能源预测和电力行业等领域取得了显著进展,自主研发求解器“敏迭”已经取得商业成功。
团队通过不断学习和摸索,克服了技术上的难题,并在真实业务场景中实现了优秀表现。团队通过与行业内的合作,成功将求解器应用于电力、石化等行业。
实验室与电力公司合作,成功应用求解器和气象大模型,提高新能源发电的预测精度和电力系统的稳定性。实验室还针对行业专家的需求,提供了AI决策工具培训,并计划进一步拓展到其他行业。
实验室的目标是复刻专家智能,不仅在计算上找到最优解,还要在决策能力上接近甚至超越经验丰富的专家。实验室面临着跨行业合作、知识壁垒消解和技术创新等挑战。
撰文 | 张天祁
责编 | 苏惟楚
● ● ●
最近闭幕的联合国气候变化大会上,数字化与人工智能成为一个关键话题。
今年11月中下旬在阿塞拜疆举行的联合国气候变化大会,即《联合国气候变化框架公约》缔约方会议第二十九次会议(简称“COP29”),设立数字化主题日。中国多家研究机构和科技企业的研究人员,也带来了AI在助力应对气候变化方面的最新进展。
其中,阿里巴巴达摩院决策智能实验室资深算法专家孙亮,分享了AI驱动的天气预报和新能源预测应用。达摩院在“八观”气象大模型等基础上,推出可再生能源预测平台eForecaster。该技术已在中国某省电力调度中心成功应用,覆盖262座风电场和331座光伏电站,新能源发电功率和电力负荷预测的准确率分别提升至96%和98%以上,助力电网在遭遇剧烈天气变化时安全稳定运行。
而达摩院的新能源预测,今年7月已经入选联合国 AI for Good (人工智能向善) 平台的优秀案例。该平台由联合国旗下机构国际电信联盟(ITU) 发起和负责。[1]
达摩院的新能源预测入选联合国 AI for Good报告优秀案例。
在产业界,人工智能开始发挥越来越大的作用。例如,很多工厂、园区、商场都装了储能电站。那么,该在什么时候充电、什么时候放电,让这些大型“充电宝”利用峰谷电价差来省钱?
今年11月,国家电投集团综合智慧能源有限公司基于国家电投“天枢一号”智慧能源物联网平台和阿里巴巴达摩院自研的优化求解器“敏迭”(opt.aliyun.com),打造出国内首个面向工商业储能的优化求解子系统。该子系统可提供分钟级动态更新的智能充放电策略,帮助用户降低用电成本。 在一家工厂的实际案例中,项目综合收益最高提升30%。[2]
12月12日,工业和信息化部公示人工智能赋能新型工业化典型应用案例,达摩院自研求解器“敏迭”入选“装备产品方向”,“八观”气象大模型则入选了“技术底座方向”。
电力能源、石油化工、工业制造、电商、航空等诸多行业都有一些技术难题,基于求解器的决策智能都有着用武之地。这些行业规模巨大,像中国五大发电集团2023年电力业务收入就达1.58万亿。哪怕在效率方面只是带来些许提升,对资源也是极大的优化利用。
求解器又称“工业软件之芯”,数十年来一直由欧美企业主导。2017年年末,阿里巴巴达摩院组建决策智能实验室,一群科学家决心进入这个领域,研究一些“有意义的行业的重大问题”。不同于传统的AI技术,决策智能更注重模拟人类的思维过程,使机器能够像人一样进行判断、推理和决策。
这个团队中,有入选“全球Top1%高被引科学家”、唯一获得优化领域权威奖项Egon Balas奖的中国数学家,也有来自不同专业和领域的顶尖研究人员。
决策智能的一个基石是求解器。在这个领域,中国属于后进生。几年前,当达摩院决策智能实验室成立时,中国在求解器方面的进展只能说是刚刚起步。
而他们的竞争对手,是长期制霸全球市场的三家国外求解器巨头IBM CPLEX、GUROBI和FICO Xpress。中国使用求解器的场景,大部分都会选择购买这三家的产品。在经验上双方有着巨大的差距。
求解器是一种专门用于解决数学优化问题的程序。现代商业和工业中,从一家企业的生产规划、供应链优化、库存物流,到航运路线的设计,全国电网的输送安排等等,都离不开求解器的“解题”能力。
求解器不仅要求硬核的算法能力,更要求对各个实际场景有真正的了解。很多有效的算法,都是巨头们的算法专家年复一年摸爬滚打,在具体的问题和场景里磨出来的。一个好的商用求解器,至少有百万行量级的代码积累。
“现在主流的商用优化算法早就超出大学课本的范畴。想在这个领域立足,就必须掌握很多文献并不记载的技巧, 并且精准地判断什么情况下用什么技巧。一个成熟、全面的商用求解器, 往往凝结了几十位算法专家和软件工程师十几二十年的心血。”阿里巴巴达摩院决策智能实验室主任印卧涛在接受World Science Hill采访时说。[3]
看起来,求解器这个领域是最没有弯道超车可能的方向。但印卧涛2019年加入阿里后,就决定挑战商用求解器,而且是靠完全自主研发。他曾是加州大学洛杉矶分校数学系终身教授,还获得过世界华人数学家大会“晨兴应用数学金奖”等学术奖项。但在产业场景中推出求解器,是不一样的挑战。
团队成员回忆,进军求解器方向之初,全世界能做求解器的只有一百多人。达摩院决策智能实验室并未招募其中任何一位,而是组建一个全新的团队。这种做法无疑是把挑战难度升级到了困难模式,而在印卧涛看来,如果剑指新问题和新方法,是一条蜕变的必经之路。
“要想解决最好的问题,就不能只使用传统的方法。”印卧涛说,“传统求解器的遗产会限制我们在云上的开发。”
没有求解器基础,团队成员就先从网上的公开资料学起。至于各大商用求解器历代积累下来的特殊算法,团队成员只能通过不断地猜测再验证,最终形成自己的算法。这种没有任何取巧的方式,让这支新手组成的团队在不断的版本迭代中锻炼出了对算法的独到理解。
除了技术上的考虑,达摩院决策智能实验室研究员赵亮也表示,组建团队的另一个目标是人才培养。因此更希望挖掘有潜力的青年人才,而不是从有行业经验的从业人员中挖角。
与学术界背景齐整的研究团队相比,决策智能团队展现出一种更为“野生”的特质。团队的学科背景非常丰富,除了应用数学,还有电子电气、化学化工等专业,有学物理的,甚至还有学生物的。
这个“野生”的团队,在通往求解器的路上没少受挫、交学费。第一次把求解器放到国际数据集上试验时,三分之一的题目都比市面上的求解器慢了很多。在挑战高难的混合整数线性规划(MILP)问题时,也一度仅能追平最好的开源求解器。
但经过扎实的磨练,取得成绩的速度也是惊人的。2020年8月,达摩院自研求解器MindOpt首次发布,其单纯形法模块即获得国际权威性能评测Mittelmann榜单的第一。
到2023年10月,1.0版本的MindOpt求解器已能求解线性规划、混合整数规划、二次规划等主流问题类型。今年11月6日,在北京举行的达摩院决策智能实验室年度论坛暨产品发布会上,该求解器2.0版本正式命名“敏迭”(详见“阅读原文”链接),增加了对非线性规划(NLP)和混合整数二次约束规划(MIQCP)两类问题的支持,覆盖石油化工、生物制药等更多领域的需求。
图说:阿里达摩院敏迭优化求解器(opt.aliyun.com)
一款自研求解器,从零开始突破重重难关,打榜登顶掀翻外国巨头,这似乎已经是一个圆满的故事。可对于“敏迭”来说,这只是踏出了第一步,相当于是一款游戏打通了练习关,或者说是一款新车在试车道跑出亮眼的成绩。
就如印卧涛所说,赛道上开得快,不意味着日常适合代步。敏迭到底能够取得怎样的成就,还要看真实业务场景下的表现。
没办法,开发一款商用求解器的路就是这么难走。在智能决策领域,需要解决的现实问题和场景比单纯的计算困难与复杂许多。想要基于求解器开发出真正高效实用的方案,需要团队对各个行业和领域知识的理解,还需要团队对行业各环节的决策流程做到了如指掌。
团队在学术界的辉煌履历,敏迭在榜单上的优秀成绩,能够换来业内的尊重,但不一定能换来客户的买单。
在电商零售、云计算、工业制造等领域,这个团队开始试水。例如,在航空业,他们的求解器可以支持航班编排,将一架飞机的日利用率从10.9小时提升到12.8小时。
更值得一提的是,达摩院决策智能团队开始与电力行业深入合作。这是反复权衡的成果。中国的发电总量和电网规模位居世界第一,而风电、光伏等新能源的比重越来越大。为了解决绿色能源大规模并网难、消纳率低的问题,智能电网很多场景都需要智能决策助力。
从落地难度看,电网属于数字化程度高的行业,难度相对较小。从目标上讲,电力行业不像其他行业那样存在很多零和的竞争,而是为了提升整个电力系统的有效性,因此也乐于分享一些行业知识。“电力行业壁垒虽然高,但他们愿意分享模型”。印卧涛说。
然而,刚和电力行业接触,决策智能团队就撞上了行业壁垒。在行内专家看来,他们对行业的复杂性一无所知。
团队成员回忆,进入电力行业之初,行业资深专家普遍的看法是,他们在这个行业里已经工作相当长的时间,知道哪些点可以改变,哪些点很难改变,有很多的经验积累。而外来的团队会不懂行,会把问题想简单。
想要破冰,就要说服行业内的人士,决策智能团队必须融合行业和领域的具体知识,给出比传统人工方法或者行业内专用模型更优秀的答案。
这比算法和软件的研发更困难。“对我们来说,最困难的还是和领域知识的适配。了解这个领域的数据意义与分布,以及使用者习惯和期待。”印卧涛说。
应对这个难题,决策智能团队还是先从最见成效的竞赛入手。团队从2019年启动求解器研发,2021年就在国家电网调控人工智能竞赛上获优秀团队、强化学习调度冠军、新能源功率预测亚军三项奖励。按照印卧涛的说法,这次国网比赛的成绩,相当于给了团队一张“小小的入场券”。
初步打响行业内的名声后,决策智能团队并未急于采取“推销”的姿态,号称自己的产品能够解决过去行业内存在的一些问题。而是开放求解器,把领域内的专家请进来,并且与行业专家一块修改求解器,打造一种共创的生态。
在共创合作的过程中,团队开放坦诚的态度,也让行内专家愿意分享行业数据和模型,以及管理和决策流程上的非技术因素,甚至是亲身经历积累下的行业秘诀(Know-How)。到了这个阶段,决策智能团队的成员才真正感到,他们真正对行业“做进去了”。
2023年12月,工信部产业发展促进中心等部门举办的首届能源电子产业创新大赛上,敏迭获得电力用自研求解器第一名。同时,敏迭技术开放支持的团队获得二等奖。在第5届南方电网AI大赛中,使用敏迭开放平台(MindOpt Studio)的参赛队伍占据前10名中的8席并包揽冠亚军。
如今,敏迭已经是国内电力行业生态的一部分。团队把技术向学校、研究院开放,打造了敏迭开放平台。作为一个研发机构,达摩院也和电力行业共同承担国家重点项目,以及一些工程落地中的技改项目。
当然,对于更多有意愿申请该校的中国学生来说,存在更大不确定性的地方,在于是否其他瑞士高校-乃至欧洲其他国家的高校-会跟风效仿作为标杆的苏黎世联邦理工学院的措施。
在与电力系统合作的过程中,决策智能实验室在新能源发电相关的项目进展最为亮眼。达摩院构建出“绿色能源AI”方案,已经与国家电网、南方电网等企业合作落地多个项目。
山东是中国第一光伏大省,德州的光伏占比在山东也排名前列。光伏发电高峰期占当地电网负荷一半以上,其中主力包括分布式光伏。简单来说,就是通过装在各家屋顶上的光伏发电,自用同时把余量卖给电网。这对能源是更充分的利用,对电网预测来说,却是一道更难的计算题。
新能源发电功率和负荷受天气左右,特别是极端天气。达摩院决策智能实验室新发布的“八观”气象大模型,提供了每小时更新一次的高精度区域天气预报,今年8月在剧烈天气变化情况下,推动山东电网的新能源发电功率、电力负荷预测准确率分别提升至96.5%和98.1%,从而有效帮助电力系统作出及时、准确的调度决策。[4]
危机出现时,AI和求解器结合的解决方案也能更好地维护电力系统安全运转。达摩院决策智能实验室研究员王孟昌介绍,当新能源的波动幅度超出预期时,会引起断面潮流越限,即特定输电线路的电力流动超过安全运行的允许值。这种情况下,要保证安全对计算效率的要求非常高,需要在秒级时间内给出优化结果。
王孟昌解释,AI在这种计算中能够发挥的优势是,基于历史数据,它能快速给出一个有八成或者九成可靠的结果。而更精确的计算,可以留给求解器去处理。决策智能团队结合AI强化学习和求解器的混合智能系统,实现了区域电网10毫秒级的统一决策,生成方案的质量也可达到行业资深专家的水平。
除了在电力行业继续探索,团队的服务目标还包括石化等行业。根据中国石油和化学工业联合会的数据,2023年中国石化行业营业收入15.95万亿元。这个万亿级的产业,对决策智能同样有很多需求。
能否吸取首次与行业合作的成功经验,并顺利应用到其他领域,对于一款求解器的商业生命而言,无疑是一次惊险的跳跃,对团队来说,同样是一次关键考验。
今年6月在北京举行的一场泛智能决策技术研讨会上,许多石化行业专家与达摩院决策智能团队分享了他们的需求和困惑。困惑之一是如何将求解器与领域知识有效结合,相比电力行业,石化行业领域知识的复杂度可以说有增无减。
一位石化行业人士举例,为了完成行业内复杂的建模任务,团队里的博士可能不得不返回大学重读一个相关学位。石化领域涉及很多高分子材料方面的知识,仅仅是把需求向建模团队讲清楚,都成了极端困难的任务。因此,她希望达摩院能够提供更多针对一线石化工程师的AI决策工具培训,消解这道知识壁垒。
另一位石化行业资深专家则提到已有求解工具面对真实业务时的不足。“坦率地说,现在它们推荐的方案大概率不是真实业务上需要的情况,不是我们想要的答案。如果能把现有的学科知识沉淀下来形成知识库,加入我们的分析方案会好很多”。
而石化行业专家在讨论会更多提到的,是他们在具体场景中遇到的各种难题。
“他们竟然提出了有实践背景的混合整数非线性优化问题,这是最难的一类问题。另外,在勘探环节需要将地下结构进行离散化处理,随着离散化过程中使用的网格节点增多,变量的规模能够达到千万级别。”印卧涛说。
面对如此复杂的新领域,身为“外行”的达摩院决策智能团队能够复刻在电力行业成功的经验,有所作为吗?
决策智能团队觉得完全值得去尝试,他们再次跨界的勇气来自先前在新能源发电领域的经验与积累。而且,现在无论是电力集团还是石化行业,都在强调新能源的重要性,中石油、中石化等同时也是新能源提供商。
团队研发的“八观”气象大模型,也同样可以应用于石油石化行业。例如,燃气供应问题明显受到需求的影响,需求又很大程度上受天气影响。同样,石化行业常见的船期调度问题中,船只靠港情况也与需求预测和天气预报密切相关。
对于达摩院决策智能团队来说,求解器是一个很好的开始,但也只是迈向决策智能的第一步。
达摩院决策智能实验室高级产品专家杨键烽说,有的客户对求解器期望过高,甚至希望求解器能解决任何优化问题,但在真实世界处理一个问题步骤都非常复杂,首先需要对知识有充分理解,并将问题转化为数学模型,最后才是由求解器进行求解。求解器只是整个链路中的最后一个环节。
“如果在特定行业场景里没有一个能把整个链路穿起来的人,就算拿来世界上最好的求解器,依旧没法解决问题,甚至会得出求解器难用这样的结论。”杨键烽说。
而现在研究智能的各学科中,能够提供的往往是一些点状的能力,包括预测和求解计算。这方面,近十几二十年来的进展实际上都很缓慢。
在决策中主导这些链路的,往往是各行业的专家。他们对场景有足够强的认知,加上清晰的决策链路和思维模式,对于特定问题的处理往往超过计算机的效果。
杨键烽介绍,和电力行业合作时,团队电气背景的同事也发挥了关键作用。他们不仅设计特定的解决方案,还参与到求解器的工程构建中。
然而,这样既懂数学又懂领域知识的交叉背景人才非常稀缺。决策智能团队希望基于过去项目的经验,把人才的能力拆成知识库和决策能力两方面,用一套方案代替具体的人才。
换句话说,达摩院决策智能实验室的目标,就是“复刻”这些专家。决策智能不仅意味着模仿人类的思考方式,更要在决策能力上接近在拥有丰富实践经验的专家,甚至比他们更快更准。在决策智能团队看来,这是从数学求解器、信息大模型,到通用人工智能(AGI)之间的一个“中期目标”。
求解器更多是一个计算工具,追求在划定范围内找到最优解。而决策智能实验室想要打造的类专家智能需要更有逻辑,不但有逻辑能力解决实际问题,而且能够自己学习。这种学习能力可能只需要很少的样本,也就是所谓一点即通的能力。
“这是两个范畴下的工具,一个是已经商业化发展几十年,传统的优化运筹公司都应该具备的能力。另一个甚至没有清晰的定义。前者更多是去适配去调优,后者是真的创新突破。”团队成员如此描绘他们的远期目标。
这个目标或许还比较遥远。在当下,阿里达摩院首先希望能够在具体的场景上定义和解决几个具体的问题。
至于更远的未来,印卧涛坦言,自己也很难确定决策智能在几年后具体会发展成什么形态。
在推出产品和应用的同时,达摩院决策智能实验室团队也在聚焦前沿方向做研究。五年来,团队在行业顶会顶刊已发表论文100多篇。
相比竞争对手,决策智能实验室也有着独到的优势。国外的运筹优化大多是单独领域的传统科技公司,没有一家是云计算公司。而达摩院背靠阿里的云计算生态,有着更多的决策场景和创新空间,在海量算力支持下,可以将AI与运筹优化结合,能够更快更好地解决各行业日益复杂的决策问题。
另一方面,通义千问大模型带来了开源的生态,能够生长出多种针对不同问题的模型并在开源社区得到验证。团队对大模型的熟悉,甚至在大模型训练工程中的深度参与,也使得他们能够将算力和模型的能力与场景结合。
“决策智能实验室之所以做这件事情,不是去赶时代潮流,是真的有很大的优势。”印卧涛说。
参考文献:(上下滑动可浏览)
1.AI for Good—Innovate for Impact, the International Telecommunication Union(ITU), 2024年7月 2. 达摩院敏迭求解器落地国家电投“智慧大脑”,中国电力报,2024年11月3.独家专访阿里巴巴达摩院决策智能实验室负责人,前UCLA数学系终身教授印卧涛博士. World Science Hill, 2024年3月4.达摩院发布八观气象大模型:精度达1小时1公里,率先落地新能源场景 新华网 2024年11月
亲爱的读者们,不星标《知识分子》公众号,会错过每日科学新知!星标《知识分子》,紧跟前沿科学,一起探索科学的奥秘吧!
请戳上图卡片添加星标