离春节越来越近了,打工人身在工位,心里却早已经开始盘算起过年的种种物事:有人向微信群里发抢票链接,有人在购物软件里买好年货,也有人去超市采购,听着春节限定版刘德华的《恭喜发财》BGM……
最近几年,除了常规的过年仪式,人们还开始用更为智能化的方式参与这一节日。例如,在智能体里,你可以定制一份个性化的祝福语,终于不用再绞尽脑汁后,想出来一句同质化的春节问候。近期,百度文心智能体平台以创新科技为纽带,为全国民众带来了一场年味十足的新春盛宴。由开发者打造的超拟人的34 个各省级行政区旅游智能体上线,全方位满足用户吃喝玩乐、旅游打卡等需求,还能一键「打电话」开启沉浸式对话,更有地道乡音,解锁年味超浓的新春佳节。
由开发者打造的超拟人的34 个各省级行政区旅游智能体上线。
这样的例子不胜枚举,充满科技意味的它们早就成了人们的日常。作为用户,你我享受着快速而便捷的智能工具。很多人常常会感叹,创造出这些功能的人,真正做到了让科技改变生活。
平日,我们鲜少关注这些背后的工作者。在这个春节到来前,我们不妨走入幕后,听一听他们的故事。
在科技人的价值观里,每一项新技术的出现及规模化应用,都能够对社会各个方面产生重大影响。他们的深耕,最终目的都是让生活更便捷、更美好,无一例外。
2009年,百度创始人李彦宏提出了“框计算”的概念。“在搜索框内输入你的任何需求,系统都能够响应。比如说你搜天气,系统会结合你的定位,直接告诉你所在位置的天气状况。这极大地方便了人们对知识和信息的获取。到现在,它已经是搜索引擎的标配了。”
“框计算”,在搜索框内输入你的任何需求,系统都能够响应。(图/图虫创意)
黄际洲受此触动很深,在当年果断选择了面试百度,并进入了彼时新成立的部门自然语言处理部。他所负责的工作,正是从事框计算查询理解相关技术工作。在他看来,自己开发的技术能应用于百度每天数十亿次的搜索请求中,这正是理想照进现实的生动写照。
十多年的百度研发工作中,他相继在三个不同的业务方向上轮岗过:在搜索与推荐业务方面,他和团队通过查询理解、语义检索、多任务学习、个性化推荐等技术,持续优化用户的搜索与信息推荐体验。在地图业务方面,他主要负责利用人工智能技术(例如地理—语言大模型、高精地图生成大模型、时空智能计算等),推动业务的创新和发展,实现更加精确、实时、智能的地图服务。而在自动驾驶领域,则是先后负责端到端自动驾驶大模型、基于VLM的自动驾驶模型两项创新技术的研发及应用探索。
“不同业务的轮岗和磨练,让我获得了更高的技术视野,也增强了我很多非技术方面的能力,例如创新突破、业务判断与决策、领导力、项目管理等。经过不同业务的多次挑战与突破,我更加深刻地认识到,技术创新是提升产品核心竞争力的关键,而只有通过规模化应用,才能让技术真正发挥其应有的价值。”
在这些轮岗经历中,他印象深刻的是在2023年,他担任集团DARPA项目AD2.0的负责人(program manager),整体负责端到端自动驾驶技术及自动驾驶大模型方面的创新探索。经过这次业务的历练,他在技术之外,还习得了更综合全面的能力,尤其在“懂技术、敢冒险、会沟通”方面得到了显著提升。
功夫不负有心人。经过15年多的不断努力,一次次迎接挑战、实现技术突破与业务应用,黄际洲获得了200多项授权专利,多项专利被评为公司核心专利。其中,黄际洲作为重要发明人之一参与的地图发明专利还荣获了第25届中国专利奖的优秀奖。
黄际洲的直观感觉是:“在技术领域的创新探索与规模化应用,犹如金属的锻造,唯有反复打磨与淬火,才能迎来曙光与突破。”
2024年9月,黄际洲又接受了新的业务轮岗,担任智能体业务的首席架构师,开始负责智能体业务的整体技术和产品工作。“虽然面临许多挑战,但梦想和使命让我们每天都充满斗志。”在他看来,这个过程就像是“对金属的一次次热处理与淬火,只有通过实践、验证及优化,才能大幅提高钢的刚性、硬度以及韧性。”
2010年初刚来百度时,大模型技术尚未出现;而今,随着技术的不断发展,智能体呼之欲出。对于普通人来说,这一技术也许稍显陌生。黄际洲解释道:
“如果我们更多地从技术的角度看,智能体是AI应用的最主流形态。可以把智能体类比成AI时代的网站。如果从业务的视角看,智能体实际上是一个双边网络生态系统,由开发者和消费者两方组成。开发者通过设计和优化智能体,为消费者提供智能化服务;消费者则通过使用和反馈,推动智能体的改进和创新。”
智能体实际上是一个双边网络生态系统,联通开发者和消费者两方。(图/图虫创意)
简言之,智能体拥有了海量的人类知识与专业经验,同时也具备了深度的思考能力。有了智能体的存在,也就意味着,我们每个人都能拥有一位“具备庞大知识库、可以自主规划与持续学习的智能个人助理”。在从事这项前沿的工作时,黄际洲与团队仍旧保持着过往的创新精神。近一年的时间内,他们就已申请10件与智能体技术相关的发明专利。
他笃信,随着基础大模型能力的不断增强,智能体的能力也将变得更加全面。智能体在未来会展现出巨大的潜力,必将给我们的工作和生活带来更大的便利。智能体的广泛应用将推动一个完整的生态系统的形成,催生更多创新和有价值的应用,进一步提升各行业的效率和智能化水平。
变快的大模型,走出几十项专利
智能体伴随着大模型的发展而崭露头角,而大模型技术无疑构成了智能体的核心基石之一。在AI的世界里,大模型就如同经过千锤百炼的宝剑,其锋利与坚韧,源自于不断的磨练与优化。王国霞,就是一位执着的磨剑人。
加入百度以前,王国霞从事了数年人脸识别技术工作。在处理千万数量级的人脸ID时,他接触到了数据并行与模型并行等分布式训练技术。对于一个潜心精进技术的人而言,他渴望进入更高的平台提升自我。
2021年,机缘巧合下,王国霞了解到了百度大规模分布式训练相关的工作。他凭借在人脸分类任务和框架技术领域的丰富经验,顺利加入了百度飞桨分布式团队。事实证明,这次双赢的选择,不仅为王国霞提供了更广阔的发展空间,也为百度注入了一股精湛的技术新力量。
赶上第一波大模型浪潮,算法和工程经验兼具的王国霞在百度找到了适合他的“优化”道路。“我的日常工作就是围绕着大模型的训练,从不同的角度出发优化训练性能。例如从算法角度,如何让模型快速收敛,减少训练的迭代步数;从工程的角度,如何让一个算子跑得更快,如何研发更合适的分布式策略让模型扩展到更多设备上,用更短的时间让模型收敛。”
他在百度的首个项目是支持超大规模图像分类优化。在这个项目中,王国霞基于飞桨成功将某场景分类任务的最大分类数从800万类提升至6600万类,这一数字远超当时工业界和学术界的最高纪录的1.8倍。在此项目中,他申请了在百度职业生涯中的首个发明专利——一种简化流程、提高效率的内容处理方法。这一发明专利后来被广泛应用到公司的内外业务中。这个专利的申请和授权也给王国霞未来的技术发明创新提供了很强的信心支撑。
2023年,王国霞参与到文心一言的项目中。在文心大模型的训练迭代过程中,他发现大语言模型的对齐训练有很大的优化空间,“在超长序列建模训练中,我们可以把 Transformer 模型结构中的 Attention Mask的存储和对应计算复杂度显著降低,并且保证效果等价。更加深入地研究后,我们团队创新提出了FlashMask技术——用通俗语言讲,让大模型使用更少的显存运行,训练更快。”
FlashMask在当时极具创新性且产生重要价值,“凭借FlashMask的创新突破,文心一言所有规模模型上的 SFT 训练都提升了 1 倍多的性能,并支持了所有规模模型 128K超长序列训练。”
基于这项技术创新,王国霞以第一发明人的身份申请了一项减少大模型训练时的内存需求以提高训练效率的发明专利。这项专利的诞生并非偶然,是王国霞及其所在团队数年如一日对大模型持续优化和深入研究的必然结果。“我们发现还有很多点可以去提升,经过4个月的开发,Transformer模型最核心的模块之一Attention模块成功融入了我们更多的自研创新技术,并且在百度文心大模型训练中发挥了重要价值。”王国霞和他所在团队的技术创新脚步未有停歇。争分夺秒地进行技术研发,正是为了大模型训练效率分分秒秒的优化。
FlashMask 优化示意图。
除了在FlashMask技术取得的突破,王国霞还深度参与了超长序列推理优化NACL技术的研究工作,并以第一发明人身份申请了对应的发明专利。
为让人们更容易理解,他举了一个例子,“比如在文心一言中输入一本书的内容,然后进行提问,很明显并不是书中的每一个字都是重要的,只有少部分的文字跟问题有关。基于这一洞察,我们提出了token的高效驱逐技术,这个技术的本质就是如何去掉一些无用信息,减少不必要的词元的处理压力,从而能够有效地释放显存空间,提高大语言模型的推理速度。”
NACL技术和FlashMask 技术后来也分别整理成论文,投稿至人工智能领域顶级国际会议 ACL(国际计算语言学年会) 和 ICLR(国际学习表征会议),获得同行很好的评价。
入职百度近4年,王国霞已经申请了33项专利,每一项发明专利都凝聚着他对AI技术的深刻理解和不懈探索的精神。如今,在百度大厦的专利墙上,依然展示着王国霞在百度的第一项发明专利成果。对他而言,这是公司对他科技创新不懈探索的褒奖,也是对他执着追求技术极致的肯定。
在AI技术的道路上,王国霞以他的匠心与智慧为大模型的发展与应用贡献着自己的力量。
进击的科技创新,永远在路上
事实上,在大模型技术的加持下,智能体已经变得越来越“聪明”,并且逐步渗透进人们生产生活的方方面面——除了前面提到的新春佳节AI 智能体,还有商家智能体、律师智能体、旅游智能体等各行各业智能体。
百度文心智能体平台上各式各样的AI 智能体。
在百度文心智能体平台上有数千位来自三甲医院的医生,其专家智能体分身能够针对健康问题给予专业建议,24小时都在线,更是让人平添不少安全感;在合同解读与法律流程上出现疑惑,数千名律师专家智能体能第一时间答疑解惑;而在日常工作里,快速生成文案或是图片,可以帮助人们以极高的效率完成工作,节省了时间不说,更能满足用户的多元需求。
这些功能不止服务于日常,很多行业也会因智能体的存在而发生模式上的转变。譬如,有人在平台上开发电商,在智能体上挂载商品,很快完成带货目标。还比如,有人依靠智能体做情感咨询,借由这一工具,很多人走出了困境。
黄际洲说:“智能体在众多领域展现出广泛的应用前景,尤其在专业咨询、客户服务、员工赋能、代码生成、数据分析、创意生成等方面已产生显著影响。它们不仅提升了工作效率、降低了成本,还优化了用户体验。”
如今,黄际洲、王国霞依然在工作岗位上一边创新,一边“发明”。他们步履不停,奔走在推动科技进步的最前沿。我们鲜少听到他们的故事,他们也很少去表达自我,只是默默地去探索科技创新的种种可能性。
那些发明专利,是他们带着光芒的勋章,更是成长的印迹。回望来路,他们更加懂得创新对于个体、对于一家企业的重要意义。某种程度上,他们的故事,正是百度故事的缩影与写照。宏大的目标在未来显现,但通向那里的路,仍需要人们一步步地前行。
多年以来,百度不断发掘新技术中的创新点,在试验成功后,又将其投入更大规模的生产之中。近期,由Questl权威发布的报告《2024深度学习专利全景报告》(Deep Learning Patent 2024 Patent Landscape)显示。百度大模型创新表现出色,大模型专利中国第一,全球领先;百度深度学习专利申请量6751件,位居全球第一。截至2024年,百度在全球范围内的AI专利申请总量已经突破了2.7万件的大关,而在国内,这一数字也超过了2.1万件。这一系列的成就,无疑进一步彰显了百度在AI技术研发和创新方面的雄厚实力。
专利持续领先,正是以黄际洲、王国霞为代表的百度人在AI技术领域不断创新和探索的结果。他们在擅长的技术领域上不懈努力,一点一滴的进步,都值得褒奖和犒赏。这些个体迸发出的能量,最终汇成合力,推动着科技向前发展。毫无疑问,这当中蕴藏着百度的一份责任心。立于科技潮头的他们,正用实际行动,让社会变得更高效、便捷。
而在细微之处,百度也实现着对普通人生活的助力。那些优秀的技术成果并没有停留在专利阶段,而是在反复验证后,得到了相应转化及规模化应用。人们在生活中遇到的具体问题,大多可以在此找到解法——这是百度以自己独有的方式,为用户献上的人文关怀。这也让人更加明晰,科技并非冷冰冰的,反而它可以有温情存在。
无数的改变,就在你我的身边发生,我们无法忽视它们的存在。它们从最初的优化开始,或许只是一个思想萌芽,但在百度科技人的创新下,它们变成一项项发明专利,后来又成为改变你我生活的原动力。
没人能洞穿未来,但可以预见的是,有了百度这样的科技企业的浇灌,我们的生活会长出更多充满生机的枝桠,绽放出更繁盛的鲜花。
作者:L
校对:遇见
排版:嘻嘻
文中未标注来源图由百度提供