专栏名称: 人工智能学家
致力成为权威的人工智能科技媒体和前沿科技研究机构
目录
相关文章推荐
爱可可-爱生活  ·  [CL]《Q-Filters: ... ·  昨天  
机器之心  ·  从 LLM 到 Agent:Manus ... ·  2 天前  
爱可可-爱生活  ·  揭秘语言模型设计决策的下游影响 查看图片 ... ·  2 天前  
黄建同学  ·  好了,以后也不需要音乐🎶作家了NotaGen ... ·  2 天前  
51好读  ›  专栏  ›  人工智能学家

何宝宏:大语言模型上半场已进入“垃圾时间”

人工智能学家  · 公众号  · AI  · 2025-01-08 18:25

正文


来源:数字开物
作者:数字开物

“我们从刚刚过去这一年对大模型尤其语言大模型来看,训练的效果普遍不太好或者说能力的提升普遍不及预期。 ”在日前举办的第十九届中国IDC产业年度大典上, 中国通信院云计算与大数据研究所所长何宝宏 认为大语言模型的竞赛上半场进入“垃圾时间”。
面对OpenAI迭代周期延长、Gemini 2.0仓促发布等行业现象,他直指当下大语言模型的核心困境——Scaling law开始步入减速区间。从数据墙的出现到"死亡互联网理论"的挑战,从Agent的战略定位到智算基础设施的重构等,何宝宏对大模型的“上半场”和“下半场”进行了深入分享。

01

上半场进入“垃圾时间”,大模型的发展已经进入“下半场”

在分析当前大模型发展现状时,何宝宏指出,大语言模型的竞赛上半场进入“垃圾时间”。例如,Open AI的产品迭代速度在明显放缓,过去24个月迭代一次,现在已经到33个月了,而且效果还不及预期,谷歌的Gemini2.0仓促推出。

何宝宏指出, 大模型的发展已经进入了“下半场”。他强调:“从刚刚过去的一年来看,大模型的训练效果普遍不及预期。重要原因之一是大模型的Scaling Law正在面临减速乃至失效的局面”。 关于Scaling law,何宝宏强调这并非大模型独有现象,Scaling law不是仅仅在我们大模型领域,它是一个广泛的存在于现实世界的物理世界生命体、城市、公司,甚至在计算机。
他指出,所有的Scaling law随着时间的推移都会失效,不可能一直指数级增长,在大模型中,我们只是在重现这一现象。 如果Scaling Law短期内失效,例如在0到3年内,通往AGI的道路可能会更加漫长。
在Scaling Law减速的背景下,各大机构纷纷调整策略,转向其他领域, 一个方向是从训练转向推理,另一个方向是从大语言模型转向多模态其他模型。
关于从训练转向推理,何宝宏指出, 今天大语言模型是基于人工智能两大分支之一的连接主义,就是数据,靠经验的,转向推理就是转向人工智能另外一条赛道 ,符号主义,基于数据主义又走向了符号主义,但是本质上来说它俩似乎是统一的,因为符号主义强调的是符号结构化逻辑,连接主义强调的是数据训练结果。
关于从大语言模型转向多模态其他模型,何宝宏指出, 一是做应用,第二做视觉,做分布式大模型。 不过,这条路还是崎岖拐弯的,还有很多事情需要我们做优化做改进。
2024年大模型赛道越来越卷,今年开源的进展也非常显著,开源模型的能力差相当于GPT3.5的80%,但成本却只有1/20。 何宝宏指出,如果往前卷不动了,就卷工程化 ,“当前的大模型仍然像是一种工艺品,需要更多的工程化努力。” 他指出,未来的大模型需要更好的可解释性、更高的透明度、更强的长期推理能力以及更高的安全性和可靠性。他提到,从工艺到工程化的过程,需要在模型的压缩、轻量化以及组件化方面实现突破。
关于大模型的竞争方向,何宝宏指出: “从以往的拼性能逐渐转向拼性价比 , 过去疯狂追求模型的性能和规模,但如今,如何以更低的成本实现更多的商业价值,成为关键问题”。何宝宏还探讨了人工智能“幻觉”现象。他指出:“幻觉并非完全负面,它是创意和创新的基础。” 他认为,在文学、艺术和科技领域,人工智能的“幻觉”可能带来更多的创意。

02

大模型撞上数据墙
2024年年底业内热议大模型撞上了数据墙, OpenAI 前首席科学家 Ilya预言“预训练时代将终结”。 何宝宏直言,预训练的结束和转型方向跟自己是一致的观点。
在“大模型撞墙”的争论中,一些人认为预训练没结束,数据没有耗光,未来还可以使用视频数据以及人工智能合成数据,甚至是使用私域数据。何宝宏坦言,不赞成这种观点。他进一步指出,视频的数据如何拿来做训练,目前还没有方法。私域数据再大也是小数据,相对互联网的数据来说,私域数据只能做微调,只能在本地练。
至于合成数据,何宝宏直言:“互联网过去30多年积累的数据将在未来三到五年内耗尽。我们现在使用人工智能生成的数据进行训练,但这可能导致模型崩溃。” 他指出:“ 如果用1%的AI生成数据进行训练,模型经过五次迭代后就会崩溃。 ”此外,何宝宏还提到了一个新的理论:“互联网正在面临死亡威胁”,因为AI生成的数据正以惊人的速度增长,而人类生产的高质量数据则在快速减少。

03

下半场,以Agent为代表
展望未来,何宝宏认为,2025年Agent将成为焦点。他指出:“大模型的‘七年之痒’正在出现。下一步,我们需要从大模型转向Agent,而Agent是目标导向的,这与大模型的知识压缩属性形成对比。”
由于Agent是目标导向的,因此存在潜在挑战。Agent的思维方式、运作形式跟人类传统的智能思维放不太一样。 “如何确保智能体的终极目标与人类的目标保持一致?如何监测和纠偏? ”这些问题都需要深入研究。
下半场算力方面,何宝宏提出,下半场不能只追求高端算力,边缘算力、混合算力会越来越多。他还提到,AIDC生态会重构。“整个生态从上到下都在发生变化,从Agent到大模型,再到智算中心的基础设施,都在被重构,已经是技术密集型、资金密集型、能耗密集型、人才密集型。”
最后,何宝宏总结道:“从缺算到缺电,从液冷到智力基础设施,我们需要面向未来的长期规划。这不仅关乎技术创新,也关乎全球资源的合理利用”。如果按照当前趋势发展,到2030年,全球20%的电力可能会被人工智能数据中心消耗。下一步需要智力在线,今天的算力基础设施或者算力整体来看距离形成一个规模性的智算基础设施还有很长的路要走。

阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828


未来知识库 是“ 欧米伽 未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。 目前拥有超过8000 篇重要资料。 每周更新不少于100篇世界范围最新研究 资料 欢迎扫描二维码或访问 https://wx.zsxq.com/group/454854145828 进入。



截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告

  1. 2024 美国众议院人工智能报告:指导原则、前瞻性建议和政策提案

  2. 未来今日研究所:2024 技术趋势报告 - 移动性,机器人与无人机篇

  3. Deepmind:AI 加速科学创新发现的黄金时代报告

  4. Continental 大陆集团:2024 未来出行趋势调研报告

  5. 埃森哲:未来生活趋势 2025

  6. 国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

  7. 哈尔滨工业大学:2024 具身大模型关键技术与应用报告

  8. 爱思唯尔(Elsevier):洞察 2024:科研人员对人工智能的态度报告

  9. 李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能

  10. 欧洲议会:2024 欧盟人工智能伦理指南:背景和实施

  11. 通往人工超智能的道路:超级对齐的全面综述

  12. 清华大学:理解世界还是预测未来?世界模型综合综述

  13. Transformer 发明人最新论文:利用基础模型自动搜索人工生命

  14. 兰德公司:新兴技术监督框架发展的现状和未来趋势的技术监督报告

  15. 麦肯锡全球研究院:2024 年全球前沿动态(数据)图表呈现

  16. 兰德公司:新兴技术领域的全球态势综述

  17. 前瞻:2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战

  18. 美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)

  19. 罗戈研究:2024 决策智能:值得关注的决策革命研究报告

  20. 美国航空航天专家委员会:2024 十字路口的 NASA 研究报告

  21. 中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

  22. GenAI 引领全球科技变革关注 AI 应用的持续探索

  23. 国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告

  24. 2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿

  25. 多模态可解释人工智能综述:过去、现在与未来

  26. 【斯坦福博士论文】探索自监督学习中对比学习的理论基础

  27. 《机器智能体的混合认知模型》最新 128 页

  28. Open AI 管理 AI 智能体的实践

  29. 未来生命研究院 FLI2024 年 AI 安全指数报告 英文版

  30. 兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版

  31. Linux 基金会 2024 去中心化与人工智能报告 英文版

  32. 脑机接口报告脑机接口机器人中的人机交换

  33. 联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版

  34. Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

  35. Gartner2025 年重要战略技术趋势报告 英文版

  36. Fastdata 极数 2024 全球人工智能简史

  37. 中电科:低空航行系统白皮书,拥抱低空经济

  38. 迈向科学发现的生成式人工智能研究报告:进展、机遇与挑战

  39. 哈佛博士论文:构建深度学习的理论基础:实证研究方法

  40. Science 论文:面对 “镜像生物” 的风险

  41. 镜面细菌技术报告:可行性和风险

  42. Neurocomputing 不受限制地超越人类智能的人工智能可能性

  43. 166 页 - 麦肯锡:中国与世界 - 理解变化中的经济联系(完整版)

  44. 未来生命研究所:《2024 人工智能安全指数报告》

  45. 德勤:2025 技术趋势报告 空间计算、人工智能、IT 升级。

  46. 2024 世界智能产业大脑演化趋势报告(12 月上)公开版







请到「今天看啥」查看全文