专栏名称: 共识粉碎机
寻找与共识的不同
目录
相关文章推荐
简单心理  ·  当闺蜜成为母亲:生育如何改变女性友谊 ·  4 小时前  
简单心理  ·  关于心理咨询,你可能会有的7个疑问 ·  昨天  
武志红  ·  4种认知,帮你建立稳定的内核 ·  昨天  
陈忻儿童心理  ·  自我是一个需要亲手搭建、不断生长的存在 ·  昨天  
51好读  ›  专栏  ›  共识粉碎机

Orion模型要发布了?Scaling Law不是到头了吗?

共识粉碎机  · 公众号  ·  · 2024-10-26 00:00

正文

我们的新书正在发售,老铁们帮我们带带货吧!
今天看到一条刷屏的文章,据美国媒体Verge报道, OpenAI 计划在 12 月之前推出其下一个前沿模型 Orion。
这一代 模型按进度不一定已经完成Posttrain和Alignment工作 ,但按照OpenAI过去的习惯,其也 曾经提前超过6-9个月时间就给早期测试者 (比如之前的Reid Hoffman)使用。不过随后Sam Altman在x亲自辟谣了这条新闻,可谓是真真假假,虚虚实实。

不过,Orion项目,GPT5级别的模型,还有草莓和o1/o2,毫无疑问是目前下一代前沿研究的重点,也关系着未来AGI还能走多远。之前一直有声音,说pre training已死,scaling law到头,小算力的post training可能会成为未来的范式。 OpenAI这个新模型的信息leak,至少表示OpenAI还在不断研发下一代的模型,继续scaling law。

我们一直强调,要理解未来AI和算力的发展,一定要充分理解scaling law。scaling law不是简单的模型参数或者数据量,而是 代表着amount of compute 。这个compute包含着多种方面, 除了模型参数和数据量,还是合成数据、强化学习,以及海量的实验

昨天我们点评了特斯拉的scaling law,马斯克也强调了,自动驾驶、机器人代表的具身,和LLM base的AGI,看起来会有两条并行的scaling 路径,两者会有合作,但两边都独立需要巨大的算力。

一个更大的问题是算力是否和英伟达能画上等号?

针对这些问题,我们最近有自动驾驶、Scaling Law、ASIC芯片等多篇深入研究,欢迎咨询销售。



我们正在发售一篇报告,其内容是:

3Q24季度调研:MSFT、META、AMZN

尚有数篇报告正在调研中,其内容是:

AI咨询行业:PLTR、AI、ACN

ASIC调研与技术趋势

3Q24季度调研:NVDA

AI客服的进展与影响:NICE、FIVN、NOW

我们已经发售了十篇报告:

算力需求场景测算







请到「今天看啥」查看全文