今天看到一条刷屏的文章,据美国媒体Verge报道,
OpenAI 计划在 12 月之前推出其下一个前沿模型 Orion。
这一代
模型按进度不一定已经完成Posttrain和Alignment工作
,但按照OpenAI过去的习惯,其也
曾经提前超过6-9个月时间就给早期测试者
(比如之前的Reid Hoffman)使用。不过随后Sam Altman在x亲自辟谣了这条新闻,可谓是真真假假,虚虚实实。
不过,Orion项目,GPT5级别的模型,还有草莓和o1/o2,毫无疑问是目前下一代前沿研究的重点,也关系着未来AGI还能走多远。之前一直有声音,说pre training已死,scaling law到头,小算力的post training可能会成为未来的范式。
OpenAI这个新模型的信息leak,至少表示OpenAI还在不断研发下一代的模型,继续scaling law。
我们一直强调,要理解未来AI和算力的发展,一定要充分理解scaling law。scaling law不是简单的模型参数或者数据量,而是
代表着amount of compute
。这个compute包含着多种方面,
除了模型参数和数据量,还是合成数据、强化学习,以及海量的实验
。
昨天我们点评了特斯拉的scaling law,马斯克也强调了,自动驾驶、机器人代表的具身,和LLM base的AGI,看起来会有两条并行的scaling 路径,两者会有合作,但两边都独立需要巨大的算力。
一个更大的问题是算力是否和英伟达能画上等号?
针对这些问题,我们最近有自动驾驶、Scaling Law、ASIC芯片等多篇深入研究,欢迎咨询销售。
我们正在发售一篇报告,其内容是:
3Q24季度调研:MSFT、META、AMZN
尚有数篇报告正在调研中,其内容是:
AI咨询行业:PLTR、AI、ACN
ASIC调研与技术趋势
3Q24季度调研:NVDA
AI客服的进展与影响:NICE、FIVN、NOW
我们已经发售了十篇报告:
算力需求场景测算