现在几乎每周都有AI圈子的大事发生，让人有种应接不暇的感受。
今天，马斯克的xAI发布了万众期待的Grok 3，20万卡的集群fully run了
几个月
的时间，怼出来了目前pretraining模型的SOTA，在各种榜单上都排到了第一（据说其他top公司表示要尽快把xAI“打下来”）。在性能方面，Grok 3在数学推理、科学逻辑推理和代码编写等领域表现出色，在多项基准测试中超越或媲美Gemini、DeepSeek和ChatGPT等对手。除了base model外，xAI还推出了功能更强大的Grok 3 Thinking推理模式，在benchmark上超过了o3 mini（o3没有办法使用，所以没有做benchmark）。
Andrej Karpathy大神表示，实操层面，Grok 3大概是o1 pro的水平，或者略超过o1 pro。
从全球AI的角度来看，xAI证明了有强大的算力就可以更快的追赶头部模型，缩短和世界第一的差距。马斯克也表示，将进一步提升算力，购建几十万卡甚至百万卡的GB200集群。如同我们之前多次强调的，
下一步的多模态、合成数据、self-play RL都需要海量算力验证能否“大力出奇迹”
但是看完xAI今天发布会，我们反而对于
国内的AI发展可能更加乐观
了。
xAI用20万张H100，做到了超过o1和o3 mini的水平，而DeepSeek用几千张H800，就能做到o1的水平。
o1和o3 mini，大概也就是差了几个月的时间。也就是说，DeepSeek用xAI百分之2-3的算力，就能紧跟目前reasoning model全球最前沿的水平。
这不禁让人想到了在制药领域，创新药和仿制药的对比。
创新药的特点就是海量的研发资源投入，通过不断试错，找到最合适的药物组成。
然而，
仿制药可以用非常低的成本，实现对创新药的复现
；如果做得好。效果也可以接近创新原研药。如果说北美头部AI公司是在做创新药，那么留给中国AI公司的机会就是做最好的仿制药。仿制药同样有着巨大的市场空间，如果质量过硬，同样可以创造巨大的社会和经济价值。比如在我不是药神这部电影里，印度的仿制药，就可以拯救众多白血病患者的生命。更重要的是，
创新药有知识产权保护，而目前看起来，学习、追赶大模型，暂时没有有效的类似的手段来限制追赶。
当然，如果多模态、合成数据、self-play RL在海量GB200/300算力的加持下取得了突破，pretraining scaling law又取得了进一步的进展，中国的算力限制可能又会成为瓶颈，但到了那个时候，未尝不可能有新的追赶方法。比如今天的DeepSeek又发布了一篇新的工作，
梁文峰亲自署名
，NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-fast long-context training & inference，
极大提升了模型在训练和推理阶段，对于算力和HBM访存的效率，降低了对于算力和HBM BW的依赖。这篇文章idea不复杂，但是工程实现是超一流的，是世界级的。
希望DeepSeek能保持这样的效率，希望大厂们可以慢一点挖DeepSeek的人才，让中国可以有这样一片大模型研发的净土，不断给我们带来更多的惊喜。
上周日我们在Discord中做了2个小时深度的Applovin 4Q24财报Bull-bear debate，超过10位朋友参与debate发言，其中还有广告推荐行业资深从业者，戳Discord看纪要。
本周三10点
，我们计划在Discord里做一次关于Data Infra的Debate，欢迎
非常熟悉Snowflake、Databricks、MongoDB的数据库从业者
与我们联系
，获取Discord免费邀请资格，讨论中需要作出简单分享。
