最近我分享一些投资者和研究者视角的 “研究型” 文章，谈论人工智能以及整个前沿科技领域的变化，和不同人的角度对市场的思考。未来的科技投资机构，还是一家新型的科技公司，首先都需要成为一个 “研究型组织”，才能在混沌的世界里点亮一些明灯，找到一部分人相信的 “确定性” 和宝石 。
Compound VC 是我交流过也欣赏的一家 “研究为中心，主题驱动” 的投资公司，接着昨天的
文章
，今天分享他们的管理合伙人
Michael Dempsey
在自己博客发布的一篇新文章，最近他也跟很多一线的研究者和创业者交流，通过数据和研究获得对人工智能以及邻接的深度科技领域的认识。我觉得这是一个有趣的时期，一方面中美两个最主要的科技市场的认知和信息差在逐渐拉平 （ 但是人云亦云的噪音占比太大 ），另一方面又没有人有一个明确的答案什么样的技术组合，团队背景和投资逻辑会是市场的赢家，但我觉得这反而是对初创公司或者进行投资最奇妙的时候，人们可能像是生物自然进化那样跑向广袤森林深处的不同的地方，那些自己走出自己道路的团队会笑到最后。
“ 这导致我们逐渐倾向于更喜欢那些旨在拥有比最初预期更多的技术堆栈的公司，包括拥有全栈能力并构建一个 AI 驱动运营的公司...
在那些数据结构性地被现有企业锁定（ data is structurally locked within incumbents ）且计算优势较少的行业（ 如医疗保健、生物技术和工业领域 ）中，如果你能够驾驭和创造合作伙伴关系等，这些公司也越来越具有吸引力。”
“随着人工智能的进步以及人们对这一领域的思考方式继续分化为 “赢家未定” 或 “已经有赢家了” 的阵营，我们将看到人才优势开始实质性地积累到那些能够为他们的思想阵营提出可信案例的人身上。”
在文章里 Michael Dempsey 也提到今天的初创公司如果要去 “play long game ”长线游戏，需要掌握比原本预料的更多的 “技术堆栈”，我想这个动态趋势不只发生在人工智能技术领域本身，以及算力，数据，人才这些必备的“生产资料”，甚至“计算堆栈” （ computing stacks ）要涉及到更高的层级和能力 （ 比如是否要考虑非冯诺伊曼的全新计算架构，和 “更随机” 的计算模型？），那这个难度今天就像穿越回到了 “硅谷70年代刚开始”，新一轮的技术发展还绑定在一起（ bundle )，还没有到 unbundle （ 解绑创新 ）的阶段，想靠技术本身积累护城河优势堪比 SpaceX 重新发明火箭运载技术。这些问题我也没有全部确定的答案，我们能做的就是大胆想象，理性推演，靠直觉选择，谦虚学习和保持实践。
希望这篇文章对你有启发。
人工智能变化中的动态与元护城河
THE SHIFTING DYNAMICS & META-MOATS OF AI
作者：Michael Dempsey
编辑：范阳
写作日期：2024年4月17号
引言
也许，对于寻求构建新系统的计算机科学家和工程师来说，最好的目标不是寻找人类所缺乏的智能，相反，他们要做的是找出能带来高收入的技能，并制造出能让更多人从这些技能中受益的机器。
—— 《图灵变革》 报告
Perhaps the best targets for computer scientists and engineers looking to build new systems is not to find intelligences that humans lack. Instead, it is to identify the skills that generate outsized income and build machines that allow many more people to benefit from those skills.
—— The Turing Transformation
自从 8 年前在 Compound VC 开始投资人工智能以来，我们的投资观点基本保持不变（ 尽管现在变得越来越依赖数据和识别细微差别 ）。这些观点涵盖了从技术发展时间表，到某些类型创始人在人工智能领域应该创立的最佳初创公司的类型，再到价值将在哪些公司之间积累，再到整个行业的转折点，再到最具潜力（ 和被低估 ）的领域，以及更多其他思考。
以下是 2017 年的简单概述，部分内容已在我们多年来的年度信函中多次发布（ 2018年，2019年，2022年 ）：
Compound VC 在 2017 年 LP 年会上提出的简化人工智能投资框架
范阳注：
1. 投资于优秀的研究人员和技术专家：我们一开始就在持有非共识差异化观点的前提下进行投资，选择了在我们认为适合被颠覆，可商业化，规模巨大的领域中具有卓越研究能力的团队。
2. 邻接领域为实现自动化服务：为了支持自动化，随着公司开始将基于人工智能的系统投入生产，我们需要相关的软件来帮助扩容和提高性能。
3. 打造和适应尖端技术：随着人工智能开始走向商品化并加快发展速度，我们清楚的意识到，最优秀的团队将会以迅雷不及掩耳之势将研发/学术中的经验转化到实际生产当中，以捕获市场价值。
尽管有这种高层次的投资和研究框架（ high-level framing ），但我们对于创始人在 AI 公司建设过程中需要应对的多变因素的确信度可能不够深厚。
这主要是因为当时整个 AI 领域都显得相当新颖，多年来几乎没有 “共识型胜者” （ consensus winners ），因为该行业中没有任何公司实现了实质性的商业成果。
几乎没有 “最佳实践” （ best practices ）或 “标准配置” （ table stakes ）操作原则。
随着时间的推移，AI 的技术路线（ 也许整个行业 ）已经越来越趋于一致共识，Transformer 技术引领潮流，各种 “变种” 迅速在社区中形成了共识（ 例如 CoT、RAG、MoE、Model Merging等 ）。
当然，通过新方法如 RWKV、SSMs 等出现了新的发展势头，然而，这更可能是由大型组织内的秘密研发团队（ skunkworks team in large orgs ）或者旨在颠覆市场的新组织（ newer orgs aimed at disruption ）来完成的，而在现有领先公司（ 以及大多数过去 3 年创立的 AI 实验室 ）中，关于提高性能的共识前提将基于算力、数据和规模（ compute, data, and scale ）。
这种单调的情况自然会发生在一些行业中，这些行业的领导者相当单一，而且人才大量涌入，他们希望在适应新的类别或行业时得到 "指点"（ looking to be “shown the way” ）。
随着商业化和技术成功的转折点临近，我们在 2024 年及以后围绕公司创立和公司护城河的建设获得新的启示。
速度
ON SPEED
无论好坏，未来几年，每家公司都将在人工智能领域面临直接或千刀万剐的实质性商业竞争。有些领域会吸引大量短期资本，有些开源 AI 项目会试图削弱封闭源代码的竞争对手，还有些产品 / 公司会承诺过高、交付不足，但仍会制造大量噪音。因此，
在短期内，初创企业的主要目标是继续在这些噪音中脱颖而出。
“
实际上，人工智能公司或许是我们在科技领域中能够建立的一些最复杂的企业之一。进行核心的人工智能模型研发需要在研究社区搭建、资本积累与投放、人才招聘、竞争态势理解和商业化等方面进行 “四维象棋般” 的思考。”
由于人工智能公司及其所属领域的复杂性，建立护城河的微妙之处会涉及到短期、中期和长期的动态。
一旦初创公司能够建立起足够的早期护城河，它们就需要继续在多年内保持初创企业发展速度。
同样，资本将继续涌入该领域，在多个方向上为你的业务带来行业竞争，这将持续的时间比许多人意识到的要长，而随着模型性能变得普遍化（ as model performance commoditizes ），现有大公司也将开始在某些细分领域跟进。
实际上，这意味着创始人必须做所有优秀软件公司所做的事情，但要比其他所有人更快，而且是在一个进展方向和发展速度都不确定的领域。他们必须在非常高的水平上执行这些任务，
有时甚至需要实施或创建前所未有的东西（ potentially implementing or in some cases creating things that have never been created before ）。
整个行业似乎已经注意到了这一点，然而很少有公司能够以超过行业自然范围内的压缩和优势侵蚀的速度执行（ few companies are able to execute at the rate that outpaces natural industry wide compression and erosion of advantages ），
这往往导致了许多具有类似目标的公司在同一轴线上竞争，最终导致无足轻重的竞争。
在某种程度上，OpenAI 是开了头的领跑公司，并且是产生了速度动态的一个很好的例子。
在 ChatGPT 实验取得了巨大成功之后（ 据说当时推出是为了抢先竞争对手一步 ），OpenAI 的一个小团队迅速发展成了一个规模更大的团队，因为这个公司意识到，
在通过 transformers 和 GPT-2 跨越了 “山谷” 之后，需要转变为一个更快速的产品交付组织，具有更紧密的反馈闭环，而不是像过去多年一样是一个行动迟缓的研究组织。
我们一会儿再说这一点。
其他组织，比如 Runway（ Compound VC的投资组合公司 ）和Perplexity，是速度至上的优秀组织的典范。这两家公司似乎是从无到有就出现了，对于那些没有密切关注的人来说，它们迅速推出了各种功能，并将自己的叙事方式从利用开源模型或 API 转变为使用专有模型的创业公司，随着他们产品功能集的迅速扩展。
保持这种速度并不仅仅意味着创始人必须在 12 到 24 个月内做到这一点，然后再 "成长 "为更大的组织并渐进式发展。相反，
在人工智能领域，最好的公司既要成为精英短跑选手，又要成为跑得最快的马拉松选手
当然，比赛结束时的奖品将无比珍贵，但这可能会让人在许多不同方面出错，分心打错仗的可能性始终存在。
如果让我猜，
这可能是我们将看到大多数公司失败的原因：利用早期持久 PMF （产品市场契合度）的虚假迹象，玩了短期游戏，结果被其他玩长期游戏的初创企业或公司超越或摧毁
（ 同样可以类比前面提到的 “四维国际象棋”的例子 ）。
最常见的这种情况是构建一个产品，在短期基础模型性能的基础上创造渐进式价值（ building a product that creates incremental value on top short-term base model performance ），而不是利用基础模型性能的提高，实质性地提高产品本身的价值（ increase product value materially ）。
最近，Sam Altman 在一次采访中用一个简单的启发式方法来理解这一论点：
“ 当我们只是做好我们的基本工作，即每次调整使模型及其工具更好时，你就会得到 ‘OpenAI杀死了我的初创公司’ 的段子。如果你正在构建的东西基于 GPT-4，一个合理的观察者会说 ‘如果 GPT-5 的表现比 GPT-3 好了这么多’ …… 不是因为我们不喜欢你，只是因为我们有一个使命 …… 我们肯定会碾压你。”
在同一次采访中，OpenAI的首席运营官 Brad Lightcap 说：“
你只需要询问一个公司他们是否对模型提高 100 倍感到兴奋
。”
玩短期游戏的另一个失败状态是，
那些以 “ X事物，但带有人工智能属性” （ x but with AI ） 的方式构建产品的人，而不是因为人工智能而构建一种新颖的事物 “Y” （ building a novel thing that is “y” because of AI ）。
由于这些潜在的
破坏性分心
（ potentially destructive distractions ）， 以及其他未在此处讨论的许多其他因素 ，
我们认为创始人需要建立系统结构，使其团队能够从文化和执行的角度抵抗这种陷阱。
此外，他们必须建立基础设施，使他们在算力、数据和人才等方面不受速率限制，所有这些都由资本支持，使他们无需减缓产品迭代的速度，也不会因为目前人工智能领域缺乏完全不可撼动的护城河而被颠覆。
简单来说，建立一个人工智能公司不仅仅是为了生存下去。
数据飞轮
DATA FLYWHEELS
上图来自：材料发现的深度学习扩展
https://www.nature.com/articles/s41586-023-06735-9
多模态和规模化告诉我们，AI 的大部分回报（ a large amount of ROI from AI ）可能来自于 “连接” 现有数据的能力（ “connecting the dots” of existing data today ）
。在大语言模型 LLMs 中的早期经典示例是当模型被教授编程任务时，它会改善各种看似不相关的任务的性能。现在我们已经看到了类似的动态发生在多模态上，因为公司从 LLMs 或 “多模态模型” 推进到世界模型（ World Models ），以增加通过图像、音频、视频等带来的性能和对世界的理解。
将这一点与上下文窗口的不断消失（ the continual obliteration of context windows ）相结合，这意味着也许预训练一个大模型然后再用数据进行微调并不是人们曾经相信的短期到中期的护城河。
尽管如此，LLMs 在训练数据分布之外并未实质性地显示出智能（ LLMs have not materially shown intelligence outside of training data distribution ），在一系列非语言任务（ non-language-only tasks ）中，我们已经看到数据和规模远远没有像我们对传统的自然语言理解所做的那样被最大化，这些任务早在像 The Pile （ pile.eleuther.ai ）等开始时就已经实现了。
这导致我们逐渐倾向于更喜欢那些旨在拥有比最初预期更多的技术堆栈的公司
（ prefer companies that aim to own more of the stack than originally anticipated ），
包括拥有全栈能力并构建一个 AI 驱动运营的公司
（ owning the entire stack and building an AI-enabled operating company ）。
在那些数据结构性地被现有企业锁定（ data is structurally locked within incumbents ）且计算优势较少的行业（ 如医疗保健、生物技术和工业领域 ）中，如果你能够驾驭和创造合作伙伴关系等，这些公司也越来越具有吸引力。
这些动态使一部分公司能够收集各种任务的独特大规模数据集（ a subset of companies to gather unique large scale data for a variety of tasks ），和/或构建定制工作流程，使他们的业务能够生成新颖的数据集，并最重要的是达成与现实世界的验证和反馈闭环，弥合了一种新形式的Sim2Real （ simulation to reality，模拟到现实 ）的间隙，也许最好将其称为弥合 “比特到原子” 的间隙。
合成数据
SYNTHETIC DATA
“...那么我们可以再往后退一步。通过在模拟环境中拥有足够多的特定模块和动态实体，我们可以更好地理解各种类型的机器人（ 汽车、送货机器人、社交机器人等 ）将如何与我们真实（ 和数字 ）世界自主交互。
—— How to drive 10 billion miles in an autonomous vehicle, 2017 ”
在 AI 发展的各个时期，合成数据的承诺始终存在，就像任何其他 AI 炒作周期一样，越来越重要的是要对其在特定行业
和公司朝着超级效用发展中，合成数据可能发挥的作用有所了解。
《 用于合成数据生成的机器学习：综述 》
尽管最初我们对这些用例的关注是因为与 2016 年的自动驾驶发展相关，但现在世界似乎比以往任何时候都更加确信合成数据对于通用人工智能（ AGI ）、超级人工智能（ ASI ）或下一个重要性拐点在具身和非具身智能（ embodied and non-embodied intelligence ）表现上的重要性。正因为如此，如果在跨越各种模态领域，有几个组织在生成数据方面成为世界一流水平，并以此作为复合优势，我们也不会感到震惊
对于能够大规模部署并获得用户反馈的公司来说，合成数据将能以更高效的方式改进其模型，而不是收集大量不同质量的数据，然后将其扔进成堆的计算积分中，最后才发现其中只有很小一部分比例的数据是有价值的。
对于在稀疏数据环境中运营的公司（ companies operating in sparse data environments ）来说，合成数据将使它们能够更快地达到部署点，或者找出在 “收集数据 vs 购买数据 vs 生成数据” 数据决策方面应该做出的选择，以便再次更快地获得更好的规模和效率。
上图来自：综合探索合成数据生成：一项调查
https://arxiv.org/pdf/2401.02524.pdf
我的假设是，不幸的是，在短期内组织可能不会对这个问题给予足够的重视，而到了应该关注的时候，可能已经太晚了。因此，我们的主要建议是，公司应该对他们在数据获取方面所做的隐含权衡持有一致的假设，并解释为什么这是主导的方法。
市场时机 & 人才
MARKET TIMING & TALENT
我将在 2024 年广泛写一篇更长的关于深度技术领域人才（ deep tech talent ）的文章，但是在过去 18 个月里，在 AI 领域的人中，我在这个主题的第 3 点中分享的许多观点都引起了强烈的共鸣。
“当你和这个领域的更多资深人士交谈时，许多人对过去 7 年多的工作感到相当失望。
他们在 Uber、AirBnB 和 Stripe 的朋友们都是百万富翁（ 有些是名义上的 ），FAMGA（ Facebook、亚马逊、苹果、微软和谷歌 ）的朋友也可能是的，但实际上他们没有什么实质性的成果可以对现实世界产生影响。
……我认为很多人都在等待一个时刻，感觉一切都再次可能了。我认为这些时刻在现在并不明显。
—— 《
深科技的缺乏：为什么现在没有更多的人开始创建技术上雄心勃勃的公司 》”
时间来到 2024 年，
你有一个日益壮大的研究人员队伍，他们感受到了这种 “时刻” ，比以往任何时候都更有必要将技术部署进入现实世界（ feel the need to deploy to the real world more than ever ）
。因为大型机构对公开分享研究成果不那么感兴趣了，所以
与优秀研究成果相关的影响力已经减弱
（the clout associated with great research has diminished ），
现在影响力以某种形式与交付的产品挂钩
（now tied in some form to products that are shipped ）。
与此同时，AI 领域理想的团队构成也发生了变化。
AI 已经开始吸引来自各个领域的人才，让非常有才华的工程师学会如何在AI 建设过程中解决一系列问题。坦率地说，这些限制对工程师来说很熟悉（ 特别是那些在初创公司工作过的人 ），对来自更大型科技实验室的研究人员和工程师（ researchers and engineers from larger megatech labs ）来说有些陌生，因此它们是高度互补的技能，有时在 AI 初创公司中更为必要。
正如技术类别经历周期性的波动，
你会开始看到新一代人才流动动态
，是因为从周期的第一大波中吸取的经验教训已经耗尽。
在现在这个阶段，
这可能表现为有人离开现有的行业领军公司，去获取从 0 到 1 的新技能，这是在积累了足够的 “扩展规模技能”（ Scaling Skillsets ）后的必然选择。它也可能表现为在扩展规模阶段的初创公司中，那些才华横溢的员工离开，去解决他们现在更加深刻地感受到的重要问题
（ talented employees at scaling startups leaving to solve problems they now have acutely felt ）。
在这个周期的这个阶段，行业往往会涌现出大量的基础架构/开发工具衍生产品，因为定制的基础架构和工具可以被带到组织之外，供下一波初创公司使用，这样他们就无需重新发明轮子。几年前，我们看到了许多团队从AirBnB、Uber等公司中分拆出来，进行了类似的数据聚焦的尝试。
在各种对话中，人才之间普遍存在着对 AI 领域哪些公司拥有不可撼动地位的共识不足，导致了这种人才的分歧，
一部分人认为他们必须在前沿实验室做研究（ 如 OpenAI、Anthropic、DeepMind、微软、MetaAI），或进入未经足够探索的领域（ 基础模型用于生命科学领域 “Foundation Models for Bio” 是一个响亮的例子 ）工作，而另一部分人则认为当下这一切都是毫无意义的，下一波创新只会来自于在所有这些模型之上构建的东西。
逐步分拆与人才的碎片化
INCREMENTAL SPIN OUTS & FRAGMENTATION OF TALENT
在一些需要较长发展周期的领域（ 所有深度技术领域 ），我们总是能看到这样一种动态：
许多公司会从引发寒武纪大爆炸的公司中分拆出来，以便重新发明比其前雇主 / 或者比现有扩展规模的公司稍好一点的轮子。
我们一次又一次地看到这种情况，而这些公司通常会在技术成熟周期的某个奇怪的中间点上出现（ some strange middle ground timing of technology maturation cycles ）。
这种情况发生在自动驾驶汽车领域，围绕着从 DARPA 的 2007 年大挑战开始的人才聚集到了 510 Systems/Waymo、特斯拉和 Cruise 等公司，最终导致了一系列其他自动驾驶汽车公司的分散开来，这些公司基于现有公司的技术方法。这些公司中的绝大多数都轻松融到了风险投资，但却都失败了，或很可能无法实现他们超越早期创新 “现有公司” 的承诺。
