本文试图从谷歌内部运作的视角，阐明为什么LLMs革命的领导者不是Google。
主要内容来自@DrJimFan的Twitter，以及博客《我从被谷歌收购中学到的经验》，感谢他们的分析、分享。
@DrJimFan 点评
这篇文章提供了一个难得的视角，深入了解谷歌的内部运作，并阐明了为什么尽管大部分基础技术起源于谷歌，OpenAI却率先引领了大型语言模型（LLM）革命。
谷歌正处于创新者困境的核心。我相信他们非常清楚基础模型的力量。毕竟，他们发明了Transformer、AlphaGo（强化学习）和Flamingo（多模态）——这些都是GPT的关键要素。
然而，要证明将资源从正在盈利的产品中转移出去，或者可能甚至牺牲搜索业务来推广大型语言模型（LLMs），是非常困难的。正如文章中所引用的，“谷歌是一个不断变化的目标和努力的网络”。你需要所有相关的高层同意这个议程，积极争取巨大的资源，并抵制所有其他希望最小化干扰的各方。需要太多的条件同时满足。这是一个非常艰巨的任务。
话虽如此，我不认为责怪任何人是公平的。机构官僚主义是这种规模公司的自然“涌现特性”。10年后，如果OpenAI和Anthropic发展到那个量级，它们可能也会遭受同样的问题。
我将以博客中的一句鼓励性名言作为结束。这个建议对于任何想要在大型组织中推动变革的人来说都普遍适用：
在谷歌，如果你玩对了游戏，惊人的事情就有可能发生。这意味着首先要做好分配给你的工作。但一旦掌控了局面，就要深入庞大的谷歌网络，了解正在规划和发明的事物，凝聚出对未来的清晰图像，通过文档和演示给它塑形，找到与这一图像目标一致的领导者，并尽可能坚持不懈地推销这个想法。
博客原文
我们10人的初创公司被谷歌收购，我们按照谷歌的方式重建我们的产品，并开始理解，在谷歌，只要你按照谷歌的规则来玩，就能实现惊人的事情。这是继《我在Venmo学到了什么》[1]和《我在Socratic学到了什么》[2]之后的后续。
在我们2017年开始筹集Socratic的B轮融资时，我们很快意识到，我们专注于以牺牲收入为代价来获取用户使用量的做法将会给我们带来麻烦。我们的增长让我们有了进门的机会，但每个风险投资公司都要求我们提供一个盈利计划，在我们试图解决这个问题的过程中，我们得出结论，一个专注于没有信用卡的高中生的教育应用不会成为一个大企业。
大约在同一时间，我们认识了Snapchat的首席执行官埃文·斯皮格尔。埃文建议与我们合作，将我们基于相机的家庭作业助手集成到他们的应用中。但我们的一位顾问认为，如果他把你介绍给他们的企业发展负责人，他可能是在暗示最终的收购，如果是这样的话，我们应该启动一个竞争过程。于是我们就这么做了，联系了微软、Chegg、Byju's和谷歌。
我的联合创始人克里斯之前在谷歌工作过，并通过他以前的经理重新建立了联系，以便介绍给Lens——谷歌的以相机为主的应用程序。我们不知道的是，她最近自己也开始了一个教育项目，与可汗学院和安卓的联合创始人一起。我们见面后发现，我们对于一个以学习为中心、由AI驱动的辅导工具有着极大的共同愿景。也许是因为我们刚刚赢得了谷歌2017年的“最佳应用”奖，但在那次会议之后不久，我们启动了一个过程，这导致谷歌在2018年3月收购了Socratic。
我们与一个规模相当的现有团队合并了，这个团队由多位资历深的谷歌员工组成。克里斯和我成为了产品和工程的负责人，负责构建一个由人工智能驱动的导师，并将这些能力带到谷歌的主要产品中。
在接下来的三年里，我们重建了Socratic，并将其作为“Google的Socratic”重新推出，推出了在搜索和镜头中的Socratic功能，发布了一个数学解题器，并原型设计了一个逐步的数学辅导，以及开发了正在被Google广泛使用的功能。
我在这过程中学到了一些东西：
在谷歌工作就像拥有第二本护照。去世界上任何一个主要城市，你的工牌都能打开一扇通往美丽办公室的门，那里有美味的食物、办公桌，以及与谷歌超过20万人网络中每个人的高速连接。就像作为外国人访问美国一样，你在内部看到的一切因为其巨大的输出影响而感到奇怪地熟悉，但又略有不同。
令人震惊的是，你可以立即访问所有这些内容。访问他们庞大的单一代码库[3] ，包含数十亿行代码，几乎涵盖了他们所有的产品。他们遍布全球的数据中心的实时状态。横跨二十年历史的战略文件。以及与传奇人物 [4] 的直接接触。
谷歌有自己的做事方式。几乎谷歌使用的每一款软件和基础设施都是在谷歌内部构建的，这是因为他们比大多数公司更早面临最艰巨的工程问题的自然结果。在谷歌的规模下，外部世界仿佛不复存在，只有极少数情况
下，才会小心翼翼地被允许进入他们的墙内。
这意味着我们没有机会保留现有的代码库。我们需要从头开始，与新团队重新发现我们产品的洞察力，然后在谷歌的技术栈上重建我们的应用程序。我们已经解决的问题，比如使用机器学习系统对家庭作业问题进行主题分类，必须使用搜索技术并达到搜索标准来重新解决，不用说这些标准比我们的要高。
我们能够打破谷歌模式的一个地方是使用我们的应用吉祥物“Ceebo”。看看谷歌的应用图标集合，你会看到四种颜色和简单的形状。对他们来说行得通，但对我们来说却很无聊。他们坚持（“我们不拟人化”），我们反驳（“你们对安卓就这么做了！”），直到我们最终因为我们太小而不重要而得逞。Ceebo作为我们的应用图标继续存在，并且在谷歌内部蓬勃发展，已经有几十种变体被设计出来，Ceebo在谷歌的各种意想不到的文档和网站中冒出头来。
通常的谷歌应用图标对比Ceebo
简单的事情反复做会感觉很神奇。与搜索领域的资深人士一起重建我们的查询分类系统，是一次洞察搜索本身构建过程的启发性窥视。一方面，有着信息检索工具令人难以置信的深度，以及令人难以理解的能力，能够计算并为互联网上的每个页面添加新的信号（例如 contains_math 或 subject:chemistry ）。
另一方面，人们发现大多数搜索改进都是通过工程师手动使用“并排”比较旧结果和新结果的方式进行审核的……而且是在电子表格上！
人们可能会期待谷歌工程主要包括实施博士级别的算法，虽然有时候确实如此，但搜索或人工智能工程师的工作很大一部分涉及查看示例、发现模式、手动标记数据以及其他非可扩展的、深入细节的分析。这似乎在最好的人工智能团队中普遍适用：
我注意到的一个模式是，优秀的人工智能研究人员愿意手动检查大量数据。不仅如此，他们还构建了可以快速手动检查数据的基础设施。尽管这不光鲜，但手动检查数据可以提供关于问题的宝贵直觉。
大多数问题不值得谷歌花时间去解决，但出人意料的问题却值得。大多数拥有1000万到5000万用户的问题不值得谷歌花时间，也不符合他们的战略。但是，如果问题符合他们的性质、战略以及某人的晋升目标，他们会投入重大努力去解决。
一个例子是：计算机视觉是Socratic界面的重要组成部分，特别是能够读取图像中的文本和数学内容。作为一家初创公司，我们使用了第三方工具，但由于涉及敏感数据的暴露、规模预期以及复杂的供应商审查流程——在谷歌内部使用它证明太困难了。有时候，直接收购公司以将技术内部化会更简单。其他时候，就像我们的情况一样，有一个对这个问题感兴趣的AI研究团队，他们聘请了顶尖的博士人才来研究这个问题，并在6个月内交付了一个世界级的数学识别API。
当然，如果你读过Steve Yegge的经典博客文章[5]，比较了谷歌和亚马逊的平台，你会知道这个世界级的服务并没有外部化。
谷歌是一个不断变化的目标和努力的网络。如果有合适的人关心，谷歌可以实现惊人的事情。一个明白其中奥妙的副总裁，一个有相关任务的研究团队，或者与某个组织的目标相兼容。导航这一利益混杂的局面是产品经理工作的一半。然后你还需要获得审批者的祝福，比如隐私、信任与安全以及基础设施容量。要知道一个想法是否可行，需要进行数十次对话，要让它成为现实，则需要进行数百次更多的对话。
这就是顺利的道路。如果有合适的人继续关心，谷歌能够实现惊人的事情。团队目标可能在任何一个季度都会改变，而整个团队也可能因为一次“重组”而消失，这种现象在谷歌如此普遍，以至于员工们可以忽略其中的悲剧，而看到其中的喜剧。
假设你躲过了所有这些子弹，你可能仍然会醒来发现，在你忙于你的项目时，另外两个遥远的团队也在研究同样的想法，现在到了争斗的时刻，因为只有一个项目能够继续。失败项目的内部用户会发现他们所依赖的API现在已经被“弃用”，但是替代品，嗯，它还没有准备好。
谷歌员工想要交付出色的工作，但往往做不到。虽然毫无疑问有些人是冲着免费食物来的，每天工作3小时，享受着提前退休的生活，但我遇到的所有人都是认真的、勤奋的，都想要做出伟大的工作。
打败他们的是层层审查、频繁的重组、过去失败留下的机构性创伤，以及在世界舞台上即便是做简单事情的复杂性。初创公司可以忽略许多问题，谷歌员工很少能这么做。
还有一个阻碍是人们自身——所有那些能够反对任何事情却不能支持某事的聪明人，所有缺乏勇气说出不舒服真相的领导者，以及所有那些没有明确项目可做却仍需通过虚构的有升职价值的工作来保留的员工。
顶层臃肿的组织难以驾驭。我近距离观察到的另一个阻碍进展的因素是团队顶层臃肿的不平衡。一个拥有多位成功联合创始人和10到20年谷歌资历的老员工的团队听起来可能是成就大事的不二法门，但这同样也是僵局的根源。
如果有多个领域可以探索、明确的目标以及强大的自主权去追求这些路径，这种结构可能会有效。但如果你想要致力于一个统一的产品，它需要一个明确的领导者，一个清晰的方向，以及更多的执行者而不是思考者。而且违反直觉的是，在早期阶段的项目中增加更多的人并不会让项目进展得更快。
技术债务是真实存在的，流程债务也是如此。工程师们习惯于谈论技术债务：为了节省时间和发布一个功能，你今天切了一个角；这是你向未来的自己借的一笔债，要么及时偿还，要么随着时间的推移处理起来成本越来越高。优秀的团队会在较为宽松的日子里定期偿还债务，通过整理清理事务。
就像真实存在的过程债务一样。因为发布出错而增加的审查。新增的法律检查以防潜在诉讼。在文档模板中增加的部分。这些层层叠加随着时间积累，直到你发现在功能准备就绪后的数月都无法发布，因为它被卡在审查之间，出路不明。
