Anthropic 核心创始人讨论他们的过去、现在和未来

Anthropic 几个核心创始人罕见的一起录了一个播客，详细介绍了他们如何认识然后产生共识最后迫不得已创建公司的事情，里面聊到了公司的文化以及一些有趣的细节，这几个人基本都经历了AI从开始到爆发再到现在的过程。

我整理了一下关键的部分，其中关于安全的我省略了可以去看原视频。

创始历程与动机

个人背景与转折点:

• Jared 原本是物理学教授，被Dario展示的AI模型结果所吸引

• Chris最早19岁就认识了团队成员，后来在Google Brain与Dario共事

• Tom原本是记者，2014年就开始关注AI发展，尽管当时很多人认为这个决定"疯狂"

• Daniela在Stripe工作了5.5年，经Greg介绍认识了团队

关键时间节点:

• 2014-2015: Tom开始追踪ImageNet结果，注意到GPU在AI研究中的重要性

• 2015: Dario发表"Concrete Problems in AI Safety"论文，开创性地将AI安全与实际机器学习结合

• 2016: 多位成员加入OpenAI

• 2020: GPT-3成功后，团队意识到必须采取行动

• 2020-2021: 团队决定离开OpenAI创立Anthropic

决策过程:

• Chris描述自己花了6个月时间纠结是否要投身AI安全领域

• Tom采用了一个有趣的策略：向雇主提出不可能被接受的条件，帮助自己下定决心

• 有些成员(如Chris)最初不想成立新公司，更倾向于建立非营利组织

• 最终选择创业是出于实用主义考虑，认识到需要资本支持

核心动机:

• "None of us wanted to found a company. We felt like it was our duty."（没人想创业，但我们觉得这是责任）

• 看到GPT-3的成功后，意识到如果不采取行动，可能会错过改变行业的机会

• 希望避免科技行业常见的错误，建立一个不同的机构文化

• 团队成员共同特点是"betting with conviction"（带着信念下注）

独特视角:

• 物理学家背景带来的影响：更愿意追求雄心勃勃的目标，不受AI寒冬的心理阴影影响

• 新闻记者背景带来的洞察：能够较早发现技术趋势

• 工程师视角的重要性：认识到不仅研究者，工程师也能为AI安全做出贡献

集体认知的转变:

• 从最初被认为是"疯狂的"决定，到后来被证明是前瞻性的选择

• 从单纯的技术追求，到深刻理解安全与发展的平衡

• 从个人职业选择，到承担集体责任

这段创业历程的独特之处在于，它不是传统意义上追求商业成功的创业故事，而是一群专业人士为了更崇高的目标而不得不选择创业这条路。他们的动机更多源于使命感和责任感，而非传统的创业动机。这种独特的起点，也深刻影响了Anthropic后来的发展方向和企业文化。

这个故事也反映了AI行业在2014-2020年间的巨大变迁：从边缘话题变成核心关注，从被质疑到被重视，从纯技术追求到更注重责任与安全。团队成员的个人经历，某种程度上就是整个行业发展的缩影。

公司文化特点

这是一个非常独特且深思熟虑的企业文化体系：

核心价值观的统一性

• 团队成员有着高度一致的使命感和价值观

• 所有人都清晰理解并认同公司的使命

• 团队成员都做出了80%收入捐赠的承诺（the 80% pledge）

• 各个部门都在为同一个目标努力，避免了部门间的利益冲突

信任文化的构建

• 团队成员之间存在深厚的信任关系，这种信任来自于长期合作

• 信任不仅存在于创始团队，还成功扩展到了更广泛的员工群体

• Daniela被认为在保持高标准方面发挥了重要作用

• 信任使得团队能够坦诚地讨论和处理复杂问题

低政治性特征

• 公司刻意维持低政治性的环境

• 员工对政治行为有着"过敏反应"

• 强调低自我（low ego）的重要性

• 注重实质性贡献而非职场政治

部门协作的特点

• 产品团队、研究团队、信任和安全团队等都紧密协作

• 没有部门间的对立或互相指责

• 各个部门都理解自己在整体目标中的角色

• 工程师也会关注安全问题，安全研究人员也会考虑实用性

实用主义方法

• "极端实用主义"（extreme pragmatism）是重要特征

• 在保持理想主义的同时注重实际可行性

• 认识到需要在安全与竞争力之间找到平衡

• 愿意面对现实约束，做出务实决策

独特的组织结构特点

• 将权衡和决策分散到组织各个层级

• 避免决策仅在高层进行

• 让每个员工都能参与到重要决策的讨论中

• 强调透明度和信息共享

客户导向的安全理念

• 将安全作为产品竞争力的重要组成部分

• 理解客户对安全可靠的AI系统的需求

• 通过市场成功证明安全与商业价值可以共存

• 创造良性的"向上竞争"环境

文化维护机制

• 严格的面试流程，确保新员工与文化匹配

• RSP（负责任扩展政策）作为制度保障

• 持续的文化建设和价值观传递

• 领导层以身作则

反映在日常工作中

• 工程师主动提出安全考虑

• 产品团队重视安全评估

• 业务团队理解并支持安全措施

• 跨部门合作自然形成

文化的可持续性

• 文化已经超越了创始团队，扩展到更大范围

• 建立了制度化的机制来维护文化

• 通过实践证明这种文化是可持续的

• 形成了良性循环

这种企业文化的特殊之处在于：

• 它不是自上而下强制推行的，而是自然形成的

• 它既有理想主义色彩，又保持着务实态度

• 它成功地在规模扩张中保持了核心特征

• 它将看似对立的目标（如安全与发展）统一起来

几个联创展望未来

团队成员分别从不同角度表达了他们的愿景：

Chris的视角：神经网络的可解释性研究

• 认为神经网络内部蕴含着巨大的美感和复杂结构

• 将神经网络比作生物系统，认为里面有"人工生物学"的奥秘

• 预见未来会有专门的神经网络可解释性教科书

• 相信在未来十年内会有重大发现

• 对于能亲自撰写这样的教科书表示期待

Tom的视角：政府能力建设

• 对政府建立AI评估和测试机构表示乐观

• 认为这些机构展现出意外的专业性和能力

• 将这些新机构比作"新的大使馆"，专门处理新技术类别

• 相信这显示了社会有能力应对AI带来的转型

• 期待能协助提升政府在这方面的能力

Daniela的视角：AI的社会效益

• 特别关注AI在医疗健康领域的应用潜力

• 提到Claude在疫苗开发和癌症研究方面的应用前景

• 回顾自己在国际发展领域的经历，期待AI能更有效地解决这些问题

• 展望3-5年后AI解决人类基本问题的可能性

• 对AI能改善人类生活质量表示兴奋

Jared的视角：AI系统的安全机制

• 强调需要深入研究高级AI系统可能存在的风险

• 期待通过实证研究来理解和预防潜在问题

• 看好未来6个月在这方面的突破

• 强调科学和实证方法的重要性

• 相信能找到避免潜在陷阱的方法

Dario的未来展望：

a) 可解释性研究

• 认为可解释性是安全AI系统的关键

• 相信这一领域将带来对智能优化问题的洞察

• 预测可能会对理解人类大脑产生重要影响

• 甚至预言这方面的研究可能获得诺贝尔医学奖

b) AI在生物学领域的应用

• 提到AlphaFold获得诺贝尔化学奖

• 期待能开发出更多类似AlphaFold的突破性成果

• 认为尽管存在怀疑声音，但这个领域将取得重大进展

c) AI与民主

• 关注AI如何加强而非削弱民主

• 思考如何将AI打造成自由和自治的工具

• 认为这是一个相对早期但重要的方向

展望的时间尺度：

• 近期（6个月-1年）：关注具体的安全机制研究

• 中期（3-5年）：期待在医疗等领域的实际应用