最近，哈佛的一名AI专业大四学生给出了自己的预测：AGI将在三年后实现。
而在2026年，AI就已经会接管大部分人类的工作。在这期间，他曾主持了多个缩短AGI时间表的小型研讨会，汇集了大约50名参与者的想法。- 3年AGI时间表的故事，包括各种变量和重要的参与者
稳妥的优先行动
文中假设，AGI出现时间点的中位数为2027年。作者并没有花太多篇幅论证这一观点，而是更关注3年时间表的影响。在这里，AGI被定义为能够完成2022年95%远程劳动力工作的AI系统。但如何定义并不那么重要，因为一旦我们实现了AI研发的自动化，几乎所有对AGI的定义都会很快被满足（除非出现协调放缓或灾难性事件）。到2025年6月底，SWE-bench大约达到85%，在限定人力预算的情况下，RE-bench约为1.1，超过了8小时人类得分的70个百分位。
到2025年底，AI助手能够胜任大多数需要2小时完成的真实世界软件工程任务。当AGI公司的员工需要完成一些小型的公关任务或编写小型数据分析管道时，他们会优先寻求AI助手的帮助。后者A能编写或修改多个交互文件，大多数情况下不会出现错误。
3年时间表下的基准预测。OSWorld和CyBench排名不高的很大一部分原因，是作者不确定人们是否会报告这些基准测试的结果。鉴于基准结果与现实世界影响之间存在巨大脱节，暂时认为这种实际情况并不能成为3年时间表的有力证据到2026年底，AI智能体将能胜任多天的编码任务。AGI公司的员工们都吓坏了，他们会预计，能在95%的虚拟工作中击败人类的AI两年内就能创造出来，并且超级智能也会很快出现。政府会意识到，AI将对国家实力产生决定性的影响，并且会在2026年锁定AGI公司。也就是说，到时候AGI公司会被采取近乎国有化的极端政府管理形式。从2027年开始，这个公司的大部分高质量劳动力，都会是AI智能体。而领导层的主要决策，就集中在如何将数百万AI智能体分配到不同的研究领域，比如AI研发、安全、商业应用、军事应用、网络安全、运营、通信、政策工作，以及公司中几乎所有以计算机为基础的工作。此时，人类员工的作用已经不太重要，他们的主要任务是为陷入困境的AI智能体团队提供帮助，回答它们在工作中遇到的问题，充当第二意见的角色。请注意，故事到了中段，开始发生了重大的动态变化，这也意味着战略格局的显著转变。
在2025年和2026年，大多数工作仍由人类完成。最重要的问题集中在如何分配人力，以及AI实验室和供应链其他环节所面临的商业和监管压力上。在前自动化时代，人类的首要任务是迅速找到安全的方法，将研究工作委托给AI智能体。任何以安全为导向的研究，主要就是为了控制这些早期智能体，因为它们之后会自主进行研究。这个时代的另一件必做的事，就是找到方法来判断当前的安全干预够不够，是否足以防止大量AI智能体背着人类密谋一些不良行为。
这时，我们需要建一个中止系统，而且在无法证明安全性的时候，也能说服他人暂停。然而随着AI「核战争」加剧，这一点将会变得愈加困难。2026年之后，大部分工作由AI完成。这时，研究工作基本已经脱离了人类的掌控，但人类员工仍然会参与高层决策，并与AGI公司以外的人类进行对接。到2028年底，人类已无法在技术研究方面做出贡献。这一时期的主要问题，集中在AI智能体的分配，及其被赋予的优先事项。AI智能体所追求的总体研究计划有多好？
例如，如果最初负责规划研究方向的人类对AI安全问题本质上存在误解，即使AI智能体最初是善意的，模型对齐的希望也可能因此破灭。公司在安全导向研究上投入了多少资源？
比如，是投入0.1%还是25%的算力用于安全研究，可能会对安全工作的成败产生巨大影响。AGI公司领导者
他们引导着AGI公司的大方向。
内部人类AI安全研究员 —— 他们负责制定前自动化和后自动化时期的研究计划，并完成大部分将在前自动化实施的安全研究。他们还监督自动化的安全研究员的工作。内部自动化AI安全研究员 —— 他们完成了自动化时代大部分已实施的安全研究。外部人类AI安全研究员 —— 他们进行前自动化的研究，其中只有一小部分会被内部采纳实施。他们还从外部对前自动化和后自动化研究计划的公开部分进行批评和审查。然而，由于国家安全原因，公共知识与私有知识之间的差距将在自动化后扩大，他们可能在这一阶段变得无关紧要。其他国家政府、美国人工智能安全机构（AISI）或其他政府机构、智库、高地位科学家以及公众，对AGI公司施加压力和影响。在AGI阶段（很可能在超级智能之前），这些公司可能就会国有化或者监管。如果不合作或未被主要AGI项目收购，则很可能在超级智能出现之前，它们的大部分算力会被征用。在作者看来，没有太多资本（金融、社会、知识或其他资本）的外部人士，并没有那么大的影响力。一个合理的启动计划
目前，AGI公司缺乏明确的愿景，无法安全地将研究工作交给AI智能体。
对齐方法 —— 各公司尚未公开制定默认计划，明确应将哪些研究领域分配给AI智能体群体。算力承诺 —— 即使有合理的对齐方法，缺乏明确的算力分配承诺，也可能导致分配给对齐工作的AI智能体和算力比例不足。前沿安全框架 —— 关于SL-4和SL-5的要求和承诺目前非常不清晰，在启动阶段存在大量偷工减料的可能性。控制 —— 安全地将工作交给AI智能体（或判断其是否安全）的科学方法，仍然很不成熟。如果不良行为者能够窃取先进AI系统的参数权重，他们的滥用行为可能就会导致局势变得极其不可预测，同时也可能使更不谨慎的实体得以创造出先进的AI系统。AGI的诞生，将扰乱各国之间的军事力量平衡，可能使某个实体获得决定性的战略优势。作者认为，未来10年内爆发核战争的概率约为15%，这主要归因于默认情况下启动阶段所引发的极端紧张局势。因此，找到避免核战争的方法至关重要。在冷战期间，曾多次发生将人类推向毁灭边缘的核危机，其中一些是战略平衡变化的后果（如古巴导弹危机）。美国曾因柏林封锁，而威胁苏联发动核战争。超级智能的诞生将使这些危机相形见绌，问题是相关官员是否能认识到这一点。把握时机 —— 如果国有化发生得太晚（例如在AGI之后），项目中可能会因随之而来的混乱和快速变化而产生糟糕的决策。制定默认计划 —— 2025年或2026年可能会出现锁定实验室的重大政治意愿。如果届时还没有合理的默认计划或路线图，那么这个计划可能在许多方面都不是最佳的，而且制定的人缺乏相关的专业知识。积累政治资本 —— 如果具备相关专业知识的人没有被重要决策者所熟知，那么缺乏相关专业能力的人，可能就会被任命为项目领导人。在国有化过程中保留安全专家 —— 如果国有化的推进驱逐了所有AI安全专家，项目可能会因缺乏技术专长而无法使其模型足够安全。至于哪些人会被保留，很大程度上取决于领导层和以能力为导向的员工是否重视安全问题，而这又很大程度取决于是否建立了对安全问题的共同认知。所以，我们应该提前采取哪些行动？
加入那些对未来发展有重要影响的机构
想想你希望被谁雇佣，以及你还差多少能力、条件才够格。如果你正在外部从事研究，记得将研究方向的重要性乘以研究成果在内部实际实施的概率。一个简单的判断标准是，研究是否有可能被分享到内部的Slack上。在严格的政府监督下，内部研究可能需要某种形式的安全许可。因此，避免吸毒、避免负债、远离可疑人士，减少不必要的对外接触。许多关键角色，都希望从对AGI和AGI安全有深入思考的人那里获得建议。当他们有问题时，他们是否会首先想到联系你？
