AI智能体的自主性是一个难题。答案并不仅仅取决于风险的大小，更在于我们对风险的理解程度。如果给予的自由度过低，智能体的能力将仅限于回答基本问题；而如果给予过多的自主性，则品牌、声誉、客户关系甚至财务稳定性都将面临风险。
我们正目睹一场从基础的人工智能聊天机器人向真正的认知智能体（cognitive agent）的革命性转变——这些系统能够进行战略性思考、规划，并从成功与失败中学习。
然而，如果我们总是让人类参与其中，我们便难以真正获得人工智能转型带来的好处。那么，我们应给予智能体多大的自由度呢？令人惊讶的是，答案并不仅仅取决于风险的大小，更在于我们对这些风险的理解程度。如果给予的自由度过低，智能体的能力将仅限于回答基本问题；而如果给予过多的自主性，则品牌、声誉、客户关系甚至财务稳定性都将面临风险。
一种方法是等待业界就智能体形成普遍的监管和商业共识。另一种方法则是，对于那些足够大胆的人来说，可以将不确定性作为一种决策规则，以决定下一步该怎么做。
智能体是一种用于执行任务的系统。
与聊天机器人不同，它们借助大型语言模型，协调复杂的活动，包括规划、推理甚至与其他智能体的互动，从而解决各类问题。它们可以被视为高效的虚拟同事或一种数字劳动力。不久的将来，数十亿这样的智能体将融入劳动力队伍，实质性地改变企业的运作和产出。智能体的核心目标是完成具体任务，例如：为零售客户提供个性化建议，或帮助制药高管筛选临床试验的最佳候选人。
智能体可以成为围绕各种交易的控制层，取代那些复杂界面和繁琐工作流程
——这些正是企业软件平台的特征。它们的简单性和实用性将直接挑战传统的SaaS供应商，以及那些对它们的快速普及毫无准备的技术领导者。尽管人们对通用人工智能（AGI）的到来感到焦虑，但这些看似普通的系统可能更值得警惕——它们很快将做出数百万个微小决策，影响我们的日常生活和工作。
智能体的自主性是一个难题。
如果施加过多的监督，你会失去生产力提升的好处。然而，在许多情况下，监督正是避免灾难所必需的。自从生成式人工智能出现以来，已经有足够多的算法失控的例子让领导者们心生警惕——从汽车经销商聊天机器人以一美元的价格出售一辆新车，到一家航空公司因人工智能聊天机器人编造出不存在的政策而被追究责任。
为了避免这类问题，组织正在构建直接连接内部系统和数据的智能体，新的标准也在不断涌现。这是一把双刃剑。如果依赖内部系统和数据，智能体可能不太会编造信息。然而，随着人们对它们的信任度不断增加，它们在关乎生活的重要决策中的影响力也在迅速扩大，例如批准房屋贷款、分配社会保障、保护关键基础设施免受网络攻击、招聘或解雇员工，甚至控制致命武器系统等。
解决人工智能安全问题的一个直接方法是，对于任何可能产生严重后果的决策，都要让人类参与其中。奇怪的是，这种方法可能会导致适得其反的结果。以 Waymo（前谷歌自动驾驶汽车项目）为例，它提供自动驾驶出租车服务。很难想象还有什么比高速行驶的自动驾驶机器更具风险——它可能在瞬间做出影响他人生命的决策。然而，为道路上的每一种情况都编写程序，不仅技术上难以实现，还带来了严峻的伦理挑战。
新技术通常伴随着伦理挑战。
你可能听说过那些由“电车难题”所引发的经典哲学困境。这个难题描述了一个场景：一辆失控的电车正朝向绑在轨道上的五个人冲去。司机面临的选择是：什么都不做，五个人将被撞死；或者让电车转向，这样会撞死另一个轨道上的一名路人。这种迫使我们在两个不理想的结果之间做出选择的电车难题，可能会在现代世界中变得越来越普遍——不仅在自动驾驶汽车领域，还在其他领域，如医疗资源分配。当决策被委托给机器人出租车而不是人类决策者时，道德困境变得更加复杂。
Waymo非常重视乘客安全。他们有一个名为“车队响应”的技术运营中心，实时监控乘客行程。然而，当乘客坐的车在停车场里无休止地兜圈子而不是驶向机场时，安全团队不会介入并远程驾驶来解决车辆遇到的问题。相反，Waymo运营人员的角色是回答自动驾驶汽车在模糊情境中应做出何种选择的问题。在这种情况下，汽车不会停下来，也不会完全依赖人类输入，而是继续根据所有可用信息尝试导航。大多数情况都由汽车的人工智能系统自行解决，无需人工干预。
Waymo为什么会这样做？从表面上看，频繁的远程操作对业务经济来说将是灾难性的（毕竟你得花钱请昂贵的人工智能工程师来开车）。此外，从运营角度来看，由于延迟问题，远程驾驶汽车也是不安全的。但在我的观点中，他们的策略背后有一个更微妙的理由。通过持续为控制车辆的系统提供数据和背景信息，他们正在训练智能体随着时间的推移变得更加可靠和有韧性。从长远来看，这将为业务带来更多的运营优势。
Waymo的例子在人工智能安全领域中是反直觉的且颇具开创性的。如果我们将人工智能的自主性建立在对风险本质的理解上，而非仅仅基于风险的大小，那会怎样？换句话说，关键问题不在于风险有多大，而在于：
这种风险是否可以通过获取更多数据和背景信息来缓解？
1.复杂问题
复杂问题可能细节繁多且难以处理，但它们也可以被定义和记录，因此是高自主性、低监督的理想选择。
例如，当美联储调整利率时，银行通常会使用自动化系统自动调整多个平台上的数据，包括贷款计算、账户余额和客户报告，确保它们与新的利率环境保持一致，同时减少耗时的人工工作和潜在错误。复杂问题适合基于规则的确定性系统，如机器人流程自动化。一旦设置并运行起来，它们就可以自行运作，只需偶尔检查是否仍在可接受的参数范围内运行。
2.模糊问题
模糊问题可能有许多变量，其值不确定，这使得简单自动化变得困难。然而，
由于变量大多是已知的，你可以通过收集更多数据来提高预测结果和做出正确决策的能力。
自动驾驶汽车在道路上遇到意外障碍物就是一个模糊问题的例子，可以通过更多的背景信息来澄清。其他例子可能包括识别信用卡欺诈或者根据交易和行为数据为银行客户分配合适的金融顾问。智能体并不总是能做出正确判断，但它们学习速度很快。此外，人类并不像我们应该的那样天生擅长概率分析。然而，我们擅长的是通过反馈帮助智能体改进，以便我们能将时间用于更有价值的事情。
3.不确定问题
不确定问题是最具挑战性的，因为它们难以定义。
由于你缺乏对领域本身的了解，更多的数据也无法提供帮助。正如美国前国防部长唐纳德·拉姆斯菲尔德所说，这些是“未知的未知”。这类挑战的另一个术语是“棘手问题”，因为它们具有不完整、变化和矛盾的性质。
例如，没有既定治疗方案或可靠检测方法的大流行病，还有像船只堵塞苏伊士运河、红海船只遇袭等事件中全球供应链的脆弱性，甚至像贫困、气候变化或无家可归等长期存在的问题。在面对高度不确定性时，给予智能体高自主性是危险的，因为它们的训练数据中几乎没有内容可以帮助它们做出良好决策。在这种情况下，人类凭借适应性、创造力和韧性，能更好地应对这类问题，尤其是在情况失控时。
我们正处于人工智能发展的转折点。过去那种单纯依靠投入更多数据和计算能力解决问题的方法，正在面临瓶颈。未来将属于那些能够在推理过程中实时思考，而不仅仅依赖于训练数据的智能体。然而，这里也有一个挑战：为了变得更强大，这些智能体也需要在现实世界中自由学习和成长的空间。
智能体的未来取决于我们构建可信赖系统的能力。这类系统需具备大规模决策及执行能力，无论决策源自人类还是机器。对于技术专家而言，这意味着要跳出单纯实施技术防护措施的局限，从更广阔视角审视人工智能治理。英伟达首席执行官黄仁勋曾形象地指出：“未来，每家公司的信息技术部门，都将转型为专为智能体服务的人力资源部。”
设计有效的智能体与成为更好的领导者并没有太大不同。做出正确决策固然重要，但更有价值的是能够从组织层面思考决策过程。我们不应只关注特定决策的结果，而需要改进评估和执行决策的整体过程。这种方法将责任从个别决策者转移到设计和管理人工智能系统的人身上，有可能在组织内引发文化变革——远远超出单纯的流程改进。
关键词：
智能体
迈克·沃尔什（Mike Walsh）| 文
迈克·沃尔什是Tomorrow公司的首席执行官，也是《算法领导者：当机器比你更聪明时如何保持明智》一书的作者。
Kimi、豆包 | 译 周强 | 编校
