专栏名称: 虎嗅APP

有视角的商业资讯交流平台

适度打击机器人的自信，更有利于它们成长

虎嗅APP · 公众号 · 科技媒体 · 2017-06-11 21:35

正文

通常情况下，对自己的能力充满自信绝对是件好事，只要不至于自负。随着机器和软件发展的越来越智能，我们会想是否能让机器也变得充满自信。探索机器人对于自身能力的自我感知性，将有助于指导未来高级人工智能（AI）的构建。

加州大学伯克利分校在读博士生Dylan Hadfield-Menell称，“过度自信的人工智能可能会导致很多问题”。以Facebook的新闻推送算法为例，其目的是为了向用户推荐其想要阅读的内容，然而如果用户不经大脑地直接接收这些自动推送，最终将导致系统推送一些虚假的新闻消息。

图丨被踹完有没有很委屈的感觉？

对于Hadfield-Menell及其同事来说，解决方案是让AI寻求并接受人类的监督。“如果Facebook有这样的觉悟，我们也就不会广受虚假消息的困扰了，”他说。

这种情况下，一个对自己较不自信的算法将更可能尊重一个用户的判断，而不是对自己“过于自信”，自顾自地将自己认为用户想要的内容都推送给用户。

“开关游戏”引发的思考

伯克利团队设计了一个称为“开关游戏”（Off-switch game）的人机互动数学模型，用以探索机器对自己的“自信感知”。

在这个理论游戏中，一个具有“关闭”开关的机器被赋予一个任务。在执行任务过程中，人可以随时按下机器的“关闭”开关中断其任务，而机器人可以自由的选择“关闭”开关，从而使人类不能干扰其执行任务。

实验结果表明：对自己所做事情具有“高度自信”的机器，决不会让人把它关掉，因为它试图最大限度将时间花费在完成任务上。相比之下，“不太自信”的机器总是会让人把它关掉，即使它所执行的任务没有任何差错。

当然，Hadfield-Menell也并不认为我们应该让AI“太不自信”。比如说，一辆自主驾驶汽车的任务是载孩子上学，此时就不能让小孩子获得控制权。在这种情况下，AI就应该相信自己的能力高于孩子，无论情况如何，都应该拒绝孩子随意关掉的指令。

Hadfield-Menell说，最安全的机器人将在这两个极端之间取得平衡。

道德框架至关重要

牛津大学计算机系教授Marta Kwiatkowska说，“那些拒绝让人关掉的机器可能听起来会很难以置信，但是对于制造与人一起工作的机器人的制造商来说，这样的考虑是至关重要的”。

诸如自动驾驶汽车和消防机器人之类的智能机器，在特殊情况下将被要求做出有关人身安全的决策，所以必须尽早制定并安装有关特殊情况下决策的机器人“伦理框架”（ethical framework），这是至关重要的。

Hadfield-Menell称，“开关游戏”只是探索机器人自我感知的一个开始。他还计划探索机器人如何在获取更多有关自己能力的信息后做出决策改变，比如说，一个煮咖啡智的能机器人有可能意识到自己的任务在早上是更重要的。

最终，Hadfield-Menell希望其研究能够引领AI变得更有可预测性，并使其决策更易于让人理解。“当把一个智能机器放入现实世界中，对于它究竟在做什么，我们当然想做到心里有数”，他说。

「工作让我快乐」是真是假？

来「虎Cares职场物欲清单」里找找办法

请关注请爱护，跟茶水间主任一起得闲饮茶

推荐文章

新浪科技 · 【#港股迎来结构牛# 未来估值中枢有望抬升】9月下旬以来，政策组-20241214085837

2 天前

新浪科技 · 【#极越夏一平辟谣一线门店复工复产#：只是保留200个销售在门店-20241214093819

2 天前

新浪科技 · 【#曝守望先锋2国服将回归##守望先锋2疑暗示国服回归#】今日，-20241211223456

4 天前

36氪 · 南极游，出境最顶流

5 天前

36氪 · 字节内部判断AI对话类产品天花板可能不高，提升剪映即梦优先级丨36氪独家

5 天前

创业邦 · 诺基亚安卓新机曝光：跑分亮了；美发明可弯曲“超级电池”，几秒内手机满电；自动驾驶飞的来了，你敢坐吗？

8 年前

掌上新疆 · 央视曝光350个传销组织名单！新疆人快看看你有没有遇到过！

7 年前

未读 · 为什么我的相亲总是失败 | 推荐

7 年前

丁香妈妈 · 宝宝总是咬乳头，怎么办？

7 年前

色影无忌 · 中国最美又亲民的户外摄影节，10年大Party请你来参加！

7 年前