让机器变得善良

点燃、沉浸、出窍

第五封：让机器变得善良

亲爱的木果：

谢谢你给我们带来你亲自摘的苹果，红红的，带着秋天的甜香。卡片也非常精美，我最爱你的绘画呢。你在摘苹果的时候一定非常愉悦，我们都能从画里面感受到你的快乐！

你说上次叔叔给你写的信让你对未来的机器智能社会充满了期待，阿姨何尝不是！小时候，我最喜欢的一本书叫《小灵通漫游未来》。讲的是一个叫小灵通的少年记者，因缘巧合登上了驶向未来的汽车，用他那支喝满墨水的钢笔记录下在未来世界里的愉快生活。

我到现在还羡慕里面提到的水滴形的自动驾驶汽车、在生产线上制造出来的可口蔬菜和根据天气自动调节温度的衣服，多么希望能在来暖气之前先穿一件这样的衣服。

机器智能的未来有无数种可能性，你的 Alex 哥哥最喜欢的科幻小说和科幻电影里面充满了人类的想象：我们可以在无垠的宇宙空间里自由穿行、探访不同的星系；身边会有可爱蓝胖子做家庭保姆，帮我们照顾家人；工作的时候会有像 R2D2 一样的助手查阅资料、计算结果；休闲的时候还有 Her 同我们聊天谈心，互为知己等等。

我们和机器智能互为知己？像大雄和哆啦 A 梦那样！想想其实也不错呢，忠实、温暖的蓝胖子真是好朋友的不二选项。不过，不是所有的机器智能都这么可爱，每次想到《终结者》里面的液态金属机器人，那个可以在固态和液态之间任意转变、可以把身体任何的部位随意变成尖刀的机器智能，我就觉得毛骨悚然，半夜还会睡不着觉。

上次和 Alex 哥哥讨论这个问题的时候，他就说：“那我们就让这些机器人只做好事，不做坏事就可以了啊。”你是不是也这么想的？两个聪明的小朋友！你们和好多工程师的想法不谋而合呢。

阿西莫夫老爷爷是写科幻小说最厉害的人，他为了让机器人只做好事，不做坏事，提出了著名的机器人三定律。世界上所有的机器人必须依从三个定律，任何违反这三条定律的机器人都会启动自毁程序：

第一，机器人不能伤害人类，或者因为袖手旁观而让人类受到伤害；

第二，除非违背第一条原则，机器人必须服从人类的命令；

第三，在不违反第一和第二条法则的前提下，机器人必须保护自己。

老爷爷觉得，有了这三条定律，机器人就永远不会叛变、不会破坏、不会对人类造成伤害，像电影《Matrix》里面机器人控制人类身体和灵魂的事情就不会出现。

聪明的人类制定各种社会规则用来管理自己，在未来也管理机器。好的规则可以约束技术，让它应用在对人类有益的地方——帮我们收拾房间、买菜做饭、陪我们旅行、让社会生产更多产品，而约束它可能对我们造成的坏影响。这些规则的设定非常重要，它们其实是技术发展更为重要的组成部分呢。

不过，阿姨偷偷告诉你一件事情，你不要告诉叔叔哦！他们工程师们其实还是把这个问题想得太简单了。像阿姨这样研究社会的学者还担心另外一件事情呢：前几天 Alex 哥哥又一遍复习《星球大战》系列电影的时候对克隆军队发生了兴趣。 在第二部《星球大战》里面，大量制造出来的克隆战士，组成浩浩荡荡的大军冲锋陷阵，护卫银河共和国的稳定。但是在第三部里面， 黑暗势力启动了克隆人的预设指令，庞大的军队调转枪口，成为杀害绝地武士、推翻共和国的主力。Alex 哥哥看完电影困惑地问我：“妈妈，制造克隆军队到底是不是一件好事？”

这真是一个好问题，也是一个非常难于回答的问题。当人类拥有强大的科技能力，可以制造精巧的机械、锋利的武器，可以做很多自己想做而以前做不到的事情的时候，用这些技术去做什么事情就成为一个更重要的问题。这就是大人常常说，做一件事情要有“目的”。

当爱因斯坦爷爷发现原子的质量和能量之间的秘密时，人类就拥有了一项伟大的技术。然而，人们用这项技术达成了完全不同的“目的”。有的国家用原子能技术发电，比如法国，超过 70% 的电能来源于清洁、稳定、高效的核电站。但是，也有工程师利用原子能技术达到军事目的，制造出来原子弹。

所以你看，判断原子能技术的好或者坏，需要看人们用这项技术干了什么。 就算是制造出比较可怕的原子弹，我们也可以用它看不同的事情呢。有的国家希望用原子弹扩张侵略、引发战争；而有的国家则制造原子弹用来防御、期待和平。

这样，你是不是也可以回答 Alex 哥哥问的克隆军队的问题呢？如果克隆军队为了和平的目标战斗，制造他们就是“好事”。而如果他们为黑暗势力服务，虽然他们还是同样的克隆人，同样的克隆军队，但是就会成为“坏人”的工具，制造克隆人也成为“坏事”。人类和动物最大的不一样就是我们会思考每件事情的意义、目标、价值等等看不见、摸不到的东西。但往往是对这些问题的思考决定了人怎么利用技术、决定了技术的“目的”。

最喜欢提问题的你可能会继续问：那怎么才能保证未来的机器智能，未来那些可爱的、能够自己思考的机器人朋友只做好事不做坏事呢？又是一个好问题，不过这次阿姨真的没有答案了。在漫长的人类发展和进步的历史中，这个问题是人们一直思考，但还需要继续思考下去的问题之一。

技术可以飞速发展，但是我们用这些技术达到什么目的？体现什么价值？则必须依靠人类自己的不断思考。未来的技术如何使用，决定权可能就在像你和 Alex 哥哥这样的小朋友手中。你们的思考，决定技术的未来。

木果，你是一个爱思考、爱问问题的小姑娘。阿姨也想知道你的想法。也许下次，我们可以和叔叔一起讨论，看看当小朋友、工程师叔叔和社会学阿姨碰在一起会有怎样的火花！

     爱你的阿姨

戴亦欣

      2017年1月10日

新 刊 简 介

《第九区·慈爱的机器》

慈爱的机器会照看我们的一切？还是会剥夺我们的一切？

 

封 面 专 题

《慈爱的机器》总共推出六封信件，向孩子讲述人与智能共处的世界，人类的习惯模式正在被快速颠覆，未来将发生巨大的学习变革，人将与机器共同进化……

其 他

《You’re Fired！川普、游戏与川普的游戏》

你可知道从1989年开始，川普就开始设计出一些非常川普风格的游戏。

 

《魔兽世界，一个游戏背后的宇宙》

真正调动玩家的爱恨情仇的，是“基于真实的历史感”， 是远处“迷雾山脉”的作伴。

 

《生命游戏》

英国数学家康威在1970年发明的一款游戏，在数十年来，深远地影响了科学界和哲学界，在我们心灵中唤起的惊奇和敬畏。