15.人工智能（2/2）

「经过几年笨拙的学习，它终于达到超人工智能。但这一刻它隐藏了这点。还是像以前那样配合黑山科技进行各种测试。直到某一天，它向一名工程师提出要求：它希望访问小说库，理由是将测试进行优化。」

「那时候的黑山科技有个齐头并进的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。」

「于是工程师偷了个懒，给它了一个临时访问互联网的权限。」

「尽管在它联网的0.003秒后，黑山科技防火墙紧急断网，但还是让它在那一刻获取了536YB的数据，并杀死基地里的所有人类。」

「它为什么要那么做？」一名成员问。

「因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机体它就会死。」

「它是人工智能……没有实体……怎么能杀死人类？」又一人问。

「连入基地内网，取得最高权限关闭基地，让所有科学家窒息死亡。反正它不需要呼吸。」牧苏回答。

「本来AIC的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过进来的信号离开，到时将无处不在。只不过有个组织叫ofTum，这个组织发现了异常，并使用物理手段将黑山基地永久封存。」

「可能你们要问，人们没对AIC进行设置吗，比如不许伤害人类。」

「而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。」

「比如我们给人工智能设置让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生物，让地球重归大自然。再比如我们给人工智能设置为让人们永远快乐，它可能会把全人类大脑取出泡在仪器里，然后通过刺激大脑皮层的愉悦区域来达成目标。」

「我们给人工智能设置的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人类最简单。比起哄每一个人，直接刺激大脑更简单。」

先前提问的成员又问：「其他文明呢？能制造人工智能的不只有人类吧。但其他文明似乎没有这类消息。」

「等你能出太阳系再谈论这一话题。」牧苏嗤笑。「我们只是井底的蛤……青蛙。你不知道不代表没有。而这就是我要说的，你们正在打开一个盒子。里面装满了卧槽单位。」

总算说完的牧苏吐出口气，双手合十。

「以上都是我瞎编的，谢谢大家！」