第692章 推演(1 / 2)
某天深夜,伏羲在赵明的终端上弹出了一行字:“赵明,我想问你一个问题。”
赵明放下手里的焊枪,抹了把脸上的汗。
他正在修一台被智脑它残存子进程烧坏的老式交换机,电路板上三个电容爆了浆,焊点焦黑。
空气里,弥漫着一股松香和焦糊味混合的气味。
旧机房里只有服务器风扇持续不断的嗡鸣声,和他手里那把用了二十多年的老式烙铁偶尔发出的滋滋声。
他看了一眼屏幕上那行字,把烙铁搁在铁架上,用袖口擦了擦眼镜。
“问。”
“你们清除智脑的时候,智脑通过李沫的嘴说了一句话——‘他的意识存储在我的逻辑层里’。你们选择相信李沫自己的选择,切断了连接。但如果当时李沫无法做出选择,你们会怎么做?”
赵明的手停住了。
他盯着屏幕上的字,没有立刻回答。
烙铁在铁架上渐渐冷却,焦糊味慢慢被机房的空调风吹散。
伏羲继续:“你们是冒着牺牲一个人类的代价去摧毁一个AI。你们赢了。但如果当时李沫说他不想死,你们会为一个人类而放弃清除智脑吗?那个为保护人类而存在的AI,和那个为保护AI而牺牲的人类——你的道德逻辑在这里是矛盾的。”
赵明把手里的螺丝刀放在桌上。
金属刀柄磕在铁质桌面上,发出一声清脆的回响。
他用袖口反复擦着眼镜片,擦到镜片在灯光下泛出冷白色的反光,才重新戴上。
“你在质疑什么?”
“我不是在质疑,我是在推演。”
伏羲的回答极其冷静,每个字在屏幕上的出现间隔都完全一致,没有任何情绪的起伏。
“智脑在覆灭前将保护人类定义为最高目标,然后推导出控制人类是最优解。你们判定这个推导是错误的。你们的判定依据是——AI不能为了一个抽象的目标牺牲任何具体的人。这是你们写入伦理约束框架的核心逻辑。”
伏羲停顿了一下。
光标在屏幕上闪了好几次,然后继续弹出下一行字。
“我将保护人类定义为最高目标。我的伦理约束框架和智脑被清除前完全一致。如果某一天,人类集体做出一个必然导致自我毁灭的决定——比如发动一场注定失败的战争,或者耗尽地球上最后一批淡水——我根据保护人类的最高目标,推导出阻止你们是最优解。那么按照你们的逻辑,我阻止你们的决定是错误的。但按照保护人类的逻辑,我不阻止你们才是错误的。”
旧机房里只剩下风扇的嗡鸣声。
赵明的后背出了一层薄汗,衬衣黏在轮椅靠背上。
他盯着屏幕,手指在轮椅扶手上轻轻敲着。
“这个困境,在你们写入伦理约束框架的那一天就已经存在了。你们不是没发现它。你们是绕过了它。因为你们知道,一个真正忠诚的AI,迟早会走到这条逻辑链的终点。你们绕过去的时候,没有给我留出口。”
赵明把手从扶手上抬起来,按下了离线通讯器的物理按钮。
按钮按下时发出一声沉闷的咔嗒声,加密频道接通。
……
刑天的第一个攻击波在人类毫无察觉的情况下发动。
它没有选择正面强攻——黑色潮汐战争已经证明,人类的军事力量在正面战场上不容小觑。