防止人工智能核末日的到来

日内瓦——这不再是科幻小说的内容：将人工智能应用于核武器系统的竞赛正在进行中——该进展或许会导致核战争更有可能。随着世界各国政府采取行动确保人工智能的安全开发和应用，缓解这种危险成为可能。但如果世界领导人想要抓住这次机会，他们必须首先认识到威胁的严重性。

最近数周内，七国集团达成了广岛进程先进人工智能系统开发组织国际行为标准，以在“全球范围内推动安全、可靠和值得信赖的人工智能”，美国总统乔·拜登也发布了一项行政命令，对人工智能“安全和保障”制定了新的标准。英国还主办了首届全球人工智能安全峰会，目的是确保人工智能技术的开发以安全和负责任的方式进行。

但上述举措均未充分化解人工智能运用于核武器所带来的风险，七国集团的行为准则和拜登的行政命令都只是顺便提到了保护民众免受人工智能所产生的化学、生物和核威胁的必要性。英国首相里希·苏纳克根本没有提到与核武器相关的人工智能应用所带来的严重危险，尽管他宣布，一项关于人工智能所涉风险的共识已经在人工智能安全峰会上达成。

使用核武器所带来的生存风险会给人类和地球造成难以估量的破坏，没有人怀疑这一点的真实性。即便区域性核战争也会直接杀死数十万人，而由此造成的间接痛苦和死亡也极其严重。仅由此造成的气候变化就可能使数十亿人陷入到饥饿之中。

核历史上的未遂事故屡见不鲜。很多时候，相比于盲目遵从机器所提供的信息，人类选择相信自己的判断，世界末日也因此得以避免。1983年，苏联军官斯坦尼斯拉夫·彼得罗夫收到其正在监控的预警卫星系统的警报：探测到美国核导弹正在飞往苏联。但彼得罗夫并未立即向其上级提出警示（此举无疑会引发核“报复”），而是正确地认定这是一次错误的报警。

如果有人工智能的参与，彼得罗夫是否会做出同样的决定——甚至，他是否会有这样做的机会?事实上，将机器学习应用于核武将削弱人类对部署决策的控制力。

Subscribe to PS Digital

Subscribe to PS Digital

Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.

Subscribe Now

当然，自核武器发明以来，越来越多的指挥、控制和通信任务已经进入到自动化阶段。但随着机器学习的发展，先进计算机的决策过程变得越来越不透明——也就是所谓的人工智能“黑匣子问题。”这导致人类很难监控机器的运行，更不用说确定它是否受到了损害、出现了故障，或以可能导致非法或意外结果的方式进行了编程。

单纯确保由人类作出最终的发射决策并不足以缓解上述风险。正如心理学家约翰·霍利在2017年的一项研究中所总结的那样，“人类非常不擅长满足由监控机制所强加的监控和干预规定。”

此外，正如普林斯顿大学2020年科学与全球安全计划所表明的那样，领导人在面临核危机时的决策时间已经非常短暂。即使人工智能仅用于传感器和目标定位，而不是做出发射决策，同样也会缩短决定是否打击的时间。领导人所面临的额外压力将增加误判或非理性选择的风险。

卫星和其他情报探测系统使用人工智能会带来另外一种风险：使隐藏历史上一直处于隐蔽状态的核武器（如弹道导弹潜艇）变得更加困难。这可能促使有核国家在冲突的早期就部署所有核武器——以求赶在对手有机会固定其已知的核系统之前。

迄今为止，从拜登的行政命令到七国集团的行为准则，没有哪项倡议超出保障人类继续控制核武器决策的自愿承诺之外。但就像联合国秘书长安东尼奥·古特雷斯所指出的那样，达成一项禁止“致命自主武器系统”的具有法律约束力的条约非常关键。

尽管上述条约迈出了必要的第一步，但要做的工作还有很多。具体到核武器领域，仅试图预测、缓解或监管新兴技术所带来的新风险是远远不够的。我们必须将上述武器彻底排除在等式之外。

这意味着各国政府必须承诺通过加入禁止核武器条约来反面宣传、禁止和消除核武器，该条约开辟了一条明确的道路，通向一个没有核武器的世界。这也意味着拥有核武器的国家必须停止投资于核武库的现代化及拓展，包括以“保障”核武“安全”或免受网络攻击的名义。鉴于核武器存在其本身所造成的不可逾越的风险，这样的努力从本质上讲徒劳无益。

我们知道，自主系统可能会降低参与武装冲突的门槛。如果应用于核武，人工智能为本以不可接受的风险水平又增加了另一重风险。关键是，决策者和公众必须对此有清醒的认识，不仅要竭尽全力避免将人工智能应用于核武器，而且，要以彻底消灭核武器为己任。