美国加州大学伯克利分校计算机科学教授斯图尔特・罗素（Stuart Russell）谈到了如何防止 AI“反客为主”的问题。在他看来，AI 需要构建成以人类利益为核心动机结构的形式，“事实上，我们感兴趣的不是具有智能的机器，而是对我们有益的机器。”
他注意到，AI 的“黑箱”模型并不透明，人们并不理解其内部运作方式。他举例说，在今年早些时候曾出现过“令人毛骨悚然的微软 Bing 聊天机器人敦促科技专栏作家离婚”的新闻，“至少表明上来看，AI 可能主动追求某种目标。”
因此罗素认为，人们应该利用“可以理解的组件”构建 AI 系统，并确保不会部署和运行不安全的 AI 系统。“人工智能对社会的潜力是巨大的，为进一步发展创造了不可阻挡的动力。但如果我们继续按照我们过去的方向发展，我认为我们可能会失去控制……AI 要像航空和核能一样，拥有严格且不可绕过的安全标准，并且需要通过国际合作确保安全标准得到遵守。”
原文链接