别让AI掌握武器 而不是企图“道德教化”TA

　　原标题：深观察丨别让AI掌握武器，而不是企图“道德教化”TA

　　澎湃首席评论员 沈彬

　　人工智能技术（AI）能不能用来制造武器杀害人类呢？

　　在舆论的重重压力，以及员工的“离职潮”的威胁之下，6月7日，谷歌公司终于公开表态，公示了自己的AI指导原则：

　　谷歌宣示，AI的应用目标包括：对社会有益；避免制造或加剧偏见；提前测试以保证安全；由人类担责等。以及，AI不能用于“武器或其他用于直接伤害人类的产品”；“收集使用信息，以实现违反国际规范的监控的技术”。

　　事件的起因是谷歌与美国军方合作的一个项目，谷歌拟向美国国防部提供用于机器学习应用的Tensor Flow API接口，以帮助检测图像中的物体。这引发了公司内部和外部铺天盖地的质疑，认为这可能让AI技术成为军方的帮凶，与谷歌一直倡导的“不作恶”相悖，公司内部约有4000名员工写了请愿信。谷歌的CEO黛安·格林向员工反复解释了这只是一份仅900万美元，且项目不是为了攻击目的。从内部邮件看，谷歌云首席科学家、副总裁李飞飞也试图打马虎眼，坚持在合同中回避“AI”的字眼。

　　1920年，捷克作家Karel Capek在发表的科幻剧作《罗苏姆的全能机器人》中，发明了机器人(robot)这一词语，一开始它们只是在工厂里的生产工具，最后这些机器人因失控开始杀死人类。由此诞生了经久不息的科幻小说、电影题材：机器人杀人！从《终结者》到如今大红的《西部世界》讲述的是同一个母题。

　　然而，近几年快速发展的AI将人工智能的现实伦理冲突直接放在人类面前。当《西部世界》曾经的傻白甜机器人小妞——梅芙，将子弹射向第一个人类（主人）时，曾经的世界秩序渐渐崩塌了：人类有没有终极价值？人类是否高于“物”？当“物”有自由意志去杀人后，TA还是不是“物”？

　　关于AI武器化，已经有了现实的焦虑。2012年前后，美军在战场上使用高度自动化的无人机，就曾引发舆论的强烈反弹。当无人机越来越自动化，越来越有自主意识地去主动击杀人类时，它便不是属于某一国、某一军事团体的武器，而是更像是一场机器对人类的屠杀，所以才会引发人类的焦虑。

　　著名科幻小说家艾萨克·阿西莫夫在小说《我，机器人》中定下了“机器人三法则”：

　　第一法则：机器人不得伤害人类，或坐视人类受到伤害；

　　第二法则：除非违背第一法则，机器人必须服从人类的命令；

　　第三法则：在不违背第一及第二法则下，机器人必须保护自己。

　　其实核心内容就是，机器人不能伤害人类。任何的逾越都是不可接受的。现在的现实问题是，所谓的“自动武器”杀人是体现的是人的意志，还是机器的意志？

　　在复旦大学哲学学院教授徐英瑾看来，是否要赋予军用机器人以自主开火权，是一个“不着边际的问题”。他认为，只要战争机器人具有全面的语义智能(它能够理解所有指令与情报的语义)，在原则上我们就可以凭借语义智能对其进行“道德教化”，并指望它们像真正的人类战士那样。

　　但是，国际机器人武器控制委员会（ICRAC）显然不认可对杀人机器的“道德教化”，它要求谷歌停止前述与军方的合作，并承诺不去开发军事科技。

　　在今年4月联合国“致命性自主武器系统问题政府专家组”的会议上。ICRAC更明言：将“致命性自动武器”的讨论扩大到人工智能或具有新兴智慧的武器问题，将会引起混淆，“由于在AI的兔子洞中追逐‘致命性自动武器’的定义，我们摆脱了急需讨论的关键问题”。事实上，ICRAC根本不认可对于武器机器人的“道德教化”，根本否认AI在自动化武器方面的应用，相反提出“人类实质控制武器的五个基本要件”，包括每一次攻击击发之前，必须由人类进行场景控制等等。

　　事实上，由于目前的深度学习还是一个典型的“黑箱”算法，传统软件的每一行代码都由人类编写；而深度神经网络却是经验知识。连设计者可能都不知道它是如何决策，要在系统中发现是否存在歧视、能否判断善恶，在技术上是困难的，更别说让它掌握生死。

　　之前就有很多关于“机器歧视”的争论，机器是不是只依据因为这个人有前科、这个人是黑人，就直接拒绝他的贷款信用卡申请？人类千百年来形成的坚如磐石的伦理和价值，在深度学习的“黑箱”面前显得不堪一击。

　　所以结论是：别把宝押在人工智能的“道德教化”上，而是根本就不应该让人工智能去掌握武器。