《Army of None》是今年4月24日出版的一本新书，书的作者是美国退伍军人，作者在书中讲述了当前自动化武器的现状，展望了未来AI在军事中的应用。不管是对于国防还是AI的应用感兴趣，这本书都会提供许多干货。这里将分为三部分简述我从这本书中得到的有趣的部分。第一部分是对自动化武器进行的分类，第二部分是自动化武器的会带来的隐患，第三部分是自动化武器为什么会成为必然。

谷歌员工抗议公司将人工智能用于军事用途，这样的新闻并非只发生在这一家科技巨头里，不过自动化武器的历史却比这些科技巨头长的多。最早的自动化武器是机关枪和地雷，前者是自动的装填弹药，后者是在武器使用者不在场的时候仍可以杀伤敌人。历史上机关枪促成一战的惨烈，而地雷的影响要更加长远。而当前最广为人知的自动化武器是无人机，从DJI改装的简易版本，到能长时间在空中停留，发现敌人后直接打击的察打一体机。类似无人机，还有无人潜艇，无人装甲车，爆破机器人，但自动化武器的分类方式却考虑的是更加根本的区别，即人的决策在武器中起的作用。

半自动模式下，无人机观测到了敌人的图像，传给后方的操作者，由操作者来决定是否发起打击。

而在监督模式下，发起打击的决定是由机器代码决定的，人类在一旁监督，并决定是否要干预。

而在全自动模式下，无人机不止自己做决定，而且不能及时让人类看到自己所做的决定，从而使人类无法及时作出干预。

这三种模式的区别，不在于硬件而在于软件。战场上的电磁坏境不稳定，无人武器不一定总能够连接到后方，而兵贵神速，一个能够比对手更快出手的武器会带来决定性的优势。在日本偷袭珍珠港之前，美国军方普遍反对针对商船的无限制潜艇战，而在珍珠港之后，则发生了180度的反转。也许目前各国对无人武器都有所克制，但这很容易改变。

自动化武器的一个核心技术是识别目标，这看似是一个已经被机器视觉领域解决的成熟问题了，但是当前的神经网络却很容易被欺骗。下图给出了一些无意义的像素点，但却能够被最先进的神经网络以95%以上的可信度识别成特定的标签。而且这样的问题是当前神经网络的一个本质缺陷，不会通过教会神经网络忽略特定的欺骗图像就能避免。

之所以这样，是因为神经网络虽然在整体层面是高度非线性的，但在神经元层面，却是线性的。在每个局部里，被标注的数据只是一小部分，通过生成在人眼看来无意义的图像，可以使处理该局部特征的神经元得出接近极限值的判定，而隐藏层将局部的特征整合起来，也会给出可信度很高的错误结论。由于可能图形是无法穷尽的，所以即使知道了问题，也难以解决这样的问题。

机枪的发明者以为他的发明能够减少南北战争时士兵的伤亡，但当战争的双方都有机枪时，战争却变得更加残酷了。自动化武器的普及却不止局限在国家层面，越来越便宜的无人机，再加上开源的神经网络，使得每一个普通人都能够DIY自动化武器。而这才是最可怕的。未来无人机及机器人的应用范围一定会变得更加广泛，这使得三体中罗辑被百年前Killer病毒暗杀的场景成为可能。

无人武器的另一个风险可以从一个已经广泛应用自动化技术的领域推演出。高频交易使得金融领域变得不适合人类的反射弧，算法在微秒级做出决定，在人类还没有意识到发生了什么的时候，可以在几分钟内将一只股票打回原点。这种现象被称为“闪电暴跌”(FlashCrash)，这种现象有时是由于程序bug，有时是由于不同程序的相互作用产生的正循环。虽然在军事领域，导弹从发射到命中的时间不会缩短，但如果无人武器由于程序的错误做出了攻击的决定，将会使大国间的关系拉向战争的边缘。而一旦是程序的错误，那就不会是随机发生的，而会是一个批次的系统性问题。假设偷袭珍珠港的是无人机，恐怕没人会相信这是一场误会。但这却是有可能的。

常态事故理论（Normal Accident Theory，缩写为NAT）指的是当组织系统复杂且紧密关联时，不良事件的发生是正常且无法避免的。就算火箭，核电站等安全被放在第一位的系统，也一定会出事。而当代的武器系统，例如F35战机，其背后有2400万行代码，相当于windows操作系统的代码量。即使通过严格的测试，使bug的数目降低到每千行0.1个，也会带来诸多无法预见的问题。在人类能够及时干预时，这还不会带来致命的危害，但未来的无人武器系统，是相互关联的，当其中的复杂性让人类无法理解时，事故将变的即不可避免又具有爆炸性的危害，正如金融市场中所发生的。

讨论了自动化武器的危害，下面要说的是自动化武器为什么会成为必然。核武器的威胁曾经数次将人类送上了灭绝的边缘，但核武器的扩散始终被控制着。而自动化武器这种大规模杀伤性武器则无法被控制，自动驾驶物联网的普及，使得网络安全不再是虚拟空间的问题，而13年的Stuxnex病毒，则预示了未来网络战争的走向，这个专门针对伊朗铀离心机的病毒，成功的损混了伊朗的铀浓缩机，而不会针对其他的用户。未来的网络安全之战，其速度和影响范围决定了自动化的决策将成为必选项，虽然现在计算机病毒还不能进化，但却可以自主产生变种，以避免被杀毒软件识别。未来AI在计算机安全领域的应用，值得持续关注和投入。

忘战必危，自动化武器是大势所趋。在大国之间，要通过国际公约来约束无人武器，形成类似股市的熔断机制，来避免自动化武器带来的冲突升级。而对于普通人，要做的不是去禁止，而是去为每个人提供一种有意义的舒适的生活（最少也要有奶头乐），从而让人们不会去互相伤害。