随着人类掌握的东西的增加，意味着即使不发生智能爆炸，很快，地球上大部分展现出目标导向性质的物质都会是设计出来的，而不是进化出来的。而所有设计出的东西的目标不仅变得越来越多样化，而且变得越来越复杂。对于强AI来说，人们害怕的到不是其是恶意的，而是害怕其由于过于高效的完成它的目标后造成的意外后果。很多的传奇故事中精灵帮助人们实现三个愿望时，第三个愿望都是“请收回前两个愿望，因为那不是我真正想要的东西。”但对于强AI来说，试错的成本则显得太高。

接着作者列出了让AI明白人们正在想要的是什么，目前可行的技术方案，第一种是让机器从行为中推断目标，这个在中有过介绍，第二种是逆向增强学习”（Inverse Reinforcement Learning），即通过观察许多人在许多场景中的行为，包括真实场景、电影和书籍，最终构建起关于人类偏好的精确模型。但对于AI来说，这个窗口却不确定会有多长，在任何一个领域，要在AI越过了愚钝得无法理解你之后，又要在聪明的你无法理解之前，教会他目标是什么，还要如保证AI在未来的新坏境下能够保持这个目标。

书中写道：一个4岁小姑娘憧憬着，当她长大了，变得更聪明了，她就要给自己建造一间巨大的姜饼屋，然后在里面坐上一整天，除了吃糖果和冰激淋以外什么都不干。和她一样，地球上的生命也可能会长大成熟，而不再执着于童年时期的兴趣。就好像一只制造了人类水平的通用人工智能的老鼠想要建一座奶酪城市，听起来十分荒谬。这说明了强AI在未来一定要改变其目标，但另一方面，即使是类似的幼儿园伦理，也好过完全没有限制的AI,每个设计机器的工程师都应该思考，机器在使用过程中，有哪些事情是可以做但不应该做的，然后考虑如何避免用户不管是出于恶意还是愚蠢，实施这样的行为。

在关于目标的这一章的结尾，作者指出了当前的研究表明AI既不能回答如何让AI和人类有共同目标的能力，而伦理学又无法对生命体的终极目标取得共识。但作者还是给出了一些在大的尺度上值得优化的数量，在过去，对单一指标的过分关注曾经让人类犯下了很多的错误，因此对未来强AI要在宇宙尺度优化的值，就需要给予最大的讨论，而本文也将在这里结尾，最后是一个投票，看看读者一下那个目标应该是未来的强AI应当最追求的。

总结一下，在这本书的后记中，作者写道自从他14岁知道核军备竞赛以来，就一直担心我们的技术力量比我们控制它的智慧增长得更快。而类似的担忧，我也曾在最近的几本读书笔记中有所体现，只是我关注的更多是现实中露出苗头的问题，是数据驱动而不是理论驱动的思考方式。前者的好处是能够给出至少部分的解决方案，而理论驱动则是从第一性原理出发，不会遗漏其他的可能性。最后列出几篇相关的读书笔记，以供参考。