我們已經看到，超級智能可以擁有極大的根據自己的目標塑造未來的能力。

但是，它的目標會是怎樣的？一個人工智能體的智能與動機之間是什么關系？這里我們設想了兩種論點。正交性論點認為，智能和最終目標是獨立變量，任何水平的智能都可以搭配任何最終目標。工具性趨同論點認為，不管超級智能具有一系列最終目標中的哪種，都將選擇相似的中間目標，因為它們有這么做的共同工具性理由。通過這兩種論點，我們就可以思考一...