在第一個(gè)例子中，人工智能得出的對(duì)黎曼猜想的證據(jù)或反證就是我們想要的結(jié)果，并且其本身也是無害的；危害來自于為了得到結(jié)果而建造的硬件和基礎(chǔ)設(shè)施。在第二個(gè)例子中，生產(chǎn)出來的曲別針中的一部分是我們想要的結(jié)果；危害要么來自于用來生產(chǎn)曲別針的工廠（基礎(chǔ)設(shè)施過量），要么來自于曲別針過量（反常目標(biāo)實(shí)現(xiàn)方式）。

你可能會(huì)想，基礎(chǔ)設(shè)施過量的惡性失敗模式只會(huì)出現(xiàn)在人工智能被給予了某種沒有限制的最終目標(biāo)時(shí)，比如...