一個(gè)很突出的問(wèn)題是如何賦予人工智能一個(gè)像“將在信封中描述的價(jià)值觀之實(shí)現(xiàn)最大化”這樣的目標(biāo)。（在上述延伸閱讀的術(shù)語(yǔ)中，是如何定義標(biāo)準(zhǔn)ν的問(wèn)題）要這樣做的話，就需要識(shí)別出價(jià)值觀在哪里被描述。在我們的例子里，這要求成功地參考信封里的信。雖然這看起來(lái)似乎很微不足道，但并不是就沒(méi)有陷阱。就提其中一個(gè)吧：那個(gè)參考不僅是簡(jiǎn)單地指向一個(gè)特定的外部物體，也是在某個(gè)特定時(shí)間內(nèi)的物體，這一點(diǎn)很關(guān)鍵。否則，人工智能可能會(huì)...