容納道德發展

這個要求是說，解決方案應該允許道德進步的可能。正如之前說過的，我們有理由相信我們現在的道德觀念在很多方面還存在缺陷，而且可能是非常嚴重的缺陷。如果我們要規定一套具體的、不可更改的道德準則，用來指導人工智能，那么我們實際上就將我們現有的道德信念（包括其中的錯誤）固定住了，消除了任何道德發展的希望。相比之下，CEV途徑則允許道德的進一步發展，因為它要求人工智能試圖去做的是：如果...