1.5　極值點

圖1.6展示了一個一元函數[1]f（x），它具有多個已標記的導數為零的極值點，這是我們討論優化問題時所關注的點。當最小化f時，我們希望找到一個全局極小值點，該點處的x值使得f（x）最小化。一個函數最多有一個全局極小值，但可以有很多個全局極小值點。

圖1.6　一個一元函數中優化算法關注的極值點（導數為零的點）

不幸的是，通常很難證明給定的候選點處于全局極小值。通常，我們最多能做的就是檢查它是否處于局部極小值。如果存在一個δ>0，使得對于任意x，在|x-x*|<δ時，都有f（x*）≤f（x），則稱一個點x*處于局部極小值（或者是一個局部極小值點）。在多元情況下，該定義推廣到：存在一個δ>0，只要‖x-x*‖<δ，都有f（x*）≤f（x）。

圖1.6展示了兩種類型的局部極小值：強局部極小值和弱局部極小值。強局部極小值點，也稱為嚴格局部極小值點，是在鄰域內唯一最小化f的點。也就是說，如果存在一個δ>0，使得對于任意x，在x*≠x且|x-x*|<δ時，都有f（x*）≤f（x），我們稱點x*為一個嚴格局部極小值點。在多元情況下，該定義推廣到：存在一個δ>0，使得對于任意x，在x*≠x且‖x-x*‖<δ時，都有f（x*）≤f（x）。局部極小值點中不是強局部極小值點的點，被稱為弱局部極小值點。

在連續、無界的目標函數中，所有局部和全局極小值處的導數都為零。但是，導數為零是局部極小值存在的必要條件而非充分條件[2]。

圖1.6中還有一個拐點，它的導數為零，但該點不會局部極小化f。在拐點處，f的二階導數的符號會改變，其對應于f′的局部極小值或極大值。拐點處的導數不一定為零。

[1] 一元函數是單個標量的函數。一元這個術語描述了只有一個變量的對象。

[2] 具有非零導數的點永遠不是極小值點。