1.6.2　多元問題

x在f的局部極小值處，必須滿足以下條件：

1.?f（x）=0，一階必要條件（FONC）。

2.?2f（x）半正定（對(duì)該定義的解釋請見附錄C.6節(jié)），二階必要條件（SONC）。

FONC和SONC是一元情況的推廣。FONC告訴我們函數(shù)在x處無變化。圖1.8展示了滿足FONC的多元函數(shù)的示例。SONC告訴我們x在碗形函數(shù)上。

圖1.8　梯度為零的三個(gè)局部區(qū)域（見彩插）

FONC和SONC可以通過簡單的分析獲得。為了使x*在局部極小值處，它所對(duì)應(yīng)的函數(shù)值必須小于周圍點(diǎn)處的函數(shù)值：

如果求f（x*）的二階近似，可以得到：

我們知道，在忽略高階項(xiàng)的情況下，極小值的一階導(dǎo)數(shù)必須為零。整理之后，可以得到：

這是半正定矩陣的定義，并且滿足SONC。

例1.1說明了如何將這些條件應(yīng)用于Rosenbrock香蕉函數(shù)。

例1.1　針對(duì)Rosenbrock函數(shù)檢查點(diǎn)的一階和二階必要條件（右圖中的點(diǎn)表示極小值點(diǎn)，詳見彩插）

考慮Rosenbrock香蕉函數(shù)

點(diǎn)（1，1）是否滿足FONC和SONC？

梯度是：

黑塞矩陣是：

計(jì)算得出?（f）（［1，1］）=0，所以滿足FONC。［1，1］處的黑塞矩陣為：

它是正定的，所以滿足SONC。

僅依靠FONC和SONC難以實(shí)現(xiàn)最優(yōu)化。對(duì)于二次可微函數(shù)的無約束優(yōu)化，如果滿足FONC且?2f（x）是正定的，則該點(diǎn)一定處于強(qiáng)局部極小值處。這些條件統(tǒng)稱為二階充分條件（Second-Order Sufficient Condition，SOSC）。