2.2　多維導(dǎo)數(shù)

梯度是導(dǎo)數(shù)在多元函數(shù)的推廣。它代表了函數(shù)的局部斜率，從而能夠預(yù)測(cè)從一點(diǎn)的任意方向移動(dòng)一個(gè)小的步長(zhǎng)后的效果。回想一下，導(dǎo)數(shù)是切線的斜率。梯度指向切線超平面的最陡上升方向，如圖2.3所示。n維空間中的切線超平面是滿足以下條件的點(diǎn)集：

其中w為向量，b為標(biāo)量。一個(gè)超平面具有n-1個(gè)維度。

f在x處的梯度寫作?f（x），它是一個(gè)向量。該向量由f關(guān)于它的每一個(gè)分量的偏導(dǎo)數(shù)[1]組成：

一般規(guī)定列向量由逗號(hào)分隔。例如，。例2.2展示了如何計(jì)算特定點(diǎn)上函數(shù)的梯度。

多元函數(shù)的黑塞矩陣是一個(gè)包含關(guān)于所有輸入的二階導(dǎo)數(shù)的矩陣[2]。二階導(dǎo)數(shù)包含函數(shù)局部曲率的信息。

多元函數(shù)f的方向?qū)?shù)?sf（x）是x以速度s移動(dòng)時(shí)f（x）的瞬時(shí)變化率。該定義與一元函數(shù)導(dǎo)數(shù)的定義緊密相關(guān)[3]：

方向?qū)?shù)可以使用函數(shù)的梯度來計(jì)算：

計(jì)算方向?qū)?shù)?sf（x）的另一種方法是定義g（α）≡f（x+αs），然后計(jì)算g′（0），如例2.3所示。

方向?qū)?shù)在梯度方向上最高，而在與梯度相反的方向上最低。這種方向依賴性源于方向?qū)?shù)定義中的點(diǎn)積，以及梯度是局部切線超平面的事實(shí)。

[1] 函數(shù)關(guān)于變量的偏導(dǎo)數(shù)是假定所有其他輸入變量保持不變的導(dǎo)數(shù)，記為?f/?x。

[2] 只有當(dāng)f的二階導(dǎo)數(shù)在其取值點(diǎn)的鄰域中都連續(xù)時(shí)，黑塞矩陣才是對(duì)稱的：

[3] 有些文獻(xiàn)要求s是單位向量。例如：

G. B.Thomas，Calculus and Analytic Geometry，9th ed. Addison-Wesley，1968.