1.1.2 神經(jīng)網(wǎng)絡(luò)

1.1.1節(jié)簡(jiǎn)單地討論了感知機(jī)的話題，但是感知機(jī)只能解決一些簡(jiǎn)單的二分類問題，面對(duì)更復(fù)雜的多分類問題就束手無策了，于是，需要提升網(wǎng)絡(luò)的復(fù)雜度，使用多層感知機(jī)網(wǎng)絡(luò)來解決問題，這里的多層感知機(jī)網(wǎng)絡(luò)便是神經(jīng)網(wǎng)絡(luò)模型。

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1.2所示。通常一個(gè)神經(jīng)網(wǎng)絡(luò)主要包含輸入層、隱層和輸出層。圖1.2中的每個(gè)圓圈均可看作一個(gè)簡(jiǎn)單的神經(jīng)元（感知機(jī)）。

其實(shí)，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的重要工作主要體現(xiàn)在隱層的設(shè)計(jì)和神經(jīng)元之間的權(quán)重上。

理論上，只要在隱層神經(jīng)元數(shù)量足夠的情況下，單隱層神經(jīng)網(wǎng)絡(luò)就可以擬合和逼近任何連續(xù)函數(shù)。但是，很多人還是會(huì)選擇設(shè)計(jì)多隱層神經(jīng)網(wǎng)絡(luò)。雖然從數(shù)學(xué)原理上說，這與單隱層神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)是一致的，但是，多隱層神經(jīng)網(wǎng)絡(luò)的效果會(huì)比單隱層神經(jīng)網(wǎng)絡(luò)的效果好很多。

但是，這里的層數(shù)設(shè)計(jì)和隱層神經(jīng)元數(shù)量不能盲目地增加，因?yàn)檫^多的層數(shù)或神經(jīng)元會(huì)帶來嚴(yán)重的過擬合和巨大的參數(shù)量等問題。

簡(jiǎn)單了解神經(jīng)網(wǎng)絡(luò)的概念后，這里簡(jiǎn)要說明一下神經(jīng)網(wǎng)絡(luò)的工作原理。神經(jīng)網(wǎng)絡(luò)在工作過程中主要涉及以下幾方面：前向傳播、反向傳播和損失函數(shù)。對(duì)于前向傳播，即前面所說的神經(jīng)網(wǎng)絡(luò)正向計(jì)算的過程（感知機(jī)的計(jì)算），這里不再復(fù)述。下面主要針對(duì)反向傳播和損失函數(shù)進(jìn)行分析。

對(duì)于多分類任務(wù)，神經(jīng)網(wǎng)絡(luò)經(jīng)常使用的損失函數(shù)為交叉熵?fù)p失函數(shù)：

式中，x（i）為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)；h_θ（x（i） ）為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果；y（i）為x（i）對(duì)應(yīng)的標(biāo)簽；θ為神經(jīng)元參數(shù)；S_L為所有神經(jīng)網(wǎng)絡(luò)層的數(shù)量。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，交叉熵?fù)p失函數(shù)需要進(jìn)行反向傳播。這里的反向傳播是一種用于神經(jīng)網(wǎng)絡(luò)求解參數(shù)梯度的方法。下面僅簡(jiǎn)單舉例來說明反向傳播的過程。在計(jì)算梯度時(shí)，需要多次采用鏈?zhǔn)椒▌t：

如式（1.4）和圖1.3所示，不難看出，只要求出和，就能算出損失函數(shù)對(duì)θ₁的梯度。除順序使用遞歸求解外，如果從輸出層開始反向逐層計(jì)算梯度，則可直接求解，這便是反向傳播的過程。

這里總結(jié)一下神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。

第1步，數(shù)據(jù)集的收集和標(biāo)注，了解輸入數(shù)據(jù)和標(biāo)簽。

第2步，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型。

第3步，選擇損失函數(shù)，并反復(fù)訓(xùn)練，直至模型收斂（滿足要求即可）。