1.3.3 多分類模型

在深度學(xué)習(xí)與機(jī)器學(xué)習(xí)中，多分類的概念與原理是不同的，比較明顯的是標(biāo)簽的表達(dá)方式。在深度學(xué)習(xí)中，一般情況下，類別標(biāo)簽是使用獨(dú)熱（One-Hot）編碼進(jìn)行表達(dá)的。獨(dú)熱編碼也叫獨(dú)熱碼，是指使用與類別個(gè)數(shù)相等的0或1組成的一系列二進(jìn)制數(shù)來(lái)表示類別，有幾個(gè)類別就有幾個(gè)比特（bit），而且對(duì)應(yīng)類別的位置為1，其余位置全為0。例如，一個(gè)三分類問題，標(biāo)簽為0、1、2，將其轉(zhuǎn)化為獨(dú)熱編碼后，0對(duì)應(yīng)的獨(dú)熱編碼為（1，0，0），1對(duì)應(yīng)的獨(dú)熱編碼為（0，1，0），2對(duì)應(yīng)的獨(dú)熱編碼為（0，0，1）。使用獨(dú)熱編碼可以將離散標(biāo)簽的取值擴(kuò)展到歐幾里得空間，從而使得離散標(biāo)簽的某個(gè)取值對(duì)應(yīng)歐幾里得空間的某個(gè)點(diǎn)，并且使得特征之間的距離計(jì)算更加合理。

三分類模型原理圖如圖1.10所示。其中，x₁、x₂、x₃、x₄為輸入特征，y₁、y₂、y₃為以獨(dú)熱編碼的方式共同組成預(yù)測(cè)結(jié)果。除二分類模型之外（使用sigmoid函數(shù)進(jìn)行預(yù)測(cè)，詳見1.3.2節(jié)），其他模型最終預(yù)測(cè)的類別個(gè)數(shù)和輸出層的神經(jīng)元個(gè)數(shù)是一致的，輸出層一個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)類別，神經(jīng)元的輸出值為對(duì)應(yīng)該類別的概率。

在多分類模型中，softmax 函數(shù)的作用是將輸出層神經(jīng)元的輸出值轉(zhuǎn)換為概率，具體計(jì)算公式如下。

式中，x 表示輸入特征；表示預(yù)測(cè)樣本某一個(gè)類別的概率；c 表示樣本的類別個(gè)數(shù)。softmax函數(shù)的計(jì)算原理如圖1.11所示。z₁、z₂、z₃的值經(jīng)過softmax函數(shù)處理過后分別轉(zhuǎn)換為概率，對(duì)應(yīng)的概率值為0.88、0.12、0，分別對(duì)應(yīng)三個(gè)類別的預(yù)測(cè)概率。最終三分類模型的預(yù)測(cè)類別為第一個(gè)，因?yàn)榇祟悇e的概率值最高。

多分類模型可以使用TensorFlow實(shí)現(xiàn)，代碼如下所示。

運(yùn)行代碼，結(jié)果如下所示。

多分類模型也可以使用PyTorch實(shí)現(xiàn)，代碼如下所示。

運(yùn)行代碼，結(jié)果如下所示。