1.3　深度學習方法的分類

深度學習發展到今天，總結起來，其起源可以歸結為感知器和玻爾茲曼機兩種不同的途徑（見圖1-9）。

起源于感知器的深度學習把多個感知器組合到一起，得到多層結構的感知器，在多層感知器的基礎上，再加上類似于人類視覺皮質結構而得到的卷積神經網絡，被廣泛應用于圖像識別。這是一種有監督的學習，通過不斷修正實際輸出與期望輸出之間的差值來訓練網絡。

起源于受限玻爾茲曼機的深度學習是一種無監督學習，只根據特定的訓練數據來訓練網絡。玻爾茲曼機是基于圖模型的，把多個受限玻爾茲曼機組合起來可以得到深度玻爾茲曼機和深度信念網絡。

本書將在第3章中介紹神經網絡的相關知識，在第4章中介紹卷積神經網絡，在第5章中介紹玻爾茲曼機和深度信念網絡。

機器學習的分層模型原理目前應用較廣，本書在此不再贅述，重點介紹圖模型原理。

引發一個事件往往有多種原因，每種原因所起的作用不一定相同。也就是說，這些原因引發該事件的可能性各不相同。因此，預測事件發生的機器學習算法經常涉及多個隨機變量的概率。要計算多個變量的概率需要用到條件概率公式：

p(ab)=p(b)p(a|b)

假定有3個隨機變量a, b, c，它們之間的相互關系是：a影響b的取值，b影響c的取值，a|b與c|b是獨立的，那么有：

這樣把3個變量同時發生的概率簡化為2個變量的概率乘積。

借助有向圖來描述前面的推導過程更加直觀。有向圖中的每個節點對應一個隨機變量，連接2個節點的每條有向邊，表示這2個隨機變量之間的關系，即起始端變量影響結束端變量的取值。

如圖1-10所示，5個隨機變量同時發生的概率可以分解為一串兩個變量的概率的乘積：

p(abcde)=p(a)p(b|a)p(c|a)p(c|b)p(d|b)p(e|c)

推廣到一般，設yi為隨機變量xi的父節點，那么，圖1-2的概率可以寫成：