第3章
前饋神經網絡

故事從一個十分發達的地外文明開始，“球球星”住著科技高度發達的“球球人”。他們熱愛和平，但也懼怕戰爭，于是就監聽其他星系的文明，而地球就屬于士兵小飛的監控范圍。一天少校問士兵小飛，地球怎么樣了。小飛就說，“地球文明還很原始，地球上最高級的物種，是一種名叫汽車的生物，汽車的速度很快，但其不靠陽光，也不會主動覓食，汽車專門奴役一種稱為人的生物，當該生物進入汽車時，汽車就會獲得燃料，然后就可以四處活動。當燃料用盡時，汽車就會吐出這種生物，讓其四處補充能量，以便下一次循環利用。該生物還比較低級，經常還會因為自身速度過快，或因誤食變質人類而失控，導致互相殘殺，不知少校如何處置？”少校思考稍許之后說道，“他們內耗嚴重，過于愚蠢，暫不處理，繼續暗中觀察。”你可能會嘲笑士兵小飛的無知，明明是人在使用汽車，結果卻觀察到汽車奴役人類。但如果把“汽車和人”換成“人和基因”，那會不會讓你后背發涼呢？

某種程度上，我們觀察到的世界或許和“球球星”人觀察到的地球差不多，我們即使找到了非常“合理”的解釋，但其也不過是我們的幻象罷了。雖然很難想象一堆粉紅色的肉團如何能造出繽紛的世界，但以現代科學的觀點，人的智能行為，或者人們所說的“靈魂”，可能僅僅是由一些腦神經組合起來的行為而已。也許就如人工智能之父，馬文·明斯基的那句名言一樣，“大腦無非是肉做的機器而已（The brain happens to be a meat machine）”。

要解開大腦的秘密，可能還需要很多代人的不懈努力。如果說神經科學是以生物的方式去破解智能密碼，那么深度學習就是以計算機的方式去尋找智能鑰匙，并且深度學習與神經科學也是相輔相成，很多研究者經常在這兩種學科間互換。但神經網絡的研究已經不僅僅是“大腦模型”而已，同時也遵循許多數學與工程原則，神經網絡也被看成是一些并行的處理單元，因此“神經元（neuron）”有時也用“單元（unit）”替換，但這僅僅是文字游戲，希望不要被其弄暈。

在本章的3.1節中，我們將介紹神經元，其是神經網絡的基本組成單元，就像人與人聚在一起組成了社會一樣，研究社會的起點及終點都應該是人，而研究神經網絡的起點也是從簡單的神經元開始，但深度學習中的神經元并不是一個生物概念，和生物神經元的差別也非常大。

在本章的3.2節中，我們將介紹前饋神經網絡，該網絡是通用的深度學習模型，并且后續章節的卷積神經網絡，循環神經網絡都是該網絡的變種，因此該網絡是更高級神經網絡的基礎，你需要認真學習。

本章的3.3節中，我們會詳細地介紹反向傳播算法（BP算法），該算法自20世紀80年代起就一直統治著深度學習，其算法思想其實非常簡單，但對于初學者而言可能有些摸不著頭腦，因此在本小節中會詳解該算法的每一步，讓你充分理解該算法。

而在3.4節的編程實踐環節中，我們將逐步地從簡單的仿射傳播，到單層傳播，再到淺層網絡，最后到全連接神經網絡，一步一步構造出完整的深層神經網絡。你需要耐心且獨立地完成每一小節的任務，同樣在本章最后，我們也會給出參考代碼來幫助你學習。