前言

神經(jīng)網(wǎng)絡(luò)是一門重要的機(jī)器學(xué)習(xí)技術(shù)，是一種模擬人腦的神經(jīng)網(wǎng)絡(luò)，以期實(shí)現(xiàn)類人工智能的機(jī)器學(xué)習(xí)技術(shù)。它是目前最為火熱的研究方向——深度學(xué)習(xí)的基礎(chǔ)，學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不僅可以讓用戶掌握一門強(qiáng)大的機(jī)器學(xué)習(xí)方法，還可以更好地幫助用戶理解深度學(xué)習(xí)技術(shù)。

深度學(xué)習(xí)的概念由Hinton等人于2006年提出，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多個(gè)隱藏層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)，深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。此外，Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

本書以一種簡單、循序的方式先介紹神經(jīng)網(wǎng)絡(luò)，接著進(jìn)一步對深度學(xué)習(xí)進(jìn)行介紹。本書對讀者沒有一定的前提要求，但是有一定的機(jī)器學(xué)習(xí)基礎(chǔ)能更好地理解本書。

本書編寫特色主要表現(xiàn)在以下幾個(gè)方面。

1.內(nèi)容由淺到深，涵蓋知識全面

本書以介紹TensorFlow軟件為基礎(chǔ)，先對神經(jīng)網(wǎng)絡(luò)進(jìn)行介紹，再對深度學(xué)習(xí)進(jìn)行介紹，內(nèi)容循序漸進(jìn)，涵蓋面廣。

2.易學(xué)易懂，實(shí)例豐富

本書將專業(yè)性較強(qiáng)的公式和理論轉(zhuǎn)化成通俗易懂的簡單邏輯描述語言，幫助非專業(yè)者理解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)，每章都有相應(yīng)的經(jīng)典實(shí)例進(jìn)行說明，內(nèi)容豐富、實(shí)用，幫助讀者快速領(lǐng)會(huì)知識要點(diǎn)。

3.學(xué)與用相結(jié)合，應(yīng)用性強(qiáng)

本書提供了從單個(gè)神經(jīng)元到對抗神經(jīng)網(wǎng)絡(luò)，從有監(jiān)督學(xué)習(xí)到非監(jiān)督學(xué)習(xí)最后到強(qiáng)化學(xué)習(xí)，從簡單的數(shù)據(jù)分類到圖像分類等一系列前沿技術(shù)，具有超強(qiáng)的實(shí)用性，并且本書中的源代碼、數(shù)據(jù)集等讀者都可免費(fèi)、輕松獲得。

本書共12章，每章的主要內(nèi)容如下。

第1章介紹了TensorFlow軟件，主要包括TensorFlow特性、安裝環(huán)境、基本使用、變量、隊(duì)列、可視化等內(nèi)容。

第2章介紹了計(jì)算機(jī)視覺與深度學(xué)習(xí)，主要包括計(jì)算機(jī)視覺、深度學(xué)習(xí)在視覺上的應(yīng)用、計(jì)算機(jī)視覺的學(xué)習(xí)方式和未來趨勢、機(jī)器學(xué)習(xí)等內(nèi)容。

第3章介紹了深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，主要包括生物神經(jīng)元、人工神經(jīng)元、激活函數(shù)、softmax處理分類問題、損失函數(shù)、梯度下降、優(yōu)化函數(shù)、擬合等內(nèi)容。

第4章介紹了全連接神經(jīng)網(wǎng)絡(luò)，主要包括前饋神經(jīng)網(wǎng)絡(luò)簡介、感知機(jī)、全連接、線性模型的局限性、多層網(wǎng)絡(luò)解決異域運(yùn)算、全連接神經(jīng)網(wǎng)絡(luò)的經(jīng)典實(shí)戰(zhàn)等內(nèi)容。

第5章介紹了卷積神經(jīng)網(wǎng)絡(luò)，主要包括人類視覺原理、卷積運(yùn)算、反卷積操作、反池化操作、卷積神經(jīng)網(wǎng)絡(luò)的介紹、圖像數(shù)據(jù)處理等內(nèi)容。

第6章介紹了高級卷積神經(jīng)網(wǎng)絡(luò)，主要包括LeNet-5卷積神經(jīng)網(wǎng)絡(luò)、AlexNet卷積神經(jīng)網(wǎng)絡(luò)、VGGNet卷積神經(jīng)網(wǎng)絡(luò)、Inceptionv3卷積神經(jīng)網(wǎng)絡(luò)、ResNet卷積神經(jīng)網(wǎng)絡(luò)等內(nèi)容。

第7章介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)，主要包括RNN基礎(chǔ)概念和結(jié)構(gòu)、RNN前后向傳播算法、循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度、LSTM單元、RNN的實(shí)現(xiàn)、自然語言建模與詞向量、LSTM實(shí)現(xiàn)語音識別等內(nèi)容。

第8章介紹了對抗神經(jīng)網(wǎng)絡(luò)，主要包括理論知識、DCGAN網(wǎng)絡(luò)、InfoGAN網(wǎng)絡(luò)、WGAN-GP網(wǎng)絡(luò)、SRGAN網(wǎng)絡(luò)等內(nèi)容。

第9章介紹了其他監(jiān)督學(xué)習(xí)，主要包括支持向量機(jī)、樸素貝葉斯、決策樹、k近鄰算法等內(nèi)容。

第10章介紹了非監(jiān)督學(xué)習(xí)，主要包括主成分分析、k均值聚類、自組織映射神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)、譜聚類等內(nèi)容。

第11章介紹了自動(dòng)編碼機(jī)，主要包括自動(dòng)編碼機(jī)原理、標(biāo)準(zhǔn)自動(dòng)編碼機(jī)、稀疏自動(dòng)編碼機(jī)、去噪自動(dòng)編碼機(jī)、卷積自動(dòng)編碼機(jī)等內(nèi)容。

第12章介紹了強(qiáng)化學(xué)習(xí)，主要包括強(qiáng)化學(xué)習(xí)的概述、強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程、OpenAI Gym原理及應(yīng)用、Q learning原理及應(yīng)用、DQN原理及應(yīng)用等內(nèi)容。

本書適合TensorFlow初學(xué)者、深入研究TensorFlow軟件的開發(fā)者使用。隨書提供實(shí)例源程序下載，讀者可以登錄www.hxedu.com.cn（華信教育資源網(wǎng)）查找本書下載（須先注冊成為會(huì)員）。

本書由佛山科學(xué)技術(shù)學(xué)院張德豐編著，由于時(shí)間倉促，加之作者水平有限，書中疏漏之處在所難免。在此，期望得到各領(lǐng)域?qū)＜液蛷V大讀者的批評指正。

編著者

2021.1