3.8　神經網絡學習算法的基本步驟

在1.1節中，簡要介紹了“機器學習模型三步驟”，現在學習了損失函數、梯度下降法、mini-batch等知識后，可以稍微展開一下神經網絡學習算法的基本步驟。

前提：神經網絡存在合適的權重和閾值。學習算法就是要通過訓練數據的不斷迭代擬合，找出這個合適的權重和閾值。神經網絡的學習分成下面4個步驟：

步驟1（mini-batch）：從訓練數據中隨機選出一部分數據，這部分數據稱為mini-batch，目標是減小mini-batch的損失函數的值。

步驟2（計算梯度）：為了減小mini-batch的損失函數的值，需要求出各個權重參數的梯度。梯度表示損失函數的值減小最多的方向。

步驟3（更新參數）：將權重參數沿梯度方向進行微小更新。

步驟4（重復）：重復步驟1、步驟2、步驟3，直至滿足要求。

實際上，神經網絡的參數有很多：神經元數量、連接權重、閾值、batch大小、學習率，以及這些參數的初始值。而神經元數量、batch大小、學習率，以及參數的初始值，是整個神經網絡的全局參數，是在訓練之前設定的，所以稱超參數。它們的確定影響整個學習過程的所有神經元。