2.2.3　門控循環(huán)單元（GRU）

門控循環(huán)單元（gated recurrent unit，GRU）[2]是一種簡化版的長短期記憶網(wǎng)絡(luò)，它是由Cho等在2014年提出的一種循環(huán)神經(jīng)網(wǎng)絡(luò)。它把長短期記憶網(wǎng)絡(luò)中的遺忘門和輸入門合并為一個“更新門”，并且把記憶單元和隱藏狀態(tài)合并為一個狀態(tài)，同時做了一些其他的簡化。門控循環(huán)單元模型比長短期記憶網(wǎng)絡(luò)模型更加簡單，也更加受到關(guān)注和使用。門控循環(huán)單元和長短期記憶網(wǎng)絡(luò)的主要區(qū)別在于它們的門控機(jī)制。門控循環(huán)單元沒有輸出門，只使用一個更新門來控制信息的流入和狀態(tài)的更新，這樣可以減少參數(shù)量和計算成本。相比之下，門控循環(huán)單元模型更精簡、更易訓(xùn)練，并且在一些任務(wù)上表現(xiàn)得很好。圖2-6所示為門控循環(huán)單元的模型結(jié)構(gòu)，它由重置門和更新門組成。

圖2-6　門控循環(huán)單元的模型結(jié)構(gòu)

門控循環(huán)單元的更新方式可以表示為

　?。?-8）