3.4.6　循環(huán)神經(jīng)網(wǎng)絡(luò)

除了DNN算法，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是另一種在智能風(fēng)控領(lǐng)域被嘗試的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。RNN的特性是在時(shí)間維度上具有“記憶”功能，具體的實(shí)現(xiàn)原理是對(duì)于RNN的隱藏層，t-1時(shí)刻的輸出會(huì)作為t時(shí)刻的輸入，這樣當(dāng)前時(shí)刻的隱藏層會(huì)包括之前所有時(shí)刻隱藏層的信息。這個(gè)特性使得RNN被應(yīng)用到行為評(píng)分模型和催收評(píng)分模型的搭建中，因?yàn)橹в眯袨樾蛄泻痛呤招袨樾蛄卸季哂泻軓?qiáng)的時(shí)間屬性，利用RNN可以自動(dòng)提取這些時(shí)間序列中的隱性特征。在時(shí)間序列中我們通常更希望關(guān)注近期行為，忽略遠(yuǎn)期行為帶來的噪聲，因此便有了長短期記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）。與RNN相比，LSTM在各隱藏層節(jié)點(diǎn)之間傳遞信息的過程中，加入了輸入門、遺忘門和輸出門的結(jié)構(gòu)，使得整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以有選擇性地“記憶”過去的信息，對(duì)于時(shí)間序列上的信息提取有了重大提升。