第1章 基于UNet的圖像去霧算法

1.1 引言

大氣中存在煙霧、粉塵等顆粒，光遇到這些顆粒時(shí)會(huì)發(fā)生折射和散射等現(xiàn)象[1-3]，這使得在大氣中拍攝的圖像經(jīng)常出現(xiàn)色彩失真、低對(duì)比度和模糊等情況[4-5]。這些低質(zhì)量的圖像將進(jìn)一步影響其他高級(jí)視覺任務(wù)，如目標(biāo)檢測(cè)和分類[6]，而去霧任務(wù)就是將有霧的圖像恢復(fù)成干凈清晰的圖像。近幾十年來(lái)，去霧任務(wù)作為高級(jí)視覺任務(wù)的預(yù)處理步驟越來(lái)越受到研究人員的關(guān)注[7-8]。

傳統(tǒng)的去霧方法主要利用先驗(yàn)知識(shí)進(jìn)行去霧，如 He 等人[9]提出的暗通道先驗(yàn)（Dark Channel Prior，DCP）方法。該方法的先驗(yàn)知識(shí)是霧圖中總有一個(gè)灰度值很低的通道，首先基于這個(gè)先驗(yàn)知識(shí)求解傳輸圖，然后利用大氣散射模型進(jìn)行圖像去霧。DCP 方法在當(dāng)時(shí)取得了較好的去霧效果，但在某些場(chǎng)景下會(huì)引起顏色失真。Meng等人[10]提出了一種有效的正則化方法來(lái)去霧，該方法首先對(duì)傳輸函數(shù)的固有邊界進(jìn)行約束，再將該約束與基于 L1 范數(shù)的加權(quán)上下文正則化結(jié)合。這種基于邊界約束的去霧方法能解決去霧圖像亮度偏低的問(wèn)題。Zhu 等人[11]提出了顏色衰減先驗(yàn)（Color Attenuation Prior，CAP）方法，該方法首先建立霧圖深度的線性模型，并采用有監(jiān)督學(xué)習(xí)的方法學(xué)習(xí)線性模型中的參數(shù)，然后利用線性模型估計(jì)傳輸圖并利用大氣散射模型得到去霧圖像。上述的早期圖像去霧方法在某些特定場(chǎng)景下能夠取得較好的效果，對(duì)去霧技術(shù)的發(fā)展做出了巨大貢獻(xiàn)。但由于這些方法大多數(shù)依賴先驗(yàn)知識(shí)，并采用人工方式提取霧圖中的相關(guān)特征，導(dǎo)致傳輸圖和大氣光值的估計(jì)出現(xiàn)較大誤差。因此，傳統(tǒng)的去霧方法在很多情況下具有局限性，容易出現(xiàn)去霧不徹底和顏色失真等現(xiàn)象。

隨著深度學(xué)習(xí)的迅速發(fā)展，研究人員提出了許多基于深度學(xué)習(xí)的去霧方法，這類方法大多利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來(lái)構(gòu)建可訓(xùn)練的去霧網(wǎng)絡(luò)。例如，Cai 等人[12]提出了一種名為DehazeNet 的去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先通過(guò)學(xué)習(xí)霧圖中的特征來(lái)估計(jì)有霧圖像與傳輸圖之間的映射關(guān)系，然后根據(jù)輸入的有霧圖像特征得出傳輸圖，最后通過(guò)大氣散射模型恢復(fù)無(wú)霧圖像。Cai 等人的主要貢獻(xiàn)是首次提出了一個(gè)端到端的去霧網(wǎng)絡(luò)。Ren等人[13]提出了一種基于多尺度CNN（Multi-Scale Convolutional Neural Networks，MSCNN）的去霧方法，該方法首先利用大尺度網(wǎng)絡(luò)估計(jì)整體傳輸圖，然后利用小尺度網(wǎng)絡(luò)進(jìn)行細(xì)化，通過(guò)該方法得到的傳輸圖更加真實(shí)，在一定程度上避免了細(xì)節(jié)信息損失。Li等人[14]重新推導(dǎo)了大氣散射模型，首先用參數(shù)K表示傳輸圖和大氣光值，然后設(shè)計(jì)K估計(jì)模型來(lái)估計(jì)參數(shù)K，最后通過(guò)參數(shù)K 得到去霧圖像。上述基于深度學(xué)習(xí)的方法首先采用 CNN 估計(jì)傳輸圖、大氣光值和其他中間變量，然后利用大氣散射模型去霧。這類方法雖然取得了不錯(cuò)的去霧效果，但實(shí)際上把去霧任務(wù)分成了兩步，不是真正意義上的端到端去霧方法。從單幅霧圖中估計(jì)傳輸圖和大氣光值是非常困難的，為解決該問(wèn)題，研究人員提出了利用深度卷積神經(jīng)網(wǎng)絡(luò)直接或迭代估計(jì)無(wú)霧圖像的方法。這些方法主要采用通用的網(wǎng)絡(luò)架構(gòu)來(lái)直接估計(jì)傳輸圖、大氣光值和無(wú)霧圖像，在保證魯棒性的前提下提高了去霧性能。Ren 等人[15]提出了一種門控融合網(wǎng)絡(luò)（Gated Fusion Network，GFN），該網(wǎng)絡(luò)首先估計(jì)輸入圖像對(duì)應(yīng)的權(quán)重圖，然后以權(quán)重圖為引導(dǎo)對(duì)輸入圖像進(jìn)行加權(quán)融合，從而得到了無(wú)霧圖像。Chen 等人[16]提出了一種門控上下文聚合網(wǎng)絡(luò)（Gated Context Aggregation Network，GCAN），該網(wǎng)絡(luò)采用平滑膨脹技術(shù)去除了由膨脹卷積引起的網(wǎng)格偽影，并利用門控子網(wǎng)絡(luò)融合不同層次的特征，可以直接恢復(fù)最終的無(wú)霧圖像。上述方法雖然在一定程度上提升了圖像的去霧性能，但由于這些方法平等地對(duì)待有霧圖像中的通道和像素，導(dǎo)致對(duì)圖像中的濃霧像素區(qū)域和重要通道信息關(guān)注不足，最終對(duì)去霧性能產(chǎn)生影響。

本章針對(duì)上述方法存在的不足，提出了一種結(jié)合注意力機(jī)制的多尺度特征融合圖像去霧算法。該算法利用類似于UNet的編碼器-解碼器結(jié)構(gòu)來(lái)直接學(xué)習(xí)、輸入自適應(yīng)去霧模型。具體來(lái)說(shuō)，首先在編碼器子網(wǎng)絡(luò)中采用 CNN 得到不同尺度的特征圖；然后在解碼器子網(wǎng)絡(luò)中依次從編碼的特征圖中恢復(fù)圖像細(xì)節(jié)，為了充分利用輸入信息來(lái)準(zhǔn)確估計(jì)編碼器-解碼器結(jié)構(gòu)的細(xì)節(jié)，該算法采用跳躍連接的方式將編碼器子網(wǎng)絡(luò)的特征圖與解碼器子網(wǎng)絡(luò)的特征圖連接起來(lái)，實(shí)現(xiàn)了不同尺度特征圖之間的融合；最后在編碼器-解碼器結(jié)構(gòu)中巧妙地加入了由通道注意力模塊和像素注意力模塊組成的特征注意力模塊。特征注意力模塊能讓本章算法將更多的注意力集中在濃霧像素區(qū)域和重要通道信息上。特征注意力模塊提高了本章算法處理不同類型信息的靈活性，能夠使本章算法更加有效地處理濃度高且細(xì)節(jié)豐富的霧圖。