第1章 基于UNet的圖像去霧算法

1.1 引言

大氣中存在煙霧、粉塵等顆粒，光遇到這些顆粒時會發生折射和散射等現象[1-3]，這使得在大氣中拍攝的圖像經常出現色彩失真、低對比度和模糊等情況[4-5]。這些低質量的圖像將進一步影響其他高級視覺任務，如目標檢測和分類[6]，而去霧任務就是將有霧的圖像恢復成干凈清晰的圖像。近幾十年來，去霧任務作為高級視覺任務的預處理步驟越來越受到研究人員的關注[7-8]。

傳統的去霧方法主要利用先驗知識進行去霧，如 He 等人[9]提出的暗通道先驗（Dark Channel Prior，DCP）方法。該方法的先驗知識是霧圖中總有一個灰度值很低的通道，首先基于這個先驗知識求解傳輸圖，然后利用大氣散射模型進行圖像去霧。DCP 方法在當時取得了較好的去霧效果，但在某些場景下會引起顏色失真。Meng等人[10]提出了一種有效的正則化方法來去霧，該方法首先對傳輸函數的固有邊界進行約束，再將該約束與基于 L1 范數的加權上下文正則化結合。這種基于邊界約束的去霧方法能解決去霧圖像亮度偏低的問題。Zhu 等人[11]提出了顏色衰減先驗（Color Attenuation Prior，CAP）方法，該方法首先建立霧圖深度的線性模型，并采用有監督學習的方法學習線性模型中的參數，然后利用線性模型估計傳輸圖并利用大氣散射模型得到去霧圖像。上述的早期圖像去霧方法在某些特定場景下能夠取得較好的效果，對去霧技術的發展做出了巨大貢獻。但由于這些方法大多數依賴先驗知識，并采用人工方式提取霧圖中的相關特征，導致傳輸圖和大氣光值的估計出現較大誤差。因此，傳統的去霧方法在很多情況下具有局限性，容易出現去霧不徹底和顏色失真等現象。

隨著深度學習的迅速發展，研究人員提出了許多基于深度學習的去霧方法，這類方法大多利用卷積神經網絡（Convolutional Neural Network，CNN）來構建可訓練的去霧網絡。例如，Cai 等人[12]提出了一種名為DehazeNet 的去霧網絡，該網絡首先通過學習霧圖中的特征來估計有霧圖像與傳輸圖之間的映射關系，然后根據輸入的有霧圖像特征得出傳輸圖，最后通過大氣散射模型恢復無霧圖像。Cai 等人的主要貢獻是首次提出了一個端到端的去霧網絡。Ren等人[13]提出了一種基于多尺度CNN（Multi-Scale Convolutional Neural Networks，MSCNN）的去霧方法，該方法首先利用大尺度網絡估計整體傳輸圖，然后利用小尺度網絡進行細化，通過該方法得到的傳輸圖更加真實，在一定程度上避免了細節信息損失。Li等人[14]重新推導了大氣散射模型，首先用參數K表示傳輸圖和大氣光值，然后設計K估計模型來估計參數K，最后通過參數K 得到去霧圖像。上述基于深度學習的方法首先采用 CNN 估計傳輸圖、大氣光值和其他中間變量，然后利用大氣散射模型去霧。這類方法雖然取得了不錯的去霧效果，但實際上把去霧任務分成了兩步，不是真正意義上的端到端去霧方法。從單幅霧圖中估計傳輸圖和大氣光值是非常困難的，為解決該問題，研究人員提出了利用深度卷積神經網絡直接或迭代估計無霧圖像的方法。這些方法主要采用通用的網絡架構來直接估計傳輸圖、大氣光值和無霧圖像，在保證魯棒性的前提下提高了去霧性能。Ren 等人[15]提出了一種門控融合網絡（Gated Fusion Network，GFN），該網絡首先估計輸入圖像對應的權重圖，然后以權重圖為引導對輸入圖像進行加權融合，從而得到了無霧圖像。Chen 等人[16]提出了一種門控上下文聚合網絡（Gated Context Aggregation Network，GCAN），該網絡采用平滑膨脹技術去除了由膨脹卷積引起的網格偽影，并利用門控子網絡融合不同層次的特征，可以直接恢復最終的無霧圖像。上述方法雖然在一定程度上提升了圖像的去霧性能，但由于這些方法平等地對待有霧圖像中的通道和像素，導致對圖像中的濃霧像素區域和重要通道信息關注不足，最終對去霧性能產生影響。

本章針對上述方法存在的不足，提出了一種結合注意力機制的多尺度特征融合圖像去霧算法。該算法利用類似于UNet的編碼器-解碼器結構來直接學習、輸入自適應去霧模型。具體來說，首先在編碼器子網絡中采用 CNN 得到不同尺度的特征圖；然后在解碼器子網絡中依次從編碼的特征圖中恢復圖像細節，為了充分利用輸入信息來準確估計編碼器-解碼器結構的細節，該算法采用跳躍連接的方式將編碼器子網絡的特征圖與解碼器子網絡的特征圖連接起來，實現了不同尺度特征圖之間的融合；最后在編碼器-解碼器結構中巧妙地加入了由通道注意力模塊和像素注意力模塊組成的特征注意力模塊。特征注意力模塊能讓本章算法將更多的注意力集中在濃霧像素區域和重要通道信息上。特征注意力模塊提高了本章算法處理不同類型信息的靈活性，能夠使本章算法更加有效地處理濃度高且細節豐富的霧圖。