1.3 圖像融合分類

圖像融合根據不同的關注點有多種分類方式，下面對常見的分類方式進行介紹。

1.3.1 按融合層次分類

圖像融合是將多幅圖像的信息進行整合的過程，一般可以分為4個層次，每個層次處于不同的階段，如圖1.2所示。其中底層的信號級融合指的是在傳感器輸出原始信號的階段進行融合。由于這一操作是在信號域進行的，并不涉及圖像，所以一般研究者在進行圖像融合分類時并不考慮該層次，即在大多數文獻中僅將圖像融合分為像素級融合、特征級融合和決策級融合三個層次。這三種融合層次均在圖像域進行，區別僅在于針對的研究目標和初級階段不同。圖1.3展示了這三種融合層次在一般圖像處理過程中所處的階段，即圖像融合層次對比。由于它們處于互不干擾、互相獨立的不同階段，所以也可以聯合起來對圖像進行融合。下面將詳細介紹這三種圖像融合層次。

1.3.1.1　像素級融合

像素級融合是圖像域上最低級別的融合，也是目前圖像融合領域的研究重點。像素級融合可以盡可能地保留場景的原始信息，豐富圖像細節，通過對多源圖像進行像素級融合，可以增強圖像單個像素的信息，提供另外兩個融合級別無法提供的細節信息。與原始的源圖像相比，像素級融合后的融合圖像包含更豐富、更全面、更準確的信息，從而可以指導后續特征級別和決策級別的圖像融合，也有利于對圖像進一步分析處理。在執行像素級融合之前，可以根據需求對多源圖像進行必要的預處理，同時一定要進行圖像配準且配準精度一般應達到像素級別，否則融合結果將會出現巨大的誤差。

當前大多數圖像融合都采用像素級融合方法，以保證融合圖像含有原始圖像信息。因此，像素級融合一直以來都是圖像融合領域的研究熱點和重點，研究者們提出了很多用于像素級圖像融合的方法。總的來說，像素級融合方法可以分成兩大類：空間域方法和變換域方法。

1.3.1.2　特征級融合

特征級融合是像素級融合的下一個層次，通過從源圖像或原始信號中提取出多個特征來進行綜合分析和融合。這種方法對圖像噪聲不敏感，并且對圖像的配準要求也沒有嚴格到像素級別。該融合層次既能夠保留足夠的原始圖像信息，還能有效壓縮圖像信息，提高實時處理能力。特征級圖像融合一般用于圖像分割或者變化檢測的預處理。然而，與像素級融合相比，特征級融合過程會丟失更多的圖像信息。

在特征級對圖像進行融合需要從輸入圖像中提取特征，特征可以是像素強度、邊緣或者紋理等，具體選取時應該視圖像的性質和融合圖像的應用而定。融合的典型特征信息包括邊緣、形狀、大小、長度以及相似亮度或景深區域。在特征提取之后，通過特定的選擇過程將這些特征與存在于其他輸入圖像中的相似特征相結合，以形成最終的融合結果。主要的特征級融合策略包括聚類分析法、神經網絡法、貝葉斯估計法等。

1.3.1.3　決策級融合

決策級融合是最高級別的圖像融合層次，將不同類型的當前信息和先驗知識相結合，從而做出最優融合決策。相對于其他兩個融合層次來說，決策級融合準確且擁有最佳的實時性能，在一定程度上可以解決單一傳感器成像的缺點（一個傳感器的故障不會對整體的融合結果產生較大的影響），但是決策級融合的主要缺點是信息丟失嚴重。決策級融合包含四個步驟：多傳感器成像處理、決策生成、融合中心收斂及最終的融合結論的確定。決策級融合一般使用各種邏輯推理方法、統計方法及信息理論方法，如投票表決法、聚類分析法、貝葉斯法、D-S證據理論法、模板法、模糊集合理論法、關系事件代數方法等。

1.3.2 按融合圖像源分類

隨著傳感器技術的發展，各種類型的圖像傳感器相繼出現。由于這些圖像傳感器具有不同的成像機制和不同的工作波長范圍，所以會采集到不同的圖像信息。源圖像的差異使得圖像融合衍生出多個研究方向。總的來說，圖像融合可根據圖像源分為五類。

（1）多聚焦圖像融合

常見的成像設備在進行日常拍攝時受到光學系統的限制，無法同時聚焦不同景深的物體，導致非聚焦的物體成像模糊，丟失了大部分細節信息。為了獲取場景內所有物體都清晰的圖像，更好地服務于人類視覺感知系統和計算機對圖像的后續處理加工，多聚焦圖像融合將來自同一場景不同焦距的兩幅或多幅圖像進行融合，過濾掉其中不清晰的部分，使得融合后的圖像物體盡可能清晰。

（2）醫學圖像融合

常見的醫學成像有磁共振成像（MRI）、計算機斷層掃描（CT）和正電子發射斷層掃描（PET）等，不同模態的醫學成像方式都有其自身的特點和實際局限性，如MRI圖像具有較好的軟組織清晰度，但是缺乏身體代謝等信息；CT圖像具有掃描時間短、成像分辨率高的特點，但是軟組織表征不佳；PET圖像具有高靈敏度的特性，但分辨率較低。醫學圖像融合是將來自同一組織的不同模態的醫學成像進行融合，在保留特定特征的同時提高成像質量，以增強圖像在臨床診斷和評估中的適用性，如圖1.4所示。

（3）可見光與紅外圖像融合

紅外圖像可以捕獲熱輻射，根據輻射差異將目標與背景區分開來，因此可以不分晝夜地全天候工作，且不易受到外界惡劣條件如大霧、暴雨等影響，但是通常紅外圖像的分辨率較低，圖像質量較差；相比之下，可見光圖像雖然抗干擾能力較差，但是成像更加清晰，含有豐富的細節紋理信息和色彩信息，符合人類的視覺感知。將可見光圖像與紅外圖像進行融合，能夠將可見光圖像中豐富的細節和色彩信息與紅外圖像中的目標信息相結合，提高系統的目標識別能力，如圖1.5所示。

（4）多曝光圖像融合

由于技術限制，成像設備捕獲的圖像的動態范圍遠比真實場景的動態范圍小得多，具有固定曝光時間的單次曝光不可避免地會導致動態范圍的損失。多曝光圖像融合可以融合多幅曝光時間不同的低動態范圍圖像，生成包含場景絕大部分信息的高動態范圍圖像，如圖1.6所示。

（5）遙感圖像融合

由于不同設備傳感器所采集的遙感圖像在時間、幾何和空間分辨率等方面存在著不同程度的差異，因此單一設備所提供的遙感圖像具有明顯的局限性，通常難以滿足實際應用需求。遙感圖像融合將來自同一衛星不同傳感器獲取的同一場景的圖像進行融合，得到更為精確、全面和可靠的遙感圖像，如圖1.7所示。