1.2 圖像融合的發(fā)展歷史與研究現(xiàn)狀

20世紀(jì)80年代多傳感器應(yīng)用的出現(xiàn)，以及基于金字塔的變換方法的廣泛研究，使得圖像融合作為獲取更高質(zhì)量圖像以進(jìn)行人類可視化的一種技術(shù)開始發(fā)展起來(lái)。

早期融合的主要目的僅限于人類觀察和決策。最早也是最基本的融合形式是像素平均，即所有輸入圖像的每個(gè)像素單獨(dú)相加，并將它們的平均像素值作為融合結(jié)果。這種方法非常粗糙，很大概率會(huì)引入偽影，尤其是當(dāng)僅存在于一幅輸入圖像中的特征被“疊加”在融合輸出上時(shí)。在兩個(gè)輸入具有相同顯著性但對(duì)比度相反的特征的情況下，它還會(huì)導(dǎo)致模式消除和對(duì)比度降低。

隨后基于金字塔分解的圖像融合方法開始出現(xiàn)。圖像金字塔是多分辨率分析（MRA）的早期形式，包含一組經(jīng)過(guò)過(guò)濾和縮放的圖像表示。融合是通過(guò)從源圖像金字塔中選擇每個(gè)尺度的系數(shù)來(lái)執(zhí)行的，然后對(duì)結(jié)果金字塔進(jìn)行逆變換得到最終融合圖像。金字塔方法首先由Burt等人于1984年提出，他們引入了低通拉普拉斯金字塔進(jìn)行雙目融合。隨后許多改進(jìn)的基于金字塔的研究方案被提出并用于圖像融合，包括梯度金字塔等。1988年，Rogers等人首次將融合應(yīng)用于可見光、熱成像和紅外圖像。到目前為止，金字塔分解方法已在圖像融合中得到廣泛使用，但是融合圖像往往包含塊狀偽影，尤其在多模態(tài)輸入存在較大差異的圖像區(qū)域，并且該融合方法缺乏靈活性，即缺乏各向異性和方向信息。

1993年，Huntsberger等人提出了一種基于小波變換的圖像融合方法。1995年，Li等人對(duì)其進(jìn)行改進(jìn)，使用小波作為多傳感器圖像融合的替代基函數(shù)，它能夠憑借其方向性克服基于金字塔分解的缺陷。Chipman等人的另一項(xiàng)融合方案的提出，開啟了使用小波變換進(jìn)行圖像融合的趨勢(shì)。1997年，Rockinger等人提出了一種位移不變的離散小波變換（DWT）方法，該方法放棄了子采樣。Chibani等人引入了冗余小波變換（RWT），使用了二元濾波器樹的非抽取形式。基于復(fù)數(shù)的小波變換，即雙樹復(fù)數(shù)小波變換（DT-CWT）的發(fā)展，克服了先前小波模型的方向和頻率選擇性差的問題，此外還可以減少過(guò)度完備性并輕松實(shí)現(xiàn)完美重構(gòu)。從小波變換派生的分支包括輪廓波、脊波和曲波變換，結(jié)合了各向異性和方向敏感性，可以更好地促進(jìn)對(duì)邊緣等基本圖像特征的分析。

1998年，Sharma等人首次提出基于貝葉斯理論的圖像融合。自此，基于統(tǒng)計(jì)和模型的融合方法蓬勃發(fā)展，在高要求應(yīng)用中實(shí)現(xiàn)了卓越的性能，盡管這通常以更高的計(jì)算復(fù)雜度為代價(jià)。進(jìn)入21世紀(jì)以來(lái)，圖像融合的相關(guān)研究吸引了越來(lái)越多學(xué)者的關(guān)注，相關(guān)研究成果也不斷涌現(xiàn)，熱度持續(xù)不下的原因主要有三點(diǎn)。

（1）對(duì)開發(fā)低成本和高性能成像技術(shù)的需求增加。受到技術(shù)限制，相比較設(shè)計(jì)具有更高質(zhì)量或某些特定特性的傳感器，圖像融合更加經(jīng)濟(jì)且能滿足大部分應(yīng)用的要求。

（2）信號(hào)處理與分析理論的發(fā)展。例如，近年來(lái)提出了稀疏表示和多尺度分解等20多種強(qiáng)大的信號(hào)處理工具，為進(jìn)一步提高圖像融合的性能帶來(lái)了機(jī)會(huì)。

（3）在不同應(yīng)用中獲得的互補(bǔ)圖像的數(shù)量和多樣性不斷增加。例如，在遙感應(yīng)用中，越來(lái)越多的衛(wèi)星正在獲取具有不同空間、光譜和時(shí)間分辨率的觀測(cè)場(chǎng)景的遙感圖像。同樣地，在醫(yī)學(xué)領(lǐng)域多種成像模式能夠提供各種模態(tài)的醫(yī)學(xué)影像。

最近十年，機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計(jì)算機(jī)視覺領(lǐng)域“大展拳腳”，基于學(xué)習(xí)的圖像融合方法逐漸成為研究主流。這類方法通過(guò)海量訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)，得到的融合模型能夠做到實(shí)時(shí)的融合且融合效果突出，已經(jīng)在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。未來(lái)，圖像融合依然會(huì)是醫(yī)學(xué)、遙感和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。