1.3　圖像處理的背景與常用方法

1.3.1　圖像處理背景簡介

從20世紀末開始，計算機科學技術的迅猛發展及計算機的逐漸普及，為數字圖像處理與計算機視覺（即通過計算機實現圖像分析和處理的科學領域）的崛起奠定了物質基礎，進而給相關應用帶來了深入的研究和大力的發展，使得數字圖像和計算機視覺成為信息技術中最重要的學科分支之一。

圖像處理具有多學科交叉的特性，它與相鄰學科（如模式識別、自動控制、計算機視覺等）之間不存在明確的分界。圖像處理的科學體系如圖1.1所示，這種三個層次的表述方式是當前被人們比較普遍接受的，其中低層次處理是對輸入的原始圖像按照某種特定的方法進行變換，從而得到另一幅圖像。低層次處理技術主要包括圖像濾波、圖像增強、圖像復原、圖像修復、圖像編碼壓縮等。而介于低層次處理和中層次處理——圖像分析之間的圖像處理過程是圖像分割，它的輸入是原始圖像或經過某種預處理的圖像。進行圖像分割的目的是希望把圖像中我們“感興趣”的對象分離出來。基于邊緣的分割、基于區域的分割和基于紋理的分割等是常用的圖像分割方法。

圖1.1

圖像分析的目的是提取圖像對象的特征。所謂特征，一般來說，是指利用較少的數據――特征矢量來刻畫對象，以便對圖像進行鑒別或分類。可見這一層次的處理結果是特征描述。手寫文字識別、指紋識別、基于人臉的身份認證等都是圖像分析研究的典型應用。

圖像理解則是指在圖像分析所提供的特征描述的基礎上，研究圖像中各個對象的屬性及相互關系。例如，對于人的面部圖像，可將其表情解釋為“喜悅”“憤怒”“悲傷”等。再例如，在汽車安全系統中，可利用圖像處理技術識別駕駛員的疲勞程度。圖像理解的輸出是已定義的“語義”字符串，這項研究內容通常被劃分為計算機視覺或人工智能的范疇。

由上述可知，圖像處理的三個層次中，處于較低層次的處理結果可以直接輸出投入應用，也可以作為其上一層處理的輸入。不過，在實踐過程中，也常需要利用高層次處理的結果來改進和完善中低層次處理。這就是圖1.1中向下的箭頭所表示的“反饋”過程。

1.3.2　圖像處理的傳統方法

一般地，我們把底層圖像處理表述為圖像變換。圖像變換操作主要采用的是數學工具，我們可以根據數學工具的不同把圖像變換分為以下幾種情況。

1．基于點操作和代數運算

一類最簡單卻非常有用的圖像處理方法是灰度變換，一般表示為

　　（1.10）

式中被稱作灰度變換函數。從（1.10）式我們不難看出，輸入圖像中任何一點的灰度值可決定該點輸出圖像的灰度值，因此歸為點操作。我們要求灰度變換函數必須要嚴格單調遞增，這樣經過灰度變換后，輸出圖像與輸入圖像在形態上可以保持一致。圖1.2所示為常用的幾種函數圖像類型。在圖像處理中，改善圖像的對比度是灰度變換的主要應用點。

圖1.2

對兩幅圖像逐點進行代數運算（加、減、乘、除等），把運算結果當作輸出圖像在該點的灰度值，這樣的操作稱為圖像的代數運算。在實踐中我們應用較多的是加法和減法運算，圖像在經過如下加法運算后，加性噪聲能明顯減少。另外，“二次曝光”的攝影藝術效果也能通過此運算產生。

　　（1.11）

如果想突出兩幅圖像之間的差異，我們可以用減法運算

　　（1.12）

例如，我們把視頻中相鄰的兩幀作為輸入圖像，經過減法運算后，在輸出的差分圖像中能很容易地檢測出運動物體的邊界。

2．基于集合論的方法

有一種灰度值只有0或1兩種類型的特殊圖像，我們稱其為二值圖像或黑白圖像。對于這類圖像的處理，我們有一套非常重要的方法叫數學形態學方法。塞拉（J. Serra）的著作Image Analysis and Mathematical Morphology是這個領域的經典之作。

在數學形態學方法中，首先將待處理圖像中的“白”區定義為集合X，

　　（1.13）

當然“黑”區也可以是處理對象，這時黑白區互換便可進行相同的操作；其次需要定義一個結構元素，例如，3×3的正方形就是常用的結構元素。這樣，我們就可以定義三種基本的形態學算子——膨脹、腐蝕和中值集。

3．基于傅里葉變換的方法

提到強有力的信號分析工具，我們首先想到的是傅里葉變換，它將信號從時域的表達轉換到頻域的表達，并提供了堅實的數學基礎。它的連續形式為

　　（1.14）

式中稱為角頻率，j為虛數單位（j2 = -1），在不產生混淆的情況下也可簡稱為頻率。傅里葉變換的逆變換表達式為

　　（1.15）

傅里葉變換的離散形式為

　　（1.16）

離散形式的逆變換為

　　（1.17）

隨著離散形式的快速算法的提出，傅里葉變換不僅僅為信號在頻域和時域處理的算法設計上提供了理論基礎，更重要的是，通過快速算法，傅里葉變換的數值實現可以方便地得到，這大大提高了傅里葉變換在應用方面的可行性。

把傅里葉變換推廣到二維層面，便可將其應用于圖像處理中，于是有

　　（1.18）

其中，基函數具有分離變量的性質如下：

因此，二維傅里葉變換的結果可容易地由兩個一維傅里葉變換來實現。

二維頻域也可用極坐標表示，即引入

　　（1.19）

這時有

　　（1.20）

函數圖像見圖1.3。

圖1.3

圖像的傅里葉變換為，也稱為的頻譜，由于一般來說是復數，因而可以用它的模值和相角來表示。它們都是的二維實函數，分別稱為圖像的振幅譜和相位譜。有時也用到，稱為功率譜。

在圖像處理中，圖像平滑、去噪、銳化、復原，以及CT圖像重構等都是傅里葉變換的重要應用場所。圖像編碼中常用的離散余弦變換（DCT），實際上可以看成是傅里葉變換離散形式的一種變異，故也可納入到傅里葉變換的應用范疇。

傅里葉變換在圖像處理中的應用也有不足的地方，那就是缺乏定域性。圖1.4、圖 1.5 和圖 1.6 所示分別為一幅自然圖像（人像）及其傅里葉變換的振幅譜和相位譜。

圖1.4

圖1.5

圖1.6

從這三幅圖中可以看出，在原點附近（即頻域的低頻區域），集中分布著圖像的大部分“功率”，而這里高頻成分的分布相對比較少，原因是在圖1.4所示的圖像中，大部分區域的灰度值基本不變或變化緩慢（具有這種特征的區域稱為平坦區），這里提供了圖像大量的低頻成分，而提供圖像高頻成分的部分主要來自于圖像的邊緣和細節（該部分的灰度值變化通常較為急劇），由于圖中邊緣和細節只占了整幅圖像的很小一部分，所以便出現了圖 1.5 中的近似呈現特性的振幅譜，以及圖 1.6 中呈現高斯隨機場特性的相位譜。正是由于具有這種非定域性，所以對圖像局部特征的處理是傅里葉變換的短板。

4．基于小波變換的方法

傅里葉變換所使用的正交基函數具有廣延性，這是其具有非定域性的根本原因。為了解決這一問題，我們需要構造一個理想的正交基函數，也就是既具有足夠的光滑性，又在時域和空域都具有好的定域性的正交基函數，但構造這樣一個理想的正交基函數不是件容易的事，很長一段時間人們都沒有構造成功，這種狀況直到法國數學家伊夫·梅耶爾（Yves Meyer）在20世紀80年代首次構造出一個具有時頻雙重定域性的正交基函數，并將其發展成一個新的數學分支——小波分析。我們來看一下一維小波變換（wavelet transform，WT）的定義式

　　（1.21）

式中稱為基小波，稱為尺度因子，稱為平移量。

如果和它的對偶基的尺度因子取二進（dyadic）離散化，則有

　　（1.22）

取連續實數時，我們將、稱為二進小波，此時它具有完全重構性，而其對應的積分變換和逆變換被稱為二進小波變換。若尺度因子按照（1.22）式取離散值，同時平移量按下式

　　（1.23）

也取離散值，在這種情況下仍然可通過小波基和對偶基實現分解和完全重構，那么我們稱其為雙正交小波；進一步若此時對偶基是其自身，即，那么我們稱其為正交小波。在這種情況下，積分小波變換變成離散小波變換（DWT），二進制小波變換和離散小波變換都存在快速算法。目前小波變換在圖像的去噪、增強、編碼壓縮等方面的應用均取得了優異的成果。

1.3.3　圖像處理的微積分方法

系統地把偏微分方程（partial differential equations，PDE）方法應用于圖像處理和計算機視覺中是近二十多年形成并發展起來的領域。到目前為止，這個領域已經積累了豐富的研究成果，這主要得益于兩方面因素。第一，偏微分方程是基礎數學的一個重要分支，它已經形成了成熟的理論體系和數值方法；第二，傳統的圖像處理技術已經積累了豐富的經驗。

圖像處理中用偏微分方程處理方法的基本思想：在圖像的連續數學模型上，讓初始圖像遵循某個指定的偏微分方程進行演化，而最終演化所得到的偏微分方程的解，就是我們希望得到的處理結果。因此，基于偏微分方程的圖像處理方法首先要建立一個合乎處理要求的偏微分方程，即建立數學模型。常用的建模方法主要有：（1）建立“能量”泛函，通過變分法，得到歐拉-拉格朗日（Euler-Lagrange）方程，該方程便是所需要的偏微分方程；（2）將期望實現的圖像變化與某種物理過程進行類比（例如，將圖像的平滑處理與雜質的擴散類比），建立對應的偏微分方程。

當數學模型建立之后，尋找求解所得偏微分方程的方法就成為最重要的問題。圖像函數固有的不連續性，數學模型所得到的PDE的非線性，以及圖像數據量的龐大等都給數值求解帶來困難，因此我們可以說，在圖像處理的偏微分方程方法中，數值實現與建立數學模型相似，也是具有挑戰性的課題。在數值實現中主要考慮的問題有穩定性、效率和精度。

圖像處理中采用偏微分方程方法的主要優點表現在以下兩方面。

第一，它具有更強的局域自適應性。從前面的知識我們了解到，傅里葉變換方法是完全沒有局域性的，所以原則上它只適用于平穩信號處理，而圖像一般來說都是非平穩的。傅里葉變換雖然具有較好的時頻雙重定域性，但是由于它的尺度因子二進離散化和構成二維小波時所采用的分離變量方法，使它的自適應能力受到極大的限制。雖然目前已提出一些彌補這些不足的方法，如脊小波、曲小波、輪廓小波等，但傅里葉變換在圖像處理中仍然存在自適應能力的不足，這是公認的問題。偏微分方程本身是建立在連續圖像模型之上的，它使得圖像某像素的值在當前時間的變化僅僅依賴于該像素點的一個“無窮小”的鄰域。在這一意義上，可以說圖像處理的偏微分方程方法具有“無窮”的局域自適應能力。

第二，它具有高度的靈活性。如果成功地建立一個基本模型，對它進行某些修改或擴充，就可以得到性能更完善或應用面更廣泛的處理方法。而這種修改或擴充往往是直截了當和簡單易行的。