1.3 拓?fù)浼y理圖像預(yù)處理的研究現(xiàn)狀

1.3.1 保細(xì)節(jié)圖像去噪研究現(xiàn)狀

在圖像濾波中，噪聲的濾除和圖像邊緣細(xì)節(jié)的保護(hù)常常是相互矛盾的處理：噪聲的平滑會(huì)破壞圖像的邊緣細(xì)節(jié)，而對(duì)于邊緣的保護(hù)則又會(huì)削弱對(duì)噪聲的抑制效果。因此，很多濾波算法的研究都致力于在這二者之間達(dá)到較好的平衡。

目前來(lái)說(shuō)，以下幾類(lèi)濾波算法的研究獲得了較大的關(guān)注。

①既能平滑噪聲又能保護(hù)圖像邊緣細(xì)節(jié)的自適應(yīng)濾波器：自適應(yīng)濾波的基本思想是濾波器的參數(shù)可根據(jù)像素所在鄰域的情況而自適應(yīng)地選取，自適應(yīng)濾波常常可被描述為加權(quán)均值濾波器的形式。

②基于圖像建模和估計(jì)理論的濾波算法：這類(lèi)方法的基本思想是提出一個(gè)圖像的模型，如果這個(gè)模型的參數(shù)由一種魯棒估計(jì)方法所估計(jì)出來(lái)，則窗口中心點(diǎn)的灰度值就可由估計(jì)出來(lái)的參數(shù)計(jì)算得到。這類(lèi)方法中最簡(jiǎn)單的例子就是中值濾波器，以及很多中值濾波器的推廣形式，如堆濾波器、排列濾波器、基于秩的秩選擇濾波器等。

③基于模糊推理的自適應(yīng)濾波算法：模糊概念最早是由Zadeh于1965年提出的。近年來(lái)，模糊集理論已經(jīng)成功地應(yīng)用于自動(dòng)控制、模糊控制器、模式識(shí)別、圖像處理等方面。在信息處理問(wèn)題中，所含信息的不確定性越大，使用模糊技術(shù)就越容易收到令人滿(mǎn)意的效果。很明顯，因?yàn)槿说囊曈X(jué)對(duì)于圖像灰度級(jí)別是模糊而難以準(zhǔn)確區(qū)分的，由此可以將一幅圖像看成一個(gè)模糊集，引入模糊集理論的知識(shí)來(lái)進(jìn)行圖像處理，常常會(huì)收到很好的效果，而且在圖像被噪聲高度污染時(shí)，這種不確定性就增加了，應(yīng)用模糊知識(shí)處理圖像的效果就會(huì)更加明顯。

④基于小波分析的方法：近年來(lái)，運(yùn)用小波分解的方法除去圖像中的噪聲也很常見(jiàn)。其主要是對(duì)小波信號(hào)進(jìn)行分解，在不同層次對(duì)噪聲進(jìn)行消除。

近十幾年來(lái)，基于偏微分方程（PDE）和幾何曲率流驅(qū)動(dòng)擴(kuò)散的圖像分析與處理越來(lái)越成為研究關(guān)注的熱點(diǎn)。PDE方法是一類(lèi)比較精細(xì)的圖像分析與處理方法，在圖像分析與處理中具有重要作用。基于PDE方法的圖像非線(xiàn)性濾波在保留圖像的重要特征（邊緣、紋理、線(xiàn)等）方面表現(xiàn)出優(yōu)良的性能。各種非線(xiàn)性的圖像濾波器的設(shè)計(jì)一直是圖像處理領(lǐng)域的研究熱點(diǎn)。特別地，基于擴(kuò)散方程的各種圖像去噪、恢復(fù)及多尺度分析為圖像的非線(xiàn)性圖像預(yù)處理注入了新的活力。

早在1983年，Witkin就嘗試用原始圖像與不同尺度的高斯核卷積所得的圖像序列來(lái)描述尺度空間，之后，Koenderink和Hummel進(jìn)一步指出，圖像與具有不同尺度的高斯函數(shù)卷積等價(jià)于求解以圖像為初值的熱傳導(dǎo)方程，實(shí)際上這種圖像光滑的結(jié)果等同于擴(kuò)散系數(shù)為常值的熱傳導(dǎo)方程的解，并且一般的具有各向同性擴(kuò)散的低通濾波器的迭代光滑都可歸結(jié)于求解熱傳導(dǎo)方程。

設(shè)u0為初始圖像數(shù)據(jù)，選取L2范數(shù)度量，與u0相關(guān)的“尺度空間”分析歸于求解方程：

式（1.1）的解為：u（x，t）=Gσ*u0，其中，是尺度為σ的高斯函數(shù)。

由于這種基于高斯核的圖像光滑沒(méi)有考慮到圖像特征在空間上的分布，因此在光滑圖像的同時(shí)也使得小尺度邊緣細(xì)節(jié)信息丟失，進(jìn)而導(dǎo)致邊緣定位提取的錯(cuò)誤。

鑒于此，Perona和Malik對(duì)式（1.1）進(jìn)行了重要的改進(jìn)，他們用非線(xiàn)性擴(kuò)散方程替代原來(lái)的熱傳導(dǎo)方程：

式中，g：R+→R+為單調(diào)遞減函數(shù)，且。函數(shù)g通常有形式gk（x）=e-kx或gk（x）=（1+kx2）-1。當(dāng)g=g0時(shí)，式（1.2）退化為經(jīng)典的高斯濾波模型；當(dāng)g=gk（k＜0）時(shí)，模型允許根據(jù)圖像梯度模大小實(shí)現(xiàn)有選擇的擴(kuò)散磨光。

式（1.2）的主要思想是有條件地光滑圖像函數(shù)：當(dāng)|?u|的值很大時(shí)，則擴(kuò)散程度很小，這樣就保持此處邊界的信號(hào)性質(zhì)，而當(dāng)|?u|很小時(shí)，則擴(kuò)散程度很大，從而使函數(shù)在此處變得光滑。由于邊緣具有較大的梯度模值|?u|，因此g（|?u|）取得較小值，這樣模型在邊緣處實(shí)行弱光滑以保護(hù)重要信息。函數(shù)g（|?u|）的零交叉同時(shí)也是獲得邊緣圖的重要方法之一。然而式（1.2）仍存在嚴(yán)重缺陷：一方面，當(dāng)初始圖像u0被噪聲嚴(yán)重污染時(shí)，|?u0|大幅度振蕩，進(jìn)而|?u|大幅度振蕩，理論上|?u|發(fā)生劇烈振動(dòng)的范圍應(yīng)是一個(gè)無(wú)界區(qū)域，這時(shí)有條件地光滑圖像函數(shù)初值的方法用處不是很大，將會(huì)導(dǎo)致大量虛假邊緣的出現(xiàn)；另一方面，不難證明式（1.2）只有在很強(qiáng)的條件下才能保證解的存在性和唯一性，也就是說(shuō)式（1.2）的初值問(wèn)題是不適定的。對(duì)于振蕩問(wèn)題，Perona和Malik使用低通濾波對(duì)圖像實(shí)現(xiàn)光滑化，實(shí)踐表明具有較好抑制噪聲作用，但同時(shí)引入了新的參數(shù)。

在理論與實(shí)際應(yīng)用中，減少參數(shù)數(shù)量和實(shí)現(xiàn)自適應(yīng)濾波是快速、準(zhǔn)確獲取邊緣信息的一個(gè)原則。為此，Catte提出了一個(gè)很重要的改進(jìn)模型，該模型具有自適應(yīng)選擇光滑的能力：

式（1.3）避免了式（1.2）的許多缺點(diǎn)的同時(shí)，還繼承了它的優(yōu)點(diǎn)，例如式（1.3）的問(wèn)題是適定的，且關(guān)于噪聲是穩(wěn)定的。因此，模型提高了濾噪處理能力，在一定程度上較好保護(hù)了重要的邊緣信息。但是將式（1.3）展開(kāi)：

由于拉普拉斯算子Δu的存在，在一些重要的邊緣，特別是角點(diǎn)和鉸接點(diǎn)等處，還是會(huì)表現(xiàn)出明顯的圓滑化。

為了消除Δu對(duì)去噪效果的影響，Chen對(duì)式（1.4）進(jìn)行了改進(jìn)：

取噪聲圖像z為u的初值，并取零流邊界。數(shù)值分析表明，與式（1.4）相比，式（1.5）較好地保護(hù)了圖像邊緣特征。然而，式（1.5）有時(shí)仍導(dǎo)致重要的邊緣、角點(diǎn)等特征被過(guò)分磨光，因而達(dá)不到識(shí)別重要邊緣特征的目的。

Alvarez對(duì)Perona-Malik模型的擴(kuò)散系數(shù)做了改進(jìn)，提出了基于曲率同質(zhì)擴(kuò)散方法，該模型具有選擇光滑的特性，圖像保邊去噪的效果得到明顯改進(jìn)。他提出的模型為

簡(jiǎn)稱(chēng)為ALM模型。ALM模型使得函數(shù)u的水平曲線(xiàn)沿著垂直于?u方向以g（|?Gσ*u|）速度擴(kuò)散。圖像在邊緣（梯度模較大）及兩側(cè)得到細(xì)微的弱光滑，而在內(nèi)部同質(zhì)區(qū)域得到快速充分的強(qiáng)光滑。

ALM模型是一種“純粹”的各項(xiàng)異性擴(kuò)散模型，設(shè)η是梯度方向的單位向量，ξ是正交于η的單位向量，則在ξη-坐標(biāo)下，。由此可以看出，項(xiàng)使擴(kuò)散僅在正交于梯度的方向ξ上發(fā)生，這就使得邊緣能得到很好的保持。

從ALM模型中不難看出，非線(xiàn)性擴(kuò)散去噪模型和幾何曲率流演化方程之間的內(nèi)在聯(lián)系。曲線(xiàn)和曲面的演化運(yùn)動(dòng)用于圖像的光滑和增強(qiáng)只有十余年的歷史，ALM模型在幾何曲線(xiàn)運(yùn)動(dòng)論上的解釋是：把圖像看成是一系列等強(qiáng)度的輪廓線(xiàn)，這些輪廓線(xiàn)沿法線(xiàn)方向以速度g（|?G*u|）κ演化，在平滑圖像的同時(shí)保持了邊緣。之所以能夠如此看待這個(gè)問(wèn)題，其核心的思想是Osher和Sethian所提出的水平集方法。

由Osher和Sethian提出的水平集數(shù)值方法在圖像處理中有很大影響，其基本思想是將變形的曲線(xiàn)、曲面或圖像表示為高維超曲面的水平集，為數(shù)值計(jì)算提供較為精確的實(shí)現(xiàn)方法。水平集表示對(duì)計(jì)算機(jī)視覺(jué)和圖像處理并不是全新的問(wèn)題，它是數(shù)學(xué)形態(tài)學(xué)中的一個(gè)基本技術(shù)。給定一函數(shù)u：Ω?R2→R，定義與常數(shù)c有關(guān)的水平集為點(diǎn)集Sc={x∈Ω|u（x）=c}。c的連續(xù)變化產(chǎn)生u的全部水平集，類(lèi)似于制圖學(xué)中以高度值來(lái)標(biāo)識(shí)的等高線(xiàn)。

由于ALM模型可以看成是一個(gè)偏微分方程的初值問(wèn)題，因此可將曲線(xiàn)的運(yùn)動(dòng)和圖像的光滑結(jié)合在一起，從而可以借助偏微分方程的基本理論和曲線(xiàn)運(yùn)動(dòng)的成果來(lái)解決圖像處理的問(wèn)題。函數(shù)g的不同取法構(gòu)成不同的模型。當(dāng)1g=時(shí)，就是曲線(xiàn)的平均曲率流。—般來(lái)說(shuō)，曲線(xiàn)的平均曲率流用如下的方程來(lái)描述：

式中，為單位法線(xiàn)方向，F(xiàn)（κ）為曲線(xiàn)演化速度，C0是曲線(xiàn)的初始狀態(tài)。其數(shù)值求解借助于Osher和Sethian所提出的水平集方法，用水平集方程來(lái)描述上式為：

式中，φ為符號(hào)距離函數(shù)，d0是（x，y）到C0的距離。如果（x，y）在C0的外部，則d0取正號(hào)，反之則取負(fù)號(hào)。為避免求解過(guò)程中的數(shù)值振蕩和解的奇異，Osher和Sethian提出了需要滿(mǎn)足的擴(kuò)散條件。式（1.7）只有當(dāng)滿(mǎn)足一定擴(kuò)散條件時(shí)，弱解存在且唯一。如果式（1.7）中F（k）=min（k，0），稱(chēng)為最小（Min）曲率流；F（k）=max（k，0）稱(chēng)為最大（Max）曲率流。關(guān)于曲線(xiàn)的平均曲率流具有如下屬性：

①若F（k）=κ時(shí)，則任意形狀的閉合曲線(xiàn)會(huì)收縮到一點(diǎn)；

②若F（k）=min（k，0）時(shí)，則曲線(xiàn)向內(nèi)凹的部分將會(huì)向外運(yùn)動(dòng)，而向外凸的部分將會(huì)靜止不動(dòng)，直到形成一個(gè)全凸的曲線(xiàn)；

③若F（k）=max（k，0），則曲線(xiàn)向內(nèi)凹的部分將會(huì)靜止不動(dòng)，而向外凸的部分將會(huì)向內(nèi)運(yùn)動(dòng)，當(dāng)形成一個(gè)全凸的曲線(xiàn)后，該曲線(xiàn)會(huì)繼續(xù)向內(nèi)運(yùn)動(dòng)，最終收縮為一點(diǎn)。

正是基于這樣的分析，Malladi構(gòu)造了最大/最小（Min/Max）曲率流，最終確定圖像的凹凸性。

非線(xiàn)性擴(kuò)散模型和變分模型也有著密切聯(lián)系。Alvarez闡述了能量泛函E（u）=∫Ω|?u|dx與發(fā)展方程之間的關(guān)系，而后者是Perona-Malik模型的特殊形式。用于圖像去噪的最廣泛變分模型是總變分（Total Variation）極小，極小化過(guò)程是通過(guò)偏微分方程或梯度下降流轉(zhuǎn)化為—個(gè)泛函問(wèn)題，并使用變分原理導(dǎo)出相應(yīng)的歐拉-拉格朗日數(shù)值方程。第一個(gè)提出總變分模型的是Rudin和Osher，他們把圖像作為一個(gè)二元函數(shù)，且認(rèn)為這個(gè)函數(shù)大致是分片光滑的，一些重要數(shù)據(jù)（如邊緣）是不連續(xù)的。有界變差空間中極小化的結(jié)果允許有不連續(xù)且是保護(hù)尖點(diǎn)邊界的。

設(shè)u是一個(gè)定義在開(kāi)集Ω?R2上的實(shí)函數(shù)，Rudin和Osher的原圖像恢復(fù)模型為：

對(duì)式（1.9）的極小化可以通過(guò)梯度下降流計(jì)算得到，計(jì)算生成的非線(xiàn)性擴(kuò)散方程為：

進(jìn)一步，式（1.9）的一種推廣形式為：

是滿(mǎn)足Perona-Malik條件的擴(kuò)散去噪模型。對(duì)式（1.9）的極小化可以通過(guò)梯度下降流計(jì)算得到，計(jì)算生成的非線(xiàn)性擴(kuò)散方程為：

另一種泛函變分模型是基于Allen-Cahn模型的位相場(chǎng)去噪方法。Allen-Cahn方程源于相位分界線(xiàn)運(yùn)動(dòng)理論，在滿(mǎn)足一定約束條件后，可以作為一種有效的面積保留MCM模型的水平集表示。該模型不僅可以提高模型對(duì)復(fù)雜紋線(xiàn)拓?fù)湫巫兊淖赃m應(yīng)能力，而且還能有效地避免特征紋線(xiàn)形狀的失真。本書(shū)在第2章將根據(jù)非局部Allen-Cahn水平集曲線(xiàn)運(yùn)動(dòng)方程和面積保留平均曲率模型的一致性屬性，研究基于Allen-Cahn水平集的拓?fù)浼y理圖像去噪模型。

1.3.2 保色彩圖像恢復(fù)研究現(xiàn)狀

在多數(shù)情況下，圖像恢復(fù)就是要消除觀測(cè)圖像中的模糊和噪聲，以獲得原始圖像。模糊是指成像過(guò)程中的帶寬縮減現(xiàn)象，它由諸多因素造成，如相機(jī)和景物間的相對(duì)運(yùn)動(dòng)、失焦等。噪聲是指圖像中包含的隨機(jī)性干擾。對(duì)于上述影響，通常用線(xiàn)性模型描述：

Y=AX+n （1.13）

從觀測(cè)圖像Y中恢復(fù)原始圖像X是一個(gè)不適定問(wèn)題，因?yàn)樗荒芡耆珴M(mǎn)足適定性的三個(gè)條件。不適定的定義是Hadamard在偏微分方程領(lǐng)域內(nèi)給出的。如果一個(gè)問(wèn)題的解是存在的、唯一的且連續(xù)地依賴(lài)于初始數(shù)據(jù)，那么它是適定的。而當(dāng)不滿(mǎn)足上述判據(jù)中的某一條或某幾條時(shí)，它是不適定的。處理不適定問(wèn)題要引入合適的先驗(yàn)約束，把它轉(zhuǎn)換成適定的問(wèn)題。

不適定問(wèn)題的典型處理方法有：正則化（Regularization）和MRF（Markov Random Field）方法。Rudin的研究結(jié)果表明用總變分（Total Variation，TV）正則化恢復(fù)的圖像邊緣的效果非常顯著。基于這一思想，Chan提出了TV盲解卷，其實(shí)驗(yàn)結(jié)果顯示算法具有相當(dāng)?shù)聂敯粜裕諗克俣群芸欤貏e是對(duì)離散模糊收斂的速度更快，即使在嚴(yán)重噪聲存在的情況下，也能恢復(fù)圖像，因此是一種成功的正則化方法。正則化方法通過(guò)穩(wěn)定子約束解空間，所獲得的解是滿(mǎn)足先驗(yàn)約束程度和與觀測(cè)量相近程度的最佳折中，但不具有普適性：一是對(duì)解空間的限制太苛刻，如標(biāo)準(zhǔn)Tikhonov正則化中要求其有預(yù)先確定的某階導(dǎo)數(shù)，以致在邊緣等不連續(xù)處出現(xiàn)過(guò)分平滑；二是基于變分法解Euler-Lagrange方程的分析思想不能用來(lái)處理高層視覺(jué)中的問(wèn)題，因?yàn)闊o(wú)法引入高層處理（如目標(biāo)識(shí)別）中所需的約束項(xiàng)。

MRF方法建立在MRF模型和Bayes估計(jì)的基礎(chǔ)上，MRF模型提供了為內(nèi)容相關(guān)約束項(xiàng)建模的途徑。結(jié)合實(shí)際觀測(cè)圖像，按統(tǒng)計(jì)決策和估計(jì)理論中的最優(yōu)準(zhǔn)則確定問(wèn)題的解，能克服正則化方法的不足，并有以下幾個(gè)鮮明特點(diǎn)：一是MRF模型與正則化有一致性，但比其適應(yīng)性寬。Bertero證明了標(biāo)準(zhǔn)正則化是它的特殊情形，當(dāng)觀測(cè)噪聲是加性獨(dú)立同分布高斯噪聲且采用平滑約束時(shí)，MAP（Maximum a Posteriori）解和正則化解是等價(jià)的，這是因?yàn)镸RF模型包括了除平滑約束外的其他約束形式，適用于所有層次上的視覺(jué)問(wèn)題。二是MRF模型能較好地處理不連續(xù)問(wèn)題，即在待估量的先驗(yàn)?zāi)Ｐ椭幸刖€(xiàn)過(guò)程。在連續(xù)情況下對(duì)估計(jì)量做平滑約束，而在不連續(xù)情況下不做任何約束。三是MRF模型的局部特性決定了可采用局部、大規(guī)模并行算法。四是MRF模型提供了適當(dāng)?shù)募煽蚣埽捎糜诰C合視覺(jué)中各類(lèi)模塊的處理結(jié)果以及用于數(shù)據(jù)融合等領(lǐng)域。五是MRF模型為多分辨率計(jì)算提供了基礎(chǔ)。

Geman采用線(xiàn)過(guò)程技術(shù)來(lái)表示非平穩(wěn)和Gibbs-MRF間的一致性，開(kāi)創(chuàng)性地建立了關(guān)于重建圖像及其邊緣的聯(lián)合先驗(yàn)分布模型。由于根據(jù)Bayes分析框架，后驗(yàn)分布通常也是一個(gè)MRF分布，因此MAP估計(jì)為后驗(yàn)?zāi)芰亢瘮?shù)最小值所對(duì)應(yīng)的狀態(tài)。他們還提出了一種基于Gibbs采樣，即按后驗(yàn)條件分布每次只更新某一個(gè)位置的狀態(tài)的模擬退火算法，并在理論上證明了它的收斂性。

Jeng 提出了混合高斯隨機(jī)場(chǎng)（Compound Gaussian Random，CGM）先驗(yàn)?zāi)Ｐ停且环N包含線(xiàn)過(guò)程的非平穩(wěn)GMRF模型，避免了用GMRF模型時(shí)在圖像邊緣處的過(guò)分平滑，并給出了用模擬退火或ICM方法獲得MAP估計(jì)的算法。Jeng還進(jìn)一步證明了非平穩(wěn)GMRF模型在退火過(guò)程中的收斂性。Zerubia利用鞍點(diǎn)近似算法，用均值場(chǎng)退火方法求MAP估計(jì)。Zhang基于鞍點(diǎn)近似求解均值場(chǎng)，并用EM方法實(shí)現(xiàn)了圖像恢復(fù)。Figueiredo不采用關(guān)于線(xiàn)過(guò)程的先驗(yàn)分布，而把CGM中的線(xiàn)過(guò)程作為確定性的未知參數(shù)，基于MDL原理并結(jié)合觀測(cè)圖像估計(jì)邊緣數(shù)和它們的位置，提出了非監(jiān)督MAP恢復(fù)算法。

Bouman采用弱表層技術(shù)約束先驗(yàn)?zāi)Ｐ停⒂肎NC（Graduated Non-Convexity）方法求MAP估計(jì)。Gunsel在TPM（Thresholded Posterior Mean）方法的基礎(chǔ)上，根據(jù)后驗(yàn)條件概率采樣值計(jì)算后驗(yàn)均值，提出了基于多尺度弱表層模型的邊緣穩(wěn)健集成算法，可有效實(shí)現(xiàn)紋理邊緣的檢測(cè)，但需要大量的計(jì)算時(shí)間。陸明俊根據(jù)多尺度模型，用GBF方法進(jìn)行后驗(yàn)均值估計(jì)，所需計(jì)算時(shí)間大大減少，且仍能保持相當(dāng)好的性能。Moura確定了非因果GMRF遞歸形式，從而可用遞歸方法（如Kalman濾波）處理圖像恢復(fù)問(wèn)題。盡管CGM模型和弱表層模型用于圖像恢復(fù)時(shí)取得了較好的效果，但對(duì)邊緣檢測(cè)情況就不十分理想了。

我們知道，直接求Bayes估計(jì)具有指數(shù)復(fù)雜度，因?yàn)樾枰?jì)算所有可能狀態(tài)的后驗(yàn)概率，實(shí)際上是不可行的。通常為了避開(kāi)這個(gè)困難問(wèn)題，需要選擇可行的途徑和算法。當(dāng)求MAP估計(jì)時(shí)，可將原問(wèn)題轉(zhuǎn)化為求后驗(yàn)?zāi)芰亢瘮?shù)最小值所對(duì)應(yīng)的狀態(tài)。通常后驗(yàn)?zāi)芰亢瘮?shù)有多個(gè)極小，即非凸的。因此它是一個(gè)組合優(yōu)化問(wèn)題，可用隨機(jī)松弛和確定松弛方法求解。

隨機(jī)松弛算法包括模擬退火、Gibbs采樣器等，確定松弛算法包括GNC（Graduated Non-Convexity）方法、ICM（Iterated Conditional Mode）方法、均值場(chǎng)退火、神經(jīng)網(wǎng)絡(luò)以及動(dòng)態(tài)規(guī)劃等。隨機(jī)松弛是一種全局優(yōu)化算法，它花費(fèi)大量計(jì)算時(shí)間以獲得全局最優(yōu)解。而確定松弛是一種局部?jī)?yōu)化方法，本質(zhì)上是一個(gè)非隨機(jī)的確定過(guò)程，它所需計(jì)算時(shí)間少，但只能得到局部最優(yōu)解。兩者的區(qū)別在于狀態(tài)更新方式：如果新?tīng)顟B(tài)具有較低的能量，兩者都轉(zhuǎn)移到那個(gè)狀態(tài)；如果新?tīng)顟B(tài)的能量升高，前者依一定概率轉(zhuǎn)移到那個(gè)狀態(tài)上，從而能量函數(shù)依一定概率向增加方向變化（稱(chēng)為隨機(jī)擾動(dòng)），這樣既有助于系統(tǒng)擺脫局部極小的約束，又使系統(tǒng)最終達(dá)到全局極小后不再受擾動(dòng)的干擾和破壞，后者不更新?tīng)顟B(tài)，它只允許跳到較低能量的狀態(tài)上，從而導(dǎo)致受限于局部極小。

1.3.3 精確圖像分割研究現(xiàn)狀

紋理圖像分割在圖像處理、計(jì)算機(jī)視覺(jué)、醫(yī)療圖像分割中都具有十分重要的意義，紋理圖像的分割就是根據(jù)紋理特征描述將圖像分為幾個(gè)區(qū)域。將圖像分割成一些具有某種一致性的區(qū)域是圖像分析的重要手段，一致性包括亮度、顏色或紋理等衡量標(biāo)準(zhǔn)。在機(jī)器視覺(jué)系統(tǒng)中，通常圖像可以根據(jù)亮度標(biāo)準(zhǔn)進(jìn)行分割，但在復(fù)雜的情況下，如自然景物，這種方法不能達(dá)到令人滿(mǎn)意的分割效果。因?yàn)檫@類(lèi)圖像不具有均勻的亮度分布，而具有共同的紋理輪廓特征。

活動(dòng)輪廓模型是20世紀(jì)80年代后期發(fā)展起來(lái)的一種圖像分割方法，特別適用于建模和提取任意形狀的變形輪廓。活動(dòng)輪廓模型是一種有效的圖像分割、運(yùn)動(dòng)跟蹤方法，這種方法已成功地用于物體識(shí)別、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形和生物醫(yī)學(xué)圖像處理領(lǐng)域。基于活動(dòng)輪廓的圖像分割的過(guò)程就是活動(dòng)輪廓在模擬的外力（外部能量）和內(nèi)力（內(nèi)能）作用下向物體邊緣靠近的過(guò)程，外力推動(dòng)活動(dòng)輪廓向著物體邊緣運(yùn)動(dòng)，而內(nèi)力保持活動(dòng)輪廓的光滑性和連續(xù)性；到達(dá)平衡位置時(shí)（對(duì)應(yīng)于能量最小）的活動(dòng)輪廓收斂到所要檢測(cè)的物體邊緣。由于這種方法同時(shí)考慮了幾何約束條件和與圖像數(shù)據(jù)、輪廓形狀有關(guān)的能量最小等約束條件，所以能得到令人滿(mǎn)意的分割效果。

活動(dòng)輪廓模型主要分為參數(shù)活動(dòng)輪廓模型和幾何活動(dòng)輪廓模型兩大類(lèi)。其中，參數(shù)活動(dòng)輪廓模型又稱(chēng)為Snake模型，是一種能量函數(shù)最小化的變形輪廓線(xiàn)，它已經(jīng)被眾多研究者成功地應(yīng)用于計(jì)算機(jī)視覺(jué)的許多領(lǐng)域。

Snake模型又稱(chēng)參數(shù)活動(dòng)輪廓模型，是由Kass于1987年提出的。Snake模型對(duì)噪聲和對(duì)比度不敏感，能將目標(biāo)從復(fù)雜背景中分割出來(lái)，并能有效地跟蹤目標(biāo)的形變和非剛體的復(fù)雜運(yùn)動(dòng)，因而被廣泛用于圖像分割和物體跟蹤等圖像處理領(lǐng)域。Snake的主要原理是先提供待分割圖像的一個(gè)初始的輪廓位置，并對(duì)其定義一個(gè)能量函數(shù)，使輪廓沿能量降低的方向靠近。當(dāng)能量函數(shù)達(dá)到最小的時(shí)候，提供的初始輪廓收斂到圖像中目標(biāo)的真實(shí)輪廓。Snake能量函數(shù)由內(nèi)部能量函數(shù)和外部能量函數(shù)組成，內(nèi)部能量控制輪廓的平滑性和連續(xù)性；外部能量由圖像能量和約束能量組成，控制輪廓向著實(shí)際輪廓收斂。由于約束能量可根據(jù)具體的對(duì)象形態(tài)定義，因此使得Snake模型具有很大的靈活性。

Snake模型發(fā)展10多年來(lái)，許多學(xué)者對(duì)經(jīng)典Snake模型進(jìn)行了改進(jìn)，提出了各種改進(jìn)的Snake模型。總的來(lái)說(shuō)，這些改善主要體現(xiàn)在能量函數(shù)的設(shè)計(jì)、優(yōu)化方法的改進(jìn)和把Snake模型和其他技術(shù)的結(jié)合上。

①在能量函數(shù)的設(shè)計(jì)上，除了有Kass提出的著眼于外部邊界的方法外，有一些方法把著眼點(diǎn)放在了輪廓內(nèi)部和區(qū)域上。Cohen引入了“氣球力”（Balloon Force），可以使輪廓線(xiàn)膨脹或者收縮。氣球力還可以使輪廓線(xiàn)略過(guò)虛假的、孤立的和不強(qiáng)烈的圖像邊界，并且有對(duì)抗輪廓線(xiàn)自然收縮的趨勢(shì)。應(yīng)用了氣球力的Snake模型減少了對(duì)應(yīng)初始化未知和圖像噪聲的敏感性，因此非常適合尋找平滑一致的目標(biāo)，但不適合尋找復(fù)雜的多組分或多顏色的目標(biāo)。Ronfard引進(jìn)了基于背景和目標(biāo)區(qū)域的統(tǒng)計(jì)模型的目標(biāo)函數(shù)，把輪廓線(xiàn)上的點(diǎn)推向符合背景和目標(biāo)模型分布的位置。Neuenschwander允許用戶(hù)指定所需要輪廓變化的兩個(gè)端點(diǎn)。在最優(yōu)化的過(guò)程中，邊界的信息從兩端向中間傳播。Fua在Snake模型中設(shè)置了吸引子和切線(xiàn)條件，吸引子可以迫使輪廓線(xiàn)趨向某一點(diǎn)或者掠過(guò)某一點(diǎn)，切線(xiàn)條件則可以迫使輪廓線(xiàn)在某一點(diǎn)具有指定的切線(xiàn)方向。但是由于要在圖上指出這些具體的點(diǎn)，所以這種方法比較適合于交互的場(chǎng)合。

②在優(yōu)化算法上，許多學(xué)者提出了更多的創(chuàng)新和設(shè)想。Amini 使用動(dòng)態(tài)規(guī)劃法去最小化能量函數(shù)，該方法窮盡搜索了所有可能的方案，每一步循環(huán)都給出局部最優(yōu)解。Geiger允許輪廓線(xiàn)在某初始化位置附近的較大范圍內(nèi)尋找最優(yōu)解，從而試圖在一次迭代中得到最后結(jié)果。Caselles和Malladi分別提出用Osher 提出的水平集方法求解Snake問(wèn)題。他們將輪廓線(xiàn)模擬成一個(gè)類(lèi)似于火焰的鋒面（Front），這種方法的主要優(yōu)點(diǎn)是在演化過(guò)程中輪廓的形狀可以發(fā)生拓?fù)涓淖儭４送猓珻hristensen將膨脹黏性液態(tài)的變形動(dòng)力學(xué)中的偏微分方程應(yīng)用于Snake模型中，指導(dǎo)模型的演化。

③對(duì)應(yīng)Snake模型本身的改進(jìn)主要分為兩類(lèi)。第一類(lèi)是將Snake和其他技術(shù)的結(jié)合。Menet提出用樣條來(lái)構(gòu)造Snake，即用一群基函數(shù)的線(xiàn)性組合來(lái)表示輪廓，靠改變這些基函數(shù)的系數(shù)來(lái)改變Snake的形狀。這樣的Snake比以前更加結(jié)構(gòu)化，但因?yàn)榫€(xiàn)性最后本身表達(dá)能力的不足，這樣的樣條Snake往往不足以表示一個(gè)特定的形狀。Flickner用類(lèi)似的方法構(gòu)造Snake，但是他用貪心算法來(lái)尋找控制點(diǎn)。Figueiredo用Bayesian方法來(lái)描述這個(gè)問(wèn)題，并且用迭代的估計(jì)最大化算法來(lái)解決它。他們將輪廓的能量用一個(gè)函數(shù)來(lái)表示，且這個(gè)函數(shù)的參數(shù)是三個(gè)未知的量，即背景和目標(biāo)的灰度分布、樣條控制點(diǎn)的位置和數(shù)目。另一類(lèi)改進(jìn)是將先驗(yàn)信息包含于模型中，這些先驗(yàn)信息主要是指一個(gè)確定的模板。這個(gè)模板作為變形的基礎(chǔ)，并且在變形過(guò)程中，作為一種制約。Jain在有先驗(yàn)幾何形狀的場(chǎng)合下，采用整體形狀模板，來(lái)克服邊界上的不連續(xù)對(duì)提取整個(gè)形狀造成的干擾。

但由于模型本身的缺陷，致使Snake模型存在對(duì)初始位置敏感、易陷入局部極值、無(wú)法處理曲線(xiàn)的拓?fù)渥儞Q等問(wèn)題；而幾何活動(dòng)輪廓模型則基于曲線(xiàn)進(jìn)化理論和水平集的思想，先將平面閉合曲線(xiàn)隱含地表達(dá)為二維曲面函數(shù)（稱(chēng)為水平集函數(shù)）的水平集，即使其具有相同函數(shù)值的點(diǎn)集，再通過(guò)曲面的演化來(lái)隱含地求解曲線(xiàn)的演化。由于是采用水平集方法來(lái)做數(shù)值計(jì)算，因此幾何活動(dòng)輪廓模型較好地克服了Snake模型的許多缺點(diǎn)，如可以處理曲線(xiàn)的拓?fù)渥兓?duì)初值位置不敏感、具有穩(wěn)定唯一的數(shù)值解等。水平集方法最初稱(chēng)為基于曲率的表面生長(zhǎng)方法（Propagation of Surfaces under Curvature，PSC），是一種跟蹤N維空間中1N-維表面運(yùn)動(dòng)的算法，而運(yùn)動(dòng)的速度是曲率的函數(shù)，由于曲面方程是隱式表達(dá)的，所以不需要寫(xiě)出曲面的顯示方程式。水平集方法的優(yōu)勢(shì)在于它的拓?fù)溥m應(yīng)性，可以處理合并與分裂的問(wèn)題，也可以處理尖銳的角點(diǎn)等Snake模型難以實(shí)現(xiàn)的問(wèn)題。

幾何活動(dòng)輪廓模型的這些良好特性已經(jīng)引起了人們?cè)絹?lái)越多的關(guān)注，并已在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛應(yīng)用。幾何活動(dòng)輪廓模型處理曲線(xiàn)演化的基本思想是：先把曲線(xiàn)作為零水平集嵌入高一維的函數(shù)φ中，再通過(guò)不斷更新φ來(lái)達(dá)到演化隱含在其中的曲線(xiàn)的目的。Caselles提出的基本的幾何活動(dòng)輪廓模型滿(mǎn)足如下方程：

式中，φ稱(chēng)為水平集函數(shù)，u為圖像函數(shù)，為函數(shù)曲率，v為常數(shù)項(xiàng)，g（|?u|）為與圖像梯度?u有關(guān)的非遞增函數(shù)，一般定義為，其中，Gσ是方差為σ的高斯函數(shù)，*為卷積算子。該式描述了以函數(shù)曲面φ的零水平集φ（x）=0所表達(dá)的二維閉合活動(dòng)輪廓線(xiàn)沿法線(xiàn)方向的演化，方程右邊是速度項(xiàng)。可見(jiàn)，當(dāng)活動(dòng)輪廓線(xiàn)靠近圖像邊緣時(shí)，|?u|增大，導(dǎo)致g（·）→0，方程右邊趨于零，活動(dòng)輪廓的速度趨于零，最終停止運(yùn)動(dòng)。這樣，活動(dòng)輪廓線(xiàn)就停在圖像的邊緣位置。然而，由于圖像中的邊緣并非都是理想的階梯邊緣，如果活動(dòng)輪廓線(xiàn)附近是較平滑的邊緣，則活動(dòng)輪廓線(xiàn)可能越過(guò)邊緣，出現(xiàn)“冒頂”，不再返回到正確位置。

式（1.14）在圖像對(duì)比度很好時(shí)，可以獲得滿(mǎn)意的分割效果，但對(duì)于不連續(xù)的邊緣則無(wú)能為力。Caselles提出的測(cè)地線(xiàn)活動(dòng)輪廓模型（Geodesic Active Contours）在Snake模型的基礎(chǔ)上，將歐氏曲線(xiàn)最短流理論應(yīng)用到圖像邊緣搜索中。測(cè)地線(xiàn)活動(dòng)輪廓模型所揭示的曲線(xiàn)依賴(lài)曲率在法線(xiàn)方向上的運(yùn)動(dòng)是曲線(xiàn)運(yùn)動(dòng)最快的方向，與水平集方法中曲線(xiàn)運(yùn)動(dòng)的思想是一致的。經(jīng)過(guò)能量活動(dòng)輪廓法的演化，邊緣搜索問(wèn)題轉(zhuǎn)化成了目標(biāo)函數(shù)的最小化問(wèn)題，他們提出的目標(biāo)函數(shù)為

式中，C（s）：[0，11]→R2是R2上的閉曲線(xiàn)。由于目標(biāo)函數(shù)表現(xiàn)為曲線(xiàn)的長(zhǎng)度，因此目標(biāo)函數(shù)最小化問(wèn)題等價(jià)于曲線(xiàn)變化最快的問(wèn)題，結(jié)合曲線(xiàn)沿梯度方向變化最快的理論，可以得到曲線(xiàn)的水平集演化方程：

雖然Caselles等人引入了一些額外約束項(xiàng)，能在一定程度上克服輪廓線(xiàn)“冒頂”，然而不能從根本上解決問(wèn)題，關(guān)鍵是這些方法僅依靠位于閉合輪廓線(xiàn)下的圖像局部信息來(lái)控制的運(yùn)動(dòng)，難以全局性地分割出圖像中的同質(zhì)區(qū)域。

Paragios又把區(qū)域競(jìng)爭(zhēng)思想引入測(cè)地輪廓線(xiàn)模型中，提出了測(cè)地活動(dòng)區(qū)域模型，該模型綜合考慮了目標(biāo)的邊緣、區(qū)域和運(yùn)動(dòng)信息。由于采用了水平集算法，該模型能處理輪廓線(xiàn)的拓?fù)渥兓⑶彝瑫r(shí)跟蹤多目標(biāo)。

由于該模型中仍含有與圖像梯度有關(guān)的函數(shù)項(xiàng)，因此對(duì)檢測(cè)由梯度定義的目標(biāo)邊緣十分有效，但對(duì)邊緣模糊或者存在離散狀邊緣的區(qū)域，則難以得到理想的分割效果。

Chan提出了—種基于Mumford-Shah最優(yōu)分割模型的幾何活動(dòng)輪廓模型：

式中，v，μ≥0，λ1λ2＜0為固定常數(shù)，為Heaviside函數(shù)，δ為Dirac函數(shù)，，

從式（1.18）可看出，其中涉及的圖像函數(shù)u是全圖像定義域范圍，而不像g（|?u|）函數(shù)僅僅利用由梯度定義的邊緣信息；另外，式（1.18）中的兩個(gè)未知數(shù)c1、c2也定義在圖像定義域內(nèi)，具有全局特性。不難看出，式（1.18）的一個(gè)非常顯著的特點(diǎn)就是全局優(yōu)化，僅用一條初始閉合輪廓線(xiàn)，就可把內(nèi)部空洞目標(biāo)的內(nèi)外部邊緣全檢測(cè)出來(lái)，不用為檢測(cè)內(nèi)部空洞的邊緣做特別處理；其次，初始曲線(xiàn)無(wú)須完全位于同質(zhì)區(qū)域的內(nèi)部或外部，仍然可以正確地分割出目標(biāo)和背景；最后，這種方法還有一個(gè)顯著的特點(diǎn)就是不依靠圖像中的邊緣信息，因此，即使圖像中的邊緣呈模糊或離散狀，仍然可以獲得理想的分割效果。

雖然幾何活動(dòng)輪廓模型在定位特征邊界中得到了成功應(yīng)用，但由于它僅利用圖像的局部邊緣信息，無(wú)法描述目標(biāo)的全局形狀，特別是對(duì)于邊緣模糊或者存在離散狀邊緣的區(qū)域，很難得到理想的分割效果。此外，幾何活動(dòng)輪廓模型受噪聲干擾的影響很大，對(duì)含噪圖像的分割存在較大不足，因此要借助一些其他的附加信息來(lái)進(jìn)行輔助分割。

目前流行的另一種主動(dòng)輪廓方法是采用Mumford-Shah模型的圖像分割和輪廓提取技術(shù)。近20年來(lái)，基于變分法的Mumford-Shah泛函模型日益成為圖像處理領(lǐng)域中一種有效和強(qiáng)大的研究工具。在國(guó)外，應(yīng)用Mumford-Shah模型進(jìn)行圖像恢復(fù)和去噪、圖像分割和分類(lèi)、形狀匹配等取得了大量的成果，國(guó)內(nèi)的研究尚處于起步階段。與常規(guī)的基于統(tǒng)計(jì)的圖像處理方法相比，基于變分法的Mumford-Shah泛函模型無(wú)論在理論還是在數(shù)值計(jì)算上都具有很強(qiáng)的優(yōu)勢(shì)，它可以直接對(duì)一些重要的視覺(jué)幾何特征，如梯度、切線(xiàn)和曲率等進(jìn)行操縱，并且在數(shù)值計(jì)算上可以利用變分法中成熟的數(shù)值方法理論來(lái)進(jìn)行實(shí)現(xiàn)。Mumford-Shah泛函模型的吸引人之處還在于它為圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中的許多問(wèn)題提供了統(tǒng)一的解決辦法，例如許多研究者已將其成功應(yīng)用于圖像分割和邊緣提取、三維立體重構(gòu)、陰影恢復(fù)形狀等領(lǐng)域。

基于變分法的Mumford-Shah泛函模型與活動(dòng)輪廓模型不同，該泛函模型中同時(shí)包含了表征同質(zhì)連通區(qū)域的能量和表征對(duì)象邊緣的能量，因此Mumford-Shah泛函模型除了利用圖像的局部邊緣信息外，還有效結(jié)合了同質(zhì)連通區(qū)域的全局信息，這就在一定程度上克服了活動(dòng)輪廓模型對(duì)局部圖案曲線(xiàn)的錯(cuò)誤定位，從而取得了更為理想的分割效果。此外，Mumford-Shah泛函模型在能量極小化的過(guò)程中，不需要進(jìn)行邊緣檢測(cè)，這就避免了在活動(dòng)輪廓模型中，根據(jù)活動(dòng)輪廓線(xiàn)的特征設(shè)計(jì)邊緣檢測(cè)函數(shù)的步驟。因此，Mumford-Shah泛函模型比較適宜用于紋理圖案的局部分割定位以及紋理圖案形狀的整體分割提取。此外，由于Mumford-Shah泛函模型本身對(duì)噪聲具有抑制效應(yīng)，因此更適于對(duì)含噪環(huán)境下的紋理圖案進(jìn)行穩(wěn)健分割，這對(duì)于實(shí)際工程應(yīng)用來(lái)說(shuō)是非常重要的。

基于Mumford-Shah模型的分割方法依賴(lài)的是同質(zhì)區(qū)域的全局信息，因此可以獲得較好的分割結(jié)果。Mumford-Shah模型是20世紀(jì)80年代提出的，在理論上是一類(lèi)具有體積能量和低維測(cè)度的變分問(wèn)題：

式中，G（u，K）=μLength（K）+λ∫Ω|u0-u|2dx+v∫Ω|?u|2dx，u0是有界開(kāi)集Ω∈R2上給定的含噪圖像，閉集K是u0在Ω上的不連續(xù)點(diǎn)集，μ、λ和v是調(diào)節(jié)參數(shù)，Length（K）是閉曲線(xiàn)K的1維Haussdorff測(cè)度，u為定義在Ω\K上的圖像，為此能量函數(shù)的最小解。Mumford-Shah模型通過(guò)引入圖像的保真項(xiàng)控制分割后圖像的相似性，圖像的正則項(xiàng)則保障分割圖像具有一定的光滑性，通過(guò)長(zhǎng)度項(xiàng)控制邊緣的分?jǐn)?shù)維粗糙度。該模型具有結(jié)合使用高層知識(shí)的能力，支持直觀的交互式操作，成為目前最引人注目的主動(dòng)輪廓方法。

由于Mumford-Shah模型是現(xiàn)代數(shù)學(xué)中的一種自由不連續(xù)問(wèn)題，模型中對(duì)圖像中邊緣等跳躍部分通過(guò)幾何測(cè)度（Hausdauff測(cè)度）項(xiàng)來(lái)控制，使得數(shù)值逼近或數(shù)值解成為十分棘手的問(wèn)題。由于Mumford-Shah泛函需要對(duì)未知的邊緣長(zhǎng)度項(xiàng)進(jìn)行處理，同時(shí)邊緣長(zhǎng)度的測(cè)度函數(shù)K→H1（K）在Hausdoff收斂意義下是非下半連續(xù)的，從而導(dǎo)致其在數(shù)值計(jì)算時(shí)存在一定的難度，為此許多學(xué)者做了大量研究。De Giorgi在特殊的有界變差空間（SBV空間）中解決了解的存在性和部分正則性，并認(rèn)為在SBV空間或廣義的SBV空間中有弱的形式。他們提出了Mumford-Shah泛函在特殊有界變分函數(shù)空間上的弱形式，并將邊緣長(zhǎng)度項(xiàng)簡(jiǎn)化為分割函數(shù)的本性不連續(xù)點(diǎn)所形成的邊緣集。不久，Mumford和Shah提出了分片光滑函數(shù)的最佳逼近問(wèn)題。Ambrosio提出了利用輔助函數(shù)來(lái)逼近邊緣長(zhǎng)度項(xiàng)的特征函數(shù)，并通過(guò)橢圓泛函來(lái)對(duì)弱形式Mumford-Shah泛函進(jìn)行變分逼近，但是該方法不能處理邊緣能量表示比較復(fù)雜的情況。Gobbino對(duì)De Giorgi猜想進(jìn)行了嚴(yán)格的數(shù)學(xué)證明，并給出了數(shù)值收斂的數(shù)學(xué)條件。他們利用有限差分法對(duì)Mumford-Shah泛函進(jìn)行數(shù)值求解，并將梯度函數(shù)用有限差分近似。雖然該方法能夠?qū)η€(xiàn)長(zhǎng)度項(xiàng)的復(fù)雜能量密度給予有效處理，但是它要求密度函數(shù)必須由分割函數(shù)在邊緣的局部方向以及邊緣兩端的邊值決定，因此缺乏足夠的靈活性。由于有限元法具有精度高、可模擬任意復(fù)雜結(jié)構(gòu)、易于進(jìn)行邊界處理等優(yōu)點(diǎn)，因此更多的學(xué)者采用有限元法對(duì)弱形式Mumford-Shah泛函進(jìn)行數(shù)值逼近。Negri針對(duì)傳統(tǒng)各向同性網(wǎng)格在處理復(fù)雜邊界能量時(shí)的不足，采用各向異性網(wǎng)格對(duì)弱形式Mumford-Shah泛函進(jìn)行了有限元逼近，有效提高了處理復(fù)雜邊界能量函數(shù)的靈活性。Bourdin通過(guò)對(duì)有限元的自適應(yīng)調(diào)整和網(wǎng)格粒度的調(diào)節(jié)，實(shí)現(xiàn)了對(duì)精細(xì)結(jié)構(gòu)邊緣的有效定位，同時(shí)也提高了逼近算法的精度。但是由于弱形式Mumford-Shah泛函本身非凸，因此對(duì)泛函逼近的過(guò)程是非適定的，Negri[100]和Bourdin[101]在對(duì)弱形式Mumford-Shah泛函進(jìn)行逼近求解后容易導(dǎo)致多個(gè)局部極小元產(chǎn)生。

目前，對(duì)于Mumford-Shah模型的應(yīng)用研究存在兩種簡(jiǎn)化的隱式模型。其一為Ambrosio提出的基于橢圓逼近的輔助變量模型，通過(guò)設(shè)置輔助變量函數(shù)v：Ω→[0，1]來(lái)表征跳躍集Su（Su為K的跳躍部分），并定義了新的松弛泛函Gρ（u，v）和最小化Gρ（u，v）獲得分割圖像和邊緣。他們證明了：如果wρ=（uρ，vρ）為目標(biāo)泛函Gρ（u，v）的最小序列，則在L2范數(shù)下，uρ為u的近似，vρ→1，ρ當(dāng)0ρ→。這里，vρ僅在不連續(xù)集Su的很小的鄰域?yàn)?，其他地方都小于1。其二為Chan建立的水平集模型，他們討論了將原始圖像視為由不連續(xù)集K和分片常數(shù)圖像組成的簡(jiǎn)單情形，提出了無(wú)梯度主動(dòng)輪廓二相水平集算法，并推廣到多相水平集算法和向量值圖像的水平集算法。他們的水平集模型具有自動(dòng)適應(yīng)圖像中目標(biāo)拓?fù)浣Y(jié)構(gòu)，且初始輪廓可以放置在圖像中的任意地方。但由于將圖像限制于分片常數(shù)情形，損失了圖像本身復(fù)雜的起伏性和邊緣的不規(guī)則性，因此只能處理目標(biāo)單一、沒(méi)有交叉點(diǎn)特征的圖像，且分割目標(biāo)喪失了目標(biāo)本身的灰度起伏性。

1.3.4 精細(xì)圖像修補(bǔ)研究現(xiàn)狀

圖像修復(fù)技術(shù)是指針對(duì)圖像中遺失或者損壞的部分，利用未被損壞的圖像信息，按照一定的規(guī)則填補(bǔ)，使修復(fù)后的圖像接近或達(dá)到原圖的視覺(jué)效果。圖像損壞有很多種形式，有時(shí)一幅完整的圖像可能由于磨損而散布成各類(lèi)微小的損害，有時(shí)也可能由于保存不當(dāng)使圖像表層受到損害。在這些情況下，圖像修復(fù)就需要通過(guò)專(zhuān)業(yè)判斷，采取最恰當(dāng)?shù)姆椒ɑ謴?fù)圖像的原始狀態(tài)，同時(shí)保證圖像達(dá)到最理想的藝術(shù)效果。圖像修復(fù)技術(shù)可以安全有效地?cái)?shù)字化恢復(fù)損壞的藝術(shù)作品，并可去除圖像中的文字或者其他不期望的物體。此外，圖像修復(fù)技術(shù)還可以應(yīng)用于視頻點(diǎn)播，對(duì)網(wǎng)絡(luò)傳輸中丟棄或者損壞的視頻信息進(jìn)行修復(fù)以改善觀看質(zhì)量。

從數(shù)學(xué)的角度來(lái)看，圖像修復(fù)是一個(gè)病態(tài)問(wèn)題，因?yàn)闆](méi)有足夠的信息可以保證能唯一正確地恢復(fù)被損壞部分。為了恢復(fù)被損害的部分，需要分析原始圖像及其所屬的類(lèi)別，這些分析對(duì)于圖像修補(bǔ)整個(gè)過(guò)程是非常重要的步驟。因此，人們從視覺(jué)心理學(xué)的角度進(jìn)行分析，提出了各種假設(shè)限定來(lái)解決這個(gè)問(wèn)題。

圖像修補(bǔ)處理方法有很多種，利用插值方法是一種常用的修補(bǔ)方法。假設(shè)圖像是連續(xù)光滑的二維函數(shù)，則可以采用數(shù)學(xué)上的一些模型來(lái)進(jìn)行插值，得到空白區(qū)域中圖像函數(shù)的值，從而恢復(fù)修補(bǔ)區(qū)域的信息，較常用的模型是拉普拉斯方程。這種方法通常稱(chēng)為調(diào)和法，它是根據(jù)修補(bǔ)區(qū)域的邊界信息，最簡(jiǎn)單的情況是將其作為Dirichlet邊值，用差分法得到對(duì)圖像進(jìn)行插值的公式，但圖像效果并不理想。原因很顯然，現(xiàn)實(shí)生活中的圖像有很多的邊緣信息，圖像并不是處處連續(xù)的，而且修補(bǔ)應(yīng)盡量恢復(fù)被破壞的邊緣，因此采用拉普拉斯方程不能得到最佳效果。

Kokaram提出了以自回歸模型為基礎(chǔ)的預(yù)示算子對(duì)破損丟失的圖像進(jìn)行插值修補(bǔ)。該方法對(duì)于圖像細(xì)節(jié)的修復(fù)效果比較好，但對(duì)于邊緣的平滑過(guò)渡卻比較差，即修復(fù)圖像的紋理連續(xù)性不好，而這一點(diǎn)對(duì)于一般用戶(hù)在對(duì)圖像進(jìn)行修復(fù)時(shí)是不能夠忍受的，用戶(hù)希望的就是能夠讓修復(fù)部分與照片的原有部分過(guò)渡自然，而看不出人工修補(bǔ)的痕跡。何云升針對(duì)這一要求，提出了用最小最大函數(shù)作為預(yù)示算子，從而導(dǎo)出非線(xiàn)性插補(bǔ)公式，并引入共軛梯度法來(lái)修補(bǔ)破損照片，取得了較好的效果。

Hirani采用紋理綜合的方法來(lái)進(jìn)行圖像的修補(bǔ)，即可以讓用戶(hù)選擇紋理來(lái)添充修補(bǔ)區(qū)域，而對(duì)覆蓋不同紋理的修補(bǔ)區(qū)域，則要求首先進(jìn)行圖像的分割，以保證修補(bǔ)的正確性。這種技術(shù)的基本思想就是首先選擇一個(gè)紋理，然后將它合成到需要填充的區(qū)域里面去（如孔洞）。這是一項(xiàng)非常簡(jiǎn)單的技術(shù)，卻能產(chǎn)生難以置信的效果。但是該算法必須讓用戶(hù)選擇要填充紋理的區(qū)域或孔洞。對(duì)于那些要進(jìn)行修補(bǔ)的圖像來(lái)說(shuō)，它們可能有多種不同的結(jié)構(gòu)，那么用戶(hù)就需要從事大量的分割圖像的工作，然后從中找出相應(yīng)的取代區(qū)域。盡管部分的查找工作可以自動(dòng)完成，但是非常花費(fèi)時(shí)間，而且還要不厭其煩地選擇大量的參數(shù)。李超以點(diǎn)擴(kuò)展函數(shù)和可加白噪聲作為圖像的退化模型，王學(xué)良使用局部最大熵恢復(fù)圖像，對(duì)空域圖像恢復(fù)模型中的正則化算子進(jìn)行了自適應(yīng)修改，以提高圖像恢復(fù)質(zhì)量。這些方法對(duì)受損不大的圖像的修補(bǔ)也有很好的效果。

Masnou提出了去除障礙物模型（Disocclusion）和線(xiàn)性連續(xù)模型（Line Continuation），這些工作也都是一些基礎(chǔ)的工作，還沒(méi)有得到深入的研究。在進(jìn)行去除障礙物算法中，目前主要是用圖像分割的，目的來(lái)去除遮蔽物，其基本思想就是在同灰度級(jí)別處用有彈性的，按最小值估計(jì)的曲線(xiàn)連接T型接點(diǎn)。Ballester在延伸這些思想的基礎(chǔ)上，提出了一個(gè)用于去除遮蔽物處理的通用變分公式，以及一個(gè)用這個(gè)公式來(lái)實(shí)現(xiàn)的非常有價(jià)值的算法。這種算法通過(guò)用短程的曲線(xiàn)，連接到達(dá)要填充的邊界區(qū)域的等照度線(xiàn)的接點(diǎn)，來(lái)實(shí)現(xiàn)修描處理。

用偏微分方程處理圖像修補(bǔ)問(wèn)題是一個(gè)新近發(fā)展的研究方向。最先將偏微分方程方法引入圖像修補(bǔ)問(wèn)題的是Bertalmio等人。利用偏微分方程方法處理圖像修補(bǔ)問(wèn)題的方法可以分為兩大類(lèi)：一類(lèi)注意是依賴(lài)圖像微觀修補(bǔ)機(jī)制的仿真系統(tǒng)，如擴(kuò)散過(guò)程、傳輸過(guò)程等；另一類(lèi)是變分模型，如總變分模型、基于Mumford-Shah圖像分割模型的等灰度模型等。Bertalmio采用基于偏微分方程的修補(bǔ)算法，通過(guò)將待修補(bǔ)區(qū)的鄰域信息，沿等光照線(xiàn)方向擴(kuò)散來(lái)填補(bǔ)待修補(bǔ)區(qū)，同時(shí)利用待修復(fù)區(qū)域的邊緣信息來(lái)確定擴(kuò)散信息和擴(kuò)散方向，從區(qū)域邊界各向異性地向邊界內(nèi)擴(kuò)散。該算法可同時(shí)填補(bǔ)多個(gè)包含不同結(jié)構(gòu)和背景的區(qū)域，并且對(duì)待修補(bǔ)區(qū)的拓?fù)潢P(guān)系沒(méi)有限制。受到Bertalmio等工作的啟發(fā)，Masnou使用等照度線(xiàn)的方法，在待修復(fù)區(qū)域邊界采用動(dòng)態(tài)規(guī)劃確定等照度線(xiàn)的連接方式，然后直線(xiàn)連接對(duì)應(yīng)的等照度線(xiàn)并對(duì)區(qū)域內(nèi)進(jìn)行填充。該算法對(duì)簡(jiǎn)單結(jié)構(gòu)信息有較好的修復(fù)結(jié)果，但抗噪聲能力比較弱。Villager提出了一種基于概率的修復(fù)方法，通過(guò)對(duì)梯度和夾角的統(tǒng)計(jì)得到其概率分布，然后以待修復(fù)區(qū)域內(nèi)總體概率最大為準(zhǔn)則求取最優(yōu)解，對(duì)物體的邊角修補(bǔ)有很好的效果，但這種方法在使用前需要先選擇訓(xùn)練區(qū)域，而且對(duì)訓(xùn)練區(qū)域有較高的要求，因此在實(shí)際應(yīng)用中受到了一定限制。

另一個(gè)模擬人眼恢復(fù)圖像中邊緣的有效辦法是優(yōu)化一個(gè)圖像的能量函數(shù)，能量驅(qū)動(dòng)的泛函變分模型主要涉及對(duì)各種不同類(lèi)型能量泛函模型的變分求解，常用的能量泛函模型包括總變分（Total Variation，TV）模型和Mumford-Shah（MS）模型。許威威和鄭精靈利用TV模型對(duì)圖像進(jìn)行修補(bǔ)，由于TV模型能夠部分模擬人眼的低層視覺(jué)，在修補(bǔ)圖像時(shí)可以恢復(fù)圖像中的邊緣，因此取得了較好的修補(bǔ)效果。但是由于TV模型對(duì)應(yīng)Euler-Lagrange方程中的傳導(dǎo)系數(shù)缺乏幾何信息的有效參與，即使對(duì)于很一般的人眼視覺(jué)原理（如連通原理等）也無(wú)法滿(mǎn)足，因此TV模型對(duì)稍復(fù)雜圖像的修補(bǔ)結(jié)果還存在較大不足。MS模型作為一種有效提高曲線(xiàn)演變拓?fù)渥赃m應(yīng)能力的分割模型，是圖像分割領(lǐng)域中一種有效和強(qiáng)大的研究工具。與TV模型的隱式邊緣表示不同，MS模型對(duì)目標(biāo)邊緣項(xiàng)給予顯式表示，即模型中除了包含同質(zhì)區(qū)域的全局信息外，還有效結(jié)合了目標(biāo)對(duì)象的局部邊緣項(xiàng)，因此在一定程度上克服了TV模型對(duì)局部圖案曲線(xiàn)的錯(cuò)誤定位，從而取得了更為理想的修補(bǔ)效果。此外，由于對(duì)拓?fù)浼y理圖像進(jìn)行修補(bǔ)預(yù)處理的目的是為了提高拓?fù)浼y理圖案分割的精確性，因此必須盡可能地加大圖像修補(bǔ)和圖像分割的耦合度。由于MS模型在對(duì)含噪圖像進(jìn)行修補(bǔ)的同時(shí)，還有效提取了紋理圖案的邊緣，因此省去了TV模型在修補(bǔ)后再進(jìn)行分割的步驟，因此它比TV模型更適于對(duì)含噪環(huán)境下的紋理圖案進(jìn)行穩(wěn)健修補(bǔ)和分割。

由于經(jīng)典MS模型中只包含圖像的一階微分算子，雖然一階微分算子能夠滿(mǎn)足分割時(shí)所需的邊緣檢測(cè)任務(wù)，但對(duì)于修補(bǔ)任務(wù)而言，由于許多人眼視覺(jué)現(xiàn)象（如連通原理）需要高階的微分算子（如二階曲率算子）參與，因此必須在MS模型中加入高階微分算子。此外，經(jīng)典MS模型對(duì)不連續(xù)邊集的約束懲罰項(xiàng)只涉及長(zhǎng)度約束，而沒(méi)有考慮不連續(xù)邊集的拓?fù)鋸澢燃s束。由于拓?fù)浼y理圖案中包含許多拓?fù)湫螤顝?fù)雜的光滑曲線(xiàn)，如果MS模型中缺乏對(duì)拓?fù)鋸澢鹊募s束懲罰，將導(dǎo)致原始光滑連續(xù)的曲線(xiàn)經(jīng)修補(bǔ)后變成許多破裂的曲線(xiàn)段，從而影響拓?fù)浼y理圖案的修補(bǔ)效果。

1.3.5 精準(zhǔn)圖像配準(zhǔn)研究現(xiàn)狀

圖像配準(zhǔn)（Image Registration）是對(duì)同一場(chǎng)景在不同條件下得到的兩幅或多幅圖像進(jìn)行對(duì)準(zhǔn)、疊加的過(guò)程。由于成像條件不同，同一場(chǎng)景的多幅圖像會(huì)在分辨率、成像模式、灰度屬性、位置（平移和旋轉(zhuǎn)）、比例尺度、非線(xiàn)性變形及曝光時(shí)間等方面存在很多差異，圖像配準(zhǔn)就是要克服這些困難，最終將這些圖像在幾何位置上進(jìn)行配準(zhǔn)，以便能夠綜合利用多幅圖像中的信息滿(mǎn)足一定的應(yīng)用需求。概括來(lái)說(shuō)，圖像配準(zhǔn)問(wèn)題是以在變換空間中尋找一種特定的最優(yōu)變換，達(dá)到使兩幅或多幅圖像在某種意義上匹配的目的。

圖像配準(zhǔn)技術(shù)在諸多領(lǐng)域內(nèi)有著廣泛的應(yīng)用，其中包括：導(dǎo)彈的地形和地圖匹配，飛機(jī)導(dǎo)航，武器發(fā)射系統(tǒng)的末制導(dǎo)，光學(xué)和雷達(dá)的圖像模板跟蹤，工業(yè)流水線(xiàn)的自動(dòng)監(jiān)控，工業(yè)儀表的自動(dòng)監(jiān)控，資源分析，氣象預(yù)報(bào)，醫(yī)療診斷，文字識(shí)別以及景物分析中的變化檢測(cè)等。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和普及，圖像配準(zhǔn)技術(shù)在不斷地發(fā)展和進(jìn)步，新的技術(shù)和方法不斷出現(xiàn)。但由于成像方式、圖像數(shù)據(jù)特性、配準(zhǔn)精度要求和圖像變形降質(zhì)的原因多種多樣，導(dǎo)致現(xiàn)有的圖像配準(zhǔn)技術(shù)常常是根據(jù)特定應(yīng)用而提出來(lái)的，只能解決特定的問(wèn)題。

圖像配準(zhǔn)一直是圖像處理領(lǐng)域的研究熱點(diǎn)，諸多研究者提出了大量圖像配準(zhǔn)方法。根據(jù)所采用的不同標(biāo)準(zhǔn)，可以對(duì)圖像配準(zhǔn)方法進(jìn)行不同的分類(lèi)。

①按照不同的相似性測(cè)度。可以將圖像配準(zhǔn)方法分為兩類(lèi)：基于圖像灰度的配準(zhǔn)和基于特征的圖像配準(zhǔn)方法。

基于圖像灰度的配準(zhǔn)方法是直接利用圖像的某一區(qū)域或者整幅圖像去估計(jì)圖像之間在空間幾何上的變換參數(shù)。基于灰度的配準(zhǔn)方法，只需要對(duì)圖像的灰度進(jìn)行處理，不需要對(duì)圖像進(jìn)行特征提取、分類(lèi)，算法實(shí)現(xiàn)簡(jiǎn)單，能夠?qū)崿F(xiàn)全自動(dòng)化配準(zhǔn)。

常見(jiàn)基于圖像灰度的配準(zhǔn)方法有：相關(guān)類(lèi)方法、相位相關(guān)法、統(tǒng)計(jì)型測(cè)度法、互信息法等。近年來(lái)，源于Shannon信息論的互信息法的應(yīng)用最為廣泛，幾乎可以運(yùn)用到任何不同模態(tài)的圖像配準(zhǔn)中。基于圖像灰度的配準(zhǔn)方法的缺點(diǎn)是對(duì)圖像之間的微小差別非常敏感。一個(gè)細(xì)微的變化，比如光照條件的微小變化而導(dǎo)致的圖像灰度值的細(xì)微變化，就會(huì)對(duì)配準(zhǔn)算法的計(jì)算結(jié)果產(chǎn)生很大的影響，有可能導(dǎo)致配準(zhǔn)的失敗。所以這類(lèi)方法抗噪聲、抗干擾的能力比較差，只能適用于兩幅圖像具有相同的外界條件的情況下做精細(xì)的配準(zhǔn)。

基于特征的圖像配準(zhǔn)算法是把從圖像中提取出來(lái)的某些特征作為配準(zhǔn)基元，而不是直接采用圖像像素灰度。這種算法對(duì)于一些細(xì)微的干擾不太敏感，而是依賴(lài)于提取的圖像特征。其關(guān)鍵是尋找易于識(shí)別和區(qū)分的特征，并基于特征集之間的相似性度量來(lái)找到模板在圖像中的配準(zhǔn)位置。

常用的特征有：點(diǎn)特征、直線(xiàn)段、邊緣和輪廓。在特征匹配之前，需要先把感興趣的圖像特征用特征提取算子檢測(cè)出來(lái)，常見(jiàn)的特征檢測(cè)子有Moravec檢測(cè)子、Harris角點(diǎn)檢測(cè)子、Hessian-Laplace、DoG濾波器、顯著區(qū)域檢測(cè)子等。在檢測(cè)出特征區(qū)域之后，就可以利用特征匹配算法，將存在匹配關(guān)系的特征點(diǎn)對(duì)選擇出來(lái)，實(shí)現(xiàn)圖像配準(zhǔn)。Lowe總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法，并提出了SIFT算法，它通過(guò)對(duì)圖像進(jìn)行不同程度的模糊與縮放，產(chǎn)生具有不同比例的圖像，然后從這些圖像中分別提取特征。SIFT特征對(duì)圖像的縮放、旋轉(zhuǎn)、光照強(qiáng)度和攝像機(jī)觀察視角的改變具有很好的穩(wěn)定性。Bay提出了SURF算法，它的性能超過(guò)了SIFT且能獲得更快的速度，它可以對(duì)圖像的旋轉(zhuǎn)、尺度伸縮、光照、視角等變化保持不變性，尤其對(duì)圖像嚴(yán)重的模糊和旋轉(zhuǎn)處理得非常好，但是在處理圖像光照和視角變化時(shí)不如SIFT算法。

②按空間變換模型可分為剛性變換、仿射變換、投影變換和非線(xiàn)性變換。剛性變換只包括平移和旋轉(zhuǎn)，仿射變換將平行線(xiàn)映射為平行線(xiàn)，投影變換將直線(xiàn)映射為直線(xiàn)，非線(xiàn)性變換可把直線(xiàn)變換為曲線(xiàn)，是最復(fù)雜的一種變換模型。剛性變換、仿射變換和投影變換只是非線(xiàn)性變換的一個(gè)簡(jiǎn)單的特例，用非線(xiàn)性變換可以表征以上三種變換。由于成像過(guò)程受太多復(fù)雜因素影響，一般待配準(zhǔn)的兩幅圖像間都存在非線(xiàn)性形變問(wèn)題，因而要求配準(zhǔn)方法具有處理非線(xiàn)性變換的能力，特別是在對(duì)配準(zhǔn)精度要求非常高而所處理圖像廣泛存在非線(xiàn)性形變的醫(yī)學(xué)、遙感等領(lǐng)域。

③按配準(zhǔn)采用的幾何變換來(lái)看，可以分為剛性配準(zhǔn)和非剛性配準(zhǔn)。

早期，人們對(duì)于配準(zhǔn)的研究主要從一個(gè)線(xiàn)性變換的角度考慮圖像整體的剛性配準(zhǔn)，例如圖像的旋轉(zhuǎn)以及空間位置的平移，之后又加入了圖像在各個(gè)方向上尺度的變換情況（仿射變換），這類(lèi)方法能夠解決線(xiàn)性變換的配準(zhǔn)問(wèn)題。然而隨著研究的深入，人們發(fā)現(xiàn)圖像中不同的部分有時(shí)需要采用更為復(fù)雜的非線(xiàn)性形變過(guò)程，僅僅用一種線(xiàn)性變換配準(zhǔn)策略無(wú)法達(dá)到理想的效果。

非剛性圖像配準(zhǔn)是通過(guò)尋找圖像局部變形區(qū)域，進(jìn)而對(duì)圖像進(jìn)行局部非線(xiàn)性變換。目前主要流行的方法有基于參數(shù)的非剛性配準(zhǔn)方法（如基于多項(xiàng)式法、基函數(shù)法、樣條函數(shù)法等）和基于物理模型的非剛性配準(zhǔn)方法（如彈性模型、黏性流體模型、光流場(chǎng)模型等）。

基于參數(shù)的非剛性配準(zhǔn)方法主要利用曲線(xiàn)函數(shù)來(lái)描述圖像的形變，通過(guò)求取控制點(diǎn)的參數(shù)來(lái)確定變換模型。薄板樣條是徑向基函數(shù)的樣條家族中的一部分，薄板樣條首先被Bookstein用于醫(yī)學(xué)圖像配準(zhǔn)中，來(lái)描述二維平面內(nèi)發(fā)生的形變，它是目前使用較多的一種樣條配準(zhǔn)方法。然而由于樣條函數(shù)在其連接點(diǎn)處具有一定的曲率和坡度，薄板樣條多應(yīng)用于模擬全局變換。近年來(lái)，由于B樣條的控制點(diǎn)改變只影響其周?chē)徲蚰軌蛴糜诮鉀Q局部變形，因此基于B樣條的自由變形模型被廣泛應(yīng)用到非剛性圖像配準(zhǔn)中。由于基于局部控制函數(shù)，B樣條的自由變形模型在計(jì)算機(jī)圖形學(xué)中不僅廣泛用于動(dòng)畫(huà)，可以有效地模擬三維變形物體，取得了成功的應(yīng)用，而且這種方法還具有計(jì)算效率高并能夠保持局部拓?fù)浣Y(jié)構(gòu)的特點(diǎn)，因此廣泛用于醫(yī)學(xué)圖像配準(zhǔn)。

基于模型的變換是通過(guò)構(gòu)造某種模型來(lái)模擬圖像的形變，常見(jiàn)的模型包括彈性模型、黏性流體模型、光流場(chǎng)模型等。Bajcsy提出了彈性模型的思想，將待配準(zhǔn)圖像到參考圖像的變形過(guò)程建模為一個(gè)物理過(guò)程，類(lèi)似于拉伸一個(gè)諸如橡皮的彈性材料，這種過(guò)程可以用Navier線(xiàn)性偏微分方程表示，但是這種方法不能模擬高度的局部形變，具有一定局限性。Christensen提出的黏性流體模型中，待配準(zhǔn)圖像被建模為黏性流體，圖像的形變過(guò)程被認(rèn)為是內(nèi)力作用的過(guò)程，經(jīng)過(guò)一段時(shí)間后，內(nèi)力消失，流體停止流動(dòng)。內(nèi)力在圖像隨著時(shí)間變形的過(guò)程中釋放，使得該模型能夠模擬包括轉(zhuǎn)角等高度局部化的變形。不難看出，利用黏性流體模型進(jìn)行配準(zhǔn)，能夠提供大變形和更大程度的可變性。然而由于黏性流體模型通過(guò)相似灰度值來(lái)驅(qū)動(dòng)，為了滿(mǎn)足大變形的需求，有可能會(huì)導(dǎo)致形式誤匹配。

光流場(chǎng)模型是一種重要的分析運(yùn)動(dòng)圖像的可變形圖像配準(zhǔn)方法，相當(dāng)于流體力學(xué)中的連續(xù)平衡。光流場(chǎng)模型的計(jì)算是基于圖像像素進(jìn)行的，在精確性和易用性方面有很大的優(yōu)勢(shì)。在光流模型中，浮動(dòng)圖像與參考圖像被看成圖像序列的連續(xù)時(shí)間采樣，通過(guò)求解光流方程來(lái)獲取變換模型。光流分析的研究起源于對(duì)人和生物視覺(jué)系統(tǒng)的研究，Poggio在對(duì)昆蟲(chóng)視覺(jué)系統(tǒng)的研究中提出了一種針對(duì)圖像上每一點(diǎn)的運(yùn)動(dòng)計(jì)算方法，該方法可以看成光流計(jì)算的一種粗略形式。光流計(jì)算的研究真正起始于20世紀(jì)80年代初Horn和Lucas奠基性的工作。近幾年隨著張量分析、微分幾何、多網(wǎng)格計(jì)算等數(shù)學(xué)方法和計(jì)算手段在圖像分析中的不斷滲透，光流計(jì)算又有了快速發(fā)展，在計(jì)算精度、可靠性、算法實(shí)時(shí)性等方面取得了較大的飛躍。

④按變換函數(shù)作用域配準(zhǔn)可分為全局變換和局部變換。全局變換是將兩幅圖像之間的空間對(duì)應(yīng)關(guān)系用同一個(gè)函數(shù)表示，剛性變換大多使用此方法。局部變換是將兩幅圖像中不同部分的空間對(duì)應(yīng)關(guān)系用不同的函數(shù)來(lái)表示，適用于在圖像中存在非剛性形變的情形。目前，大多數(shù)圖像配準(zhǔn)方法采用全局變換，即將兩幅圖像之間的空間對(duì)應(yīng)關(guān)系用同一個(gè)函數(shù)表示。在彈性配準(zhǔn)中，通常在全局變換不能滿(mǎn)足需求時(shí)，需要采用局部變換。

⑤按成像模式不同可分為單模態(tài)圖像配準(zhǔn)和多模態(tài)圖像配準(zhǔn)。單模態(tài)圖像配準(zhǔn)是指待配準(zhǔn)的圖像是用同一成像設(shè)備獲取的，而多模態(tài)圖像配準(zhǔn)則是指待配準(zhǔn)的圖像來(lái)源于不同的成像設(shè)備。多模態(tài)圖像配準(zhǔn)的目的在于融合不同傳感器信息，以獲取更為豐富細(xì)致的場(chǎng)景信息，如可見(jiàn)光和紅外圖像配準(zhǔn)、醫(yī)學(xué)成像CT和MRI、多波段的人臉識(shí)別等。多模態(tài)由于圖像差異大，配準(zhǔn)有較大難度。

⑥按配準(zhǔn)過(guò)程的交互性可分為人工配準(zhǔn)、半自動(dòng)化配準(zhǔn)和全自動(dòng)化配準(zhǔn)。在人工配準(zhǔn)方法中，由用戶(hù)完成配準(zhǔn)過(guò)程，配準(zhǔn)方法負(fù)責(zé)提供給用戶(hù)一個(gè)直觀顯示，以便完成配準(zhǔn)。在半自動(dòng)化配準(zhǔn)方法中，用戶(hù)可能需要初始化算法的一些參數(shù)，并根據(jù)主觀判斷接受或拒絕某些配準(zhǔn)結(jié)果。在全自動(dòng)化配準(zhǔn)方法中，用戶(hù)只需要選定算法和提供圖像數(shù)據(jù)，由機(jī)器算法自動(dòng)完成配準(zhǔn)。由于人工配準(zhǔn)存在精度上的欠缺，而全自動(dòng)化配準(zhǔn)不需要人工干預(yù)，由計(jì)算機(jī)主動(dòng)完成，因此是配準(zhǔn)技術(shù)發(fā)展的方向。

圖像配準(zhǔn)技術(shù)經(jīng)過(guò)多年的研究，已經(jīng)取得了很多研究成果，但是由于影響圖像配準(zhǔn)的因素的多樣性，不同的應(yīng)用對(duì)圖像配準(zhǔn)的要求各不相同，以及配準(zhǔn)問(wèn)題的復(fù)雜性，圖像配準(zhǔn)的預(yù)處理技術(shù)還有待于進(jìn)一步發(fā)展。