1.2 國(guó)內(nèi)外目標(biāo)跟蹤研究現(xiàn)狀

1.2.1 國(guó)內(nèi)外目標(biāo)跟蹤方法綜述文獻(xiàn)概況

目標(biāo)跟蹤技術(shù)之所以在近些年發(fā)展迅猛，在國(guó)際上得益于計(jì)算機(jī)視覺領(lǐng)域召開的三大學(xué)術(shù)會(huì)議，即IEEE Conference on Computer Vision and Pattern Recognition （CVPR）、International Conference on Computer Vision （ICCV）和European Conference on Computer Vision（ECCV）；在國(guó)內(nèi)得益于2002—2012年召開的智能視覺監(jiān)控學(xué)術(shù)會(huì)議、2007—2017年召開的全國(guó)模式識(shí)別學(xué)術(shù)會(huì)議（Chinese Conference on Pattern Recognition，CCPR）、2011—2019年召開的視覺與學(xué)習(xí)青年學(xué)者研討會(huì)（Visual and Learning Seminar，VALSE），以及從2018年開始召開的中國(guó)模式識(shí)別與計(jì)算機(jī)視覺大會(huì)（Chinese Conference on Pattern Recognition and Computer Vision，PRCV）等。相關(guān)學(xué)術(shù)成果的及時(shí)報(bào)道和交流促進(jìn)了目標(biāo)跟蹤技術(shù)的深入發(fā)展。眾多研究者對(duì)該領(lǐng)域的研究情況進(jìn)行了歸納與總結(jié)（見表1.1）。文獻(xiàn)[14，16，17]較全面地總結(jié)了目標(biāo)跟蹤的應(yīng)用領(lǐng)域、研究?jī)?nèi)容和研究分類，文獻(xiàn)[9，10，21]從目標(biāo)外觀建模角度對(duì)跟蹤效果的不同貢獻(xiàn)進(jìn)行了分析和總結(jié)，文獻(xiàn)[8，13]對(duì)多種跟蹤器在不同數(shù)據(jù)庫(kù)中的表現(xiàn)進(jìn)行了分析和總結(jié)，文獻(xiàn)[15，18]對(duì)視覺注意機(jī)制、稀疏編碼和深度學(xué)習(xí)等先進(jìn)理論在目標(biāo)跟蹤中的應(yīng)用進(jìn)展進(jìn)行了總結(jié)，文獻(xiàn)[20]對(duì)弱目標(biāo)跟蹤技術(shù)進(jìn)行了綜述。這些研究成果有效地推動(dòng)和促進(jìn)了目標(biāo)跟蹤技術(shù)的發(fā)展。文獻(xiàn)[1，16]對(duì)深度學(xué)習(xí)在目標(biāo)跟蹤中的研究成果進(jìn)行了分類，給出了深度學(xué)習(xí)在目標(biāo)跟蹤技術(shù)中應(yīng)注意的問題；文獻(xiàn)[24]綜述了傳統(tǒng)手工特征和深度特征在目標(biāo)跟蹤中的區(qū)別和優(yōu)勢(shì)，為目標(biāo)外觀表示指明了研究方向。

1.2.2 國(guó)內(nèi)外目標(biāo)跟蹤測(cè)試數(shù)據(jù)庫(kù)概述

目標(biāo)跟蹤技術(shù)在過去的20多年內(nèi)獲得了飛速的發(fā)展，這與不斷出現(xiàn)的目標(biāo)跟蹤測(cè)試數(shù)據(jù)庫(kù)關(guān)系緊密。這些測(cè)試數(shù)據(jù)庫(kù)包含遮擋、光線變化、尺度變化、運(yùn)動(dòng)模糊等挑戰(zhàn)性因素，以及針對(duì)無(wú)人機(jī)跟蹤目標(biāo)產(chǎn)生的高速運(yùn)動(dòng)測(cè)試數(shù)據(jù)和長(zhǎng)時(shí)間目標(biāo)跟蹤測(cè)試數(shù)據(jù)庫(kù)等。數(shù)量從早期的50個(gè)到當(dāng)前的366個(gè)，從幾秒的短視頻到幾分鐘的長(zhǎng)視頻，目標(biāo)跟蹤數(shù)據(jù)庫(kù)越來(lái)越精細(xì)，同時(shí)也越來(lái)越具有挑戰(zhàn)性，為不同跟蹤算法進(jìn)行測(cè)試提供了便利，也使所有研究者的成果有了一個(gè)公平的比較平臺(tái)，極大地促進(jìn)了目標(biāo)跟蹤技術(shù)的發(fā)展。具有代表性的數(shù)據(jù)庫(kù)信息見表1.2。

1.2.3 國(guó)內(nèi)外目標(biāo)跟蹤方法概述

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，目標(biāo)跟蹤技術(shù)在人工智能、計(jì)算機(jī)視覺等領(lǐng)域越來(lái)越受到關(guān)注。在2010年之前，對(duì)于目標(biāo)跟蹤技術(shù)的研究基本都停留于一些經(jīng)典的跟蹤方法，如均值漂移（Mean Shif，MS）[35]、粒子濾波（Particle Filter，PF）[36-37]和卡爾曼濾波（Kalman Filter，KF）[38-39]、基于特征點(diǎn)匹配的光流[40]等方法。

在2010年左右，依據(jù)跟蹤過程中外觀模型的產(chǎn)生方式，目標(biāo)跟蹤的方法被分為生成式方法和判別式方法。生成式方法專注于搜索與被跟蹤對(duì)象最相似的區(qū)域，包括基于模板的跟蹤方法、基于子空間的跟蹤方法、稀疏表示等。Adam等人[41]提出基于片段的跟蹤（Fragments-based Robust Tracking，F(xiàn)RT），將匹配目標(biāo)邊界框分割為塊的集合，并與目標(biāo)區(qū)域的相應(yīng)塊通過移動(dòng)距離進(jìn)行比較，找出得分最低的候選，實(shí)現(xiàn)了局部遮擋和姿態(tài)變化的處理。Oron等人[42]提出局部無(wú)序跟蹤（Locally Orderless Tracking，LOT），將目標(biāo)狀態(tài)分割為超像素，每個(gè)超像素都由質(zhì)心和平均HSV值表示。每個(gè)候選的可能性來(lái)自它的超像素與目標(biāo)之間的陸地移動(dòng)距離（Earth Mover's Distance，EMD），新的目標(biāo)狀態(tài)是所有候選的概率的加權(quán)和。Ross等人[43]提出增量式的目標(biāo)跟蹤（Incremental Visual Tracking，IVT），在目標(biāo)強(qiáng)度值模板的基礎(chǔ)上，采用增量主成分分析（Principal Component Analysis，PCA）方法計(jì)算目標(biāo)的特征圖像。樣本的置信度是候選到目標(biāo)特征子空間的強(qiáng)度特征集的距離，有效地解決了遮擋、形變等問題。Kwon等人[44]提出基于二維仿射群（Tracking on the Affine Group，TAG）的幾何跟蹤方法，采用了IVT的外觀模型，包括目標(biāo)強(qiáng)度值的PCA增量。通過對(duì)主成分分析測(cè)量函數(shù)進(jìn)行泰勒展開，得到幾何定義的最優(yōu)重要性函數(shù)，進(jìn)一步提高了跟蹤性能。Mei等人[45]提出L1范數(shù)最小化（L1-minimization Tracker，L1T）跟蹤算法，采用L1范數(shù)將過去的外觀稀疏優(yōu)化，使用目標(biāo)附近采樣的強(qiáng)度值作為稀疏表示的基礎(chǔ)，單獨(dú)的、非目標(biāo)的強(qiáng)度值用作替代基準(zhǔn)，通過粒子濾波抽取候選，形成稀疏基的線性組合，并使用L1最小化。接著，Mei等人[46]提出了帶有遮擋檢測(cè)的L1跟蹤器（L1 Tracker with Occlusion Detection，L1O）算法，采用L1進(jìn)行稀疏優(yōu)化，采用L2最小二乘優(yōu)化來(lái)提高速度，并進(jìn)一步考慮了遮擋的情況。

隨著各種機(jī)器學(xué)習(xí)方法的不斷發(fā)展，以及其在計(jì)算機(jī)視覺領(lǐng)域的不斷應(yīng)用，判別式跟蹤方法越來(lái)越受到人們的喜愛。相比之下，判別的外觀模型將目標(biāo)跟蹤作為一個(gè)二元分類問題，目標(biāo)是最大限度地區(qū)分對(duì)象和非對(duì)象區(qū)域之間的可分性，且專注于發(fā)現(xiàn)目標(biāo)跟蹤的高信息量特征。基于支持向量機(jī)（Support Vector Machine，SVM）、多實(shí)例學(xué)習(xí)（Multi Instance Learning，MIL）、樸素貝葉斯及boosting類等的方法，都是目標(biāo)跟蹤領(lǐng)域比較典型的判別式跟蹤方法。Avidan等人[47]利用SVM離線訓(xùn)練分類器，并將其與光流相結(jié)合進(jìn)行目標(biāo)跟蹤。Babenko等人[48]在MIL框架中提出了跟蹤問題，用于處理在線獲取的模糊標(biāo)記的積極和消極數(shù)據(jù)，以減少視覺漂移。Godec等人[49]提出了一種基于廣義hough變換的跟蹤檢測(cè)方法，將霍夫森林的概念擴(kuò)展到網(wǎng)絡(luò)領(lǐng)域，并將基于投票的檢測(cè)與基于抓取的粗糙分割結(jié)合起來(lái)，以減少在線學(xué)習(xí)過程中訓(xùn)練樣本的噪聲，防止跟蹤器漂移。Kalal等人[50]提出了一種長(zhǎng)期跟蹤（Tracking Learing Dection，TLD）算法，TLD跟蹤器具有恢復(fù)能力，由3個(gè)基本單元組成，包括跟蹤預(yù)測(cè)新的目標(biāo)位置；目標(biāo)在當(dāng)前幀中的定位；通過學(xué)習(xí)不同的目標(biāo)變化來(lái)校正檢測(cè)器的誤差。

2010年，Bolme等人[51]提出的最小輸出誤差平方和（Minimum Output Sum of Squared Error，MOSSE）相關(guān)濾波器第一次將相關(guān)濾波引入目標(biāo)跟蹤領(lǐng)域，開啟了基于相關(guān)濾波跟蹤算法的大門。MOSSE采用灰度特征提取，以669fps的高速運(yùn)行，在速度上遙遙領(lǐng)先于其他算法，但準(zhǔn)確度一般。2012年，Henriques等人[52]在MOSSE算法的基礎(chǔ)上，提出了CSK（Circulant Structure of Tracking with Kernels）跟蹤器，該算法利用目標(biāo)外觀的循環(huán)結(jié)構(gòu)，采用核正則化最小二乘法進(jìn)行訓(xùn)練，提升了相關(guān)濾波的跟蹤性能，雖然速度只有MOSSE算法的一半，但是精度卻提高了很多。從此，循環(huán)矩陣和核技巧在相關(guān)濾波的目標(biāo)跟蹤領(lǐng)域被各領(lǐng)域研究者追捧。2014年，Henriques等人[53]提出的KCF（Kernelized Correlation Filters）跟蹤器，使用高斯核函數(shù)進(jìn)行跟蹤，以區(qū)分目標(biāo)對(duì)象及其周圍環(huán)境，并使用多通道特征的處理，不但可以提取目標(biāo)物體顏色特征，還可以對(duì)目標(biāo)物體的方向梯度直方圖特征[54]（Histogram of Oriented Gradient，HOG）進(jìn)行建模，相比于CSK，其效果顯著提升，在KCF的基礎(chǔ)上又發(fā)展了一系列方法。2014年，Danelljan等人[55]基于MOSSE算法提出判別尺度空間跟蹤器（Discriminative Scale Space Tracker，DSST），實(shí)現(xiàn)了尺度變化的跟蹤。DSST采用了33種不同尺度，犧牲了一些運(yùn)行時(shí)間，實(shí)現(xiàn)了較高精度的尺度估計(jì)。另外，2014年，Li等人[56]提出尺度自適應(yīng)多特征（Scale Adaptive with Multiple Features Tracker，SAMF），在KCF的基礎(chǔ)上將CN（Color Names）特征和HOG特征串聯(lián)，并且加入尺度估計(jì)，共有7種尺度變換，并對(duì)遮擋具有一定的抵抗能力。2015年，Ma等人[57]提出LCT（Long-term Correlation Tracking），在DSST的基礎(chǔ)上增加了置信度濾波器，借鑒了TLD中的隨機(jī)蕨分類器，使用PSR來(lái)判斷目標(biāo)被遮擋情況，以實(shí)現(xiàn)長(zhǎng)時(shí)間目標(biāo)跟蹤，提高了準(zhǔn)確度，但速度卻不容樂觀。2015年，Danelljan等人[58]提出基于空間區(qū)域正則化的相關(guān)濾波器（Spatially Regularized Correlation Filter，SRDCF），是在DCF的基礎(chǔ)上針對(duì)邊界效應(yīng)提出的解決方案，提出了空間正則化DCF；在跟蹤過程中，正則化分量削弱了背景信息，為位于目標(biāo)區(qū)域之外的系數(shù)分配更高的值，以此抑制背景。2017年，Mueller等人[59]提出上下文感知相關(guān)濾波器跟蹤（Context-Aware Correlation Filter Tracking，CACF）框架，將全局上下文信息集成到SAMF中作為基線跟蹤器。Kiani等人[60]利用背景補(bǔ)丁，提出了背景感知相關(guān)濾波器（Background Aware Correlation Filters，BACF）跟蹤器。

自2013年以來(lái)，深度學(xué)習(xí)方法在目標(biāo)跟蹤領(lǐng)域的使用逐漸展開，很多新提出的算法在性能上超越了傳統(tǒng)方法。Wang等人[61]提出深度學(xué)習(xí)跟蹤器（Deep Learning Tracker，DLT），第一次將深度學(xué)習(xí)運(yùn)用于單目標(biāo)跟蹤，使用離線預(yù)訓(xùn)練結(jié)合在線微調(diào)的方法來(lái)解決目標(biāo)跟蹤中訓(xùn)練樣本不足的問題，取得了較突出的效果。隨著深度學(xué)習(xí)的發(fā)展，考慮到底層的特征不能完全實(shí)現(xiàn)對(duì)物體的表征，一個(gè)順理成章的思路，即使用深度特征將相關(guān)濾波的低層特征替換掉出現(xiàn)了。2015年，Danelljan等人[62]在由相關(guān)濾波發(fā)展來(lái)的跟蹤算法SRDCF的基礎(chǔ)上，將原算法中的HOG特征替換為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）中單層卷積層的深度特征，跟蹤效果有了很大的提升。而Ma等人[63]在KCF的基礎(chǔ)上提出HCF（Hierarchical Convolutional Features），使用VGG網(wǎng)絡(luò)[64]的3個(gè)不同層的輸出作為特征，使用雙線性插值將深度特征調(diào)整為相同的大小，每個(gè)CNN特征都使用一個(gè)獨(dú)立的自適應(yīng)CF，并計(jì)算響應(yīng)圖。為了減少單分辨率特征圖的影響，2016年，Danelljan等人[65]提出了C-COT（Continous Convalution Operators for Tracking），融合了不同分辨率的特征圖，使用連續(xù)卷積取得了較好的跟蹤效果，但其較復(fù)雜的計(jì)算使得跟蹤速度只有1幀/秒，難以實(shí)現(xiàn)實(shí)時(shí)跟蹤。2017年，Danelljan等人[66]改進(jìn)了C-COT方法，提出了ECO（Efficient Convolution Operators for Tracking），構(gòu)造了一組更小的濾波器，以便使用矩陣分解來(lái)快速捕獲目標(biāo)表示，并使用高斯混合模型（Gaussian Mixed Model，GMM）來(lái)表示不同的目標(biāo)外觀；ECO相對(duì)于C-COT來(lái)說(shuō)，其跟蹤速度有很大的提高。2018年，Li等人[67]提出基于空域與時(shí)域正則化的相關(guān)濾波器（Spatial-Temporal Regularized Correlation Filters，STRCF）算法，在SRDCF中引入了時(shí)間正則化，并引入了時(shí)空正則化CF，采用被動(dòng)攻擊學(xué)習(xí)方法對(duì)單圖像SRDCF進(jìn)行時(shí)間正則化，相比于SRDCF，其準(zhǔn)確率有顯著提升。

隨著大量人力物力的投入，大量可用的標(biāo)注數(shù)據(jù)不斷產(chǎn)生，基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)得到了快速發(fā)展，更多基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法也不斷被提出。2016年，Bertinetto等人[68]提出了基于深度學(xué)習(xí)的全卷積孿生網(wǎng)絡(luò)（Fully-Convolutional Siamese，SiamFC），采用相似學(xué)習(xí)方法，將樣本（目標(biāo)）圖像與相同大小的候選圖像進(jìn)行比較，解決了跟蹤問題，如果兩幅圖像相同，則獲得高分。SiamFC利用卷積嵌入函數(shù)和相關(guān)層集成目標(biāo)和搜索塊的深度特征圖，在響應(yīng)圖中以最大值估計(jì)目標(biāo)位置。2017年，Song等人[69]提出的卷積殘差學(xué)習(xí)（Convolutional RESidual Learning Scheme for Visual Tracking，CREST）算法首次使用殘差網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤，利用殘差學(xué)習(xí)[70]適應(yīng)目標(biāo)外觀，并在不同尺度上搜索補(bǔ)丁進(jìn)行尺度估計(jì)。