2.2 特征提取

特征描述方法的選擇在一定程度上決定了跟蹤的成敗。一般來(lái)說(shuō)，視覺(jué)特征最理想的特性是具有唯一性，這樣就可以很容易地在特征空間中區(qū)分對(duì)象。特征選擇與對(duì)象表示密切相關(guān)。目前，特征可分為人工特征和深度學(xué)習(xí)特征。

常用的人工特征包括SIFT（Scale-Invariant Feature Transform）特征[133]、SURF （Speeded Up Robust Features）特征[134]和HOG特征等。通常，基于SIFT特征表示直接利用對(duì)象區(qū)域內(nèi)的SIFT特征來(lái)描述對(duì)象外觀(guān)的結(jié)構(gòu)信息。Zhou等人[135]建立了基于SIFT特征的表示方法，并將該特征表示與均值漂移相結(jié)合，利用兩者的相互支持機(jī)制實(shí)現(xiàn)了跟蹤性能的一致性和穩(wěn)定性。然而，該方法可能會(huì)受到背景雜波的影響，導(dǎo)致決策失敗。Tang等人[136]使用基于SIFT的屬性構(gòu)建關(guān)系圖來(lái)表示對(duì)象。該圖基于穩(wěn)定的SIFT特征，但這種特征不太可能在復(fù)雜的情況下存在，如形狀變形和光照變化。建立SIFT特征描述向量的計(jì)算量較大，為了減少計(jì)算，Bay等人[134]提出了SURF點(diǎn)特征描述算法，它在重復(fù)性、獨(dú)特性和健壯性方面與基于SIFT特征的方法相似，但計(jì)算速度要快得多。HOG是在2005年CVPR會(huì)議上，法國(guó)國(guó)家計(jì)算機(jī)科學(xué)及自動(dòng)控制研究所的Dalal等人[54]提出的一種解決人體目標(biāo)檢測(cè)的圖像描述子，是一種對(duì)圖像局部重疊區(qū)域的密集型區(qū)域的描述符。HOG特征對(duì)光照變化等不敏感，性能很穩(wěn)定，因此后來(lái)被廣泛使用。KCF[53]使用了單元格大小為4的HOG，在跟蹤過(guò)程中，在新的幀中裁剪一個(gè)圖像補(bǔ)丁，計(jì)算該補(bǔ)丁的HOG特征，并在傅里葉域中采用點(diǎn)乘的方式代替域中的卷積操作，得到響應(yīng)圖。Bertinetto等人[137]提出STAPLE（Sum of Template And Pixel-Wise LEarners）算法，將HOG特征和全局顏色直方圖用于表示目標(biāo)。在每個(gè)輸入幀中都提取一個(gè)以之前估計(jì)位置為中心的搜索區(qū)域，并將其HOG特征與CF進(jìn)行卷積，得到一個(gè)密集的模板響應(yīng)。目標(biāo)位置由模板和直方圖響應(yīng)得分作為線(xiàn)性組合估計(jì)，最終的估計(jì)位置由得分較多的模型確定。Abdechiri等人[138]在MIL （Multiple Instance Learning）中提出了混沌理論，利用最優(yōu)維數(shù)的HOG特征和分布域（DF）特征進(jìn)行目標(biāo)表示。Zhao等人[139]提出了PF框架下的PSO算法，以增加粒子的多樣性，實(shí)現(xiàn)了基于HOG特征和顏色直方圖特征向量的視頻序列跟蹤。

近年來(lái)，深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域得到越來(lái)越多的關(guān)注[16]。與人工特征相比，深層特征具有許多優(yōu)點(diǎn)，具有更多的潛力來(lái)編碼多層次的信息，并且對(duì)目標(biāo)外觀(guān)變化表現(xiàn)出更多的不變性。目前，已經(jīng)有多種深層特征提取方法，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[140]、殘差網(wǎng)絡(luò)（Residual Networks，RN）[141]和自動(dòng)編碼器[142]等。

由深度神經(jīng)網(wǎng)絡(luò)提取的目標(biāo)特征，是一種從簡(jiǎn)單到復(fù)雜、具有結(jié)構(gòu)性的特征。底層的某些網(wǎng)絡(luò)對(duì)圖像的一小部分進(jìn)行理解，隨著網(wǎng)絡(luò)逐漸加深，對(duì)特征的抽象層次越來(lái)越高、范圍越來(lái)越大、內(nèi)容也越來(lái)越豐富，最后提取出整個(gè)目標(biāo)的特征，是一個(gè)由底層到高層的結(jié)構(gòu)性抽象過(guò)程。在解決單目標(biāo)跟蹤問(wèn)題時(shí)，深層次的卷積層會(huì)提取出更抽象的特征，包含更豐富的語(yǔ)義信息，它們區(qū)分不同種類(lèi)物體的能力較強(qiáng)，而且對(duì)形變和遮擋問(wèn)題的適應(yīng)性強(qiáng)，但在區(qū)分同類(lèi)物體的不同個(gè)體時(shí)，判別能力稍弱；淺層次的卷積層將會(huì)提供更具體的局部特征，它們區(qū)分同類(lèi)物體的不同個(gè)體的能力更強(qiáng)，但對(duì)急劇的外觀(guān)變化問(wèn)題難以適應(yīng)。因此，使用者可根據(jù)不同的情況進(jìn)行特征層次選擇。Ma等人[143]利用將CF表示為CF2開(kāi)發(fā)了層次化卷積特征，從VGGNet的conv3-4層、conv4-4層和conv5-4層中提取層次卷積特征開(kāi)發(fā)目標(biāo)外觀(guān)，使用雙線(xiàn)性插值將深度特征調(diào)整為相同大小。Ma等人[144]還提出了基于層次相關(guān)特征的跟蹤器（Hierarchical Correlation Feature Based Tracker，HCFT），它是CF2的擴(kuò)展，融合了對(duì)目標(biāo)的再檢測(cè)和尺度估計(jì)。Qi等人[145]利用多層CNN特征，提出了HDT（Hedged Deep Tracking）算法，使用VGGNet計(jì)算出圖像的6個(gè)深度特征，用于CF計(jì)算響應(yīng)映射。Bertinetto等人[68]提出了SiameseFC網(wǎng)絡(luò)，利用卷積嵌入函數(shù)和相關(guān)層來(lái)集成目標(biāo)和搜索補(bǔ)丁的深度特征圖。Chen等人[146]利用淺層和深層特征計(jì)算搜索區(qū)域和目標(biāo)之間的相似度圖，提出了一種端到端的學(xué)習(xí)方法YCNN。