1.3.2 紅外熱成像檢測的應用范例

本節主要介紹作者及其指導的研究生近年來在紅外熱成像檢測方面的應用研究，包括被動式紅外熱成像檢測的應用和主動式紅外熱成像檢測的應用。被動式紅外熱成像檢測涉及紅外視覺人體行為的檢測與識別、紅外弱小目標檢測和紅外圖像與可見光圖像融合等方面。主動式紅外熱成像檢測包括缺陷埋深的脈沖紅外熱波定量提取和紅外序列圖像處理等方面。

1.3.2.1 被動式紅外熱成像檢測的應用范例

1.紅外視覺人體行為的檢測與識別

人體行為識別（Human Action Recognition，HAR）技術是計算機視覺領域的新興研究方向之一，其在智能安防、機器人、運動員輔助訓練等領域具有十分廣闊的應用前景。目前，基于可見光視覺信息的人體行為識別技術不斷發展，但其極易受特殊外場環境（如夜間、大霧、沙塵等）的影響，而紅外熱成像技術具有不受光照影響、抗干擾能力強、全天候監測等技術優勢；但紅外圖像存在目標空域表征信息匱乏、對比度低等缺點，采用基于可見光視覺信息的人體行為識別技術無法取得較好的檢測效果。以紅外視覺智能人體行為識別為研究背景，以全輻射熱像視頻為研究對象，以卷積神經網絡為核心特征提取工具，作者及其指導的研究生提出了一種融合目標檢測、姿態估計、時序行為分類的多階段紅外人體行為識別框架，對紅外視覺人體行為的檢測與識別開展了以下研究。

（1）針對紅外人體行為識別技術特殊的數據集要求，采用VarioCAM?HD980紅外熱像儀獲取全輻射熱像視頻，并建立紅外人體目標檢測數據集IR-HD、紅外人體姿態估計數據集IR-HPE、紅外人體行為視頻數據集IR-HAR。

由于單發多框檢測器（Single Shot Multi-Box Detector，SSD）目標檢測模型計算復雜度較高，因此對弱小目標、遮擋等魯棒性差的情況，作者及其指導的研究生提出了一種改進的SSD紅外人體目標檢測算法，采用MobileNet V2網絡作為基礎特征提取網絡，以實現模型的輕量化。引入FPN特征金字塔結構實現多尺度特征圖融合，提高模型淺層特征圖的表征能力。同時，融入SE通道注意力機制提高模型對關鍵通道信息的關注度。研究結果表明，改進后的SSD目標檢測模型檢測精度提高了1.5%，模型推理速度提高了21.61幀/s。

（2）針對紅外人體骨骼關鍵點檢測精度低的問題，作者及其指導的研究生提出了一種基于深度殘差網絡的改進CPMs姿態估計模型。基于ResNet-18網絡提取初始特征，并采用跨階段置信度圖融合策略增強階段性輸入特征圖的空間特征信息，以緩解模型梯度消失的問題，提高人體骨骼關鍵點的檢測精度。最后級聯SSD目標檢測模型實現自頂向下的紅外人體目標多姿態估計。研究結果表明，基于深度殘差網絡的改進CPMs模型檢測精度達到了87.3%，相較CPMs模型提高了2.7%。

（3）針對單幀紅外圖像進行人體行為識別，忽略了幀間時域信息的問題，作者及其指導的研究生提出了一種基于人體骨骼關鍵點的時空混合模型。以人體骨骼關鍵點的笛卡兒坐標作為行為的空域表征信息，并構建多層長短時記憶神經網絡來實現對紅外視覺下人體連續性動作的高效識別。研究結果表明，基于姿態估計的紅外視覺時空混合模型人體行為識別精度達到了90.2%。

2.紅外弱小目標檢測

紅外搜索與跟蹤（Infrared Search and Tracking，IRST）系統在軍事領域有極高的應用價值，在森林預警、民航監控等民用領域同樣有著廣泛應用。紅外弱小目標檢測技術是IRST的關鍵技術之一，因此此項技術具有重要的研究意義。由于紅外熱成像的超遠距離、紅外圖像缺乏豐富的圖像細節及在信號傳輸過程中能量的損失，造成了目標在圖像中呈現尺寸小、信號弱的問題。同時，在遇見一些復雜背景的情況下，易出現與目標類似的虛警及難以剔除的雜波，因此在實現目標檢測的同時要盡可能地提高算法的實時性。針對上述問題，主要研究工作如下。

（1）針對紅外弱小目標檢測中強雜波干擾的問題，作者及其指導的研究生提出了一種基于交替方向乘子法（ADMM）和改進Top-hat變換的紅外弱小目標檢測算法。根據紅外圖像的非局部自相關特性，將目標檢測問題轉換為稀疏低秩矩陣恢復問題，獲得包含目標的稀疏矩陣，完成初步的背景抑制，并與形態學三重結構元素Top-hat變換相結合，有效增強了目標強度并剔除了殘留噪點。實驗結果表明，與現有的6種算法相比，該算法具有更強的目標增強能力及背景抑制能力，同時具有較不錯的算法實時性。

（2）針對現有的基于形態學的算法受限于固定單一的結構元素，從而導致復雜背景抑制能力差的問題，作者及其指導的研究生提出了一種基于局部對比度（LCM）的自適應Top-hat紅外弱小目標檢測算法。首先根據目標在圖像中的視覺顯著性，計算其LCM并形成顯著圖，獲得目標尺寸的先驗信息；然后結合改進的雙結構元素Top-hat變換，自適應設置結構元素尺寸，極大程度地利用目標及其鄰域的灰度值差異來抑制背景和增強目標。實驗結果表明，與同類形態學算法及其他非同類算法相比，該算法在各項評估指標上都具有明顯優勢。

（3）針對計算LCM采用的滑動窗口，生成的顯著圖存在“膨脹效應”導致目標漏檢的問題，作者及其指導的研究生提出了一種基于非下采樣輪廓波變換（NSCT）和三層窗口LCM的紅外弱小目標檢測算法。根據目標在紅外圖像上的全局稀疏性，引入NSCT，將圖像分解為低頻和高頻子圖，并構建低頻和高頻子圖的差分圖像，采用引導濾波有效增強目標信號強度，結合三層滑動窗口計算LCM構建置信度圖。實驗結果表明，該算法有效避免了“膨脹效應”造成的目標漏檢問題，并與現有8種算法相比，該算法在背景抑制、目標增強及精確度上均有良好的提升。

3.紅外圖像與可見光圖像融合

紅外圖像與可見光圖像融合技術是數據融合領域中備受關注的研究方向之一，在圖像增強、智能安防、目標檢測和目標識別等領域具有十分廣闊的應用前景。將紋理細節信息豐富但對環境敏感的可見光圖像與抗干擾能力強但對比度低的紅外圖像相結合可以更好地描述場景信息，為后續的視覺任務提供豐富的語義信息；但由于獲取圖像的傳感器不同，光譜信息差異和獲取信息的角度差異等會導致圖像間出現空間位置偏差，這種偏差會嚴重影響最終的融合效果，因此在圖像融合前還需進行配準操作。為了提高圖像配準精度，獲取高質量融合圖像，相關的研究內容如下。

（1）針對紅外圖像與可見光圖像模態差異導致的配準精度下降問題，作者及其指導的研究生提出了一種基于CycleGAN-CSS的圖像配準算法。引入CycleGAN網絡將可見光圖像轉換為偽紅外圖像來減少源圖像之間的特征差異，利用改進后的CSS算法先對偽紅外圖像和紅外圖像提取特征點，再通過降維后的SIFT描述子表示檢測到的特征點并進行匹配，為減少誤匹配點個數，利用隨機抽樣一致（RANSAC）算法進行誤匹配剔除。為驗證所提算法的可靠性，從TNO數據集和RoadScene數據集各取一組不同場景下的圖像對與Harris算法和PSO-SIFT算法進行比較，實驗證明所提算法的平均精度最大，高達97%，標準差誤差比Harris算法和PSO-SIFT算法平均降低了23.90%、8.25%，說明所提算法在配準精度上確有改善。

（2）針對傳統多尺度變換的圖像融合技術中常出現的邊緣模糊和細節分辨能力弱的問題，作者及其指導的研究生提出了一種基于多尺度各向異性擴散的圖像融合算法。首先通過各向異性擴散對紅外圖像和增強后的可見光圖像進行多次分解，留下最后一次分解的背景層和所有的細節層；然后由于背景層信息豐富，為避免信息冗余，因此采用加權平均進行融合，再對細節層根據余弦相似度設計了一個自適應的融合規則，以最大程度強調圖像中的細節信息；最后將融合背景層與不同尺度的融合細節層進行線性疊加并重構融合圖像。實驗分析出最優分解尺度為4；同時為了證明所提算法的有效性，將其與其他4種傳統的多尺度變換算法進行對比，在TNO數據集中，所提算法在EN、MI和MS-SSIM 3個指標上取得最優，相較次優分別提高了8.29%、1.22%、0.23%，主觀視覺效果也表現優異；在RoadScene數據集中，所提算法在同樣在以上3個指標上取得最優，相較次優分別提高了1.72%、1.72%、2.58%。綜合看來，所提算法相比傳統的多尺度變換算法性能確實有所提高，融合圖像目標清晰且細節信息豐富。

（3）為進一步提高融合圖像質量，降低算法的計算復雜度，提高算法的性能穩定性，作者及其指導的研究生提出了基于潛在低秩表示下的雙判別器生成對抗網絡（DDcGAN）的圖像融合算法。首先通過潛在低秩表示將圖像分解為低秩分量和稀疏分量，并剔除影響融合質量的噪聲；然后對于包含豐富結構信息的低秩分量采用改進的DDcGAN進行融合，即借助VGG16提取低秩分量特征，根據設計的特征融合模塊對每層特征進行融合，利用金字塔重構融合特征后解碼出融合低秩分量；再采用K-L變換對稀疏分量進行融合；最后將融合低秩分量和融合稀疏分量進行疊加。通過在不同數據集將所提算法和當前性能較優的深度學習算法相比，大量的融合結果證明，所提算法不僅視覺效果良好，而且在各種客觀指標上也取得了優異成績，證明了算法的有效性和魯棒性。

1.3.2.2 主動式紅外熱成像檢測的應用范例

1.缺陷埋深的脈沖紅外熱波定量提取

作者及其指導的研究生建立了紅外熱成像檢測缺陷埋深物理模型，依據熱傳導理論推導缺陷定量檢測的實現方法，對含有楔形槽缺陷的PVC試塊分別進行反射法和透射法紅外熱成像檢測實驗，通過實驗數據分析取樣點尺寸、缺陷寬度對試塊表面溫度場的影響，指導數據后處理采樣區域的設置，定量檢測缺陷埋深，并且分析激勵時間對測量精度的影響。運用ANSYS軟件分別進行了反射法和透射法紅外熱成像檢測凹槽缺陷的仿真模擬實驗，分析了缺陷的寬度、埋深對仿真結果的影響，以及激勵時間對缺陷深度的測量影響。研究結果表明，反射法和透射法紅外熱成像檢測都可實現缺陷的檢出和對缺陷深度的測量。對近表面缺陷在相同的測量精度下，透射法紅外熱成像檢測所用激勵時間更短，處理數據更加簡單，缺陷檢出速度更快；對埋深較深的缺陷，透射法紅外熱成像檢測除檢測速度快外，檢測精度也更高。

2.紅外序列圖像處理

作者及其指導的研究生研究了紅外序列圖像處理的方法，包括單幀圖像的處理和多幀圖像的處理。在定義敏感區域的基礎上，提出了敏感區域最大標準差法，這一性能指標的提出解決了單幀圖像處理紅外序列圖像的原圖選取問題，探討了敏感區域大小對檢測結果的影響，其大小推薦為10像素×10像素到15像素×15像素。基于MATLAB的GUI設計開發了紅外熱圖像處理程序，可實現紅外序列圖像的缺陷信息自動處理，獲得缺陷形狀、輪廓、尺寸、面積及分布狀況等信息。在這個基礎上提出了一種新的單幀圖像分割算法，基于模糊C均值聚類預分割的多尺度八方向邊緣檢測圖像分割算法。算法提升了對紅外圖像中沖擊損傷弱邊緣的檢測能力，而且缺陷的邊緣細節保留較好，提升了缺陷特征的檢測精度，為紅外熱成像技術在CFRP板沖擊損傷的定量檢測方面提供了有效方法。本書介紹了兩種紅外序列多幀圖像的處理算法，即PCA算法和獨立成分分析（Independent Component Analysis，ICA）算法。以GFRP平底孔為例，通過假設、對比、驗證環節，確定PCA算法的最佳融合區間，并將其運用到原始PCA算法中，使優化的算法能自動選取圖像序列的最佳區間，并進行融合。運用ICA研究CFRP板沖擊損傷的特征提取問題，結果表明ICA能夠有效區分噪聲與缺陷，并且獲得的特征圖像比原始圖像的信噪比更高、對比度更大、圖像質量更好，更有利于缺陷的提取和表征。