基于改進(jìn)KCF 的多目標(biāo)人員檢測與動態(tài)跟蹤方法

劉毅，龐大為，田煜

（中國礦業(yè)大學(xué)（北京）機電與信息工程學(xué)院，北京 100089）

0 引言

通過礦井監(jiān)視監(jiān)控、通信技術(shù)，可提升煤礦生產(chǎn)的安全性[1-3]。運用視頻處理、感知和跟蹤技術(shù)[4-5]，研究適用于煤礦井下基于機器視覺的人員識別與跟蹤方法，可實現(xiàn)基于視覺的人員定位、井下實時工況顯示，為井下工作人員的安全提供保障。

視頻目標(biāo)跟蹤技術(shù)已在日常生產(chǎn)和生活中得到應(yīng)用，目前比較公認(rèn)的方法主要包括判別式法和生成式法。判別式法的代表算法包括相關(guān)濾波[6-7]和深度學(xué)習(xí)算法；生成式法的代表算法包括稀疏表示算法[8-9]、粒子濾波算法[10]和卡爾曼濾波算法[11]等。由于煤礦監(jiān)控環(huán)境的特殊性，現(xiàn)有地面監(jiān)控技術(shù)直接應(yīng)用于井下人員跟蹤并不能達(dá)到預(yù)期效果，主要原因如下：①煤礦巷道較長，目標(biāo)尺度變化大，且礦井照明的巷道燈是間隔排列的，目標(biāo)總是處在光照不均的環(huán)境中，目標(biāo)特征變化大；② 礦工穿著統(tǒng)一的服裝，在礦工相互穿梭遮擋過程中，容易丟失跟蹤目標(biāo)；③礦工頭部的安全帽礦燈容易直射鏡頭，會產(chǎn)生較大光暈，致使視頻畫面過曝光[12]。為解決以上問題，國內(nèi)外科研工作者作了大量研究。賈澎濤等[13]基于小波變換和背景差分法對監(jiān)控視頻進(jìn)行去噪處理，提升了人員定位初始階段的目標(biāo)識別率，但當(dāng)多目標(biāo)同時出現(xiàn)時會出現(xiàn)識別失敗或漏識別的情況。陳偉等[14]采用色度和亮度分離的顏色模型快速判斷目標(biāo)信息，在井下人員工作區(qū)域亮度變化劇烈時，能持續(xù)對人員進(jìn)行識別與跟蹤，但在光照環(huán)境較差的情況下易出現(xiàn)識別錯誤與定位偏差。劉海倉[8]利用圖像局部特征與全局特征提出了元素與結(jié)構(gòu)聯(lián)合特征稀疏表示的圖像目標(biāo)檢測方法，提升了較遠(yuǎn)距離時對小目標(biāo)的識別能力，但對人員信息的持續(xù)跟蹤能力較差。白中浩等[9]提出了多模型融合和重新檢測的高精度魯棒目標(biāo)跟蹤算法，提升了目標(biāo)所處環(huán)境變化時對目標(biāo)的持續(xù)跟蹤能力，但多目標(biāo)同時出現(xiàn)時，易出現(xiàn)漏識別與人員信息識別錯誤的情況。針對井下這一光照條件變化較大、人員信息密集的環(huán)境，缺少能同時滿足目標(biāo)識別快、目標(biāo)識別準(zhǔn)確、持續(xù)跟蹤能力強的算法。

針對上述問題，本文提出了一種基于改進(jìn)核相關(guān)濾波（Kernel Correlation Filter，KCF）算法[15]的多目標(biāo)人員檢測與動態(tài)跟蹤方法，對于井下人員密集、井下光照條件不佳、井下工作人員位于巷道深處等多種復(fù)雜工況，優(yōu)化目標(biāo)檢測部分，以提升多目標(biāo)檢測精度和對復(fù)雜環(huán)境的抗干擾能力，調(diào)整置信度閾值、核函數(shù)系數(shù)等參數(shù)，以提升檢測算法對井下光照條件的適應(yīng)能力，通過不斷調(diào)整迭代模型參數(shù)，找到適應(yīng)井下環(huán)境的最優(yōu)參數(shù)，以實現(xiàn)礦井人員多目標(biāo)檢測和跟蹤，在保障實時性的前提下有效提高井下目標(biāo)跟蹤的準(zhǔn)確性，減小目標(biāo)丟失概率。

1 改進(jìn)KCF 算法

1.1 KCF 原理

KCF 采用嶺回歸方法，是一種放棄無偏性的最小二乘法，通過損失一部分精度和信息換取更可靠的回歸系數(shù)。對目標(biāo)區(qū)域進(jìn)行循環(huán)采樣并獲取樣本集，通過訓(xùn)練尋找最合適的目標(biāo)函數(shù)，使回歸目標(biāo)與樣本的平均誤差最小化，建立目標(biāo)函數(shù)，然后通過最小二乘法求解，損失函數(shù)為

式中：n為選取的樣本個數(shù)；m為樣本總個數(shù)；B(f(hn)-xn)2為回歸目標(biāo)與樣本的平均誤差，f(hn)為目標(biāo)函數(shù)，hn為回歸目標(biāo)值，xn為選取的第n個樣本值；λ為正則化強度系數(shù)；ω為最優(yōu)解。

一般來說目標(biāo)和背景的分類問題都是非線性的，引入高維求解方法和核函數(shù)的概念，在高維空間中 ω的求解可轉(zhuǎn)換為線性問題，通過在二維空間中引入一個核函數(shù)k(x,x′)，其中x為選取的樣本值，x′為二維空間中對應(yīng)的樣本值，將核函數(shù)代入式（1）后，再利用傅里葉矩陣的對角化性質(zhì)變換，得到頻域中的損失比例系數(shù) α?，根據(jù)核相關(guān)函數(shù)的概念，將輸入樣本與濾波器匹配后再引入回歸系數(shù)，得到復(fù)頻域中待測樣本的回歸值：

1.2 改進(jìn)KCF 算法

在井下復(fù)雜工況中，傳統(tǒng)KCF 算法對目標(biāo)尺度更新不及時，當(dāng)目標(biāo)尺寸發(fā)生變化時，預(yù)測框不能有效覆蓋目標(biāo)區(qū)域，在迭代過程中，學(xué)習(xí)率調(diào)整速率慢且樣本質(zhì)量下降導(dǎo)致更新策略不穩(wěn)定，不能對目標(biāo)的變化及時做出反應(yīng)，容易跟丟目標(biāo)。鑒此，本文對KCF 算法進(jìn)行改進(jìn)，算法框架如圖1 所示。

圖1 改進(jìn)KCF 算法框架Fig.1 Framework of improved kernel correlation filter algorithm

首先，讀取待跟蹤視頻序列，使用經(jīng)過井下數(shù)據(jù)集訓(xùn)練后的SSD 算法檢測圖像中的目標(biāo)，若沒有發(fā)現(xiàn)目標(biāo)則繼續(xù)讀取下一幀。其次，將檢測到的目標(biāo)放入跟蹤器中，對圖像進(jìn)行預(yù)處理，通過比較將所有檢測框按照設(shè)定的閾值進(jìn)行打分，并根據(jù)分值從高到低依次排列，高分的檢測結(jié)果直接輸出，低分的檢測結(jié)果用于濾除不良信息，以提升檢測速度。然后，通過KCF 跟蹤預(yù)測目標(biāo)M幀后清空跟蹤器，再重新進(jìn)行目標(biāo)檢測，經(jīng)過檢測算法和跟蹤算法的疊加，保證對目標(biāo)的跟蹤。最后，將輸出結(jié)果上傳至上位機，在上位機終端顯示并存儲數(shù)據(jù)。

煤礦巷道存在光照不足、目標(biāo)尺度變化劇烈、目標(biāo)容易被遮擋和礦燈干擾等多種復(fù)雜工況，易導(dǎo)致目標(biāo)信息短暫消失和識別錯誤等情況，為解決這一問題，本文在KCF 算法中引入圖像預(yù)處理，對目標(biāo)圖像進(jìn)行特征提取，并對提取后的特征進(jìn)行加權(quán)，將強相關(guān)的特征直接用于目標(biāo)檢測，以實現(xiàn)由于人員轉(zhuǎn)身、建筑物遮擋等導(dǎo)致目標(biāo)消失時對目標(biāo)的持續(xù)檢測能力，當(dāng)目標(biāo)重新出現(xiàn)后，保持對目標(biāo)信息的持續(xù)跟蹤和讀取，實現(xiàn)目標(biāo)的持續(xù)跟蹤。

2 井下SSD 目標(biāo)檢測算法

2.1 SSD 目標(biāo)檢測模型

SSD 是一種基于回歸和分類的新型目標(biāo)檢測算法[16]，主要功能是檢測圖像內(nèi)的物體并對其進(jìn)行分類，其特點是利用多種尺寸的特征圖檢測目標(biāo)，以提高目標(biāo)檢測的正確率。SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。SSD 的主干特征提取網(wǎng)絡(luò)是VGG16，在VGG 網(wǎng)絡(luò)中最后2 個全連接層中加入4 個卷積小組，以進(jìn)一步提取特征，抽取SSD 整個網(wǎng)絡(luò)中的6 層特征圖作為有效特征層進(jìn)行回歸和分類預(yù)測，從整體上看，這些特征層尺寸不斷減小，特征不斷濃縮，淺層特征圖因所含信息量大，常用于檢測較小目標(biāo)，深層特征圖由于經(jīng)過壓縮，主要用來檢測大物體。

圖2 SSD 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 SSD structure

為提升目標(biāo)尺度變化時的檢測準(zhǔn)確率，對SSD模型參數(shù)進(jìn)行調(diào)整，調(diào)整流程如圖3 所示。配置模型參數(shù)prior boxes 的尺寸和比例，通過增加小尺寸和高比例的prior boxes，增加對小目標(biāo)的敏感性。使用set Preferable Target（）模塊將計算目標(biāo)設(shè)置為CPU，以提高小目標(biāo)的檢測性能。使用set Confidence Threshold（）模塊設(shè)置置信度閾值為0.5，并過濾低置信度的檢測結(jié)果。

圖3 SSD 模型參數(shù)調(diào)整流程Fig.3 The SSD model parameter adjustment process

為避免井下復(fù)雜環(huán)境中由于光照不均引起檢測失敗，在改進(jìn)的KCF 算法中引入SSD 檢測算法，以提升算法對多目標(biāo)人員的檢測能力，SSD 引入方法步驟如下：首先，加載SSD 模型，并指定模型的配置文件和權(quán)重文件。其次，初始化KCF 跟蹤器，并選擇初始目標(biāo)進(jìn)行跟蹤。然后，從視頻中讀取幀，并使用改進(jìn)KCF 進(jìn)行目標(biāo)跟蹤。如果跟蹤成功，就在圖像上繪制跟蹤結(jié)果。最后，將當(dāng)前幀傳遞給SSD 模型進(jìn)行目標(biāo)檢測和識別。根據(jù)置信度閾值和類別篩選每個檢測到的目標(biāo)，實現(xiàn)目標(biāo)檢測并顯示結(jié)果。

2.2 SSD 算法先驗框優(yōu)化

SSD 算法中每個有效特征層上都會生成一定數(shù)量寬高比不同的先驗框，但這些先驗框不適合井下環(huán)境中的目標(biāo)檢測。根據(jù)特征層深度的不同所對應(yīng)特征強弱也不同的特性，將有效特征層劃分為對應(yīng)數(shù)量的網(wǎng)格，在每個網(wǎng)格的中心處建立先驗框，隨卷積的深度不斷加深，預(yù)選框的總量不斷減少，卷積程度較深的特征圖用于預(yù)測大物體，卷積程度較淺的特征圖用于預(yù)測小目標(biāo)。通過引入不同卷積深度的特征層，提升井下復(fù)雜工況下的信息處理速度，濾除大部分無效信息，以減少對有效信息識別的干擾。

2.3 檢測算法損失函數(shù)

SSD 算法的損失函數(shù)L包括預(yù)測框的位置回歸損失函數(shù)Lloc和類別置信度的分類損失函數(shù)Lconf。

3 實驗過程

3.1 礦井多目標(biāo)人員檢測數(shù)據(jù)集

為了研究和驗證本文提出的基于改進(jìn)KCF 的多目標(biāo)人員檢測與動態(tài)跟蹤方法的性能，采集國家能源集團(tuán)神東煤炭集團(tuán)有限責(zé)任公司大柳塔煤礦井下數(shù)據(jù)。在深度學(xué)習(xí)算法中，數(shù)據(jù)集的大小和適配度會直接影響訓(xùn)練后算法的效果，而獲取足夠數(shù)量且適配度較高的數(shù)據(jù)集比較困難，為了應(yīng)對井下多種環(huán)境，達(dá)到更好的實驗效果，使用數(shù)據(jù)擴增的方法擴增煤礦井下的圖像和視頻，并對圖像進(jìn)行人工標(biāo)注，構(gòu)建礦井多目標(biāo)人員檢測數(shù)據(jù)集MMPDDS（Mine Multi-Personnel Detection Data Set）。

3.2 實驗環(huán)境

為了驗證本文方法的性能，對改進(jìn)KCF 算法和相關(guān)算法進(jìn)行仿真實驗驗證?；赪in10 64 位操作系統(tǒng)下開發(fā)，深度學(xué)習(xí)框架選擇Pytorch_1.7.0，并使用計算框架CUDA_11.0 和深度學(xué)習(xí)加速庫CUDNN_7.4.1.5，使用PyCharm 平臺進(jìn)行編程，安裝圖像處理專用庫OpenCV-4.6.0.66，訓(xùn)練模型所用電腦CPU 為英特爾酷睿i7-12700H CPU @ 2.30 GHz，16 GiB 內(nèi)存，顯卡為GTX 2060。

在實驗訓(xùn)練過程中，采用數(shù)據(jù)增強技術(shù)來增加訓(xùn)練數(shù)據(jù)的多樣性，調(diào)用圖像處理庫OpenCV 對圖像進(jìn)行隨機縮放、裁剪和旋轉(zhuǎn)處理，部分?jǐn)?shù)據(jù)擴增結(jié)果如圖4 所示。

圖4 部分?jǐn)?shù)據(jù)擴增結(jié)果Fig.4 Results of amplification of some data

3.3 目標(biāo)位置預(yù)測與檢測

檢測過程中，在重疊的檢測框中選擇得分最高的檢測框，并抑制其他重疊的框，以消除冗余的檢測結(jié)果。非極大值抑制（Non Maximum Suppression，NMS）算法通常根據(jù)重疊區(qū)域的IoU 來評估框的重疊程度，并根據(jù)設(shè)定的閾值來進(jìn)行抑制，本文使用OpenCV 的cv2.dnn.NMSBoxes（）函數(shù)實現(xiàn)NMS，根據(jù)實際需求調(diào)整閾值參數(shù)score_threshold 和nms_threshold，以控制抑制的嚴(yán)格程度，具體實現(xiàn)步驟：①根據(jù)得分對所有檢測框進(jìn)行排序，得分最高的排在前面；② 選擇得分最高的檢測框，并將其作為最終的檢測結(jié)果；③計算其他檢測框（除得分最高的檢測框）與最終檢測結(jié)果的IoU 值；④ 如果某個檢測框的IoU 值大于設(shè)定的閾值，則將該檢測框抑制，否則保留該檢測框；⑤ 重復(fù)步驟②-步驟④，直到所有檢測框都被處理。

通過加權(quán)平均法來融合檢測和跟蹤結(jié)果，計算融合后的目標(biāo)位置，并將融合后的目標(biāo)位置作為最終的檢測結(jié)果。

式中：bt1為t1時刻的檢測結(jié)果；ct1為t1時刻的跟蹤結(jié)果；bt2為t2時刻的檢測結(jié)果；ct2為t2時刻的跟蹤結(jié)果；(b1,c1,b2,c2)為SSD 模型檢測到的目標(biāo)位置；(bq1,cq1,bq2,cq2)為KCF 跟蹤到的目標(biāo)位置。

4 實驗結(jié)果及分析

4.1 SSD 目標(biāo)檢測算法訓(xùn)練曲線

SSD 損失訓(xùn)練變化如圖5 所示?？煽闯銮? 次訓(xùn)練損失值下降較為明顯，迭代次數(shù)增加至30 次后，損失值變化幅度減小并趨于穩(wěn)定，通過計算可知改進(jìn)KFC 算法最后的損失值穩(wěn)定在1.675 附近，在目標(biāo)檢測算法損失函數(shù)的允許值內(nèi)，且迭代次數(shù)較少。

圖5 SSD 損失訓(xùn)練變化Fig.5 SSD loss training changes

4.2 SSD 目標(biāo)檢測算法精度

采用識別精度作為衡量目標(biāo)檢測性能的指標(biāo)，識別精度達(dá)到50%即可認(rèn)為該目標(biāo)被成功識別。使用MMPDDS 中的測試集進(jìn)行算法比較，分析得到SSD 目標(biāo)檢測算法訓(xùn)練前后的識別精度和檢測速度，對比結(jié)果見表1?？煽闯鼋?jīng)過訓(xùn)練后SSD 算法的識別精度較訓(xùn)練前訓(xùn)練前后提高了52.7%。

表1 訓(xùn)練前后算法性能對比Table 1 Algorithm performance comparison before and after training

4.3 性能分析

當(dāng)前在井下這一復(fù)雜工作環(huán)境中的檢測算法，大部分是基于高對比度或高亮度，且在井下環(huán)境中的性能表現(xiàn)欠佳，為了能夠更有效衡量本文算法在井下環(huán)境中的性能表現(xiàn)，分別與目前應(yīng)用成熟度較高、在復(fù)雜環(huán)境下表現(xiàn)穩(wěn)定的4 種算法進(jìn)行對比[17]。①KCF 算法在持續(xù)跟蹤能力方面表現(xiàn)很好，目標(biāo)動作劇烈時仍能持續(xù)檢測，可通過比較看出本文改進(jìn)KCF 算法是否能夠在持續(xù)跟蹤能力方面有所提升；② 通道和空間可靠性跟蹤（Channel and Spatial Reliability Tracking，CSRT）[18]算法在光照條件不均的情況下目標(biāo)檢測能力較強，可通過對比目標(biāo)檢測精度的大小來判別本文方法在光照條件不均等工況下的檢測能力；③跟蹤學(xué)習(xí)檢測算法（Tracking-Learning-Detection，TLD）[19]在目標(biāo)消失后重新出現(xiàn)或被遮擋的情況下能夠準(zhǔn)確識別出目標(biāo)的全部信息，通過對比可看出本文方法在目標(biāo)遮擋情況下的目標(biāo)檢測能力；④ 多示例學(xué)習(xí)算法（Multiple Instance Learning，MIL）[20]對多目標(biāo)的檢測能力較強，能夠在光照條件不佳的情況下完整檢測出所有目標(biāo)信息，通過對比不同工況下的多目標(biāo)檢測能力，判別出本文方法在多目標(biāo)檢測中的性能表現(xiàn)。

分別對比各算法對礦井人員檢測成功率、跟蹤準(zhǔn)確率，客觀評價算法性能。

1）礦井人員檢測成功率。比較預(yù)測框和真實框的重合比例是否超過設(shè)定閾值，大于等于閾值為檢測成功，低于閾值為檢測失敗。

2）礦井人員跟蹤準(zhǔn)確率。礦井人員跟蹤準(zhǔn)確率基于中心像素偏移進(jìn)行判定，關(guān)注目標(biāo)預(yù)測框的中心位置，不考慮框的邊界尺寸，認(rèn)為小于像素偏移閾值的為精確預(yù)測框，并判定為跟蹤成功，反之為跟蹤失敗。

5 種算法性能對比結(jié)果見表2?？煽闯龈倪M(jìn)KCF 算法對礦井人員檢測成功率、跟蹤準(zhǔn)確率明顯高于其他4 種跟蹤算法。

表2 5 種算法性能對比Table 2 Performance comparison of the 5 algorithms

在不同重疊閾值下礦井人員檢測成功率如圖6所示?？煽闯鯧CF、CSRT、MIL、TLD 算法在重疊閾值較低時，可保持較高成功率，隨著閾值的增大，成功率大幅下降。本文方法在重疊閾值較低時，具有較高成功率，重疊閾值大于0.8 時，成功率大幅下降，這是因為礦井中環(huán)境多樣，想要目標(biāo)形狀完全符合標(biāo)注框有一定難度，且標(biāo)注圖像是由人工完成的，目標(biāo)邊界也沒有完全正確的答案。

圖6 礦井人員檢測成功率Fig.6 The success rate of mine personnel detection

礦井人員跟蹤準(zhǔn)確率如圖7 所示，可看出KCF、CSRT、TLD 算法并不能很好地適應(yīng)井下目標(biāo)跟蹤系統(tǒng)，準(zhǔn)確率在50%以下，MIL 算法的精度略高，改進(jìn)KCF 算法和訓(xùn)練后的SSD 算法在誤差閾值像素大于6 時，準(zhǔn)確率有了明顯提升，且改進(jìn)KCF 算法對目標(biāo)跟蹤的準(zhǔn)確率最高。

圖7 礦井人員跟蹤準(zhǔn)確率Fig.7 The accuracy rate of the mine personnel in tracking

衡量算法每秒能處理多少張圖像的指標(biāo)是幀速率，處理速度與算法的復(fù)雜程度、模型的參數(shù)總量和計算機的性能有直接關(guān)系。不同算法幀速率對比如圖8 所示。由于本文目標(biāo)檢測部分引入了SSD 算法，為了對比引入后性能是否變化，這里額外添加與SSD 算法的對比?？煽闯鯟SRT 算法在初始階段幀速率上升較為穩(wěn)定，但2 s 之后出現(xiàn)下降，是因為此時CSRT 算法丟失了目標(biāo)；KCF 算法幀速率上升較為穩(wěn)定且?guī)俾瘦^高，這是由于KCF 算法檢測精度低，圖像處理速度快；MIL 算法、TLD 算法幀速率基本與SSD 算法幀速率相同且較快趨于穩(wěn)定；本文方法較原始SSD 算法降低了系統(tǒng)的復(fù)雜程度，減少了模型參數(shù)，處理速度遠(yuǎn)高于原始SSD 算法。

圖8 不同算法幀速率對比Fig.8 The FPS comparison between the different algorithms

4.4 井下實際應(yīng)用分析

為了更直觀地展示本文方法在井下多目標(biāo)檢測和跟蹤中的適應(yīng)能力，與SSD、KCF、CSRT、TLD 及MIL 進(jìn)行對比實驗，詳細(xì)分析不同算法在人員檢測成功率和跟蹤準(zhǔn)確率這2 個方面的表現(xiàn)。隨機選擇4 幀圖像進(jìn)行視頻實驗，由于不同算法的識別精度和跟蹤效果不同，將這些結(jié)果全部顯示在一張圖像上會導(dǎo)致跟蹤框重合，影響算法性能的比較，本文通過對比多輪實驗結(jié)果，按對應(yīng)的算法性能進(jìn)行排序并依次展示，每組用2 個算法進(jìn)行比較，最后將同一照片下的跟蹤結(jié)果進(jìn)行橫向?qū)Ρ取?/p>

1）多目標(biāo)及尺度變化狀況下對目標(biāo)持續(xù)跟蹤，檢測結(jié)果如圖9 所示。所有測試算法對所有目標(biāo)的跟蹤分別放入不同線程單獨計算，不會影響跟蹤程序的穩(wěn)定性。由于礦井巷道狹長，橫向移動距離有限，所以大多情況人員目標(biāo)都是縱向移動，人員目標(biāo)的尺度會發(fā)生幾倍甚至幾十倍的變化，檢測結(jié)果中第279 幀中右上方礦工位于距離攝像裝置較遠(yuǎn)位置，第418 幀中礦工位于距攝像裝置較近位置，在第279 幀-418 幀中礦工變化尺度較大。

圖9 目標(biāo)尺度劇烈變化下跟蹤準(zhǔn)確度Fig.9 Tracking accuracy under drastic changes in object scale

根據(jù)檢測結(jié)果可看出：①本文方法和SSD 算法能夠完整識別并跟蹤到3 名礦工；② KCF 和CSRT算法能大概跟蹤到目標(biāo)位置，但尺度更新不及時，并未標(biāo)記出目標(biāo)全部輪廓；③MIL 和TLD 算法在長時間跟蹤后，預(yù)測框的位置已發(fā)生了較大偏移，導(dǎo)致最終跟丟目標(biāo)。

2）光照不均情況下對多目標(biāo)進(jìn)行檢測，檢測結(jié)果如圖10 所示。由于井下照明燈間隔分布，礦工在明暗交替的環(huán)境下走動，視頻中的礦工最開始是在光照條件較弱的環(huán)境中，然后不斷朝著光照條件較好的地方走去，在第215 幀處，礦工處于光照條件不足且距離較遠(yuǎn)位置，前4 種算法識別效果較好，在第289-307 幀處進(jìn)入稍暗區(qū)域，礦工所處環(huán)境光照條件發(fā)生變化，KCF、CSRT、MIL、TLD 算法已經(jīng)產(chǎn)生了一定誤差，在第389 幀處進(jìn)入較亮區(qū)域，可看到在目標(biāo)進(jìn)入光照變化區(qū)域后，由于算法學(xué)習(xí)了過多黑色背景信息，導(dǎo)致礦工走出昏暗區(qū)域時丟失跟蹤目標(biāo)。由檢測結(jié)果可以看出：①KCF 算法完全丟失了目標(biāo)，且丟失后無法重新檢測；② CSRT、MIL、TLD算法表現(xiàn)稍好，但是也不能夠識別出目標(biāo)的全身；③本文方法能夠保持對多目標(biāo)的持續(xù)跟蹤且抗干擾能力較強。

圖10 光照不均時目標(biāo)跟蹤準(zhǔn)確度Fig.10 Object tracking accuracy during uneven illumination

3）測試礦燈直射對目標(biāo)檢測與跟蹤的影響，檢測結(jié)果如圖11 所示。視頻畫面中第61 幀、第91 幀處礦工在前進(jìn)或轉(zhuǎn)身的過程中，有礦燈直射攝像頭的情況，此時會在視頻畫面中產(chǎn)生較大光暈，如在第61 幀處產(chǎn)生的大面積白色光暈會影響對目標(biāo)的檢測跟蹤。由檢測結(jié)果可看出：①傳統(tǒng)SSD 算法檢測不到目標(biāo)位置，直到白色光暈消失才正確捕捉到目標(biāo)；② KCF、CSRT 和MIL 算法受到光暈的影響，依靠迭代計算進(jìn)行目標(biāo)匹配，發(fā)生了一定的位移，跟蹤效果稍差，光暈減弱后恢復(fù)正常；③TLD 算法在第61 幀之前受到燈光影響直接丟失了目標(biāo)，未能準(zhǔn)確識別完整目標(biāo)，在光暈出現(xiàn)的時候，只實現(xiàn)了對礦工下半身的跟蹤，未能在光暈影響下完整跟蹤到礦燈和礦工；④ 本文方法有較好的跟蹤表現(xiàn)。

圖11 礦燈直射時目標(biāo)檢測與跟蹤準(zhǔn)確度Fig.11 The accuracy of object detection and tracking during direct mine light

5 結(jié)論

1）通過MMPDDS 不斷優(yōu)化改進(jìn)KCF 井下目標(biāo)跟蹤算法，使改進(jìn)KCF 算法不斷迭代學(xué)習(xí)井下目標(biāo)特征，持續(xù)對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，使得最終訓(xùn)練后的網(wǎng)絡(luò)對目標(biāo)檢測的成功率從32.6%提高到了85.3%，并通過不斷改進(jìn)算法的適配性，最終對礦井人員檢測的成功率達(dá)到87.9%。

2）改進(jìn)KCF 算法對礦井人員跟蹤準(zhǔn)確率為88.9%，算法性能明顯優(yōu)于傳統(tǒng)KCF、CSRT 等跟蹤算法，跟蹤算法的綜合表現(xiàn)優(yōu)秀，另外平均每秒處理幀數(shù)為19.01，可實現(xiàn)實時跟蹤。

3）基于改進(jìn)KCF 的多目標(biāo)人員檢測與動態(tài)跟蹤方法在井下煤礦巷道光照不足、目標(biāo)尺度變化劇烈、容易被遮擋和受礦燈干擾等復(fù)雜環(huán)境中，具有較高的適用性。在光照不足的情況下，該方法能夠準(zhǔn)確地檢測和識別目標(biāo)，有效地應(yīng)對巷道內(nèi)的暗區(qū)。同時，由于目標(biāo)尺度變化劇烈和容易被遮擋的特點，該方法具備較強的魯棒性，能夠在目標(biāo)尺度變化和遮擋情況下依然保持較高準(zhǔn)確性。此外，該方法還能夠有效地抑制礦燈的干擾，確保目標(biāo)的準(zhǔn)確識別。