基于視頻跟蹤的水下裂縫缺陷智能標(biāo)注系統(tǒng)

謝迎娟 吳寧馨 張卓

摘 ?要： 當(dāng)前水下裂縫缺陷檢測中存在誤檢率高、漏檢率高、實時性不強(qiáng)等問題，需要大量準(zhǔn)確地標(biāo)注數(shù)據(jù)集對識別模型進(jìn)行訓(xùn)練。針對大量標(biāo)注數(shù)據(jù)集的需求問題，提出一種目標(biāo)智能標(biāo)注系統(tǒng)，利用基于通道和空間可靠性理論改進(jìn)的核相關(guān)濾波跟蹤算法（CSR?KCF），對水下裂縫進(jìn)行目標(biāo)跟蹤，結(jié)合標(biāo)注系統(tǒng)功能需求，展開對該系統(tǒng)的設(shè)計與實現(xiàn)。實驗結(jié)果表示，提出的目標(biāo)智能標(biāo)注系統(tǒng)符合設(shè)計需求，能夠?qū)崿F(xiàn)對水下裂縫缺陷準(zhǔn)確、快速、可靠的智能標(biāo)注。

關(guān)鍵詞： 水下裂縫缺陷; 智能標(biāo)注; 模型訓(xùn)練; 目標(biāo)跟蹤; 系統(tǒng)設(shè)計; 仿真實驗

中圖分類號： TN915.5?34 ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）12?0155?06

Abstract： At present， there are some problems in the detection of underwater crack defects， such as high error detection rate， high missed detection rate and weak real?time performance， which requires a large number of accurate annotated datasets to train the recognition model. In allusion to the requirement of a large number of annotated datasets， a target intelligent annotation system is proposed. The target tracking of underwater crack is performed by means of the improved kernel correlation filter tracking algorithm based on channel and spatial reliability theory （CSR?KCF）， and the design and implementation of the system are carried out according to the function requirements of the annotation system. The experimental results show that the intelligent annotation system proposed in this paper conforms to the design requirements and can achieve accurate， fast and reliable intelligent annotation of underwater crack defects.

Keywords： underwater crack defect; intelligent annotation; model training; target tacking; system design; simulation experiment

0 ?引 ?言

我國擁有豐富的水利資源，水庫大壩是調(diào)控水資源時空分布、優(yōu)化水資源配置的重要工程設(shè)施。在龐大數(shù)量的水庫大壩中，諸多大壩存在壩體滲漏、混凝土裂縫、沖蝕沖坑等各類安全隱患與失事風(fēng)險[1]。因此，需要對水庫大壩進(jìn)行安全檢測，識別構(gòu)筑物裂縫等缺陷問題，對裂縫缺陷進(jìn)行標(biāo)定、分析和識別是水下構(gòu)筑物險情診斷的重要依據(jù)。如果不對其進(jìn)行快速有效的修復(fù)，水下壩體表面裂縫會繼續(xù)擴(kuò)展，成為重大安全事故的主要隱患。

隨著計算機(jī)視覺技術(shù)的發(fā)展，視覺檢測技術(shù)作為計算機(jī)視覺的一個分支，在水下大壩裂縫識別中發(fā)揮了重要的作用，因其具有光譜敏感范圍廣、感知信息豐富、便于利用信息技術(shù)進(jìn)行精細(xì)分析及可視化等優(yōu)勢，日益成為水下壩體表面裂縫檢測的主流技術(shù)[2?3]。為了提供視覺檢測技術(shù)所需的大量標(biāo)注數(shù)據(jù)集，需要對大量水下視頻中的裂縫進(jìn)行快速準(zhǔn)確的標(biāo)注，傳統(tǒng)的標(biāo)注系統(tǒng)雖然有著較高的標(biāo)注準(zhǔn)確率，但整體智能化程度低，在對視頻文件進(jìn)行標(biāo)注時，仍需要在多幀視頻中手動框選目標(biāo)，導(dǎo)致標(biāo)注效率較低。所以本文設(shè)計出一種能夠準(zhǔn)確跟蹤目標(biāo)并自動生成標(biāo)注數(shù)據(jù)集的系統(tǒng)具有十分重要的意義。

針對傳統(tǒng)標(biāo)注效率低下的問題，本文提出一種基于目標(biāo)跟蹤算法的智能標(biāo)注系統(tǒng)。本系統(tǒng)基于核相關(guān)濾波跟蹤算法，結(jié)合通道與空間可靠性對算法進(jìn)行改進(jìn)與優(yōu)化，設(shè)計出適合用于水下缺陷檢測的智能標(biāo)注系統(tǒng)，標(biāo)注結(jié)果作為水下裂縫缺陷檢測的數(shù)據(jù)集。

1 ?目標(biāo)跟蹤算法設(shè)計

目標(biāo)跟蹤是計算機(jī)視覺技術(shù)中十分重要的一部分，一般有特征提取、運動模型、外觀模型、在線更新機(jī)制等四個基本組成部分[4]。首先在第一幀獲取目標(biāo)的運動模型，之后通過機(jī)器學(xué)習(xí)或傳統(tǒng)方式對特征進(jìn)行提取，根據(jù)提取到的特征得到目標(biāo)的外觀模型，在下一幀對目標(biāo)進(jìn)行定位，根據(jù)不斷定位結(jié)果對模型進(jìn)行更新，連續(xù)的目標(biāo)定位即為目標(biāo)跟蹤。

1.1 ?基于核相關(guān)濾波的KCF跟蹤算法

核相關(guān)濾波（Kernelized Correlation Filters，KCF）目標(biāo)跟蹤算法是一種核相關(guān)濾波算法[5?6]。該算法跟蹤過程步驟如下：

1） 在第一幀中框選出所需目標(biāo)區(qū)域，在框選區(qū)域附近采集樣本，對樣本訓(xùn)練得到判別式分類器，應(yīng)用該分類器計算圖像像素位置中的響應(yīng)值;

2） 在下一幀中，用分類器對上一幀中采樣位置與圖像進(jìn)行相關(guān)計算，得到每個采樣點對應(yīng)的響應(yīng)值;

3） 在給定閾值條件下響應(yīng)值最大的采樣區(qū)域即為此幀中跟蹤目標(biāo)區(qū)域。

在跟蹤過程中設(shè)計一個濾波模板，使得當(dāng)它作用在跟蹤目標(biāo)上時，得到的響應(yīng)最大，最大響應(yīng)值的位置就是目標(biāo)的位置。計算出傅域中的響應(yīng)矩陣，之后進(jìn)行傅里葉逆變換，得出響應(yīng)矩陣，矩陣中極大值對應(yīng)的區(qū)域即為目標(biāo)區(qū)域。具體步驟如下：

1） 在初始幀中手動對尺寸為[M·N]的待跟蹤目標(biāo)位置進(jìn)行框選。

2） 采用余弦加權(quán)放大后的矩形窗樣本，計算樣本的HOG特征，得到[t]維的HOG特征圖，得到的每個特征維度為[M·N]大小的樣本輸入，記為[x1，x2，…，xt]。

3） 利用二維高斯函數(shù)生成和樣本[M·N]大小一致的訓(xùn)練標(biāo)簽矩陣[y]。

9） 重復(fù)步驟6），計算新的響應(yīng)矩陣對下一幀進(jìn)行檢測。

KCF算法利用循環(huán)矩陣對圖像進(jìn)行密集采樣，增大分類器訓(xùn)練過程中的樣本數(shù)，有更好的濾波效果;同時利用傅里葉變換，在跟蹤過程中實現(xiàn)對目標(biāo)的快速檢測，提高跟蹤算法的實時性。但在一定程度上，由于循環(huán)矩陣以及傅里葉變換，該算法對于目標(biāo)尺度變換引起的干擾處理效果較差，導(dǎo)致跟蹤框不能很好地適應(yīng)目標(biāo)尺寸的變化。

1.2 ?基于CSR的改進(jìn)KCF算法

由于KCF算法存在樣本訓(xùn)練數(shù)據(jù)不真實以及邊界局限性的缺點，本文引入通道和空間可靠性算法（Channel and Spatial Reliability，CSR）[7]對KCF算法進(jìn)行優(yōu)化與改進(jìn)，從而提高KCF算法的跟蹤準(zhǔn)確率。CSR算法中通道可靠性即通道可信度，由于每個通道有著不同的重要性比重，所以需要對每個通道進(jìn)行加權(quán);空間可靠性圖將濾波器支持調(diào)整到適合于跟蹤的對象部分，從而擴(kuò)大圖像中搜索范圍。這兩者都允許擴(kuò)大搜索區(qū)域并改善非矩形對象的跟蹤。根據(jù)CSR算法的特點，本文將該算法與KCF算法相結(jié)合，提出一種CSR?KCF算法，對KCF算法存在的邊界局限性以及樣本訓(xùn)練數(shù)據(jù)不真實的缺點進(jìn)行優(yōu)化，實現(xiàn)對不規(guī)則形狀的物體的自適應(yīng)，從而提高KCF算法的跟蹤準(zhǔn)確率。算法流程圖如圖1所示。

采用該方法對特征權(quán)重進(jìn)行調(diào)整從而優(yōu)化跟蹤算法的性能，使算法準(zhǔn)確度得到提高。綜合可知，空間和通道可靠性能夠在一定程度上對KCF算法存在的邊界局限性以及樣本訓(xùn)練數(shù)據(jù)不真實的缺點進(jìn)行優(yōu)化與改進(jìn)，從而提高KCF算法的跟蹤準(zhǔn)確率。

2 ?智能標(biāo)注系統(tǒng)

2.1 ?總體設(shè)計

針對水下缺陷智能標(biāo)注平臺的系統(tǒng)需求，本系統(tǒng)主要實現(xiàn)視頻文件的導(dǎo)入、水下缺陷目標(biāo)跟蹤、目標(biāo)自動標(biāo)注以及標(biāo)注結(jié)果導(dǎo)出等功能[8?9]。首先對待標(biāo)注視頻文件進(jìn)行手動框選目標(biāo)，之后選擇標(biāo)注模式，在自動標(biāo)注模式中結(jié)合優(yōu)化的目標(biāo)跟蹤算法對水裂縫缺陷進(jìn)行準(zhǔn)確跟蹤，跟蹤的結(jié)果區(qū)域即為標(biāo)注區(qū)域。系統(tǒng)可對其進(jìn)行自動標(biāo)注并導(dǎo)出標(biāo)注結(jié)果數(shù)據(jù)集，用于訓(xùn)練目標(biāo)檢測過程中的檢測模塊。系統(tǒng)整體設(shè)計框圖如圖2所示。

2.2 ?模塊設(shè)計

本文設(shè)計的智能標(biāo)注系統(tǒng)主要由五個模塊組成，分別為：數(shù)據(jù)導(dǎo)入模塊、圖像顯示模塊、區(qū)域操作模塊、任務(wù)管理模塊以及數(shù)據(jù)導(dǎo)出模塊。其中跟蹤算法添加在區(qū)域操作模塊，數(shù)據(jù)導(dǎo)出模塊生成用于機(jī)器學(xué)習(xí)訓(xùn)練的數(shù)據(jù)集。

系統(tǒng)中數(shù)據(jù)導(dǎo)入模塊可分為三個部分：文件數(shù)據(jù)庫、屬性獲取以及文件導(dǎo)入。其中文件數(shù)據(jù)庫包括待標(biāo)注的圖像以及視頻文件。屬性獲取功能主要用于獲得導(dǎo)入文件的格式，由于系統(tǒng)對于圖像和視頻有著不同的處理方式，所以在不同的功能鍵中對不同屬性的文件進(jìn)行選擇。在文件導(dǎo)入過程中，圖像文件可直接導(dǎo)入系統(tǒng)，而視頻文件需拆分成圖片導(dǎo)入系統(tǒng)。

區(qū)域操作模塊是本系統(tǒng)的重點，將優(yōu)化后得到的目標(biāo)跟蹤方法以交互標(biāo)注的形式結(jié)合到此模塊中，使標(biāo)注系統(tǒng)能夠?qū)σ曨l文件進(jìn)行自動標(biāo)注。該模塊包括手動標(biāo)注、自動標(biāo)注以及修改標(biāo)簽三個主要功能。目標(biāo)標(biāo)注框如圖3所示。

數(shù)據(jù)導(dǎo)出模塊主要包括標(biāo)注完成后的標(biāo)注框結(jié)果以及視頻和圖像信息。導(dǎo)出結(jié)果用于后續(xù)機(jī)器學(xué)習(xí)的數(shù)據(jù)集。導(dǎo)出模塊的主要任務(wù)是得到注釋文件。為了使注釋文件充分包含目標(biāo)標(biāo)注信息，具有直觀性和適應(yīng)性，系統(tǒng)采用XML格式對注釋信息進(jìn)行編寫。XML為可擴(kuò)展標(biāo)記語言，更加便于控制數(shù)據(jù)的存儲和傳輸，其包含信息如下：

1） 標(biāo)注框?qū)?yīng)原圖片的文件夾名稱;

2） 對應(yīng)的具體圖片名稱;

3） 對應(yīng)圖片在文件夾中的路徑;

4） 圖片數(shù)據(jù)庫來源;

5） 對圖像尺寸進(jìn)行長寬高說明;

6） 圖片是否用于被分割，0表示用于，1表示不用于;

7） 被標(biāo)注目標(biāo)的信息，包括標(biāo)注目標(biāo)的標(biāo)簽類別、拍攝角度、是否被裁剪、是否容易被識別以及標(biāo)注框的左下角以及右上角坐標(biāo)信息。

3 ?實驗與仿真

3.1 ?實驗環(huán)境與評價指標(biāo)

本文實驗環(huán)境如下：硬件環(huán)境為CPU Inter i5?6300HQ，4 GHz配置的計算機(jī);軟件環(huán)境為Windows 10操作系統(tǒng);算法開發(fā)平臺為Matlab R2016a和Pycharm 2018;所用編程語言為Matlab和Python。

在算法性能測試實驗中：首先在OTB公開數(shù)據(jù)集中對跟蹤算法進(jìn)行性能測試，其中定性測試為通過測試集中David，Sylvester，car及trellis四個分別具有目標(biāo)尺度變化、光照強(qiáng)度變化、目標(biāo)快速移動以及運動目標(biāo)旋轉(zhuǎn)的視頻對本文算法和對比算法進(jìn)行性能評價。在定量測試時，計算算法的距離精度和重疊精度，并對這些結(jié)果取平均值得到最終精度并繪制曲線。之后對水下構(gòu)筑物裂縫視頻進(jìn)行實際標(biāo)注測試，對標(biāo)注結(jié)果的準(zhǔn)確度以及標(biāo)注時長進(jìn)行分析，得出系統(tǒng)對于水下缺陷標(biāo)注的可靠性和準(zhǔn)確性。最后對系統(tǒng)進(jìn)行穩(wěn)定性測試，穩(wěn)定性測試（可靠性測試）即給系統(tǒng)施加一定的工作負(fù)載，通過記錄各功能的響應(yīng)時間以及崩潰次數(shù)，檢測系統(tǒng)是否能夠穩(wěn)定運行。

3.2 ?算法測試實驗

3.2.1 ?系統(tǒng)性能測試

將本文提出的CSR?KCF跟蹤算法和3種跟蹤算法（基于統(tǒng)計學(xué)習(xí)的Boosting跟蹤算法[10?11]、基于特征的TLD跟蹤算法[12?13]和KCF算法）在目標(biāo)尺度變化、光照強(qiáng)度變化、目標(biāo)快速移動以及運動目標(biāo)旋轉(zhuǎn)等性能上進(jìn)行對比試驗，進(jìn)行性能評價。四種跟蹤算法在視頻測試集的實驗結(jié)果如圖4所示。

綜合4個測試序列中不同跟蹤算法面對干擾時的跟蹤結(jié)果，綜合比較可知，本文提出的優(yōu)化算法在面對目標(biāo)尺度變化、目標(biāo)快速移動、光照強(qiáng)度變化等挑戰(zhàn)時具有較優(yōu)越的性能，在跟蹤魯棒性以及準(zhǔn)確度方面明顯優(yōu)于其他算法;而Boosting跟蹤方法由于算法的單一性以及分類器的限制性，容易發(fā)生跟蹤漂移從而導(dǎo)致跟蹤失敗。將算法在OTB100公開數(shù)據(jù)集中進(jìn)行定量測試，由評價指標(biāo)得到各算法的距離精度曲線和重疊精度曲線，結(jié)果如圖5所示。

綜合精度曲線結(jié)果，得出本文提出的優(yōu)化CSR?KCF算法優(yōu)于對比的3種跟蹤算法，算法精度最高，能夠在距離閾值為20時達(dá)到距離差值基本全部小于給定閾值，在重疊閾值為0.6時，精度達(dá)到80.2%。相比于KCF算法，距離精度提高0.015，重疊精度提高0.123，具有較好的跟蹤性能和較高的準(zhǔn)確度。

3.2.2 ?水下構(gòu)筑物裂縫缺陷標(biāo)注實驗

針對水下裂縫視頻存在著光照強(qiáng)度低、視野模糊、陰影較多等干擾因素，將水下缺陷標(biāo)注結(jié)果的準(zhǔn)確度作為實驗測試中較為重要的指標(biāo)。在水下裂縫視頻標(biāo)注過程中，系統(tǒng)整體操作界面如圖6所示。

在測試過程中，選取分別具有目標(biāo)區(qū)較顯著、低光照強(qiáng)度、弱目標(biāo)、視野模糊等4種水下構(gòu)筑物裂縫的視頻進(jìn)行具體實驗，如圖7所示。測試結(jié)果如表1所示。

由表1結(jié)果可知，該系統(tǒng)在各類對水下裂縫缺陷視頻的目標(biāo)標(biāo)注中，仍具有較高的準(zhǔn)確度，并且能夠?qū)?biāo)注結(jié)果按指定格式存放，用于之后的水下裂縫檢測的訓(xùn)練數(shù)據(jù)集，標(biāo)注結(jié)果如圖8所示。

由圖8可知，標(biāo)注框在目標(biāo)運動過程中始終能夠?qū)δ繕?biāo)區(qū)域進(jìn)行較準(zhǔn)確的框選，為之后裂縫的識別訓(xùn)練提供質(zhì)量以及數(shù)量保證。根據(jù)測試結(jié)果可知，本系統(tǒng)能夠?qū)崿F(xiàn)智能化標(biāo)注，并具有較強(qiáng)的普適性以及可運行性，可為機(jī)器學(xué)習(xí)提供大量可靠樣本。

3.3 ?系統(tǒng)穩(wěn)定性測試

系統(tǒng)穩(wěn)定性對操作人員有著重要意義，穩(wěn)定性的好壞直接影響到系統(tǒng)的響應(yīng)時間以及系統(tǒng)的運行性能，所以穩(wěn)定性測試是系統(tǒng)測試中非常重要的一環(huán)。在具體實驗過程中，對系統(tǒng)各個主要功能按鍵穩(wěn)定性進(jìn)行測試，分別對各按鍵重復(fù)測試500次，得出各按鍵平均響應(yīng)速度以及成功次數(shù)，結(jié)果如圖9所示。

根據(jù)各按鍵響應(yīng)時間折線圖可知，系統(tǒng)各功能響應(yīng)速度較快，均不超過0.6 s，同時響應(yīng)時間均在一定閾值內(nèi)小范圍波動，具有較高的穩(wěn)定性。對圖中響應(yīng)時間求平均值并綜合系統(tǒng)測試效果可得系統(tǒng)穩(wěn)定性測試結(jié)果，如表2所示。

對表2中實驗測試結(jié)果進(jìn)行分析可知，本文系統(tǒng)在一定程度上具有抗壓能力，能夠快速對系統(tǒng)操作產(chǎn)生響應(yīng)，所以本文設(shè)計的水下缺陷智能標(biāo)注系統(tǒng)能夠在運行上滿足用戶操作的基本需求，具有一定的穩(wěn)定性和高可靠性，可以推廣使用。

4 ?結(jié) ?語

本文集中研究并設(shè)計了基于跟蹤算法的智能標(biāo)注系統(tǒng)，在視頻標(biāo)注時結(jié)合跟蹤算法，從而實現(xiàn)對水下裂縫缺陷的智能標(biāo)注，能夠在視頻中對目標(biāo)進(jìn)行準(zhǔn)確跟蹤并成功標(biāo)注。

基于跟蹤算法的智能標(biāo)注系統(tǒng)在本文中雖然已經(jīng)實現(xiàn)基本功能，但是在系統(tǒng)整體性能以及智能化程度方面，還有一些需要解決的問題，如下：

1） 加入目標(biāo)智能識別技術(shù)，與目標(biāo)跟蹤技術(shù)相結(jié)合，實現(xiàn)系統(tǒng)對視頻文件完全自動地進(jìn)行目標(biāo)標(biāo)注;

2） 增加云標(biāo)注功能，實現(xiàn)系統(tǒng)數(shù)據(jù)的實時共享;

3） 對系統(tǒng)進(jìn)行管理員操作權(quán)限設(shè)置，提高系統(tǒng)數(shù)據(jù)的安全可靠性。

參考文獻(xiàn)

[1] 李永龍，王皓冉，張華.水下機(jī)器人在水利水電工程檢測中的應(yīng)用現(xiàn)狀及發(fā)展趨勢[J].中國水利水電科學(xué)研究院學(xué)報，2018，16（6）：586?590.

[2] SHI Pengfei， FAN Xinnan， NI Jianjun， et al. A detection and classification approach for underwater dam cracks [J]. Structural health monitoring， 2016， 15（5）： 541?554.

[3] BOBKOV V A， KUDRYASHOV A P， MELMAN S V， et al. Autonomous underwater navigation with 3D environment modeling using stereo images [J]. Gyroscopy and navigation， 2018， 9（1）： 67?75.

[4] 盧湖川，李佩霞，王棟.目標(biāo)跟蹤算法綜述[J].模式識別與人工智能，2018，31（1）：61?76.

[5] HENRIQUES Jo?o F， CASEIRO Rui， MARTINS Pedro， et al. High?speed tracking with kernelized correlation filters [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 583?596.

[6] 張微，康寶生.相關(guān)濾波目標(biāo)跟蹤進(jìn)展綜述[J].中國圖象圖形學(xué)報，2017，22（8）：1017?1033.

[7] 樊佳慶，宋慧慧，張開華.通道穩(wěn)定性加權(quán)補(bǔ)充學(xué)習(xí)的實時視覺跟蹤算法[J].計算機(jī)應(yīng)用，2018，38（6）：1751?1754.

[8] 黎健成，袁春，宋友.基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽圖像自動標(biāo)注[J].計算機(jī)科學(xué)，2016，43（7）：41?45.

[9] 劉夢迪，陳燕俐，陳蕾.圖像自動標(biāo)注技術(shù)研究進(jìn)展[J].計算機(jī)應(yīng)用，2016，36（8）：2274?2281.

[10] GRABNER H， LEISTNER C， BISCHOF H. Real?time tracking via on?line boosting [C]// Proceedings of British Machine Vision Conference. Edinburgh： BMVC， 2006： 47?56.

[11] 李義翠，亓琳，譚舒昆.結(jié)合PN約束在線半監(jiān)督boosting目標(biāo)跟蹤算法[J].計算機(jī)工程與應(yīng)用，2017，53（23）：129?134.

[12] KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking?learning?detection [J]. IEEE transactions on pattern analysis&machine intelligence， 2011， 34（7）： 23?26.

[13] 吳忠文，費樹岷.基于TLD目標(biāo)跟蹤算法的優(yōu)化[J].工業(yè)控制計算機(jī)，2018，31（4）：77?79.