基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)檢測(cè)算法綜述

黃罡

摘要：無人機(jī)是信息化時(shí)代的新型技術(shù)產(chǎn)物，它涉及數(shù)據(jù)采集、智能控制、信息處理、通信等相關(guān)技術(shù)。同時(shí)具有操作靈活、體積小巧、機(jī)動(dòng)性高等優(yōu)點(diǎn)，這些特點(diǎn)都有效的豐富了無人機(jī)多元化的使用場(chǎng)景。隨著無人機(jī)技術(shù)的不斷成熟，無人機(jī)已經(jīng)在相關(guān)領(lǐng)域被廣泛使用。有別于載人航空設(shè)備，無人機(jī)要在弱人機(jī)交互環(huán)境下實(shí)現(xiàn)相關(guān)任務(wù)，就需要擁有場(chǎng)景智能解讀和處理能力，對(duì)于場(chǎng)景的理解力的提升必然要基于目標(biāo)檢測(cè)。計(jì)算機(jī)視覺技術(shù)早在20世紀(jì)90年代就已經(jīng)開始應(yīng)用于無人機(jī)領(lǐng)域，早期受限于微處理器較差的運(yùn)算能力，相關(guān)算法雖然有一定的優(yōu)化但總體上發(fā)展緩慢。經(jīng)過幾十年的發(fā)展，目前隨著處理器運(yùn)算能力的顯著提升，利用計(jì)算機(jī)視覺相關(guān)技術(shù)解決無人機(jī)應(yīng)用中的問題顯得更加得心應(yīng)手。

關(guān)鍵詞：計(jì)算機(jī)視覺;無人機(jī);目標(biāo)檢測(cè);

引言

隨著無人機(jī)在軍用及民用領(lǐng)域的廣泛應(yīng)用，以無人機(jī)為平臺(tái)的圖像獲取和處理技術(shù)在軍事、交通、物流和攝影等諸多領(lǐng)域得到快速發(fā)展?；跓o人機(jī)視覺的多目標(biāo)跟蹤技術(shù)已成為一項(xiàng)重要的研究課題。而無人機(jī)采集的視頻中往往存在目標(biāo)被遮擋而發(fā)生身份跳變的問題，因此研究一種高效、魯棒的無人機(jī)多目標(biāo)跟蹤算法對(duì)無人機(jī)的應(yīng)用具有十分重要的意義。

1算法概述

基于目標(biāo)檢測(cè)的多目標(biāo)跟蹤策略，也稱為TBD（Tracking By Detection）策略，是當(dāng)前MOT算法研究的熱點(diǎn)。本文采用的TBD策略為先用YOLOv4-ti?ny檢測(cè)進(jìn)行目標(biāo)檢測(cè)，再用Deep SORT進(jìn)行多目標(biāo)跟蹤。具體實(shí)現(xiàn)步驟：首先使用YOLOv4-tiny目標(biāo)檢測(cè)算法對(duì)當(dāng)前無人機(jī)視頻中的行人及車輛進(jìn)行檢測(cè)，得到其位置坐標(biāo)、分類及可信度;其次使用卡爾曼濾波算法預(yù)測(cè)下一幀的目標(biāo)框狀態(tài)，對(duì)預(yù)測(cè)結(jié)果和測(cè)量結(jié)果進(jìn)行更新;緊接著使用匈牙利算法將當(dāng)前檢測(cè)到的目標(biāo)與上一幀檢測(cè)到的目標(biāo)進(jìn)行級(jí)聯(lián)匹配，得到關(guān)聯(lián)的目標(biāo)框;最后根據(jù)匹配結(jié)果將關(guān)聯(lián)的目標(biāo)框作為觀測(cè)值更新狀態(tài)，得到當(dāng)前幀的更新結(jié)果。

2目標(biāo)檢測(cè)在無人機(jī)領(lǐng)域的前沿研究

2.1復(fù)雜環(huán)境小目標(biāo)下的研究

受到航拍過程中目標(biāo)像素過低且環(huán)境復(fù)雜因素的影響，目標(biāo)檢測(cè)中的小目標(biāo)檢測(cè)一直都是研究中的難點(diǎn)。對(duì)于無人機(jī)圖像中復(fù)雜背景下噪聲信息過大的問題，Audebert等同過全卷積網(wǎng)絡(luò)對(duì)檢測(cè)目標(biāo)進(jìn)行嚴(yán)格分割，而后通過連通分量進(jìn)行目標(biāo)檢測(cè)，從而證明了語義分割和目標(biāo)檢測(cè)的結(jié)合可以有效提高目標(biāo)檢測(cè)效率。在此基礎(chǔ)上采用了RPN來對(duì)噪聲信息進(jìn)行抑制。此方法將集成后的新特征點(diǎn)進(jìn)行空洞空間金字塔池化和卷積得到語義特征后，由RPN得到Region Proposal再根據(jù)概率值篩選后經(jīng)過類似的標(biāo)記過程被傳入R-CNN子網(wǎng)絡(luò)進(jìn)更加準(zhǔn)確的坐標(biāo)回歸。在小目標(biāo)檢測(cè)方面，為了提高檢測(cè)的準(zhǔn)確性，2016年提出了FPN算法，通常高層特征語義信息較為豐富而目標(biāo)位置卻不太準(zhǔn)確底層特征語義雖然較少但是目標(biāo)位置更加準(zhǔn)確，作利用深度卷積網(wǎng)絡(luò)固有的多尺度金字塔層次結(jié)構(gòu)來構(gòu)建具有邊際額外成本的特征金字塔。開發(fā)了具有橫向連接的自頂向下架構(gòu)，用于構(gòu)建所有尺度的高級(jí)語義特征圖。FPN算法將不同特征層獨(dú)立進(jìn)行預(yù)測(cè)，采用了頂層特征和低層特征做融合。

2.2無人機(jī)目標(biāo)跟蹤

KCF算法中，以前一幀目標(biāo)的位置信息作為下一幀目標(biāo)跟蹤區(qū)域擴(kuò)展和采樣的中心，這樣即認(rèn)為下一幀目標(biāo)出現(xiàn)的位置總在擴(kuò)展后的區(qū)域內(nèi)，但事實(shí)卻并非如此，被跟蹤目標(biāo)一直處于運(yùn)動(dòng)的狀態(tài)，所以前一幀和下一幀總存在一定的位移，這就是跟蹤誤差產(chǎn)生的原因，隨著幀數(shù)的增多，誤差也會(huì)一點(diǎn)點(diǎn)增大，最終會(huì)跟丟目標(biāo)，因而本文采用了基于運(yùn)動(dòng)預(yù)測(cè)的跟蹤算法。

2.3檢測(cè)速度方面的研究

雖然無人機(jī)硬件目前處理速度得到了極大的提高，但檢測(cè)速度仍舊是研究的重點(diǎn)方向之一，北京理工大學(xué)的算法論文提出了提出了一種對(duì)YOLOv3的改進(jìn)版本，對(duì)原始模型的卷積層執(zhí)行通道進(jìn)行了修剪，在VisDrone2018-Det基準(zhǔn)數(shù)據(jù)集上評(píng)估顯示參數(shù)尺寸和浮點(diǎn)運(yùn)算均產(chǎn)生了大幅度的下降，運(yùn)行速度成功提高了兩倍左右，且檢測(cè)精確度和YOLOv3保持相當(dāng)。

2.4融合型數(shù)據(jù)關(guān)聯(lián)框架

融合型數(shù)據(jù)關(guān)聯(lián)方法的核心思想是在時(shí)間窗內(nèi)找出現(xiàn)有軌跡與連續(xù)視頻幀檢測(cè)之間的相關(guān)性。與最小費(fèi)用網(wǎng)絡(luò)流模型類似，融合型數(shù)據(jù)關(guān)聯(lián)框架將每個(gè)現(xiàn)有軌跡識(shí)別為特定對(duì)象。所有對(duì)象和關(guān)聯(lián)可能性組成一個(gè)網(wǎng)絡(luò)，其中對(duì)象由網(wǎng)絡(luò)的節(jié)點(diǎn)表示，關(guān)聯(lián)可能性由邊緣表示，邊緣代價(jià)用來衡量關(guān)聯(lián)的可能性。然后，該方法的實(shí)現(xiàn)轉(zhuǎn)化為通過指定對(duì)象流的最小代價(jià)來尋找最佳關(guān)聯(lián)。為了實(shí)現(xiàn)該方法，引入一個(gè)虛擬對(duì)象來識(shí)別新的對(duì)象，該對(duì)象被認(rèn)為是軌跡的原點(diǎn)。根據(jù)不同的現(xiàn)有軌跡，建立一個(gè)特定的模型，將特定對(duì)象與其他對(duì)象和背景區(qū)分開來，用于計(jì)算網(wǎng)絡(luò)各方的成本。

3無人機(jī)的目標(biāo)檢測(cè)算法研究

3.1圖像濾波

圖像過濾旨在消除原始圖像中的噪音。有多種圖像過濾方法，如平均過濾、平均過濾等。雖然使用「平均」濾鏡可以減少雜訊，但經(jīng)過濾鏡處理的影像邊緣會(huì)變得模糊。使用平均濾鏡可以減少雜訊，并使影像邊緣變得更清晰，特別是對(duì)于胡椒鹽雜訊而言，濾鏡效果更佳。

3.2圖像分割

圖像分割是一種圖像處理技術(shù)，可根據(jù)需要將圖像分割為多個(gè)重要區(qū)域或部分，其質(zhì)量直接影響到以后圖像處理的效率[3]。圖像量化后，將圖像分割算法分為三大類：（1）基于閾值的分割方法;2）邊緣分割方法;3）分區(qū)方法。區(qū)域不成體系的方法包括《區(qū)域司合并法》和《區(qū)域增長(zhǎng)法》。

3.3目標(biāo)識(shí)別

3.3.1基于經(jīng)典的統(tǒng)計(jì)識(shí)別方法

該方法生成大量樣本，測(cè)量目標(biāo)特征分布，并使用特征匹配分類技術(shù)在場(chǎng)景定義域中確定距模型空間的目標(biāo)。此方法無法正確識(shí)別復(fù)雜環(huán)境中或目標(biāo)變更時(shí)的目標(biāo)。

3.3.2基于信息融合的目標(biāo)識(shí)別方法

此方法結(jié)合了不同功能的傳感器，以提高系統(tǒng)識(shí)別復(fù)雜場(chǎng)景中目標(biāo)的能力。目標(biāo)識(shí)別方法目前主要側(cè)重于算法研究和模型開發(fā)。

3.3.3基于知識(shí)的目標(biāo)識(shí)別方法

這種方法的主要目的是查明現(xiàn)有的知識(shí)來源，在應(yīng)用新的環(huán)境中有效地組織和驗(yàn)證知識(shí)，了解規(guī)則并明確表達(dá)規(guī)則。域知識(shí)處理能力和組合決定了識(shí)別算法的性能。

結(jié)束語

無人機(jī)領(lǐng)域目標(biāo)檢測(cè)算法的相關(guān)研究目前受到了國(guó)內(nèi)外的高度關(guān)注。雖然相關(guān)的算法優(yōu)化已經(jīng)取得了不錯(cuò)的效果，但是依然存在優(yōu)化和改進(jìn)的空間。從近年來的主要研究方向來看，主要集中在尋求檢測(cè)準(zhǔn)確度與檢測(cè)速度之間的最佳契合點(diǎn)?；赮OLO算法的目標(biāo)檢測(cè)雖然提出的時(shí)間不長(zhǎng)，但是研究趨勢(shì)更加符合無人機(jī)的發(fā)展。本文從基于計(jì)算機(jī)視覺的無人機(jī)檢測(cè)技術(shù)角度出發(fā)，概括了目標(biāo)檢測(cè)在無人機(jī)中的具體問題，總結(jié)概況了目前主流的目標(biāo)檢測(cè)算法和各自算法的聯(lián)系，同時(shí)結(jié)合無人機(jī)發(fā)展的具體需求，分析了目前對(duì)于無人機(jī)目標(biāo)檢測(cè)技術(shù)主流的改進(jìn)優(yōu)化方向。隨著無人機(jī)應(yīng)用需求的進(jìn)一步提高，目標(biāo)檢測(cè)必然取得更加飛速的發(fā)展。在軍事、民用領(lǐng)域都有著廣泛的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 楊浩然，張雨晗.基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)檢測(cè)算法綜述[J].電子測(cè)試，2022，36（04）：44-45+36.

[2] 徐中旭.基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)跟隨技術(shù)研究[D].南京郵電大學(xué)，2021.

[3] 周強(qiáng).基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)檢測(cè)與隊(duì)形識(shí)別技術(shù)研究[D].中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院，2021.

[4]沈杰.計(jì)算機(jī)視覺技術(shù)在無人機(jī)上的應(yīng)用[J].數(shù)碼世界，2020（04）：11-12.

[5]黃潔，唐守鋒，童敏明，李童童，皇甫淑云.計(jì)算機(jī)視覺技術(shù)在無人機(jī)上的應(yīng)用[J].軟件導(dǎo)刊，2019，18（01）：14-16.