基于改進RESSD網(wǎng)絡(luò)的地面目標無人機定位技術(shù)

宋建輝，楊佰強，劉硯菊，王思宇

(沈陽理工大學(xué) 自動化與電氣工程學(xué)院，沈陽 110159)

目標識別技術(shù)可以被廣泛應(yīng)用于各生活領(lǐng)域及小型自尋導(dǎo)引頭等軍民領(lǐng)域，并且隨著機器視覺理論的逐步發(fā)展，在智能交通系統(tǒng)、無人機檢測跟蹤等研究領(lǐng)域都有著重要的應(yīng)用[1]。目標識別作為無人機視覺定位技術(shù)視覺分析階段的核心技術(shù)之一，主要包括目標分類識別與運動目標檢測這兩個問題[2]，待定位目標的識別精度和速度直接影響到目標定位的效果，無人機在進行圖像采集時，目標與背景邊緣對比度小，傳統(tǒng)邊緣檢測算法應(yīng)用于這類圖像準確率低[3]。傳統(tǒng)的特征算子檢測算法在無人機距離目標較遠的情況下，加上地面目標的尺度旋轉(zhuǎn)性，特征點顯著度降低，分塊匹配策略需提取的特征點過多導(dǎo)致匹配時間過長進而降低實時性[4]?；谏疃葘W(xué)習(xí)的目標識別和視覺定位技術(shù)使用卷積神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)邊緣檢測和特征檢測算法來作為圖像處理模塊，深度學(xué)習(xí)的目標檢測算法模型可歸結(jié)為兩類，基于Two-stage的卷積神經(jīng)網(wǎng)絡(luò)雖然精度很高，但大量候選框的聚類繼而分類回歸需要更多的聚類時間和計算量，難以實現(xiàn)定位實時性。與其相比，以YOLO[5]、SSD(Single Shot Multi Box Detector)[6]為代表的基于One-stage(單階段檢測)的卷積神經(jīng)網(wǎng)絡(luò)能在圖像上不同位置均勻采樣后直接進行一步分類回歸，縮短了檢測時間以實現(xiàn)后續(xù)定位實時性，通過配合多種數(shù)據(jù)庫設(shè)備，能達到無人機對地面運動目標的檢測識別與定位要求。綜上，研究基于深度學(xué)習(xí)的地面目標識別與定位技術(shù)不僅具有較高的理論意義，而且有廣泛的實用參考價值。

本文研究基于深度學(xué)習(xí)的目標識別和無人機視覺定位技術(shù)。使用改進SSD目標識別網(wǎng)絡(luò)作為無人機視覺定位技術(shù)中的圖像處理模塊，在保證使用SSD網(wǎng)絡(luò)滿足定位實時性的基礎(chǔ)上，設(shè)計調(diào)制系數(shù)使網(wǎng)絡(luò)變相側(cè)重于挖掘困難樣本的信息，為解決SSD網(wǎng)絡(luò)與基于Two-stage(雙階段檢測)的網(wǎng)絡(luò)相比精度不理想的問題，修改SSD子網(wǎng)絡(luò)結(jié)構(gòu)，引入包含殘差單元的預(yù)測模塊和反卷積網(wǎng)絡(luò)來提高網(wǎng)絡(luò)復(fù)雜度和檢測尺度，合并引入的網(wǎng)絡(luò)模塊來提高檢測速度，最后通過得到的目標中心像素坐標進行坐標變換，解算出目標位置信息，驗證技術(shù)的可行性。

1 RESSD網(wǎng)絡(luò)改進

1.1 SSD網(wǎng)絡(luò)原理

2016年Liu Wei 提出一種基于One-Stage的網(wǎng)絡(luò)模型——SSD。SSD算法的主網(wǎng)絡(luò)結(jié)構(gòu)是VGG16，將最后兩個全連接層改成卷積層，并隨后增加了4個級聯(lián)卷積層來獲得多尺度特征圖用于目標檢測[7]，同時SSD借鑒了RPN網(wǎng)絡(luò)中Anchor的機制思想，在多特征圖上獲得大量的默認框(Default box)，利用非極大值抑制冗余候選框，最后將剩余的先驗框進行回歸與分類。主要結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)主結(jié)構(gòu)

1.2 殘差網(wǎng)絡(luò)模塊和反卷積模塊引入

針對網(wǎng)絡(luò)層數(shù)加深帶來的訓(xùn)練錯誤增加和過擬合導(dǎo)致的梯度消失問題，構(gòu)建結(jié)合ResNet152卷積子網(wǎng)絡(luò)作為深度殘差網(wǎng)絡(luò)(Deep Residual Network)的SSD模型(RESSD)，圖2所示的結(jié)構(gòu)為引入的包含殘差單元的預(yù)測模塊，殘差通道卷積處理后的原特征提取層與網(wǎng)絡(luò)主卷積通道特征相加[8]，計算效率比VGG高，大幅度解決梯度消失問題，保證了在增加網(wǎng)絡(luò)深度獲得多尺度特征的同時訓(xùn)練誤差的控制。

圖2 殘差單元預(yù)測模塊

為了更匹配無人機航拍采集圖像的地面目標檢測，借鑒FPN網(wǎng)絡(luò)的結(jié)構(gòu)引入反卷積模塊[9]，拓展網(wǎng)絡(luò)上下文信息，融合網(wǎng)絡(luò)高低層特征，將提取到的深層特征傳遞出來與網(wǎng)絡(luò)淺層特征信息融合，其特征提取充分性有極大提高，使檢測精度可以達到和復(fù)雜卷積網(wǎng)絡(luò)一樣的效果[10]。使用反卷積層代替簡單的雙線性插值法應(yīng)用于采樣階段，每個卷積層尤其是低層特征層緊隨一個歸一化層[11]。RESSD網(wǎng)絡(luò)對小目標以及具有顯著區(qū)分度的背景目標的圖片特征提取更充分。

1.3 RESSD網(wǎng)絡(luò)系數(shù)優(yōu)化

本文針對網(wǎng)絡(luò)對難例樣本的學(xué)習(xí)不充分和網(wǎng)絡(luò)層數(shù)加深引起的速度下降這兩個問題，在ResNet152作為卷積子網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，提出了改進RESSD網(wǎng)絡(luò)。

1.3.1 設(shè)計調(diào)制因子

本文利用RESSD網(wǎng)絡(luò)迭代損失函數(shù)與其反向傳播進行更新權(quán)重的特點，在不增加Easy example[12](簡單樣本)損失值的基礎(chǔ)上減小權(quán)重，變相增加難例樣本對loss的累加貢獻，引導(dǎo)網(wǎng)絡(luò)側(cè)重難例樣本的學(xué)習(xí)，提高網(wǎng)絡(luò)識別小目標困難樣本的精度。

RESSD網(wǎng)絡(luò)參考并借鑒了傳統(tǒng)交叉熵損失函數(shù)[13](Cross Entropy)，使用Focal Loss[14]函數(shù)，構(gòu)成FL-RESSD模型，引入調(diào)制因子(1-pi)α*β，公式為

FL(pi)=-(1-pi)α*βlog(pi)

(1)

式中：α、β≥0，為自定義聚焦參數(shù)；pi為預(yù)測樣本概率，(1-pi)∈(0，1)。當(dāng)網(wǎng)絡(luò)學(xué)習(xí)Easy example時，(1-pi)很小，引入調(diào)制系數(shù)(1-pi)α*β后，數(shù)值呈幾何倍數(shù)趨近于零，對loss的累加貢獻下降。隨著α、β的增加，調(diào)制系數(shù)增加，預(yù)測正確的Easy example的損失值削減變快，不會對總體損失值有主導(dǎo)作用。

1.3.2 設(shè)計權(quán)重因子

針對模型泛化性降低的網(wǎng)絡(luò)訓(xùn)練問題，本文使用單類別車輛樣本集合進行訓(xùn)練，占比為1，自定義加權(quán)因子，后續(xù)根據(jù)課題進展增加新類樣本集合。

在FL-RESSD模型損失函數(shù)基礎(chǔ)上，引入權(quán)重因子得到新的損失函數(shù)，公式為

FL(pi)=-δi(1-pi)α*βlog(pi)

(2)

式中：δi=δ*i，i為通過交叉驗證得到的倍數(shù)因子；FL(pi)為新?lián)p失函數(shù)下的樣本損失值。

進行車輛單類目標識別時，取δi=1、α=1、β=2時，經(jīng)過仿真對比得到傳統(tǒng)交叉熵損失函數(shù)與新?lián)p失函數(shù)對比效果如表1所示，CE(pi)為傳統(tǒng)交叉熵損失函數(shù)下的樣本損失值，F(xiàn)L(pi)/CE(pi)表示樣本對loss貢獻度的相對占比。

表1 CE/FL損失函數(shù)結(jié)果對比表

從表1中可以看出，pi越高對應(yīng)的是Easy example損失值和貢獻度相對占比越小，當(dāng)pi較小時意味著樣本往往容易誤判，這也就是難例樣本，表中數(shù)據(jù)表明難例樣本損失值下降幅度控制在20%以內(nèi)，貢獻度相對占比大，變相提高了難例樣本對loss的累加貢獻，引導(dǎo)網(wǎng)絡(luò)模型側(cè)重難例樣本的學(xué)習(xí)，更集中于難例樣本分類。

1.4 融合卷積與歸一化層

RESSD作為卷積子網(wǎng)絡(luò)結(jié)構(gòu)確實能保證網(wǎng)絡(luò)提取深淺層特征的信息融合，特征提取的充分性也提升了網(wǎng)絡(luò)對小目標的檢測效果，但網(wǎng)絡(luò)模型層數(shù)加深的同時也帶來網(wǎng)絡(luò)推理速度的降低，針對速度下降的問題，將RESSD網(wǎng)絡(luò)的ResNet卷積子網(wǎng)絡(luò)和大量BN層(歸一化層)融合，減少網(wǎng)絡(luò)推理時間，卷積融合BN層公式為

(3)

式中：ωx+b為卷積計算結(jié)果；通過網(wǎng)絡(luò)學(xué)習(xí)得到縮放因子γ和偏置β；σ2為方差；μ為均值。將融合后卷積層的加權(quán)ω_new和偏差b_new計算公式寫為式(4)和式(5)，整理得到式(6)。

(4)

(5)

xout=ω_new+b_new

(6)

對SSD300、SSD513、未進行網(wǎng)絡(luò)融合的RESSD網(wǎng)絡(luò)和本文網(wǎng)絡(luò)融合的RESSD進行實驗對比，使用網(wǎng)絡(luò)檢測達到的幀率作為網(wǎng)絡(luò)檢測速度的評價參數(shù)。實驗結(jié)果如表2所示。在設(shè)計ResNet152卷積子網(wǎng)絡(luò)替代VGG16的網(wǎng)絡(luò)結(jié)構(gòu)后，模型響應(yīng)速度下降到10.3fps，不能實現(xiàn)實時視覺定位。

表2 調(diào)試各網(wǎng)絡(luò)速度對比

將歸一化層與卷積層融合后，網(wǎng)絡(luò)的復(fù)雜度大幅降低，網(wǎng)絡(luò)識別的速度可達到33.2fps。調(diào)試中發(fā)現(xiàn)改進RESSD網(wǎng)絡(luò)內(nèi)存使用率下降30%，一定程度上降低了硬件設(shè)備的局限性。

2 視覺定位技術(shù)

圖3所示為圖像像素坐標系、圖像物理坐標系、攝像機坐標系和世界坐標系的關(guān)系。

圖3 像素、圖像物理、攝像機和世界坐標系的關(guān)系圖

整理四個坐標系的關(guān)系，可得式(7)為

(7)

式中：u、v即為目標檢測網(wǎng)絡(luò)提供的目標中心點像素坐標；u0、v0為圖像中心點像素坐標；Zc為深度信息；dx、dy為像素單位長度；R、T為旋轉(zhuǎn)平移矩陣。由式(7)解算出的Xw、Yw、Zw即為待定位目標位于世界坐標系的坐標。

使用改進RESSD目標檢測網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的圖像處理模塊實現(xiàn)無人機地面目標視覺定位技術(shù)，具體流程如下圖4所示。

圖4 改進RESSD網(wǎng)絡(luò)的無人機視覺定位技術(shù)流程

3 實驗驗證分析

將無人機實地航拍圖片的識別精度和定位實時性作為基于RESSD網(wǎng)絡(luò)的地面目標無人機視覺定位技術(shù)的性能衡量標準，并總結(jié)分析相應(yīng)的指標。

3.1 實驗訓(xùn)練配置

數(shù)據(jù)集主要來源為UCAS-AOD，另外新增了現(xiàn)實場景距地80～120m的飛行高度范圍多觀測角度、多高度實地航拍的地面車輛圖像，與篩選后的航拍數(shù)據(jù)集共同組成本文使用的數(shù)據(jù)集UCAS-AOD-ADD。采用加入噪聲、調(diào)整亮度、旋轉(zhuǎn)等方法擴大樣本[15]，UCAS-AOD-ADD數(shù)據(jù)集由車輛目標構(gòu)成，其中訓(xùn)練集與測試集的數(shù)量比例為8∶1。

操作系統(tǒng)為64位Ubuntu16.04系統(tǒng)，安裝Tensorflow1.14和python 3.5(64-bit)，以Tensorflow框架作為運行環(huán)境，訓(xùn)練RESSD網(wǎng)絡(luò)模型，GPU為NVIDIA GeForce RTX 2060，顯存6GB+GDDR6。訓(xùn)練ResNet152為卷積子網(wǎng)絡(luò)的RESSD網(wǎng)絡(luò)模型，將網(wǎng)絡(luò)訓(xùn)練初始學(xué)習(xí)率設(shè)為0.001，在30000步降為0.0001、50000步降為0.00001，再以與前兩階段同樣的學(xué)習(xí)率和迭代次數(shù)固定參數(shù)針對反卷積網(wǎng)絡(luò)進行訓(xùn)練，以此提高網(wǎng)絡(luò)參數(shù)利用率。

為了更符合UCAS-AOD-ADD數(shù)據(jù)集的要求，本文通過在訓(xùn)練時設(shè)計調(diào)制系數(shù)和固定權(quán)重因子，將設(shè)計的FL-RESSD模型損失函數(shù)應(yīng)用到所有候選區(qū)域里訓(xùn)練驗證，RESSD模型損失變化與準確度曲線如圖5所示。圖5a為RESSD網(wǎng)絡(luò)模型損失曲線，圖5b為RESSD網(wǎng)絡(luò)模型訓(xùn)練準確率曲線圖。

從圖5中可以觀察到，訓(xùn)練剛開始損失值比較大，原因是數(shù)據(jù)集采集制作中航拍高度與角度的多樣性導(dǎo)致樣本尺寸位置存在差異性，尤其是一些包含大量小目標的困難樣本成為損失值的貢獻源，采用在不同迭代梯度設(shè)置對應(yīng)學(xué)習(xí)率的策略，在迭代次數(shù)達到6萬次后，損失值和訓(xùn)練準確率曲線的超調(diào)量波動已經(jīng)收斂，最終準確率趨近于0.94，網(wǎng)絡(luò)損失下降至約0.35，得到的網(wǎng)絡(luò)模型訓(xùn)練學(xué)習(xí)的權(quán)重結(jié)果相對理想。

圖5 RESSD模型損失變化與準確率曲線

3.2 網(wǎng)絡(luò)性能對比

為了驗證本文提出的改進RESSD網(wǎng)絡(luò)的有效性，以mAP(mean Average Precision)作為評價指標，使用UCAS-AOD-ADD數(shù)據(jù)集訓(xùn)練四個網(wǎng)絡(luò)，結(jié)合Resnet152卷積子網(wǎng)絡(luò)結(jié)構(gòu)、擴充上下文信息改進RESSD網(wǎng)絡(luò)由“M+”表示，引入新調(diào)制系數(shù)改進RESSD網(wǎng)絡(luò)由“FL+”表示，結(jié)合上述2種改進由“FM+”表示，檢測結(jié)果如表3所示。

表3 每種改進方式對mAP的影響

與SSD300網(wǎng)絡(luò)比較，結(jié)合Resnet152卷積子網(wǎng)絡(luò)結(jié)構(gòu)、擴充上下文信息改進RESSD網(wǎng)絡(luò)，mAP提高了3.2%；引入新調(diào)制系數(shù)改進RESSD網(wǎng)絡(luò)，mAP提高了4.6%；結(jié)合上述2種改進，并將改進的RESSD網(wǎng)絡(luò)通過采用邊界框置信度得分取最大值操作微調(diào)邊界框預(yù)測規(guī)則，有效減小了車輛目標的重檢和相似背景采樣對網(wǎng)絡(luò)的干擾，最終在對車輛類目標的檢測上能夠達到88.4%的識別率，增強了RESSD網(wǎng)絡(luò)的魯棒性。

圖6所示為部分多角度、多高度航拍圖片的檢測結(jié)果，圖片尺寸為321×321，按照圖像像素坐標系的定義得到的檢測框四個頂點與目標車輛實際邊框平均像素誤差不超過2pt，改進的RESSD網(wǎng)絡(luò)跟傳統(tǒng)的SSD300網(wǎng)絡(luò)作比較，mAP總體提高了8.9%。

圖6 部分檢測結(jié)果示例

3.3 視覺定位性能分析

為了驗證分析本文提出的使用改進RESSD目標識別網(wǎng)絡(luò)作為圖像處理模塊支持無人機對地目標進行視覺定位技術(shù)的可行性與性能，在原有UCAS-AOD-ADD數(shù)據(jù)集的基礎(chǔ)上增加構(gòu)建的驗證集，無人機在對地80～120m內(nèi)懸停，設(shè)置攝像機三個拍攝角度各為90°、60°、45°，采集若干張影像，將構(gòu)建的驗證集圖像進行尺寸調(diào)整后導(dǎo)入網(wǎng)絡(luò)，將網(wǎng)絡(luò)識別出的目標邊框與真實邊框進行對比得到檢測框準確率，將識別定位解算結(jié)果與提前記錄的目標車輛實際位置信息進行對比得到定位誤差，如表4所示。

表4 無人機視覺定位檢測率及誤差

檢測框準確率q計算公式為

(8)

(xtrue.min，ytrue.min)，(xtrue.max，ytrue.max)分別為真實框左下角和右上角兩個頂點坐標。(xmin，ymin)，(xmax，ymax)分別為檢測框左下角和右上角頂點坐標。

分析表4中結(jié)果可以發(fā)現(xiàn)：攝像機在不同姿態(tài)下的檢測框準確率和定位誤差有所不同，以這兩個指標作為評判標準來衡量定位效果，以90°高低角拍攝的圖像在進行視覺定位時的性能最佳。目標車輛在圖像中的位置會伴隨高低角的變化產(chǎn)生投影誤差，非90°垂直拍攝時投影誤差與高低角呈反比例關(guān)系，投影誤差越大，正確的目標車輛檢測框誤差也會隨之增大，直接影響到目標車輛定位精度，可以通過在適當(dāng)高度范圍內(nèi)升高無人機拍攝高度、調(diào)整高低角接近90°等方法來抵消部分投影誤差對無人機視覺定位準確率的干擾。使用90°高低角條件下采集的數(shù)據(jù)進行定位，正確的目標車輛檢測框準確度達到了96.2%，定位誤差降低至0.20m，針對無人機視覺定位技術(shù)的標準可以達到要求。

4 結(jié)論

本文以改進的RESSD目標識別網(wǎng)絡(luò)作為無人機視覺定位技術(shù)中的圖像處理模塊，依靠擴充上下文信息和引入包含殘差單元的預(yù)測模塊，設(shè)計調(diào)制系數(shù)，加強網(wǎng)絡(luò)對航拍的小目標車輛和難例樣本的檢測效果，改進的RESSD網(wǎng)絡(luò)識別精度得到提高，構(gòu)建UCAS-AOD-ADD數(shù)據(jù)集并進行網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，根據(jù)檢測出的目標邊界點像素坐標通過坐標變換最終解算出待定位航拍車輛類目標的位置信息。無人機視覺定位系統(tǒng)規(guī)定1000m高空定位誤差在80m以下，本技術(shù)在無人機飛行懸停高度為80～120m范圍、拍攝高低角為45～90°范圍的條件下，將定位誤差控制在0.3m以內(nèi)的同時能達到90%以上的正確車輛類目標區(qū)域檢測率，小于視覺定位系統(tǒng)要求的誤差，檢測速度達到33幀/s，高于國內(nèi)使用PAL制式幀率要求的25幀/s，能滿足實時性要求，對無人機航拍車輛類目標識別的mAP達到88.4%。綜上基于改進RESSD網(wǎng)絡(luò)的地面目標無人機視覺定位技術(shù)，在實現(xiàn)了無人機視覺定位技術(shù)實時性的同時也滿足了定位精度要求。