基于改進(jìn)YOLOv2和遷移學(xué)習(xí)的管道巡檢航拍圖像第三方施工目標(biāo)檢測

諶貴輝，易 欣*，李忠兵，錢濟(jì)人，2，陳 伍，2

（1. 西南石油大學(xué)電氣信息學(xué)院，成都610500； 2. 浙江浙能天然氣運(yùn)行有限公司科創(chuàng)中心，杭州310000）

（?通信作者電子郵箱1171866631@qq.com）

0 引言

石油、天然氣等能源輸送管道是現(xiàn)代社會經(jīng)濟(jì)發(fā)展的基礎(chǔ)設(shè)施，但是油氣管道在使用過程中會受到外界環(huán)境、內(nèi)部運(yùn)輸物質(zhì)等因素的影響，存在很高的風(fēng)險(xiǎn)，一旦發(fā)生危險(xiǎn)，將產(chǎn)生巨大的危害。而外界環(huán)境風(fēng)險(xiǎn)事故中，第三方損害占比是最高的［1］。第三方損害中包括直接的威脅管道安全的挖掘機(jī)、打樁機(jī)以及定向鉆等工程機(jī)械，間接威脅管道安全的有違章占壓建筑、重型車輛碾壓等。隨著無人機(jī)技術(shù)的快速發(fā)展，在電力行業(yè)中無人機(jī)已經(jīng)得到了較好的實(shí)際應(yīng)用［2-3］。在油氣管道巡檢應(yīng)用中，對無人機(jī)采集的圖像信息的處理方式是人工判別［4-5］或者應(yīng)用于其他場景［6］，存在著勞動強(qiáng)度大、時(shí)間成本高和結(jié)果不穩(wěn)定等問題。為解決該問題，本文將深度學(xué)習(xí)目標(biāo)檢測算法引入到天然氣管道無人機(jī)巡線監(jiān)測系統(tǒng)中，通過全球定位系統(tǒng)（Global Positioning System，GPS）信息以及目標(biāo)的位置信息判斷目標(biāo)距離管道的信息，所以整個圖像智能檢測系統(tǒng)關(guān)鍵是獲取目標(biāo)類別及準(zhǔn)確的位置信息。

傳統(tǒng)的目標(biāo)檢測方法采用手工設(shè)計(jì)特征，然后針對特征設(shè)計(jì)相應(yīng)的檢測模型，其應(yīng)用范圍、檢測精度和速度都有很大的局限性。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法獲得了很大的進(jìn)展，根據(jù)檢測方式可以分為兩大類:一類是基于區(qū)域推薦的兩階段算法，首先通過滑動窗口獲得候選目標(biāo)，再使用卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）進(jìn)行類別和位置的預(yù)測；其特點(diǎn)是精度較高但實(shí)時(shí)性較差，代表性算法有RCNN（Regions with CNN）［7］、Fast RCNN［8］、Faster RCNN［9］等，盡管該類算法的檢測精度較高，但是出于對第三方施工目標(biāo)監(jiān)測的要求，需要算法擁有較高的檢測速度。另一類是基于回歸方法的端到端算法，將目標(biāo)檢測看作回歸問題，直接通過網(wǎng)絡(luò)預(yù)測出目標(biāo)的類別及位置信息；其特點(diǎn)是速度快但精度相對而言要低一些，代表性算法有YOLO（You Only Look Once）［10］、YOLOv2［11］、YOLOv3［12］、單階段多邊框目標(biāo)檢測算法（Single Shot multibox Detector，SSD）［13］和針對SSD存在的小目標(biāo)檢測能力弱而改進(jìn)的反卷積單階段多邊框目標(biāo)檢測算法（Deconvolution Single Shot multibox Detector，DSSD）［14］等。其中，YOLOv2 和YOLOv3 都是在YOLO 算法的基礎(chǔ)上對特征提取和目標(biāo)預(yù)測方面逐步進(jìn)行改進(jìn)、演變而來的，相較于YOLO和YOLOv3，YOLOv2 在檢測精度和檢測速度上擁有更好的綜合性能。SSD 采用VGG16 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，在多個尺度下通過錨點(diǎn)機(jī)制對目標(biāo)進(jìn)行檢測，提高了檢測效果，但是同時(shí)檢測速度也有所降低。DDSD 除了用Res-101 替換VGG16外，還引進(jìn)反卷積模塊和殘差連接方式，提高SSD對小目標(biāo)的檢測能力。目前前沿的目標(biāo)檢測算法雖然在常規(guī)數(shù)據(jù)集上能取得較好效果，但是應(yīng)用在無人機(jī)管道巡檢航拍圖像上的效果并不好，主要面臨圖像目標(biāo)小、數(shù)據(jù)集較少以及圖像質(zhì)量等多方面問題。

由于第三方施工目標(biāo)尤其是挖掘機(jī)對管道危害性較大，出于管道安全保護(hù)考慮，對檢測速度有較高的要求。因此在優(yōu)先考慮檢測速度的前提下，綜合考慮檢測精度，本文提出基于YOLOv2 的改進(jìn)算法和結(jié)合遷移學(xué)習(xí)的航拍圖像小目標(biāo)實(shí)時(shí)檢測算法。

本文主要工作如下:

1）提出能夠有效提高小目標(biāo)檢測能力和位置信息檢測精度的Aerial-YOLOv2實(shí)時(shí)檢測的卷積神經(jīng)網(wǎng)絡(luò)；

2）通過數(shù)據(jù)增強(qiáng)的方法擴(kuò)大數(shù)據(jù)集規(guī)模并結(jié)合遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)；

3）使用K-means 算法聚類分析出適合本文數(shù)據(jù)集特點(diǎn)的錨點(diǎn)框尺寸以及數(shù)量；

4）使用自適應(yīng)對比度增強(qiáng)算法對航拍圖像進(jìn)行處理。寸。2）回歸預(yù)測。首先將Darknet-19 提取的特征經(jīng)過2 層卷積運(yùn)算后，將其和特征提取模塊中的26 × 26 × 512 的特征矩陣進(jìn)行降采樣后進(jìn)行合并，隨后通過3×3 的卷積計(jì)算對其特征整合，最后在使用1×1 的卷積層調(diào)整輸出維度為13× 13×425 的輸出矩陣，YOLOv2 最后對這個輸出矩陣進(jìn)行檢測。YOLOv2 借鑒Faster RCNN 錨點(diǎn)框的思想引入錨點(diǎn)機(jī)制，選擇5 個符合數(shù)據(jù)集特點(diǎn)的錨點(diǎn)框，并利用錨點(diǎn)框?qū)敵鼍仃嚱獯a。其中，13× 13× 425 的矩陣將圖像分成13× 13 個網(wǎng)格，每個網(wǎng)格包含5 個錨點(diǎn)，每個錨點(diǎn)都預(yù)測目標(biāo)的置信度、目標(biāo)位置及類別。隨后獲得每個錨點(diǎn)最大的預(yù)測概率對應(yīng)的類別，然后將該類別概率與置信度相乘獲得該錨點(diǎn)的分?jǐn)?shù)，然后刪除每個網(wǎng)格中的錨點(diǎn)分?jǐn)?shù)低于0.6 的錨點(diǎn)，再進(jìn)行非極大值抑制（Non-Maximum Suppression，NMS）操作，去除重復(fù)率過大的預(yù)測框。

圖1 YOLOv2目標(biāo)檢測算法流程Fig.1 Flowchart of YOLOv2 target detection algorithm

圖2 YOLOv2特征提取模塊及其組成Fig.2 YOLOv2 feature extraction module and its composition

1 相關(guān)知識

YOLOv2延續(xù)了YOLOv1的核心思想，將目標(biāo)檢測問題看作回歸問題，用一個卷積神經(jīng)網(wǎng)絡(luò)完成對目標(biāo)的定位以及識別，同時(shí)也針對YOLOv1 的特征提取和回歸預(yù)測部分作了改進(jìn)。

YOLOv2 目標(biāo)檢測的算法流程如圖1 所示。由圖1 可知，YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)主要由兩部分組成:1）特征提取。采用包含19層卷積層（不包含池化層）的名為Darknet-19的結(jié)構(gòu)來對416 × 416 × 3 的輸入圖像特征進(jìn)行提取，生成一個大小為13× 13× 1024 的特征矩陣。Darknet-19 特征提取部分如圖2（a）所示，由池化層和卷積塊組成，池化層起到下采樣及降維作用，卷積塊根據(jù)所包含卷積數(shù)量不同又分為A、B兩種類型，如圖2（b）～（c）所示。其中，Conv 表示該層是卷積層并包含批歸一化和Leaky-Relu激活函數(shù)，3× 3或者1× 1表示卷積核尺

2 基于Aerial-YOLOv2的航拍圖像目標(biāo)檢測

YOLOv2 目標(biāo)檢測算法不能直接應(yīng)用在無人機(jī)航拍圖像目標(biāo)的檢測，主要存在以下幾個問題:

1）航拍圖像目標(biāo)具有尺度多樣性，但在網(wǎng)絡(luò)結(jié)構(gòu)上，YOLOv2 僅在單一尺度上進(jìn)行檢測，無法在多個尺度下對目標(biāo)尤其是小目標(biāo)進(jìn)行有效檢測；另一方面，YOLOv2 使用的最大池化層使目標(biāo)位置信息出現(xiàn)丟失［15］，預(yù)測目標(biāo)位置會出現(xiàn)較大偏差。

2）在深度學(xué)習(xí)中，模型質(zhì)量與所使用的數(shù)據(jù)集的數(shù)量有直接關(guān)系。在傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練方法下直接使用已有標(biāo)簽的數(shù)據(jù)訓(xùn)練的模型檢測性能較差，需要根據(jù)航拍圖像的特點(diǎn)使用針對少量樣本訓(xùn)練模型的方法。

3）YOLOv2使用3個錨點(diǎn)框作為先驗(yàn)知識進(jìn)行目標(biāo)檢測，但是這些錨點(diǎn)框并不適合本文數(shù)據(jù)集的數(shù)據(jù)特點(diǎn)。

4）受天氣、背景和拍攝高度等影響，使用時(shí)部分輸入圖像的邊緣紋理模糊、對比度低，會降低算法檢測效果。

為了解決上述問題，本文提出基于Aerial-YOLOv2的航拍圖像的檢測算法，總體框架如圖3 所示。本文算法主要包括4 個部分:基于YOLOv2 改進(jìn)的Aerial-YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)、基于DOTA（Dataset for Object Detection in Aerial Images）［16］數(shù)據(jù)集的遷移學(xué)習(xí)、基于聚類分析的錨點(diǎn)框選擇以及自適應(yīng)對比度增強(qiáng)（Adaptive Contrast Enhancement，ACE）預(yù)處理。在訓(xùn)練階段使用DOTA 數(shù)據(jù)集在擁有同樣特征提取部分的網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，然后將其遷移到Aerial-YOLOv2網(wǎng)絡(luò)對應(yīng)部分。隨后對采集的關(guān)于第三方施工相關(guān)車輛以及違章占壓建筑物的航拍圖像數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)方法后，再對經(jīng)過遷移學(xué)習(xí)的Aerial-YOLOv2網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用聚類分析出適合該數(shù)據(jù)集特點(diǎn)的錨點(diǎn)框。在實(shí)際使用過程中，使用ACE 圖像預(yù)處理對圖像進(jìn)行處理，然后將其送入訓(xùn)練好的Aerial-YOLOv2網(wǎng)絡(luò)進(jìn)行檢測，將檢測出的正樣本添加至航拍圖像數(shù)據(jù)集中，擴(kuò)大數(shù)據(jù)集規(guī)模。

圖3 低空航拍圖像檢測算法總體框架Fig.3 Overall framework of low-altitude aerial image detection algorithm

2.1 Aerial-YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為預(yù)防漏檢目標(biāo)對管道安全產(chǎn)生威脅和提高檢測信息準(zhǔn)確度，需要降低漏檢率并且能夠?qū)δ繕?biāo)實(shí)現(xiàn)精確定位檢測，本文設(shè)計(jì)適合航拍圖像目標(biāo)檢測的網(wǎng)絡(luò)結(jié)構(gòu)Aerial-YOLOv2，如圖4 所示。從中可看出:Aerial-YOLOv2 網(wǎng)絡(luò)采用全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［17］結(jié)構(gòu)，整體結(jié)構(gòu)由特征提取和回歸預(yù)測兩個模塊組成，Conv 表示該層是卷積層，每個卷積層分別表示出了卷積核尺寸和卷積核數(shù)量（“/”后的數(shù)字表示步長，省略的默認(rèn)步長為1），卷積組由3× 3卷積和1×1卷積組成。

YOLOv2 為擴(kuò)大特征感受野，使用最大池化層對特征進(jìn)行降采樣，但是最大池化層在計(jì)算過程中會丟失部分信息，所以Aerial-YOLOv2 使用步長為2 的卷積核代替最大池化層進(jìn)行降采樣，更好地保留目標(biāo)的位置信息。

除此之外，Aerial-YOLOv2 將YOLOv2 特征提取部分中用于提取特征的卷積塊使用本文提出的卷積模塊替換，通過同一尺度下的卷積信息的融合，強(qiáng)化特征表達(dá)能力。YOLOv2在回歸預(yù)測部分對特征提取部分中的16 降采樣特征最后一層卷積特征繼續(xù)降采樣后，與32 倍降采樣特征進(jìn)行融合后進(jìn)行檢測，Aerial-YOLOv2 為加強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測能力，首先在32倍降采樣尺度下都進(jìn)行預(yù)測，然后對32倍降采樣特征進(jìn)行2倍上采樣后與特征提取部分的16倍降采樣特征融合后進(jìn)行預(yù)測。

圖4 Aerial-YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Aerial-YOLOv2 network structure

2.1.1 特征提取模塊

為減少參數(shù)數(shù)量［18］和緩解梯度消失問題［19］，使網(wǎng)絡(luò)對不同層的卷積信息都能夠被充分利用［20］，提高網(wǎng)絡(luò)對小目標(biāo)的特征提取能力，本文提出一種殘差密集卷積（Residual Dense-Convolution3，RD-C3）模塊結(jié)構(gòu)。RD-C3 模塊在同一個尺度下通過加強(qiáng)對不同層次的卷積特征的傳遞，實(shí)現(xiàn)對目標(biāo)特征的高效利用并且由于簡化了低層特征和高層特征間的聯(lián)通路徑，提高了反向傳播的效率。具體結(jié)構(gòu)如圖5所示。

圖5 RD-C3模塊的結(jié)構(gòu)Fig.5 Structure of RD-C3 module

整個RD-C3模塊能夠充分利用同一尺度下的信息，由3×3和1× 1的卷積組成。將尺度內(nèi)的3×3 卷積通過類似密集連接中的旁路方式連接，通過1× 1卷積自適應(yīng)地聚合特征信息并起到降低網(wǎng)絡(luò)計(jì)算量的作用，最后聚合所有局部卷積特征的信息和該尺度下的輸入端進(jìn)行殘差連接，實(shí)現(xiàn)該尺度下的全局殘差學(xué)習(xí)，最后2 個RD-C3 模塊中卷積核的數(shù)量相較YOLOv2 中對應(yīng)卷積減少一半。另外，每個卷積層經(jīng)過卷積計(jì)算后，都要再經(jīng)過一個批歸一化和非線性的Leaky-Relu 激活函數(shù)計(jì)算，Leaky-Relu計(jì)算如式（1）所示:

其中:xi為卷積層的輸出值；a 一般為(0，0.5)區(qū)間的一個固定值；yi為輸出值。

2.1.2 回歸預(yù)測模塊

在回歸預(yù)測模塊中通過融合底層紋理特征和高層語義特征的多尺度的方式進(jìn)行目標(biāo)檢測。YOLOv2僅僅在32倍降采樣的特征圖上進(jìn)行檢測，而經(jīng)過32 倍降采樣之后，高層特征難免會丟失部分細(xì)節(jié)信息，該檢測尺度下的目標(biāo)檢測層對小目標(biāo)的檢測能力是有限的。為了加強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測能力，Aerial-YOLOv2 對網(wǎng)絡(luò)輸出的32 倍降采樣特征進(jìn)行檢測之外，還增加一層16 倍降采樣特征檢測層。圖像特征在Aerial-YOLOv2 中的傳遞過程如圖6 所示，該圖可直觀地表示多尺度回歸預(yù)測。

由圖6 可知，原始圖像通過特征提取模塊多層卷積計(jì)算后生成大小為13× 13× 425（仍以416 × 416 圖像尺寸為例）的高層語義特征，后經(jīng)過3× 3和1個1× 1組成的卷積組計(jì)算后，生成13× 13× 425 的預(yù)測矩陣后直接在該尺度下進(jìn)行一次檢測。隨后將大小為13× 13× 512 的32 倍降采樣特征進(jìn)行2倍上采樣后與特征提取模塊中16倍降采樣層的輸出進(jìn)行特征拼接，然后再經(jīng)過一個卷積組后生成大小為26 × 26 ×425的預(yù)測矩陣，然后在該尺度下在對其進(jìn)行一次檢測。

圖6 Aerial-YOLOv2特征傳遞流程Fig.6 Flowchart of Aerial-YOLOv2 feature transfer

2.2 Aerial-YOLOv2遷移學(xué)習(xí)

為了訓(xùn)練Aerial-YOLOv2網(wǎng)絡(luò)，實(shí)驗(yàn)數(shù)據(jù)為使用大疆精靈4Pro 無人機(jī)在100～130 m 飛行高度、10～12 m/s 的飛行速度條件下，通過正射角度拍攝的不同天氣、不同時(shí)段下的共1 500張關(guān)于第三方施工相關(guān)車輛以及違章占壓建筑物的可見光無人機(jī)航拍圖像，拍攝的地面背景環(huán)境包括農(nóng)村、城鎮(zhèn)、河流以及山地，包括挖掘機(jī)、推土機(jī)以及頂棚3類目標(biāo)，分別有1 257、439 和2 404 個目標(biāo)。將圖像按照8∶2 原則分為訓(xùn)練集和測試集。

深度學(xué)習(xí)模型效果與訓(xùn)練樣本數(shù)量有極大的關(guān)聯(lián)性，在擁有大量訓(xùn)練樣本的基礎(chǔ)上，才能得到高質(zhì)量的深度學(xué)習(xí)模型。由于已知標(biāo)簽的航拍圖像數(shù)據(jù)集較少，直接將數(shù)據(jù)用來訓(xùn)練Aerial-YOLOv2模型，得到的模型泛化性能較差從而不能夠?qū)Χ鄻?、?fù)雜背景下的目標(biāo)進(jìn)行準(zhǔn)確檢測。對此，本文采用遷移學(xué)習(xí)的方式［21］來訓(xùn)練模型，Yosinski 等［22］驗(yàn)證了遷移學(xué)習(xí)中特征遷移的可行性。將包含2 806 張遙感圖像，共15 個類別、18萬個目標(biāo)的DOTA數(shù)據(jù)集［22］作為源域，本文的數(shù)據(jù)集作為目標(biāo)域，通過遷移學(xué)習(xí)的方法將從源域?qū)W習(xí)到的模型參數(shù)與Aerial-YOLOv2模型共享，從而解決模型訓(xùn)練數(shù)據(jù)量不足的問題。

根據(jù)所擁有數(shù)據(jù)的情況，本文將遷移學(xué)習(xí)分為兩部分:1）利用DOTA 數(shù)據(jù)集的訓(xùn)練集共2 100 張圖像訓(xùn)練特征提取模塊，根據(jù)模型在包含706 張圖像的測試集上的召回率和準(zhǔn)確率之和評價(jià)模型訓(xùn)練效果；2）遷移特征提取模塊參數(shù)到Aerial-YOLOv2模型對應(yīng)部分，在此基礎(chǔ)上再訓(xùn)練回歸預(yù)測模塊。對于特征提取模塊的訓(xùn)練，根據(jù)Aerial-YOLOv2模型中特征提取模塊來構(gòu)建檢測模型。如圖7 所示，該檢測模型以Aerial-YOLOv2模型的特征提取模塊為基礎(chǔ)，經(jīng)過兩層卷積層運(yùn)算，最后通過YOLOv2檢測層獲取檢測結(jié)果。

建立檢測模型后，利用DOTA 數(shù)據(jù)集進(jìn)行訓(xùn)練。檢測模型訓(xùn)練完畢后，將其特征提取模塊的參數(shù)遷移到Aerial-YOLOv2的特征提取部分，遷移過程如圖7所示。

將遷移學(xué)習(xí)的特征提取模塊的參數(shù)進(jìn)行凍結(jié)，即這部分的學(xué)習(xí)率為0，鎖定特征提取模塊的卷積核?；貧w預(yù)測部分參數(shù)使用隨機(jī)值，然后使用本文的數(shù)據(jù)集對Aerial-YOLOv2進(jìn)行訓(xùn)練。

圖7 遷移學(xué)習(xí)過程Fig.7 Transfer learning process

為了直接擴(kuò)大數(shù)據(jù)集的規(guī)模，本文采用結(jié)合數(shù)據(jù)增強(qiáng)的遷移學(xué)習(xí)訓(xùn)練方法。本文采用的數(shù)據(jù)增強(qiáng)的方法有:1）隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)圖像。隨機(jī)旋轉(zhuǎn)原始圖像-30°～30°，左右隨機(jī)翻轉(zhuǎn)原始圖像。2）平移。將原始圖像在上下左右某一個隨機(jī)方向上整體移動圖像尺寸的1/10。3）曝光度、飽和度和亮度調(diào)整。將圖像從RGB空間轉(zhuǎn)換到HSV空間后，在原始圖像0.8～1.2倍范圍內(nèi)調(diào)整曝光度和飽和度，在原始圖像0.7～1.3倍范圍內(nèi)調(diào)整亮度。4）ACE 圖像預(yù)處理:在某個范圍內(nèi)隨機(jī)調(diào)整核心尺寸閾值和系數(shù)參數(shù)值，獲得不同的對比度增強(qiáng)的圖像，提升模型泛化能力。按照每種方法擴(kuò)增一倍的策略，數(shù)據(jù)集擴(kuò)增到共7 500張圖像。

2.3 基于無人機(jī)航拍數(shù)據(jù)集的錨點(diǎn)框選擇

Aerial-YOLOv2在回歸預(yù)測部分使用錨點(diǎn)預(yù)測，符合數(shù)據(jù)集特點(diǎn)的錨點(diǎn)框數(shù)量和尺寸可以加強(qiáng)模型檢測能力和減少訓(xùn)練時(shí)間。本文通過K-means 聚類方法確定合適的錨點(diǎn)框數(shù)量以及尺寸。K-means 算法通常使用的距離度量函數(shù)為歐氏距離、曼哈頓距離等，但是在聚類錨點(diǎn)框的時(shí)候，希望能使候選錨點(diǎn)框和邊界框之間有盡可能高的交并比（Intersection Over Union，IOU），而如果采用常規(guī)的距離度量函數(shù)會導(dǎo)致同樣的交并比誤差，而大尺寸的邊界框比小尺寸的邊界框會在度量函數(shù)上產(chǎn)生更多偏差，而影響聚類結(jié)果準(zhǔn)確性，所以本文使用新的距離度量公式［12］:

其中:centroid 表示簇的中心的邊界框；box 表示樣本框；IOU(box，centroid)表示聚類中心的邊界框和樣本框的交并比。

本文分別遞增地選取K-means 的錨點(diǎn)框數(shù)量K，獲得K 與交并比之間的關(guān)系如圖8所示。

圖8 錨點(diǎn)框數(shù)量K與交并比的關(guān)系Fig.8 Relationship between number of anchor boxes K and intersection ratio

從圖8 可知，在K = 6 時(shí)曲線增長明顯放緩，所以選擇錨點(diǎn)框的數(shù)量為6，對應(yīng)的邊界框的大小設(shè)置為6個錨點(diǎn)框中心的大小，按照（錨點(diǎn)框長，錨點(diǎn)框?qū)挘┑男问奖硎?，其值分別為（7.6，4.1）、（29.5，35.5）、（22.0，29.8）、（4.6，9.5）、（8.7，12.4）和（34.1，22.6）。

2.4 基于ACE的航拍圖像增強(qiáng)預(yù)處理

由于航拍圖像是在一定高度下拍攝的，并且受天氣和周圍環(huán)境的影響，目標(biāo)的部分重要特征會出現(xiàn)紋理模糊、圖像噪聲大的情況，所以本文采用自適應(yīng)局部對比度增強(qiáng)算法（ACE）進(jìn)行圖像預(yù)處理。

ACE算法流程如下，首先將圖像分為兩部分:一部分主要包含低頻信息的反銳化掩膜，通過圖像的低通濾波（平滑、模糊技術(shù)）獲得；另一部分是高頻成分，通過原圖像減去反銳化掩膜獲得。隨后對高頻部分進(jìn)行放大（方法系數(shù)為對比度增益（Contrast Gain，CG）），最后將其加入到反銳化掩膜中，得到ACE增強(qiáng)后的圖像。

ACE 算法的核心是計(jì)算增益系數(shù)CG，通過計(jì)算以該像素為中心的像素平均值和方差獲得CG 系數(shù)。局部區(qū)域的中心點(diǎn)的像素平均值和方差按照式（4）～（5）計(jì)算:

其中:n 為以像素點(diǎn)(i，j)為中心點(diǎn)、大小為(2n + 1) ×(2n + 1)的局部區(qū)域的尺寸；x(k，l)為該局部區(qū)域內(nèi)的像素點(diǎn)(k，l)的像素值；mx(i，j)為該局部區(qū)域的像素平均值；σx(i，j)為該局部區(qū)域的標(biāo)準(zhǔn)差（Local Standard Deviation，LSD）。ACE 算法可表示如下:

其中:f(i，j)表示像素點(diǎn)(i，j)對應(yīng)的對比度增強(qiáng)后的像素值；G(i，j)為對比度增益（即前文所提CG），一般為常數(shù)，但是為了預(yù)防出現(xiàn)過分增強(qiáng)的情況，針對不同的像素點(diǎn)采用不同的增益。采用如下的解決方法:

其中:D 是個取值范圍為0～1的常數(shù)；mx(i，j)/σx(i，j)的值為對比度增益（即CG），是空間自適應(yīng)的，并且和局部均方差成反比，在圖像的邊緣或者其他變化劇烈的圖像部分，CG 值就較小，不會產(chǎn)生振鈴效應(yīng)。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證Aerial-YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)的有效性以及基于Aerial-YOLOv2網(wǎng)絡(luò)實(shí)現(xiàn)無人機(jī)航拍圖像目標(biāo)檢測的可行性，將YOLOv2 和Aerial-YOLOv2 應(yīng)用于無人機(jī)航拍圖像目標(biāo)檢測。實(shí)驗(yàn)過程中所采用的數(shù)據(jù)集為人工標(biāo)注的航拍圖像。實(shí)驗(yàn)設(shè)備配置為英偉達(dá)GTX1080顯卡，英特爾XREON處理器。

實(shí)驗(yàn)主要分為兩部分:1）比較YOLO 系列、SSD 網(wǎng)絡(luò)與Aerial-YOLOv2 網(wǎng)絡(luò)的性能，驗(yàn)證Aerial-YOLOv2 網(wǎng)絡(luò)的有效性；2）使用經(jīng)過數(shù)據(jù)增強(qiáng)和自適應(yīng)對比度增強(qiáng)處理的數(shù)據(jù)集，作為遷移學(xué)習(xí)的目標(biāo)域數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)，驗(yàn)證本文所使用訓(xùn)練策略的有效性。

3.1 Aerial-YOLOv2網(wǎng)絡(luò)驗(yàn)證結(jié)果

為了驗(yàn)證Aerial-YOLOv2 算法的有效性，分別對SSD、YOLOv2、YOLOv3 等基礎(chǔ)算法和Aerial-YOLOv2 算法進(jìn)行訓(xùn)練，訓(xùn)練過程中設(shè)置相同的超參數(shù)。將測試集圖像作為模型輸入，直接通過網(wǎng)絡(luò)回歸預(yù)測出目標(biāo)類別和位置信息。通過預(yù)測目標(biāo)的邊框與標(biāo)簽的邊界框之間的平均交并比（mean Intersection Over Union，mIOU）來衡量預(yù)測的位置信息的準(zhǔn)確性，另外選取預(yù)測框得分閾值為0.5，出于安全角度考慮，實(shí)際情況相對于準(zhǔn)確度而言對漏檢的容忍度更低，尤其是對挖掘機(jī)這種直接威脅管道安全的目標(biāo)的漏檢，大于閾值表示檢測成功。最終，使用準(zhǔn)確率、召回率、平均交并比以及檢測速度作為模型的評價(jià)指標(biāo)。

以上幾種目標(biāo)檢測算法在航拍圖像目標(biāo)檢測的實(shí)驗(yàn)結(jié)果如表1 所示。從表1 可看出，本文所提的Aerial-YOLOv2 網(wǎng)絡(luò)在準(zhǔn)確率、召回率上都高于YOLOv2，而僅僅犧牲了一點(diǎn)檢測速度。而YOLOv3 雖然使用了更深的網(wǎng)絡(luò)結(jié)構(gòu)，并使用了多種改進(jìn)策略，但是對于包含信息較少的小目標(biāo)而言，過深的網(wǎng)絡(luò)結(jié)構(gòu)在提取信息能力上會遇到一個瓶頸，這時(shí)反而還會降低網(wǎng)絡(luò)的檢測速度。所以Aerial-YOLOv2 網(wǎng)絡(luò)通過對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行多方面的改進(jìn)后，其檢測效果相對于YOLOV3 各方面都有提升，尤其是對一些小目標(biāo)的召回率有相當(dāng)大的提升，說明本文算法在檢測小目標(biāo)方面的有效性。

表1 不同算法航拍圖像目標(biāo)檢測實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of aerial image target detection by different algorithms

基礎(chǔ)的YOLOv2 網(wǎng)絡(luò)和Aerial-YOLOv2 進(jìn)行航拍圖像測試，檢測出目標(biāo)的能力對比如圖9所示。圖9（a）是YOLOv2的檢測結(jié)果，圖9（b）是Aerial-YOLOv2 經(jīng)過相同訓(xùn)練策略后的檢測結(jié)果。通過對比兩圖可以發(fā)現(xiàn)，YOLOv2 僅能檢測到特征明顯的目標(biāo)，漏檢體積較小、并未受到遮擋的目標(biāo)；而Aerial-YOLOv2 則能夠檢測到較小，但特征不明顯的目標(biāo)，大幅地提升了模型的召回率。

圖9 YOLOv2和Aerial-YOLOv2目標(biāo)檢測結(jié)果Fig.9 Target detection results of YOLOv2 and Aerial-YOLOv2

實(shí)驗(yàn)結(jié)果表明，對于航拍圖像目標(biāo)檢測而言，Aerial-YOLOv2 網(wǎng)絡(luò)能夠在YOLOv2 基礎(chǔ)之上以較少地增加運(yùn)算量為代價(jià)，通過改進(jìn)網(wǎng)絡(luò)特征提取和回歸預(yù)測模塊，使得網(wǎng)絡(luò)在準(zhǔn)確率、召回率以及平均交并比等目標(biāo)檢測指標(biāo)上有大幅提升。

3.2 訓(xùn)練策略的影響

為了驗(yàn)證不同訓(xùn)練策略對網(wǎng)絡(luò)目標(biāo)檢測性能的影響。在相同原始數(shù)據(jù)集的情況下，在訓(xùn)練階段對Aerial-YOLOv2分別采用不同的訓(xùn)練策略，在相同的測試集上便可獲得不同訓(xùn)練策略對網(wǎng)絡(luò)目標(biāo)檢測性能的影響，結(jié)果如表2 所示。表2 中，策略1 表示結(jié)合數(shù)據(jù)增強(qiáng)的遷移學(xué)習(xí)，策略2 表示通過K-means 方法聚類出數(shù)據(jù)集合適的錨點(diǎn)數(shù)量及尺寸，策略3表示基于ACE 的圖像預(yù)處理。由表2 可知，直接使用原始數(shù)據(jù)集進(jìn)行訓(xùn)練，模型效果泛化性能較差，在測試集上表現(xiàn)為準(zhǔn)確率和召回率都較低。策略1 在大量數(shù)據(jù)的訓(xùn)練下，網(wǎng)絡(luò)中的參數(shù)得到充分訓(xùn)練，測試結(jié)果表明綜合指標(biāo)大幅提升。策略2 能為神經(jīng)網(wǎng)絡(luò)提供準(zhǔn)確的先驗(yàn)知識，預(yù)測框更接近真實(shí)的錨點(diǎn)框，平均交并比指標(biāo)明顯提高。策略3 通過圖像預(yù)處理，解決圖像目標(biāo)特征紋理模糊問題，加強(qiáng)模型對目標(biāo)的檢測能力，召回率得到較大提升。策略1+2 通過對訓(xùn)練集更好地利用以及使用更合適的訓(xùn)練方法，準(zhǔn)確率和目標(biāo)位置準(zhǔn)確度均獲得提高；綜合使用策略1+2+3，模型準(zhǔn)確率為94%，召回率為91%，平均交并比為0.75。相對于直接訓(xùn)練Aerial-YOLOv2網(wǎng)絡(luò)，準(zhǔn)確率、召回率和平均交并比分別提高12 個百分點(diǎn)、12個百分點(diǎn)和0.12。

表2 Aerial-YOLOv2在不同訓(xùn)練策略下的檢測性能Tab.2 Aerial-YOLOv2 detection performance under different training strategies

由實(shí)驗(yàn)結(jié)果可知，由于使用多種訓(xùn)練策略，模型的召回率指標(biāo)提高最多。召回率越高表明漏檢率越低，對于第三方施工中可能對管道造成直接威脅的挖掘機(jī)、打樁機(jī)等，漏檢率指標(biāo)對管道安全至關(guān)重要。如果直接使用常規(guī)訓(xùn)練方法進(jìn)行訓(xùn)練，Aerial-YOLOv2 網(wǎng)絡(luò)召回率僅有79%，這表明可能會有大量目標(biāo)未被檢測到，而使用本文的多種訓(xùn)練策略之后，召回率提高至91%，對保障管道安全至關(guān)重要。

圖10 為傳統(tǒng)訓(xùn)練方法訓(xùn)練Aerial-YOLOv2 和本文訓(xùn)練策略的檢測結(jié)果的典型對比。圖10（a）為傳統(tǒng)訓(xùn)練方法后的檢測結(jié)果，圖10（b）為使用策略1+2+3的檢測結(jié)果。由對比檢測結(jié)果圖可知，兩者都對小目標(biāo)有較好的檢測能力，這是Aerial-YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)采用合適的錨點(diǎn)框與特征融合的多尺度檢測方式的結(jié)果。但圖10（a）中仍然會有部分漏檢目標(biāo)，圖中使用黑色圓圈標(biāo)注。漏檢原因是因?yàn)槟繕?biāo)僅有部分出現(xiàn)在圖像中，使用本文的訓(xùn)練方法使網(wǎng)絡(luò)對特征的學(xué)習(xí)和分類能力更強(qiáng)，能對同一目標(biāo)不同狀態(tài)進(jìn)行更好檢測，正如表2 所示，由于更少的漏檢而較大地提高了召回率。

圖10 不同訓(xùn)練方法典型結(jié)果對比Fig.10 Comparison of typical results of different training methods

綜上所述，結(jié)合數(shù)據(jù)增強(qiáng)的遷移學(xué)習(xí)可以提升模型多項(xiàng)指標(biāo)，基于K-means 的錨點(diǎn)框先驗(yàn)選擇可以提升目標(biāo)檢測的平均交并比，基于ACE 的圖像預(yù)處理可以提升目標(biāo)檢測的召回率，綜合使用多種訓(xùn)練方法可有效提高模型整體性能。

4 結(jié)語

本文利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)管道巡檢中對無人機(jī)航拍圖像的第三方施工、違章占壓建筑物的目標(biāo)檢測，提出基于改進(jìn)YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)與結(jié)合數(shù)據(jù)增強(qiáng)的遷移學(xué)習(xí)的目標(biāo)檢測算法。首先利用RD-C3 模塊替代YOLOv2 中的卷積組和改進(jìn)網(wǎng)絡(luò)的回歸預(yù)測方式，加強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測能力。為解決數(shù)據(jù)集的問題，利用數(shù)據(jù)增強(qiáng)擴(kuò)大數(shù)據(jù)集規(guī)模并通過K-means算法聚類分析出適合本數(shù)據(jù)集特點(diǎn)的錨點(diǎn)框，然后再結(jié)合遷移學(xué)習(xí)的方法訓(xùn)練改進(jìn)后的網(wǎng)絡(luò)，最后再通過自適應(yīng)對比度增強(qiáng)的方法提升圖像質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文所提改進(jìn)算法最終準(zhǔn)確率、召回率分別可以達(dá)到94%、91%，每張圖像檢測時(shí)間為14 ms，可以滿足無人機(jī)管道智能巡檢中目標(biāo)檢測的需要；但本文的數(shù)據(jù)增強(qiáng)方法會造成部分?jǐn)?shù)據(jù)的冗余，在數(shù)據(jù)處理方法方面仍然需要更進(jìn)一步的研究。