基于YOLOv7的直升機(jī)航巡電塔目標(biāo)檢測(cè)算法研究

杜 偉, 王佳穎, 楊國(guó)柱, 熊 瑋, 李玉容, 戴運(yùn)天, 賈清珂

(1.國(guó)網(wǎng)電力空間技術(shù)有限公司, 北京 102209; 2.上海交通大學(xué), 上海 200240)

隨著社會(huì)對(duì)電力供電可靠性要求的日益提高和電力巡檢技術(shù)的快速發(fā)展,直升機(jī)電力巡檢正逐漸成為常用的電力巡檢方式。由于計(jì)算機(jī)視覺(jué)發(fā)展迅速,許多先進(jìn)的目標(biāo)檢測(cè)方法已廣泛應(yīng)用于各種民用和軍事任務(wù),如地覆被測(cè)繪、智慧農(nóng)業(yè)、智慧城市、交通監(jiān)測(cè)、災(zāi)害監(jiān)測(cè)等。由于工業(yè)實(shí)際需求,面向直升機(jī)航巡的電塔目標(biāo)檢測(cè)成為一個(gè)重要的研究熱點(diǎn)。

隨著直升機(jī)和無(wú)人機(jī)在電力巡檢領(lǐng)域的應(yīng)用逐步推廣,以及現(xiàn)代科學(xué)智能技術(shù)的不斷發(fā)展,其巡檢系統(tǒng)效率遠(yuǎn)超人工巡檢方式,有效地提升了電路巡檢作業(yè)的自動(dòng)化、智能化工作水平[1]。無(wú)人機(jī)電力巡檢具有非常強(qiáng)的巡查便利性,但是目前電力巡檢中常用無(wú)人機(jī)的滯空時(shí)間都在20～40 min,由于單架次作業(yè)時(shí)間不夠長(zhǎng),工作人員需要攜帶大量電池,且只能由工作人員攜帶無(wú)人機(jī)在線路之間移動(dòng),使得每日巡檢的總長(zhǎng)度嚴(yán)重受限。另外,該巡檢方式對(duì)巡檢人員的無(wú)人機(jī)操作水平和維護(hù)技能要求較高,且后期需要進(jìn)行大量圖像數(shù)據(jù)分析處理工作[2]。相比之下,大型直升機(jī)巡檢距離長(zhǎng)、載荷能力大,可裝載多種高性能傳感器對(duì)輸電線路進(jìn)行長(zhǎng)距離巡檢。但是巡檢線路較長(zhǎng)、操作設(shè)備多,人工手持相機(jī)拍攝的方式需要飛行員和拍攝人員時(shí)刻緊密配合,作業(yè)人員長(zhǎng)時(shí)間精神高度緊張、容易疲憊出錯(cuò),且大型直升機(jī)的使用成本和運(yùn)營(yíng)成本也較高。綜上所述,有必要對(duì)輕量化且續(xù)航能力強(qiáng)的巡航裝備、智能化的影像采集和數(shù)據(jù)處理技術(shù)等關(guān)鍵技術(shù)開(kāi)展研究。

近年來(lái),航巡的電塔目標(biāo)檢測(cè)方法大多是基于小型無(wú)人機(jī)平臺(tái)。周仿榮等人[3]基于YOLOv3訓(xùn)練了輸電線路缺陷快速檢測(cè)網(wǎng)絡(luò)。曹志勇等人[4]將Faster R-CNN應(yīng)用到無(wú)人機(jī)視角下的電塔目標(biāo)檢測(cè)。黃芹芹等人[5]利用反卷積融合單元改進(jìn)了單激發(fā)多框探測(cè)器,最終實(shí)現(xiàn)了輸電線路電力小部件的目標(biāo)檢測(cè)。然而,隨著深度學(xué)習(xí)的逐漸發(fā)展,目標(biāo)檢測(cè)算法也在更新?lián)Q代。本文深入研究了目前YOLO系列的最新算法YOLOv7[6],并將其應(yīng)用于直升機(jī)航巡電塔目標(biāo)檢測(cè)領(lǐng)域,提出了一種精度較高、時(shí)效性較好的檢測(cè)算法,滿足了直升機(jī)航巡電塔目標(biāo)檢測(cè)的需求。

1 基于YOLOv7的直升機(jī)航巡電塔目標(biāo)檢測(cè)架構(gòu)

1.1 整體架構(gòu)

本文所提算法的整體架構(gòu)如圖1所示。首先,通過(guò)卷積層對(duì)輸入圖片進(jìn)行處理,以提取低層特征。然后,使用高效長(zhǎng)程距離網(wǎng)絡(luò)(Efficient Long-range Attention Network,ELAN)與池化層逐漸增加特征的通道維度,獲取多尺度的高層特征。將這些特征作為YOLOv7的多尺度特征融合層的輸入,采用多分支結(jié)構(gòu)訓(xùn)練結(jié)構(gòu)化重參數(shù),推理時(shí)將模型轉(zhuǎn)化為簡(jiǎn)單的卷積層,有效提升模型的推理速度。最后,使用目標(biāo)、類別、位置3種損失函數(shù)作為判據(jù),不斷修正迭代模型參數(shù),從而完成YOLOv7模型的訓(xùn)練。

圖1 基于YOLOv7的直升機(jī)航巡電塔目標(biāo)檢測(cè)算法整體架構(gòu)

1.2 損失函數(shù)

目標(biāo)損失Lobj和類別損失Lcls均采用帶有Sigmoid的交叉熵?fù)p失函數(shù)L來(lái)計(jì)算。其公式為

(1)

(2)

式中:n——樣本總量;

x——樣本;

y——目標(biāo)或類別的標(biāo)簽;

σ——sigmoid交叉熵;

采用CIoU損失函數(shù)來(lái)計(jì)算位置損失Lloc。其公式為

(3)

式中:I——兩個(gè)邊界框的交并比;

α、β——調(diào)節(jié)系數(shù);

v——邊界框的長(zhǎng)寬比;

c——邊界框中心點(diǎn)的距離。

整個(gè)網(wǎng)絡(luò)訓(xùn)練的總損失Ltotal為3種損失的加權(quán)和,公式為

Ltotal=λobjLobj+λclsLcls+λlocLloc

(4)

式中:λobj——目標(biāo)損失函數(shù)的權(quán)重,取0.100;

λcls——類別損失函數(shù)的權(quán)重,取0.125;

λloc——位置損失函數(shù)的權(quán)重,取0.050。

2 實(shí)驗(yàn)設(shè)計(jì)與分析

2.1 實(shí)驗(yàn)平臺(tái)搭建

本文使用搭載光電吊艙的Cabri-G2輕小型直升機(jī)搭建了實(shí)驗(yàn)平臺(tái),具體安裝示意如圖2所示。拍攝設(shè)備由雙光云臺(tái)和可見(jiàn)光云臺(tái)組成,雙光云臺(tái)包括廣角相機(jī)和熱成像相機(jī),可見(jiàn)光云臺(tái)包括可見(jiàn)光相機(jī)。穩(wěn)定平臺(tái)采用三軸結(jié)構(gòu),由航向軸、俯仰軸和橫滾軸組成,帶有廣角相機(jī)和熱成像相機(jī)的小型雙光云臺(tái)吊裝于穩(wěn)定支架內(nèi),位于可見(jiàn)光相機(jī)上方。3個(gè)相機(jī)的航向軸保持一致,通過(guò)駕駛艙內(nèi)的操縱設(shè)備對(duì)光電吊艙方位和俯仰運(yùn)動(dòng)、傳感器控制、跟蹤鎖定等進(jìn)行實(shí)時(shí)操縱,實(shí)現(xiàn)對(duì)目標(biāo)的搜索、瞄準(zhǔn)和跟蹤。通過(guò)軟件實(shí)現(xiàn)巡檢圖像和視頻的自動(dòng)拍攝和存儲(chǔ)等功能,以供后續(xù)算法使用。

2.2 實(shí)驗(yàn)數(shù)據(jù)集

利用直升機(jī)電力線巡航時(shí)拍攝的30個(gè)視頻,按照每30幀抽樣一張圖片的頻率進(jìn)行抽取,共得到971張圖片,形成了直升機(jī)可見(jiàn)光相機(jī)視角下的電塔目標(biāo)檢測(cè)數(shù)據(jù)集。其中,訓(xùn)練集有719張圖片,測(cè)試集有252張圖片。

2.3 實(shí)驗(yàn)設(shè)置

采用YOLOv7和YOLOv7-tiny作為目標(biāo)檢測(cè)模型,權(quán)重均在MS COCO數(shù)據(jù)集上初始化。所有模型的訓(xùn)練和測(cè)試平臺(tái)均為NVIDIA GEFORCE RTX 1080Ti GPU。輸入圖像的分辨率分別采用了2 160×3 840,1 080×1 920,540×960。批尺寸的選擇原則是盡量占滿顯存。優(yōu)化器采用了 SGD(Stochastic Gradient Descent),權(quán)重衰減為0.000 5,動(dòng)量為0.937。數(shù)據(jù)增強(qiáng)采用Mosaic、左右翻轉(zhuǎn)、隨機(jī)平移、尺度變化、HSV 域增強(qiáng)。訓(xùn)練共300個(gè)周期,初始學(xué)習(xí)率為0.01,前10個(gè)周期為熱身周期。學(xué)習(xí)率衰減過(guò)程采用余弦退火(Cosine Annealing)方法,將學(xué)習(xí)率逐步衰減為0.002。

2.4 評(píng)價(jià)指標(biāo)

采用目標(biāo)檢測(cè)中常用的指標(biāo)來(lái)衡量算法的性能,包括準(zhǔn)確度P、召回率R、F1分?jǐn)?shù),公式分別為

(5)

(6)

(7)

式中:TP——被模型預(yù)測(cè)為正類的正樣本;

FP——被模型預(yù)測(cè)為正類的負(fù)樣本;

FN——被模型預(yù)測(cè)為負(fù)類的正樣本。

除此之外,其他采用的指標(biāo)包括平均準(zhǔn)確度(Average Precision,AP)以及時(shí)間消耗。其中AP代表P-R曲線的平均面積,選取交并比閾值為0.5。時(shí)間消耗定義為網(wǎng)絡(luò)的推理時(shí)間與非極大值抑制的時(shí)間之和。

2.5 實(shí)驗(yàn)結(jié)果

不同模型和參數(shù)的目標(biāo)檢測(cè)算法性能對(duì)比如表1所示。由表1可知,當(dāng)輸入圖像分辨率為540×960時(shí),模型YOLOv7-tiny需要的訓(xùn)練時(shí)間和目標(biāo)檢測(cè)的時(shí)間消耗均最少。隨著輸入圖像分辨率增加到1 080×1 920時(shí),召回率從87.6%提升到90.5%,時(shí)間消耗也從14.1 ms增加到32.2 ms。然而,當(dāng)進(jìn)一步增大分辨率到2 160×3 840時(shí),AP從94.8%下降到94.7%,F1分?jǐn)?shù)也從91.6%下降到90.9%。這是由于顯存的限制,大分辨率的輸入圖像往往僅能使用較小的批尺寸,導(dǎo)致模型缺少泛化能力,容易過(guò)擬合。YOLOv7的模型大小適當(dāng),輸入分辨率僅為540×960,準(zhǔn)確度達(dá)到94.9%,F1分?jǐn)?shù)達(dá)到92.5%,AP達(dá)到96.3%,均為所有實(shí)驗(yàn)設(shè)置最佳性能,39.5 ms的時(shí)間消耗也表示算法基本可以滿足在直升機(jī)電塔巡檢中的實(shí)時(shí)使用要求。

表1 不同模型和參數(shù)的目標(biāo)檢測(cè)算法性能對(duì)比

YOLOv7目標(biāo)檢測(cè)算法在本文數(shù)據(jù)集上的測(cè)試結(jié)果如圖3所示。

圖3 電塔目標(biāo)檢測(cè)算法測(cè)試結(jié)果示例

由圖3可知,在復(fù)雜森林背景和簡(jiǎn)單天空背景下,算法都可以有效地識(shí)別和定位電塔目標(biāo),且置信度均維持在較高的水平。與此同時(shí),盡管置信度有所降低,遠(yuǎn)處較小的電塔和識(shí)別難度較高的電塔均可以被精準(zhǔn)地識(shí)別和定位。實(shí)驗(yàn)結(jié)果證明,算法可以較好地識(shí)別和檢測(cè)電塔目標(biāo),同時(shí)具備處理復(fù)雜背景和小目標(biāo)問(wèn)題的能力。

3 結(jié) 語(yǔ)

本文提出了一種基于YOLOv7的直升機(jī)航巡電塔目標(biāo)檢測(cè)算法。測(cè)試結(jié)果表明,該算法精度較高、時(shí)效性較好,航巡電塔目標(biāo)檢測(cè)的準(zhǔn)確度達(dá)到94.9%,召回率達(dá)到90.5%,算法的時(shí)間消耗僅39.5 ms,滿足直升機(jī)航巡電塔目標(biāo)檢測(cè)的需求,可以進(jìn)一步支撐電網(wǎng)線路弱小目標(biāo)的缺陷檢測(cè)與分類、識(shí)別能力,有助于實(shí)現(xiàn)電網(wǎng)線路缺陷的智能化快速檢測(cè)。