基于AI技術(shù)的無人機(jī)機(jī)載前端智能圖像識別

耿 山,呂建中

(國網(wǎng)河北省電力有限公司邯鄲供電分公司,河北 邯鄲 056035)

0 引言

近年來,我國電力工程建設(shè)不斷加快,電網(wǎng)建設(shè)規(guī)模超越了美國,位居世界第一。輸電線路傳統(tǒng)人工巡檢方式工作量大、勞動強(qiáng)度高、巡線效率低。無人機(jī)巡檢因其智能、高效、省時等優(yōu)勢在輸電線路巡檢中廣泛應(yīng)用[14]。

無人機(jī)巡檢關(guān)鍵核心技術(shù)之一是巡檢圖像的識別,其對無人機(jī)拍攝的圖像進(jìn)行分析判斷,得到線路安全狀態(tài)結(jié)果。傳統(tǒng)的輸電線路巡檢圖像識別技術(shù)算法,在對圖像進(jìn)行灰度、二值化等技術(shù)處理后,將圖像解析成二維空間上黑白兩種顏色的分布函數(shù)。利用理論計算結(jié)合實際經(jīng)驗給出規(guī)定的安全閾值,通過模型計算結(jié)果是否超出閾值來判斷線路是否存在異常[59]。隨著AI技術(shù)的飛速發(fā)展,如何將AI技術(shù)引入到無人機(jī)機(jī)載前端圖像智能識別中已成為諸多學(xué)者研究的熱點[10-12]。

對于輸電線路巡檢圖像的識別,線路狀態(tài)判斷準(zhǔn)確高效的AI模型是智能識別技術(shù)的關(guān)鍵。本文提出了一種應(yīng)用于無人機(jī)機(jī)載前端的智能識別技術(shù),通過Tensorfl ow平臺建立卷積神經(jīng)網(wǎng)絡(luò)模型,基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行相應(yīng)的學(xué)習(xí)與訓(xùn)練,分別對試驗測試的影響、不同算法的影響及不同模型的實際訓(xùn)練測試結(jié)果進(jìn)行分析研究,實現(xiàn)巡檢圖像的內(nèi)容智能識別、智能故障判斷與報警。

1 機(jī)載前端圖像智能識別流程

本文研究機(jī)載前端智能識別技術(shù)主要用于建設(shè)無人機(jī)自主智能精細(xì)化巡檢,硬件為經(jīng)緯M210V2(RTK V2)無人機(jī)。無人機(jī)圖像智能識別流程如圖1所示,步驟①、②、③將拍攝的黑白照片變成單一黑白顏色的照片,照片數(shù)據(jù)以像素點為基礎(chǔ),每個像素點的值為0(黑色)或255(白色),形成的圖像數(shù)據(jù)通過前端模型識別后(第④步)傳出識別結(jié)果,并直接將識別結(jié)果存儲于機(jī)載存儲設(shè)備中,與原始彩色圖像比對(步驟⑤)形成最終框選結(jié)果,用于前端實時顯示監(jiān)控(步驟⑦)。

圖1 無人機(jī)識別流程

在無人機(jī)圖像智能識別流程中關(guān)鍵環(huán)節(jié)為步驟④前端智能識別模型,模型的輸入?yún)?shù)為預(yù)處理后的無人機(jī)拍攝圖像,輸出結(jié)果為不同設(shè)備是否故障的判斷結(jié)果,在機(jī)載前端的模型參數(shù)是智能識別結(jié)果是否合理的關(guān)鍵。本文模型來源于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,結(jié)果保存在無人機(jī)機(jī)載前端,既保證了人工智能識別技術(shù)在前端圖像識別中的合理應(yīng)用,又適應(yīng)了無人機(jī)前端系統(tǒng)體積小,高效優(yōu)化的特點,避免在無人機(jī)機(jī)載前端進(jìn)行大量復(fù)雜的計算,降低對無人機(jī)前端系統(tǒng)的系統(tǒng)要求,提高系統(tǒng)穩(wěn)定性,降低能耗。

2 基于改進(jìn)VGG-16卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)圖像識別

2.1 圖像識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)可減少參數(shù)數(shù)量,利用像素之間的位置信息,使每個像素與其周圍圖像聯(lián)系緊密,具有更多的網(wǎng)絡(luò)層數(shù),表達(dá)能力更強(qiáng),主要包括以下幾個結(jié)構(gòu)[13- 14]。

輸入層:輸入圖像的基本信息,即圖像的像素與色彩維度。

卷積層:即核心層,主要起到濾波器、卷積作用。通過權(quán)值共享特性,降低參數(shù)數(shù)量,防止由于參數(shù)過多而造成過擬合。

激活函數(shù):向網(wǎng)絡(luò)中加入非線性因素,加強(qiáng)網(wǎng)絡(luò)的表示能力,解決非線性模型問題。

池化層:對輸入的特征圖進(jìn)行壓縮,簡化網(wǎng)絡(luò)計算復(fù)雜度,提取主要特征。

全連接層:建立一個以卷積層與池化層處理后的數(shù)據(jù)為輸入的全連接神經(jīng)網(wǎng)絡(luò)。

2.2 適應(yīng)無人機(jī)圖像識別的VGG-16網(wǎng)絡(luò)設(shè)計

VGG是由simonyan和Zisser man提出卷積神經(jīng)網(wǎng)絡(luò)模型,為一個16層的深度卷積神經(jīng)網(wǎng)絡(luò)模型[15]。為適應(yīng)本文無人機(jī)拍攝得到的線路圖像,對模型進(jìn)行適應(yīng)性改進(jìn),卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)設(shè)計與輸入圖像的大小、卷積層的選取、池化大小的選取等因素有關(guān)。針對本文無人機(jī)圖像的識別,以VGG-16網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行適應(yīng)性改良,提出了3種不同的神經(jīng)網(wǎng)絡(luò)算法,見表1。

表1 3種不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

對于算法各參數(shù)的提出,考慮無人機(jī)拍攝圖像的特點和對線路設(shè)備識別的需求,設(shè)計了較低的輸入圖像像素,可以降低神經(jīng)網(wǎng)絡(luò)的整體層數(shù),減少訓(xùn)練時間和樣本需求量。同時,對池化和激活層數(shù)的設(shè)計進(jìn)行了改進(jìn),在單一單元中分布了至少3個以上的卷積,將池化組合重復(fù),提高了訓(xùn)練精度。

3 實際應(yīng)用測試

通過顏色空間轉(zhuǎn)換、圖像的閾值分割、形態(tài)學(xué)處理以及連通域標(biāo)記,將設(shè)備、桿塔、導(dǎo)線、絕緣子串從原圖像中提取出來,通過最小二乘法擬合絕緣子串所在直線并建立數(shù)學(xué)模型。

對于不同類型設(shè)備分別挑選3.5萬張圖像作為樣本訓(xùn)練和測試,驗證基于AI技術(shù)對無人機(jī)巡檢圖像識別方面的效果。圖2給出了部分典型識別結(jié)果。

圖2 典型識別結(jié)果

3.1 試驗重復(fù)次數(shù)對結(jié)果的影響

隨機(jī)抽取一定數(shù)量的圖像作為訓(xùn)練樣本組,對不同模型應(yīng)用不同的算法進(jìn)行訓(xùn)練,將模型識別結(jié)果與實際標(biāo)注結(jié)果進(jìn)行對比,得到不同模型不同算法的識別準(zhǔn)確度。

單次試驗保證不同算法的訓(xùn)練樣本和驗證樣本相同。在此基礎(chǔ)上,進(jìn)行多組單次試驗進(jìn)行結(jié)果平均,以消除隨機(jī)選擇樣本與驗證圖像選擇的隨機(jī)性對算法識別準(zhǔn)確度的影響。

選定樣本組圖像25 000張,驗證組圖像為5 000張時,不同算法隨機(jī)試驗的平均準(zhǔn)確度,隨試驗次數(shù)的增加結(jié)果如圖3所示。初期,隨機(jī)試驗次數(shù)較少時,平均結(jié)果呈現(xiàn)不規(guī)則的波動,隨著試驗次數(shù)的增加,不同算法的平均準(zhǔn)確度逐漸趨于穩(wěn)定,當(dāng)進(jìn)行20次試驗取平均值時,波動已經(jīng)很小,即模型和算法已達(dá)到識別準(zhǔn)確度均值。

在不同的算法中,絕緣子串模型的識別準(zhǔn)確度波動最大,因為其結(jié)構(gòu)和不同工況下故障圖像的復(fù)雜性,增加了識別的難度。穩(wěn)定性方面,曲線波動越小,代表每次隨機(jī)試驗的結(jié)果越平均,模型識別較穩(wěn)定。算法穩(wěn)定性排名依次為算法2、算法3、算法1。

3.2 不同算法的識別結(jié)果對比

上述試驗次數(shù)結(jié)果中絕緣子串的穩(wěn)定性最好,但從圖3(b)、圖3(c)對比算法2、算法3的準(zhǔn)確度可知,算法3準(zhǔn)確度更高。為了更直觀的對比不同算法準(zhǔn)確度,表2列出了不同算法的20次識別準(zhǔn)確度結(jié)果。

圖3 隨機(jī)試驗次數(shù)對試驗結(jié)果的影響

表2 不同算法網(wǎng)絡(luò)結(jié)構(gòu)識別準(zhǔn)確度

結(jié)果表明,對應(yīng)不同特性的圖像,3種算法的識別準(zhǔn)確度略有不同,算法1采用了低像素圖像的輸入,其識別準(zhǔn)確度最低。同時,由于采用了低像素處理,隨意復(fù)制絕緣子串的圖像,造成了識別度的明顯下降。算法2與算法3均采用了高像素輸入,但池化的大小選取不同,使得其卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)與深度亦不同。雖然算法3的穩(wěn)定性稍差于算法2,但算法3的值在各種圖像類別的識別中要好于其他2種算法,故可采用算法3的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行后續(xù)模型訓(xùn)練。

3.3 算法3絕緣子串模型ROC曲線特征

根據(jù)實際應(yīng)用結(jié)果,選擇算法3的結(jié)果繪制絕緣子串識別模型的接收器操作特性曲線(簡稱“ROC曲線”)。ROC曲線定義以下4種情況。

(1)真陽性(TP):檢測有絕緣子串,且實際有絕緣子串;正確肯定匹配的數(shù)目;

(2)假陽性(FP):檢測有絕緣子串,但實際無絕緣子串;誤報,給出的匹配不正確;

(3)真陰性(T N):檢測無絕緣子串,且實際無絕緣子串;正確拒絕非匹配的數(shù)目;

(4)假陰性(FN):檢測無絕緣子串,但實際有絕緣子串;漏報,沒有正確找到匹配的數(shù)目。

以假陽性率RFP=FP/(FP+TN)為橫坐標(biāo),真陽性率RTP=TP/(TP+FN)為縱坐標(biāo),統(tǒng)計模型測試得到的識別結(jié)果及其返回的判斷概率,統(tǒng)計得到不同概率時的RFP與RTP值,繪制得到ROC曲線如圖4。結(jié)果表明,ROC曲線的線下面積代表了AUC值,AUC值越接進(jìn)1代表模型預(yù)測越好,越有價值,算法3的絕緣子串識別模型的AUC值為0.84,模型預(yù)測良好。特殊值選擇特定的可信度閾值0.75,模型的預(yù)測準(zhǔn)確度達(dá)到0.954。

圖4 算法3的絕緣子串模型ROC曲線特征

3.4 不同模型訓(xùn)練量結(jié)果對比

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本量對模型的識別準(zhǔn)確度結(jié)果影響很大,不同的模型訓(xùn)練量,重復(fù)20次隨機(jī)試驗得到的最終識別結(jié)果見圖5。

圖5 4種不同模型測試準(zhǔn)確度隨訓(xùn)練樣本數(shù)變化對比

對于設(shè)備模型的測試準(zhǔn)確度隨著訓(xùn)練演變數(shù)量的增加而增加,當(dāng)訓(xùn)練樣本數(shù)量較小時,測試準(zhǔn)確度會隨著樣本數(shù)量的增加而大幅增加,但當(dāng)訓(xùn)練樣本數(shù)量從25 000增加到30 000時,測試準(zhǔn)確度從0.92增加到0.96,增加的效果已經(jīng)不明顯。結(jié)合無人機(jī)巡檢的常規(guī)識別準(zhǔn)確情況,取25 000作為設(shè)備識別模型的基準(zhǔn)訓(xùn)練樣本數(shù),既保證了模型準(zhǔn)確性,又減少了訓(xùn)練成本。

4 結(jié)論

無人機(jī)前端圖像識別作為輸電線路無人機(jī)巡檢的關(guān)鍵技術(shù)之一,決定著線路故障判斷的準(zhǔn)確率。本文基于人工智能算法中的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了設(shè)備識別、桿塔檢測、導(dǎo)線檢測、絕緣子串檢測4個不同的人工智能模型,用于無人機(jī)前端圖像識別的不同功能。通過實際模型樣本訓(xùn)練學(xué)習(xí)、測試集測試證明了采用的128萬像素輸入,池化值為2的模型具有更高的識別準(zhǔn)確度,識別準(zhǔn)確度穩(wěn)定所需的訓(xùn)練量從小到大依次為導(dǎo)線、桿塔、設(shè)備、絕緣子串,選取25 000個樣本對本文模型進(jìn)行訓(xùn)練,得到的模型參數(shù)用于實際無人機(jī)圖像判別,判斷準(zhǔn)確度均可達(dá)到0.91以上。