摘"要:為了滿足不斷上漲的電力能源需求,分布式能源并入大電網(wǎng)規(guī)模逐漸加大,尤其是水力發(fā)電機(jī)組(水電站),其占據(jù)比重最大,對電網(wǎng)運(yùn)行安全性影響最大,需要保障水電站運(yùn)行的可靠性,因此提出了基于關(guān)鍵點匹配和深度特征的水電站無人機(jī)巡檢圖像異常目標(biāo)識別方法研究。預(yù)處理水電站無人機(jī)巡檢圖像,提升巡檢圖像的清晰度,以此為基礎(chǔ),采用方向梯度直方圖模式提取巡檢圖像深度特征,選取較重要的深度特征作為關(guān)鍵點,對巡檢圖像進(jìn)行匹配,將同一水電站場景巡檢圖像整合為一個集合,根據(jù)深度特征是否具有離群點判定巡檢圖像是否存在異常目標(biāo),計算異常目標(biāo)深度特征與已知異常目標(biāo)特征之間的相似度,從而實現(xiàn)巡檢圖像異常目標(biāo)的識別。實驗數(shù)據(jù)顯示:應(yīng)用提出方法獲得的異常目標(biāo)識別結(jié)果與實際異常目標(biāo)識別結(jié)果一致,異常目標(biāo)識別平均精度最大值為95%,充分證實了提出方法應(yīng)用性能更優(yōu)。
關(guān)鍵詞:異常目標(biāo)識別;深度特征提取;水電站;關(guān)鍵點匹配算法;無人機(jī)巡檢圖像
中圖分類號:TP183""""""文獻(xiàn)標(biāo)識碼:A
Recognition"of"Abnormal"Targets"in"UAV"Inspection
Images"of"Hydropower"Stations"Based"on"Key"Point
Matching"and"Depth"Features
CUI"Jielian,YU"Yang
(State"Grid"Northeast"Branch"Luyuan"Hydroelectric"Power"Company"Taipingwan"
Power"Plant,"Dandong,Liaoning"118000,China)
Abstract:In"order"to"meet"the"constantly"increasing"demand"for"power"energy,"the"scale"of"integrating"distributed"energy"into"the"large"power"grid"is"gradually"increasing,"especially"for"hydropower"units"(hydropower"stations),"which"account"for"the"largest"proportion"and"have"the"greatest"impact"on"the"safety"of"power"grid"operation."It"is"necessary"to"ensure"the"reliability"of"hydropower"station"operation."A"method"for"identifying"abnormal"targets"in"unmanned"aerial"vehicle"inspection"images"of"hydropower"stations"based"on"key"point"matching"and"deep"features"is"proposed."Preprocess"the"UAV"patrol"image"of"the"hydropower"station"to"improve"the"clarity"of"the"patrol"image."On"this"basis,"use"the"directional"gradient"histogram"mode"to"extract"the"depth"features"of"the"patrol"image,"select"the"more"important"depth"features"as"the"key"points,"match"the"patrol"image,"integrate"the"patrol"image"of"the"same"hydropower"station"scene"into"a"collection,"and"determine"whether"there"are"abnormal"targets"in"the"patrol"image"according"to"whether"the"depth"features"have"outliers,"Calculate"the"similarity"between"the"depth"features"of"abnormal"targets"and"known"abnormal"target"features,"in"order"to"achieve"the"recognition"of"abnormal"targets"in"inspection"images."The"experimental"data"shows"that"the"abnormal"target"recognition"results"obtained"by"applying"the"proposed"method"are"consistent"with"the"actual"abnormal"target"recognition"results."The"maximum"average"accuracy"of"abnormal"target"recognition"is"95%,"fully"confirming"that"the"proposed"method"has"better"application"performance.
Key"words:abnormal"target"recognition;"deep"feature"extraction;"hydropower"stations;"key"point"matching"algorithm;"unmanned"aerial"vehicle"inspection"images
現(xiàn)今社會電力能源已經(jīng)躍升成為人們生產(chǎn)與生活中必不可少的能源種類之一,在多個領(lǐng)域中扮演著重要的角色,例如國防領(lǐng)域、醫(yī)療領(lǐng)域、交通領(lǐng)域等。隨著化石能源儲量的逐漸匱乏,可再生能源發(fā)電技術(shù)研究力度大大增加,水力發(fā)電技術(shù)、風(fēng)力發(fā)電技術(shù)、光伏發(fā)電技術(shù)等逐漸成熟與普及,尤其是水力發(fā)電技術(shù),其發(fā)電能力位于可再生能源發(fā)電技術(shù)的首位[1]。近年來,伴隨著電力能源需求量的增加,水電站建設(shè)規(guī)模與數(shù)量呈現(xiàn)逐漸上升的趨勢,其并入大電網(wǎng)的規(guī)模也越來越大,對水電站運(yùn)行狀態(tài)穩(wěn)定性提出了更高的要求。由此可見,如何對水電站運(yùn)行狀態(tài)進(jìn)行實時監(jiān)測具有一定的現(xiàn)實意義。
水電站建設(shè)初期主要采用人工定期巡檢方式對其運(yùn)行狀態(tài)、設(shè)備情況等進(jìn)行檢測與維修,此種方式存在工作人員工作量大、巡檢效率低、漏檢率高等缺陷,已經(jīng)無法滿足現(xiàn)今水電站的巡檢需求。而無人機(jī)具有高效、靈活等優(yōu)勢,更加適用于水電站精細(xì)化巡檢任務(wù)。無人機(jī)能搭載視覺設(shè)備、探測設(shè)備等對水電站內(nèi)部進(jìn)行全面檢測,獲取相應(yīng)的巡檢圖像,以此為基礎(chǔ),對水電站內(nèi)部運(yùn)行情況進(jìn)行分析與判定。由于無人機(jī)巡檢圖像數(shù)量龐大,加之環(huán)境因素的影響,致使巡檢圖像存在較多的干擾信息,造成異常目標(biāo)識別性能較差,因此需要研究無人機(jī)圖像目標(biāo)識別方法。對此,研究者仲林林等人[2]提出一種基于生成對抗網(wǎng)絡(luò)的無人機(jī)巡檢圖像異常目標(biāo)檢測方法。結(jié)合兩種監(jiān)督學(xué)習(xí)方法構(gòu)件生成對抗網(wǎng)絡(luò)模型,利用壓縮激活網(wǎng)絡(luò)對其進(jìn)行改進(jìn);利用遷移學(xué)習(xí)策略進(jìn)一步提升模型的泛化性能,實現(xiàn)人機(jī)圖像目標(biāo)識別。該方法解決了圖像背景復(fù)雜情況下的正負(fù)樣本不均衡問題,但未預(yù)處理無人機(jī)巡檢圖像,影響了圖像的清晰度,導(dǎo)致異常目標(biāo)識別精度不夠理想。研究者陳旭等人[3]研究了基于YOLOv5算法的無人機(jī)圖像實時目標(biāo)檢測方法。引入殘差空洞卷積網(wǎng)絡(luò)提高空間特征的利用率,基于YOLOv5s構(gòu)建目標(biāo)識別網(wǎng)絡(luò);通過局部特征自監(jiān)督融合多尺度特征,通過目標(biāo)位置回歸與分類解耦完成無人機(jī)圖像異常目標(biāo)識別。該方法可以在目標(biāo)尺度差異較大的條件下完成目標(biāo)實時識別。但該方法未對巡檢圖像進(jìn)行特征匹配,異常目標(biāo)的識別精度還有提升空間。
基于上述研究方法的成果與不足,為了進(jìn)一步提升無人機(jī)巡檢圖像異常目標(biāo)識別精度,保障水電站運(yùn)行的安全性與可靠性,本文提出了基于關(guān)鍵點匹配和深度特征的水電站無人機(jī)巡檢圖像異常目標(biāo)識別方法研究。
1"水電站無人機(jī)巡檢圖像異常目標(biāo)識別方
法研究
1.1"無人機(jī)巡檢圖像預(yù)處理
無人機(jī)在作業(yè)過程中,主要視角為空中向下的視角,具有獨特的觀測優(yōu)勢,但由于光照與天氣的影響,尤其是霧天,巡檢圖像清晰度較差,嚴(yán)重的還會造成圖像失真,影響后續(xù)異常目標(biāo)識別的效果[4]。因此,為了提升異常目標(biāo)識別性能,對無人機(jī)巡檢圖像進(jìn)行一定的預(yù)處理,具體流程如圖1所示。
圖1"無人機(jī)巡檢圖像預(yù)處理流程圖
如圖1所示,原始無人機(jī)巡檢圖像表達(dá)式為:
I(x,y)=p(x,y)α(x,y)+A1-α(x,y)(1)
式(1)中,I(x,y)表示原始無人機(jī)巡檢圖像;p(x,y)表示(x,y)處的顏色數(shù)值;α(x,y)表示(x,y)處的光照透射率;A表示大氣光值。
利用He算法將原始無人機(jī)巡檢圖像處理成暗原色巡檢圖像[5],表達(dá)式為:
I′pdark(x,y)=min"p(x,y)∈I(x,y)p(x,y)(2)
式(2)中,I′pdark(x,y)表示的是暗原色巡檢圖像,呈現(xiàn)為暗原色像素點分布函數(shù)形式;pdark(x,y)表示的是(x,y)處的暗原色數(shù)值。
依據(jù)暗原色巡檢圖像生成粗略傳播圖,聯(lián)合拉普拉斯算子L,獲取精細(xì)傳播圖,結(jié)合大氣光值影響,即可完成無人機(jī)巡檢圖像的預(yù)處理[6],最終結(jié)果表示為:
f(x,y)=β2(x,y)-A×pdark(x,y)I(x,y)β2(x,y)=β1(x,y)L2ε(x,y)β1(x,y)=I′pdark(x,y)9χΔL=式(3)中,f(x,y)表示預(yù)處理后的無人機(jī)巡檢圖像;β2(x,y)表示巡檢圖像精細(xì)傳播圖;β1(x,y)表示巡檢圖像粗略傳播圖;ε(x,y)表示精細(xì)化處理因子,取值范圍為1,5;χΔ表示粗略傳播圖生成的輔助參量;取值范圍為0,10;
2F(x,y)表示(x,y)處的梯度數(shù)值;表示拉普拉斯算子L的特殊運(yùn)算符號;
F(x,y)表示(x,y)處的散度數(shù)值。
依據(jù)圖1對無人機(jī)巡檢圖像進(jìn)行相應(yīng)的預(yù)處理,獲得巡檢圖像預(yù)處理結(jié)果如圖2所示。
如圖2所示,應(yīng)用圖1所示流程可以實現(xiàn)無人機(jī)巡檢圖像的預(yù)處理,大幅度地提升巡檢圖像的清晰度,為后續(xù)圖像深度特征提取奠定堅實的基礎(chǔ)[7]。
1.2"巡檢圖像深度特征提取
以上述預(yù)處理后的無人機(jī)巡檢圖像f(x,y)為基礎(chǔ),將其轉(zhuǎn)換為方向梯度直方圖形式,提取深度特征,為后續(xù)巡檢圖像關(guān)鍵點選取與匹配做好充足的準(zhǔn)備工作。
巡檢圖像深度特征提取步驟如下所示:
步驟一:采用Gamma變換方法對巡檢圖像進(jìn)行歸一化處理,降低光照與噪聲對于圖像的負(fù)面影響,獲取巡檢圖像對應(yīng)的方向梯度直方圖[8],表達(dá)式為:
g(x,y)=f(x,y)γ(4)
式(4)中,g(x,y)表示巡檢圖像對應(yīng)的方向梯度直方圖;γ表示Gamma變換因子。
步驟二:衡量巡檢圖像X與Y方向梯度數(shù)值[9],計算公式為:
gX(x,y)=H(x+1,y)-H(x-1,y)gY(x,y)=H(x,y+1)-H(x,y-1)(5)
式(5)中,gX(x,y)與gY(x,y)表示巡檢圖像X與Y方向梯度數(shù)值;H(·)表示某像素點對應(yīng)的梯度數(shù)值。
步驟三:衡量巡檢圖像的梯度幅值與方向,表達(dá)式為:
G(x,y)=gX(x,y)2+gY(x,y)2
Φ(x,y)=tan"-1gY(x,y)gX(x,y)(6)
式(6)中,G(x,y)表示巡檢圖像的梯度幅值;Φ(x,y)表示巡檢圖像的梯度方向。
步驟四:將方向梯度直方圖g(x,y)合理劃分為N個單元,對每個單元進(jìn)行加權(quán)投票,投票結(jié)果就是每個單元特征向量,對其進(jìn)行整合,即可獲得巡檢圖像深度特征集合[10],表達(dá)式為:
δ=δ1,δ2,…,δi,…,δN
δi=G(x,y)QiΦ(x,y)gi(x,y)±φi(7)
式(7)中,δ表示巡檢圖像深度特征集合;δi表示巡檢圖像第i個深度特征;gi(x,y)表示方向梯度直方圖中的第i個劃分單元;Qi表示gi(x,y)的加權(quán)投票結(jié)果;φi表示深度特征提取的輔助參量,取值范圍為2,15。
上述過程完成了巡檢圖像深度特征的提取,為后續(xù)研究進(jìn)行提供支撐[11]。
1.3"巡檢圖像關(guān)鍵點選取與匹配
以上述巡檢圖像深度特征提取結(jié)果δ=δ1,δ2,…,δi,…,δN為依據(jù),在其中選取較重要的深度特征作為關(guān)鍵點,以此為基礎(chǔ),對巡檢圖像進(jìn)行匹配,將同一水電站場景巡檢圖像整合為一個集合,為后續(xù)異常目標(biāo)的識別提供一定的便利。
依據(jù)深度特征對于巡檢圖像的潛在價值,計算深度特征的權(quán)重系數(shù)[12],表達(dá)式為:
ωi=δi×PiPtotal(8)
式(8)中,ωi表示巡檢圖像深度特征δi的權(quán)重系數(shù);Pi表示巡檢圖像深度特征δi的潛在價值;Ptotal表示巡檢圖像的全部價值。
以式(8)計算結(jié)果為依據(jù),對巡檢圖像深度特征進(jìn)行降序排列,選取前M個深度特征作為關(guān)鍵點(需要注意的是,關(guān)鍵點數(shù)量需要根據(jù)實際情況進(jìn)行具體設(shè)置),記為δ={δ1,δ2,…,δi,…,δM},以此為基礎(chǔ),獲取每個巡檢圖像關(guān)鍵點,制定關(guān)鍵點匹配規(guī)則,具體如下式所示:
ηij=cov"(δfi(x,y),δfj(x,y))ωiσ(δfi(x,y))σ(δfj(x,y))ηij≥ηΔδfi(x,y)與δfj(x,y)匹配成功ηijlt;ηΔδfi(x,y)與δfj(x,y)匹配失?。?)
式(9)中,ηij表示的是巡檢圖像關(guān)鍵點δfi(x,y)與δfj(x,y)的匹配數(shù)值;cov與σ表示的是協(xié)方差與方差數(shù)值;ηΔ表示的是關(guān)鍵點匹配閾值。
依據(jù)式(9)所示規(guī)則將水電站巡檢圖像匹配為多個集合,記為f1,f2,…,fn,為研究目標(biāo)的實現(xiàn)提供依據(jù)。
1.4"巡檢圖像異常目標(biāo)識別
以上述關(guān)鍵點匹配結(jié)果f1,f2,…,fn為依據(jù),以巡檢圖像深度特征為基礎(chǔ),根據(jù)深度特征是否具有離群點判定巡檢圖像是否存在異常目標(biāo),若存在異常目標(biāo),則對其進(jìn)行進(jìn)一步識別,為水電站的穩(wěn)定運(yùn)行提供保障。
巡檢圖像異常目標(biāo)判定規(guī)則如下式所示:
d(δi,δc)≥D存在異常目標(biāo)d(δi,δc)lt;D不存在異常目標(biāo)(10)
式(10)中,d(δi,δc)表示的是深度特征δi與其中心深度特征δc之間的歐氏距離;D表示的是離群點判定閾值。
當(dāng)巡檢圖像存在異常目標(biāo)時,分割異常目標(biāo)區(qū)域,依據(jù)1.2節(jié)所示流程提取異常目標(biāo)深度特征,計算其與已知異常目標(biāo)特征之間的相似度,以此為依據(jù),實現(xiàn)異常目標(biāo)的識別[13],表達(dá)式為:
ζ(δj,δ″k)≥Ψ完成識別
ζ(δj,δ″k)lt;Ψ繼續(xù)識別(11)
式(11)中,ζ(δj,δ″k)表示的是巡檢圖像異常目標(biāo)深度特征δj與已知異常目標(biāo)特征δ″k之間的相似度;Ψ表示的是異常目標(biāo)識別閾值。
上述過程實現(xiàn)了水電站無人機(jī)巡檢圖像異常目標(biāo)的判定與識別,為水電站可靠運(yùn)行提供幫助。
2"實驗與結(jié)果分析
選取基于改進(jìn)生成對抗網(wǎng)絡(luò)的無人機(jī)電力桿塔巡檢圖像異常檢測(文獻(xiàn)[2])與基于改進(jìn)YOLOv5s的無人機(jī)圖像實時目標(biāo)檢測(文獻(xiàn)[3])作為對比方法1與對比方法2,聯(lián)合提出方法共同進(jìn)行水電站無人機(jī)巡檢圖像異常目標(biāo)識別對比實驗,以此來驗證提出方法的應(yīng)用效果。
2.1"關(guān)鍵點數(shù)量確定
提出方法應(yīng)用了關(guān)鍵點匹配算法,而關(guān)鍵點數(shù)量的選擇至關(guān)重要,直接關(guān)系著關(guān)鍵點匹配效率的高低。因此,在實驗進(jìn)行之前,需要對關(guān)鍵點最佳數(shù)量進(jìn)行確定。
通過測試獲得關(guān)鍵點數(shù)量與關(guān)鍵點匹配效率之間的關(guān)系如圖3所示。
如圖3所示,隨著關(guān)鍵點數(shù)量的增加,關(guān)鍵點匹配效率呈現(xiàn)先增加后下降的變化趨勢。當(dāng)關(guān)鍵點數(shù)量為10個時,關(guān)鍵點匹配效率達(dá)到峰值98%。因此,確定關(guān)鍵點最佳數(shù)量為10個。
上述過程完成了關(guān)鍵點最佳數(shù)量的確定,為后續(xù)實驗的順利進(jìn)行提供一定的便利。
2.2"實驗結(jié)果分析
以上述確定的關(guān)鍵點最佳數(shù)量為依據(jù),聯(lián)合標(biāo)準(zhǔn)實驗環(huán)境進(jìn)行水電站無人機(jī)巡檢圖像異常目標(biāo)識別對比實驗,通過巡檢圖像異常目標(biāo)識別結(jié)果與異常目標(biāo)識別平均精度來顯示提出方法的應(yīng)用性能,具體實驗結(jié)果分析過程如下所示。
2.2.1"巡檢圖像異常目標(biāo)識別結(jié)果分析
以某一幅水電站無人機(jī)巡檢圖像(泄洪口共為7個,從左到右編號為1~7,水電站開啟1、3、5與7泄洪口進(jìn)行泄洪發(fā)電)作為實驗對象,應(yīng)用提出方法、對比方法1與對比方法2對其異常目標(biāo)進(jìn)行識別,獲得識別結(jié)果如圖4所示。
如圖4所示,實驗對象——巡檢圖像存在泄洪口未開啟異常,應(yīng)用提出方法獲得的異常目標(biāo)識別結(jié)果與實際異常目標(biāo)識別結(jié)果一致,而對比方法1存在異常目標(biāo)未識別現(xiàn)象,對比方法2存在異常目標(biāo)未識別及其識別錯誤現(xiàn)象,充分表明提出方法異常目標(biāo)識別精準(zhǔn)度更高。這主要是因為本文在目標(biāo)識別前先對水電站無人機(jī)巡檢圖像進(jìn)行了預(yù)處理,提升了巡檢圖像的清晰度,然后采用Gamma變換方法對巡檢圖像進(jìn)行歸一化處理,降低了光照與噪聲對于圖像的負(fù)面影響,后續(xù)從清晰圖像中更容易識別出異常目標(biāo),因此精準(zhǔn)度較高。
2.2.2"異常目標(biāo)識別平均精度分析
2.2.1節(jié)實驗對象較為單一,獲得的實驗結(jié)論可信度較差,故設(shè)置10種差異性較大的實驗工況,每種實驗工況中的巡檢圖像數(shù)量、異常目標(biāo)數(shù)量等均不一致,進(jìn)行多次實驗,計算異常目標(biāo)識別平均精度,具體如表1所示。
如表1數(shù)據(jù)所示,在不同實驗工況背景下,應(yīng)用提出方法獲得的異常目標(biāo)識別平均精度遠(yuǎn)遠(yuǎn)高于對比方法1與對比方法2,在第9種實驗工況背景下獲得異常目標(biāo)識別平均精度最大值為95%。這是因為本文在預(yù)處理圖像的基礎(chǔ)上,采用方向梯度直方圖模式提取巡檢圖像深度特征,選取較重要的深度特征作為關(guān)鍵點,對巡檢圖像進(jìn)行匹配整合,為后續(xù)異常目標(biāo)準(zhǔn)確識別提供便利,因此應(yīng)用性能更優(yōu)。
3"結(jié)"論
電力能源需求的不斷增加,使得水電站建設(shè)規(guī)模逐漸擴(kuò)大,其在大電網(wǎng)中的占比逐漸增大,自身運(yùn)行穩(wěn)定性與可靠性愈加重要,故提出基于關(guān)鍵點匹配和深度特征的水電站無人機(jī)巡檢圖像異常目標(biāo)識別方法研究。實驗數(shù)據(jù)顯示,提出方法應(yīng)用后,巡檢圖像異常目標(biāo)識別平均精度得到了大幅度的提升,為水電站可靠運(yùn)行提供更有效的方法支撐。
參考文獻(xiàn)
[1]"王軍,劉春國,樊俊屹.基于CNN的地震前兆臺網(wǎng)觀測數(shù)據(jù)異常圖像識別方法[J].地震工程學(xué)報,"2021,"43(1):28-32,49.
[2]"仲林林,胡霞,劉柯妤.基于改進(jìn)生成對抗網(wǎng)絡(luò)的無人機(jī)電力桿塔巡檢圖像異常檢測[J].電工技術(shù)學(xué)報,"2022,"37(9):2230-2240,2262.
[3]"陳旭,"彭冬亮,"谷雨.基于改進(jìn)YOLOv5s的無人機(jī)圖像實時目標(biāo)檢測[J].光電工程,"2022,"49(3):67-79.
[4]"盧毅,陳亞冉,趙冬斌,等.關(guān)鍵點圖對比圖像分類方法[J].智能系統(tǒng)學(xué)報,"2023,"18(1):36-46.
[5]"楊子固,李海芳,劉劍超,等.結(jié)合異常檢測的X射線安檢圖像識別方法[J].科學(xué)技術(shù)與工程,"2021,"21(26):11240-11245.
[6]"霍志浩,金煒東,唐鵬.融合自監(jiān)督學(xué)習(xí)的單幀圖像運(yùn)動視差關(guān)鍵點估計[J].系統(tǒng)仿真學(xué)報,"2021,"33(11):2753-2759.
[7]"孫俊,張林,周鑫,等.采用高光譜圖像深度特征檢測水稻種子活力等級[J].農(nóng)業(yè)工程學(xué)報,"2021,"37(14):171-178.
[8]"尤錕,張全成,李凱勇.基于三維激光點云的運(yùn)動圖像動態(tài)目標(biāo)識別方法[J].應(yīng)用激光,"2022,"42(4):147-153.
[9]"王龍?zhí)?,藍(lán)朝楨,姚富山,等.多源遙感影像深度特征融合匹配算法[J].地球信息科學(xué)學(xué)報,"2023,"25(2):380-395.
[10]顧曉東,唐丹宏,黃曉華.基于深度學(xué)習(xí)的電網(wǎng)巡檢圖像缺陷檢測與識別[J].電力系統(tǒng)保護(hù)與控制,"2021,"49(5):91-97.
[11]李孟錫,任笑圓,王粲雨,等.基于HOURGLASS網(wǎng)絡(luò)語義關(guān)鍵點提取的光學(xué)圖像空間目標(biāo)姿態(tài)估計方法[J].信號處理,"2021,"37(9):1653-1662.
[12]李忠偉,張浩,王雷全,等.融合空譜-梯度特征的深度高光譜圖像去噪[J].光學(xué)精密工程,"2022,"30(5):615-629.
[13]鄭柏倫,冼楚華,張東九.融合RGB圖像特征的多尺度深度圖像補(bǔ)全方法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,"2021,"33(9):1407-1417.