無人機雙目視覺系統(tǒng)在電力絕緣子故障檢測與類型識別中的研究與應用①

閆德鑫, 劉建軍

(湖南交通工程學院，湖南 衡陽 421009)

0 引 言

無人機雙目視覺類傳感器能夠獲取到高空作業(yè)信息，還可獲取表面故障特征的信息，便于對電力絕緣子進行更加準確的故障檢測與類型識別。結合高空總也難度大利用雙目視覺熊提升故障檢測的正確率，可以避免工作中的性能干擾，而且從經濟角度分析，無人機雙目視覺機器價格更低、設備更輕便、操作方便且便于維護。

1 無人機雙目視覺系統(tǒng)的匹配技術分析

1.1 雙目立體視覺

無人機雙目視覺系統(tǒng)，這種技術在識別周圍圖像過程當中會模仿人的視覺以獲取最為清晰的圖像，并觀察到空中某一點位置的投影以及形成的視差。國內有關雙目立體視覺的技術應用主要應用于安防監(jiān)控、智能零售以及工業(yè)制造，而在電力絕緣子故障檢測當中逐步深入研究。

1.1.1 雙目立體成像的模型

人眼變化的位置主要以左右眼，睜眼閉眼感受視差。雙目立體成像的模型模擬人眼觀察事物，捕捉立體圖相匹配特征點具體位置，并聯(lián)合相機對物體表面三維信息予以求解，模型成像如圖1。

借助于左右攝像機獲取存在視差的各類圖像，快速精算圖像存在的視差，從而明確物體空中的物點，利用相機所在位置快速識別空間的三維圖像，從而計算像素深度，考慮攝像頭距離以及攝像頭的基線，其中基線距離越長測得的事物圖像距離也越遠。

1.1.2 雙目立體視覺的數(shù)學模型

水平視角下的雙目立體成像形成的原理，在圖像聚合透明位置點，確定攝像焦點位置已形成空間三維坐標，從而分析圖像的左右坐標，形成左右鏡頭找到兩點之間的公式如式(1)：

(1)

然后可以求得XD獲取物點P的三維坐標，以及左右鏡頭對應位置關系。獲取圖像的雙目相機拍攝不同圖像，由于所在位置不同，左右視差的點對點需要匹配，按照公式內容可以明確三維坐標具體所在位置點。結合生物圖像立體匹配，是插圖道生度圖的轉換，從而形成二維到三維圖像的轉換。

1.1.3 畸變與矯正

實際物體成像，是在相機的成像透鏡基礎上得以生成圖像，借助于以光線傳播的方式形成圖像盡管會出現(xiàn)變形失真，但是圖像的清晰度較好，鏡頭鏡片所形成的形狀差異往往是因為鏡像畸變造成的?；兪怯捎谕哥R數(shù)量過多，而在傳播過程當中出現(xiàn)光軸傾斜容易形成畸變。R代表點P距離坐標，遠點的θ代表水平夾軸，從而對鏡像畸變進行消除。公式如(2)，(3)：

xcorrected=x(1+k1r2+k2r4+k3r6)

(2)

ycorrected=y(1+k1r2+k2r4+k3r6)

(3)

圖1 雙目立體成像模型

圖2 雙目立體成像平視視角原理

XY在矯正之前的P點形成規(guī)劃的坐標，針對圖像邊緣存在的畸變較大的問題，采用K值消除畸變K3值，避免畸變過大影響匹配。一旦雙目視覺系統(tǒng)拍攝的圖像出現(xiàn)切向畸變，需要結合參數(shù)P1、P2j矯正畸變，例如公式(4)，(5)：

xcorrected=x+2p1xy+p2(r2+2x2)

(4)

ycorrected=y+p1(r2+2y2)2p2xy

(5)

綜合公式(2)-(5)計算結合畸變參數(shù)K1，K2，K3，p1，p2，獲取圖像像素平面坐標，將圖像倒影在平面消除畸變。

1.1.4 Bouguet極線校正

左右相機拍攝的圖像按照坐標予以矯正，使其達到平行共面狀態(tài)。得到旋轉矩陣Rr，如公式(6)：

(6)

矯正矩陣Rrect確保平面與基線保持平行，由此得出矯正矩陣公式(7)：

(7)

其中，T表示雙目相機左右鏡頭之間偏移矩陣，T= TXTy。Rz和Rro如公式(8)所示：

(8)

1.1.5 實驗結果的描述

明確畸變的像素坐標，從而劃分畸變前后各個像素的坐標公式?；兦暗南袼刈鴺藶?x，y)。其中，形成主點坐標，(x,y)表示無畸變坐標。公式如(9)，(10)：

ud=u0+axd+yyd

(9)

vd=v0+Pyd

(10)

將式(9)和(10)轉化為矩陣，如公式(11)所示：

(11)

結合實驗所安裝的相機位置以及畸變系數(shù)消除圖像所存在的畸變，以還原圖像真實情況，由于相機的透鏡曲率不均，同樣會引起徑向畸變。

1.2 立體匹配

立體匹配技術對圖像相同顏色以及相似的元素信息需要形成立體匹配，主要是借助于雙目深度進行估算，估算視差匹配度是否提高精度。匹配精度會影響圖像信息轉換結構的準確性，因此立體匹配技術難點主要在于顏色、亮度、圖像、傾斜面、反光區(qū)域、物體遮擋、透視、變形、紋理重復等等一系列問題。為此，要選擇適合的立體匹配算法。立體匹配流程主要是計算匹配代價以及聚合，最后進行統(tǒng)計數(shù)統(tǒng)計，對視差進行精化計算。計算顏色、亮度、梯度，匹配數(shù)值以達到最優(yōu)解，需要排除匹配噪聲。

1.2.1 視差圖

無人機雙目視覺系統(tǒng)主要是模仿人眼的功能，尤其是在閉一只眼之后可觀察物體，睜開一只眼再閉上另一只眼，眼睛會成像產生一個位移視差。雙目立體視覺系統(tǒng)通過鏡頭模擬人的眼睛所產生的視差效果，在相機成像的兩者之間也會形成眼睛一樣的位移關系?？梢越柚谌菧y量原理得到三維立體圖。

圖3 匹配流程

所形成的視差圖的大小色彩會與眼睛所形成的基準圖像類似，視差圖也被稱之為是灰度圖，代表像素的各個點的距離遠近，相機鏡頭就某一場景是之下形成的像素偏差與深度信息相一致，通過公式將視差信息轉化為圖像的深度信息。

1.2.2 影響匹配的因素

利用雙目相機形成的圖片像素坐標類似于左右兩臺相機架在左右兩個位置點，綜合形成像素坐標，相機之間存在差異性，為了強化圖像的精準度穩(wěn)定測量環(huán)境，確保相機所攝物體的光照環(huán)境。在光照影響下會出現(xiàn)圖像亮度、色彩的差異性，而且也會因為圖像之間的噪聲，會導致后期圖像匹配產生誤差。例如，光線作用位于高亮反光位置處容易出現(xiàn)匹配誤差；所在區(qū)域物體角度差異造成的傾斜角度存在誤差；不同位置的透視撞偏差造成左右圖像特點，對應呈現(xiàn)出誤差匹配結果。

1.3 立體匹配算法

1.3.1 基于全局最優(yōu)的立體匹配算法

綜合立體匹配算法存在的約束條件，進而獲取匹配機緣獲得視差信息精確度存在問題，需要規(guī)劃立體匹配算法，具體公式如(12)。

E(d) =Edata(d) +Esmooth(d)

(12)

式(12)中，d代表視差圖，ESmooth代表視差平滑項，Edata代表視差數(shù)據項。計算最優(yōu)解獲取點和像素關系視差，提高匹配中心位置對左右相機成像圖像進行相鄰區(qū)域計算存在的視差，利用數(shù)學函數(shù)公式計算像素點位置的視差值，所以提取最優(yōu)視差以評估視差信息。使用這種方法計算的視差，整體區(qū)域并不連續(xù)，但是可以提高匹配精度。

1.3.2 局部最優(yōu)的立體匹配算法

為了獲取最優(yōu)解，利用立體匹配算法優(yōu)化匹配效果，以此進一步可以計算出立體視差。在窗口設置當中，結合工作原理，主要是手動搜索到匹配窗口圖像的特征點，了解區(qū)域之間的視差值，手動選擇窗口像素。利用自適應像素權重的方法剔除掉平滑像，針對不同形狀大小采取差異性的方法，難點在于相似性的匹配特點較多，立體匹配算法的優(yōu)點在于能夠快速匹配，后續(xù)需要對視差進行操作。而局部立體匹配算法效果更好，耗時短。目前，局部圖像匹配算法，其精度在匹配技術領域當中應用更為廣泛。本文主要選擇改進最優(yōu)算法，以提高實驗精度。

2 基于圖像的電力絕緣子故障檢測算法研究

2.1 故障檢測算法概述

在計算機的視覺計算技術日益成熟過程中，語義分割結合視覺系統(tǒng)形成視覺層次，像素分割對應上下文個像素予以標簽，抓取語義特征劃分像素類型，語義分割技術對物體進行完整的解析，需要借助于各項工具以提高判斷準確性。語義分割用于無人機生物視覺系統(tǒng)當中，得以形成對圖像編輯的自行計算交互功能。

表1 常見的語義分割數(shù)據

傳統(tǒng)算法大多以FCN作為基礎，和與對像素級別的圖像予以分類，但依賴于卷積層導致網絡退化。FCN去掉了全連接層，綜合網絡應用可以精確圖像尺寸大小。經典語義分割算法沒有連接層解碼，編碼都采用SAME卷積提取特征，可以保持像素尺寸解碼，引入編碼信息采用池華槽模型可以提升編輯效果。從而減少相關信息減損失，借助于語義分割實現(xiàn)編碼解碼模型。

2.2 語義分割網絡設計

語義分割能強化識別物體故障精度，電力系統(tǒng)高架需要無人機安裝的雙目視覺系統(tǒng)采集高空作業(yè)信息，在傳輸給地面，通過反復應用全新技術，快速識別電力絕緣子的故障位置和類型，確保圖像已經丟失的文件數(shù)據信息，而語義分割架構作為編碼解碼過程編輯器輸入特征，將特征投影到像素空間以內。目前網絡架構當中，輕量型的主要是對網絡的層容量、深度、寬度進行操作以解決計算量繁瑣的一系列問題。目前，Swift net通過預算提高科技含量，強化計算速度，便于將輕量型網絡架構延伸到語義分割當中。

2.2.1 SwiftNet 網絡架構

SwiftNet依舊采用編碼-解碼的網絡架構，實踐中mobilenetv2計算量大，延緩計算速度。要想提高實時編碼速度，利用上采樣對圖像編碼簡單易學，輸入到一個3x3 conv中。具體如圖4。

圖4 單尺度模型圖

圖5 RGB圖像的網絡架構

黃色梯形表示卷積組，綠色菱形表示空間金字塔池化層，紅色正方形表示瓶頸層，藍色梯形表示輕量級上采樣模塊。雙線性插值采樣后可以提高原始圖像分辨率。

2.2.2 RGB-D語義分割網絡架構

通過分割架構體系進行優(yōu)化改進，此后的網絡架構編碼器分割為獨立分支兩部分，每個路徑均可獲取RGB圖像以及深度圖特征。主分支當中RGB的深度圖就是體系內部的從分支。在ResNet-18窗口提取圖像特征，每一個層次均顯示的是融合后分支的輸出特征。金字塔結構(SSP)將數(shù)據收集融合形成RGB，在此基礎上將圖像的深度特征演變?yōu)槎喑叨鹊母鱾€類型的信息以作為圖像主要特征予以清晰化處理。

結合多分支架構獲取圖像的深度信息特征Y，加入ixl的卷積層，挖掘通道之間的相關性，利用函數(shù)計算結果，權重[0-1]，獲取的權重向量與特征的乘積，最后獲取圖像深度結果如(13)：

Z=X?σ1[φ1(X)]+Y?σ2[φ2(Y)]

(13)

式(13)中，Z表示全局匯集，表示外積和sigmoid函數(shù)。利用融合獲取大量特征信息，獲取圖像最高權重值，達到深度圖的信息互補。在數(shù)據集訓練中可以改進框架以提高數(shù)據集的精準度，在語義分割方面提高工作效率。

3 實驗結果與分析

3.1 數(shù)據集

采用電力絕緣子數(shù)據集，包含了50多張高空電力絕緣子圖像以及注釋序列，包括電力絕緣子的棒芯圖層標簽，圖像大小是1024X2048。根據圖像獲取絕緣子的故障信息，傘盤紋理/外觀不均勻，金屬端頭中有故障，存在圖像清晰度的干擾物。結合數(shù)據集估視覺算法對電力絕緣子工作環(huán)境存在故障的位置，用于訓練神經網絡計算強化圖像識別效果。

3.2 實驗結果與分析

利用Windows 10操作系統(tǒng)，使用Pytorch框架搭建模型，優(yōu)化計算速度，圍繞RGB獲取深度信息的語義分割網絡架構，采用Cityscape數(shù)據集優(yōu)化圖集，在軟件當中將獲取ResNet-18分支結果，再次更新訓練參數(shù)。匹配算法存在一定的限制，所獲取的左右試圖存在視差，需要裁剪像素使其回歸到原始分辨率當中。利用隨機因子0.5-2之間的縮放獲取的訓練圖有50張，主要包括，傘盤、棒芯、金屬端頭，相關圖像以此作為標簽，強化網絡運行速度的同時，快速處理圖片，在隨機水平反轉操作裁剪的過程當中，使所有圖片的分布辨率在768*768之間。保證數(shù)據飽和度，需要對圖片的色調、亮度進行處理，擴充操作方式，以計算數(shù)據局的訓練權重。Z大小設為16。

表3 不同模型在數(shù)據集上的對比

語義分割評價指標MIoU，指示類別識別精確值，該值越高證明與圖像真實數(shù)據越接近，該模型算法性能優(yōu)化越突出。表2是數(shù)據集在兩個網絡上的MIOU(%)結果，金屬端頭、傘盤、棒芯。利用RGB圖像獲取的深度信息計算速度略高。如果網絡輸送效果較好，證明越符合光照條件下的要求，RGBnet的速度達到了42FPS，滿足了實時性的要求。

為保證所獲取的圖像信息更具有深度，可以利用深度信息提高分割精度，從而檢測散盤金屬端頭傍星不同目標的圖像語義分割，提取故障類別語義信息，針對不同類別的像素獲取結果，從而精準識別電力絕緣子各部位。所存在的故障由于圖像復雜性，存在漏洞，例如難以識別魯棒或者金屬盤的細微故障，結合實驗所使用的網絡方式，有效利用互補信息，對單純的圖像予以識別，提高故障檢驗精度。

4 結 語

人工智能技術為電力絕緣子故障檢測提供便利，借助于無人機雙目視覺系統(tǒng)感知外界信息對故障進行檢測，而一個智能化的具有快速、可靠的故障檢測系統(tǒng)技術不僅對我國電力發(fā)展具有很大意義,也是電力系統(tǒng)的完善和保障。在立體匹配中結合雙目相機提取信息避免畸變，以消除畸變，在立體匹配算法中，提高圖像顏色的匹配度，獲取匹配生成圖像信息更加完整。與SwiftNet相比，本實驗網絡體系的深度互補信息，在傘盤、金屬端頭、棒芯的故障檢測方面提升了準確率，證明了利用深度信息有助于提高準確性。