基于雙目視覺(jué)的支柱絕緣子目標(biāo)識(shí)別與定位研究

朱 航，樊紹勝，黎 天

（長(zhǎng)沙理工大學(xué) 電氣與信息工程學(xué)院，長(zhǎng)沙 410000）

0 概述

支柱絕緣子是變電站中的重要設(shè)備，絕緣子污穢和破損是影響其運(yùn)行性能的主要因素。受鹽霧和海風(fēng)影響，沿海地區(qū)支柱絕緣子性能下降尤為普遍、嚴(yán)重，因沿面放電和破損所導(dǎo)致的絕緣子失效和絕緣子斷裂事故時(shí)常發(fā)生，嚴(yán)重威脅電網(wǎng)的安全運(yùn)行［1］。目前變電站大都需要停電進(jìn)行支柱絕緣子人工清洗，作業(yè)人員根據(jù)線(xiàn)路電壓等級(jí)調(diào)整與絕緣子間的距離，通過(guò)長(zhǎng)度較長(zhǎng)的絕緣桿清掃絕緣子，作業(yè)勞動(dòng)強(qiáng)度大、繁瑣，且具有危險(xiǎn)性［2］。

為保障電網(wǎng)作業(yè)人員的安全、減輕其作業(yè)負(fù)擔(dān)，需要研發(fā)一種適應(yīng)變電站高電場(chǎng)強(qiáng)度環(huán)境的帶電作業(yè)清洗機(jī)器人，解決人工絕緣子清掃停電問(wèn)題，保證變電站供電的穩(wěn)定性。而帶電作業(yè)機(jī)器人的清洗與探傷工作能夠順利進(jìn)行的關(guān)鍵在于機(jī)器人立體視覺(jué)系統(tǒng)穩(wěn)定可靠，它作為機(jī)器人視覺(jué)伺服控制的基礎(chǔ)，通過(guò)視覺(jué)傳感器獲取變電站環(huán)境信息，對(duì)絕緣子進(jìn)行捕捉與定位。

本文主要對(duì)清洗機(jī)器人雙目視覺(jué)系統(tǒng)進(jìn)行介紹，通過(guò)YOLOv4-tiny深度學(xué)習(xí)網(wǎng)絡(luò)算法對(duì)所采集圖像中的支柱絕緣子與法蘭進(jìn)行目標(biāo)檢測(cè)，利用深度相機(jī)獲取目標(biāo)絕緣子深度信息，并基于立體匹配，進(jìn)行空間目標(biāo)點(diǎn)的三維重建實(shí)驗(yàn)，實(shí)現(xiàn)對(duì)待清洗絕緣子的識(shí)別與定位。后續(xù)在對(duì)絕緣子抓取清洗的過(guò)程中，通過(guò)采用ROI輪廓提取方法，結(jié)合絕緣子觀測(cè)模型實(shí)現(xiàn)對(duì)絕緣子盤(pán)傘裙傾斜角檢測(cè)，便于調(diào)整機(jī)械臂末端干冰噴頭傾角，對(duì)絕緣子盤(pán)凹壑進(jìn)行細(xì)節(jié)清洗。

1 清洗機(jī)器人雙目視覺(jué)系統(tǒng)

變電站絕緣子清洗機(jī)器人整體構(gòu)成如圖1所示，包括履帶式底盤(pán)、絕緣剪叉升降機(jī)構(gòu)、兩軸移動(dòng)平臺(tái)、電氣控制系統(tǒng)、干冰清洗機(jī)模組、五軸作業(yè)機(jī)械臂組件和末端旋洗作業(yè)模塊。

圖1 絕緣子清洗機(jī)器人總體結(jié)構(gòu)Fig.1 Insulator cleaning robot overall structure

絕緣子清洗機(jī)器人如圖2所示，由作業(yè)平臺(tái)和履帶式升降平臺(tái)組成，履帶式升降平臺(tái)包括履帶式底盤(pán)和絕緣升降機(jī)構(gòu)兩部分，履帶式底盤(pán)攜帶4個(gè)液壓支腿，保證機(jī)器人在作業(yè)時(shí)的穩(wěn)定性和安全性。升降平臺(tái)高度最高可延展至5.1 m，如圖3所示。作業(yè)平臺(tái)包括兩軸移動(dòng)平臺(tái)、搭載于兩軸移動(dòng)平臺(tái)上的機(jī)械臂、末端清洗機(jī)構(gòu)、干冰清洗模組和電氣控制系統(tǒng)。機(jī)器人可通過(guò)作業(yè)平臺(tái)對(duì)絕緣子進(jìn)行作業(yè)。

圖2 絕緣子清洗機(jī)器人實(shí)體圖Fig.2 Physical view of insulator cleaning robot

圖3 清洗機(jī)器人升降機(jī)構(gòu)伸展Fig.3 Cleaning robot lifting mechanism extension

1.1 機(jī)器人視覺(jué)伺服系統(tǒng)

雙目視覺(jué)伺服系統(tǒng)的主要任務(wù)是獲取變電站及其周?chē)h(huán)境的信息［3］，視覺(jué)伺服系統(tǒng)示意圖如圖4所示，清洗機(jī)器人機(jī)械臂通過(guò)搭載攝像頭獲取環(huán)境信息，識(shí)別出待清洗的目標(biāo)絕緣子，對(duì)絕緣子進(jìn)行捕捉與定位，通過(guò)轉(zhuǎn)換得到機(jī)械臂與作業(yè)對(duì)象絕緣子的位姿關(guān)系。后續(xù)運(yùn)用多自由度機(jī)械臂系統(tǒng)的伸縮、旋轉(zhuǎn)、橫移、縱移等基本控制，將機(jī)械臂末端自主送入作業(yè)空間，實(shí)現(xiàn)對(duì)支柱絕緣子的自主識(shí)別與定位清洗工作。

圖4 機(jī)器人視覺(jué)伺服系統(tǒng)示意圖Fig.4 Schematic diagram of robot visual servo system

1.2 雙目視覺(jué)系統(tǒng)成像模型

雙目視覺(jué)系統(tǒng)成像模型是指，絕緣子清洗機(jī)器人利用攝像機(jī)在不同時(shí)刻拍攝同一場(chǎng)景的多幀圖像，并基于視差原理恢復(fù)出物體三維幾何信息，重建對(duì)象及周?chē)鷪?chǎng)景的三維形狀與位置。該模型的重點(diǎn)在于通過(guò)計(jì)算對(duì)應(yīng)點(diǎn)的位置偏差來(lái)獲取實(shí)際目標(biāo)幾何信息［4］，如圖5所示。

圖5 雙目立體成像模型Fig.5 Binocular stereo imaging model

在實(shí)際應(yīng)用中，當(dāng)左右兩個(gè)攝像機(jī)在同一時(shí)刻觀測(cè)空間某物體的同一目標(biāo)點(diǎn)P在相機(jī)坐標(biāo)系下坐標(biāo)為(x1，y1，z1)，分別在左攝像機(jī)與右攝像機(jī)上獲取點(diǎn)P的圖像，對(duì)應(yīng)圖像坐標(biāo)為Pl=(xl，yl)，Pr=(xr，yr)。則特征點(diǎn)P的圖像坐標(biāo)Y坐標(biāo)相同。其中，設(shè)相機(jī)焦距為f，記B為兩攝像頭的投影中心的間距［5］；存在yl=yr=y，由三角幾何關(guān)系可得式（1）：

xl與xr兩點(diǎn)對(duì)同一目標(biāo)點(diǎn)P而言，可由其視差位移關(guān)系d=xl－xr，計(jì)算特征點(diǎn)P在相機(jī)坐標(biāo)系中坐標(biāo)x。上述關(guān)系滿(mǎn)足如式（2）：

1.3 傳感器成像模型及坐標(biāo)系建立

依據(jù)矩陣運(yùn)算原理與坐標(biāo)轉(zhuǎn)換關(guān)系，記空間中存在某特征點(diǎn)P，P點(diǎn)在世界坐標(biāo)系的坐標(biāo)Pw=(Xw，Yw，Zw)，而點(diǎn)P對(duì)應(yīng)在相機(jī)坐標(biāo)系下的坐標(biāo)Pc=(Xc，Yc，Zc)，傳感器成像系統(tǒng)坐標(biāo)關(guān)系［6］如圖6所示。

圖6 成像系統(tǒng)坐標(biāo)系Fig.6 Imaging system coordinate system

依據(jù)數(shù)學(xué)矩陣運(yùn)算原理與坐標(biāo)轉(zhuǎn)換關(guān)系，計(jì)算P在兩個(gè)坐標(biāo)系中坐標(biāo)關(guān)系變換，如下式：

式中，旋轉(zhuǎn)矩陣R為3×3的正交矩陣，t為3×1的平移向量，OT=[0 0 0]T，設(shè)P點(diǎn)在相機(jī)傳感器成像平面上的像點(diǎn)p的坐標(biāo)為(x，y)，圖像物理坐標(biāo)系的原點(diǎn)是相機(jī)光軸與圖像平面的交點(diǎn)，f表示相機(jī)焦距，根據(jù)針孔相機(jī)成像原理［7］有：

1.4 傳感器相機(jī)標(biāo)定

在機(jī)器視覺(jué)應(yīng)用中，要確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，需建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。所以進(jìn)行攝像機(jī)標(biāo)定的目的是求出相機(jī)的內(nèi)、外參數(shù)，以及畸變參數(shù)［8］。

本次傳感器標(biāo)定以傳感器Intel RealSense D435I深度相機(jī)作為雙目立體系統(tǒng)的攝像機(jī)進(jìn)行圖像采集，使用Opencv編程方法對(duì)相機(jī)進(jìn)行標(biāo)定。實(shí)驗(yàn)標(biāo)定板規(guī)格如圖7，采用10×7黑白方格組成，方格邊長(zhǎng)為25 mm×25 mm，標(biāo)定板角點(diǎn)數(shù)量為9×6個(gè)。為了保證程序準(zhǔn)確計(jì)算圖像畸變，相機(jī)需要從不同角度獲取標(biāo)定板圖像，實(shí)驗(yàn)在采集了25張照片后自動(dòng)結(jié)束標(biāo)定，相機(jī)標(biāo)定實(shí)驗(yàn)及相機(jī)內(nèi)外參數(shù)結(jié)果如圖8、圖9所示。

圖7 10×7黑白方格標(biāo)定板Fig.7 10×7 black and white square calibration board

圖8 相機(jī)標(biāo)定實(shí)驗(yàn)Fig.8 Camera calibration experiment

圖9 相機(jī)內(nèi)外參數(shù)結(jié)果圖Fig.9 Camera internal and external parameter results

2 支柱絕緣子目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的基本任務(wù)之一，隨著科學(xué)技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)發(fā)展迅速，由于其龐大的數(shù)據(jù)量積累和強(qiáng)大的計(jì)算能力。基于深度神經(jīng)網(wǎng)絡(luò)方法在目標(biāo)檢測(cè)技術(shù)研究等領(lǐng)域取得突破性進(jìn)展。本節(jié)將基于YOLOv4-tiny模型，采用K-Means++聚類(lèi)算法設(shè)定預(yù)測(cè)框，對(duì)絕緣子清洗機(jī)器人在變電站清洗作業(yè)過(guò)程中實(shí)時(shí)采集到的圖像進(jìn)行絕緣子盤(pán)及法蘭的目標(biāo)檢測(cè)。

2.1 YOLOv4-tiny算法模型

YOLOv4-tiny是最新的YOLO輕量級(jí)網(wǎng)絡(luò)，其骨干網(wǎng)絡(luò)主要包括下采樣CBL結(jié)構(gòu)和CSP結(jié)構(gòu)。特征提取網(wǎng)絡(luò)CSPDarknet 53-tiny，采用CSPnet結(jié)構(gòu)輸入416×416×3的圖像，通過(guò)主干特征提取網(wǎng)絡(luò)得到26×26×256、13×13×512兩個(gè)有效特征層，然后傳入加強(qiáng)特征提取網(wǎng)絡(luò)中進(jìn)行FPN特征金字塔構(gòu)建［9］。FPN會(huì)將13×13×512有效特征層卷積后進(jìn)行上采樣與26×26×256有效特征層堆疊，輸出層形成預(yù)測(cè)特征的YOLO head。YOLOv4-tiny算法其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖10所示。

圖10 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.10 YOLOv4-tiny Network Structure

其中，Convolutional由一個(gè)卷積層、批標(biāo)準(zhǔn)化BN層以及Leaky Relu激活函數(shù)構(gòu)成［10］。LeakyRelu給所有負(fù)值賦予一個(gè)非零斜率，以避免神經(jīng)元的失活現(xiàn)象，其函數(shù)表達(dá)式如下：

BN層可降低不同樣本間值域的差異性，避免梯度消失和梯度爆炸的問(wèn)題，同時(shí)減少參數(shù)或其初始值尺度的依賴(lài)性，提高網(wǎng)絡(luò)范化能力。下采樣CBL結(jié)構(gòu)中，每個(gè)卷積核大小為3×3，步長(zhǎng)為2，主要對(duì)圖像進(jìn)行下采樣處理。CSP結(jié)構(gòu)將基礎(chǔ)層的特征映射劃分為兩部分，通過(guò)跨層連接，增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力［11］，在減少了計(jì)算量的同時(shí)可以保證準(zhǔn)確率，相較于之前的輕量網(wǎng)絡(luò)，在mAP和fps上都有巨大的提升。

YOLO的核心思想是根據(jù)特征提取網(wǎng)絡(luò)輸出特征圖的大小，將輸入圖像劃分為S×S個(gè)網(wǎng)格，每個(gè)格子作為先驗(yàn)錨框的局部坐標(biāo)，在格子內(nèi)訓(xùn)練的網(wǎng)絡(luò)預(yù)測(cè)的坐標(biāo)偏移量、物體置信度和類(lèi)別置信度對(duì)每個(gè)錨框分別進(jìn)行擬合，最后經(jīng)過(guò)非極大值抑制篩選后，得到檢測(cè)的邊界框坐標(biāo)和類(lèi)別［12］。其置信度損失函數(shù)如式（6）：

該算法使用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征圖，進(jìn)而提高目標(biāo)檢測(cè)速度。使用了13×13和26×26兩種不同比例尺的feature map來(lái)預(yù)測(cè)檢測(cè)結(jié)果［14］。作者本次使用YOLOv4-tiny深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)支柱絕緣子與法蘭進(jìn)行訓(xùn)練，并對(duì)待清洗絕緣子目標(biāo)進(jìn)行檢測(cè)。

2.2 數(shù)據(jù)集的制作及識(shí)別實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)的樣本集僅針對(duì)變電站支柱絕緣子與法蘭，數(shù)據(jù)采集自湖南省帶電作業(yè)中心。為了達(dá)到更優(yōu)的檢測(cè)效果，本次研究使用旋轉(zhuǎn)、縮放、翻轉(zhuǎn)及亮度和對(duì)比度調(diào)整等方法對(duì)訓(xùn)練的樣本進(jìn)行擴(kuò)充，增加樣本多樣性。在不同角度、不同距離、不同時(shí)間對(duì)不同的支柱絕緣子與法蘭的樣本進(jìn)行采集，自制數(shù)據(jù)集共950張。使用YOLOv4-tiny模型進(jìn)行訓(xùn)練，隨機(jī)選取其中800張用于訓(xùn)練，剩余150張用于結(jié)果測(cè)試。實(shí)驗(yàn)在實(shí)驗(yàn)室的臺(tái)式電腦上進(jìn)行，具體基本硬件信息和系統(tǒng)信息如表1所示。

表1 算法實(shí)驗(yàn)的訓(xùn)練環(huán)境Tab.1 The training environment of algorithm experiment

訓(xùn)練參數(shù)設(shè)置如下：使用darknet53.conv.74預(yù)訓(xùn)練權(quán)重對(duì)標(biāo)注好的數(shù)據(jù)集進(jìn)行訓(xùn)練，設(shè)定學(xué)習(xí)率為0.001，批量樣本數(shù)設(shè)定為32，在經(jīng)過(guò)150個(gè)epoch后且Loss值趨于穩(wěn)定后停止訓(xùn)練，訓(xùn)練結(jié)果如表2所示。

表2 樣本測(cè)試精度表Tab.2 Sample test precision table

將訓(xùn)練后生成的權(quán)重文件以及訓(xùn)練用的配置文件提取出來(lái)，在控制程序中對(duì)訓(xùn)練好的模型進(jìn)行加載。最終識(shí)別訓(xùn)練結(jié)果如圖11所示。表2中的準(zhǔn)確率是指在測(cè)試結(jié)果中，檢測(cè)出的所有目標(biāo)里包含真正目標(biāo)的比例；而召回率則是檢測(cè)出的真正目標(biāo)占所有真正目標(biāo)的比例［15］。由測(cè)試精度表（表2）可以看出算法對(duì)絕緣子盤(pán)以及法蘭的檢測(cè)率符合機(jī)器人的使用需求。

圖11 網(wǎng)絡(luò)識(shí)別訓(xùn)練結(jié)果Fig.11 Network recognition training results

3 絕緣子目標(biāo)定位

3.1 深度信息提取與立體匹配

為實(shí)現(xiàn)對(duì)支柱絕緣子串的自主識(shí)別與清洗工作，基于雙目視覺(jué)的目標(biāo)定位就顯得尤為重要。絕緣子清洗機(jī)器人的機(jī)械臂通過(guò)搭載深度攝像頭獲取環(huán)境信息，對(duì)絕緣子進(jìn)行捕捉與定位，通過(guò)轉(zhuǎn)換得到機(jī)械臂與作業(yè)對(duì)象絕緣子的位姿關(guān)系。

本次視覺(jué)傳感器采用Intel Real Sense D435I深度相機(jī)，相機(jī)的捕捉最遠(yuǎn)距離可達(dá)10 m。其原理是雙目立體視覺(jué)，深度相機(jī)利用結(jié)構(gòu)光（Structured Light）技術(shù)來(lái)測(cè)量距離。與灰度圖像中像素點(diǎn)存儲(chǔ)亮度值不同，其像素點(diǎn)存儲(chǔ)的是該點(diǎn)到相機(jī)的深度值［16］。深度圖像是包含與視點(diǎn)的場(chǎng)景對(duì)象表面的距離有關(guān)的信息的圖像或圖像通道。對(duì)目標(biāo)絕緣子深度信息進(jìn)行采集，所采集的RGB圖與深度圖如圖12所示。

圖12 絕緣子深度圖與RBG圖Fig.12 Insulator depth diagram and RBG diagram

本次研究在前述工作的基礎(chǔ)上，實(shí)現(xiàn)了雙目攝像機(jī)的參數(shù)標(biāo)定，并且實(shí)現(xiàn)了目標(biāo)物體的識(shí)別，確定了攝像機(jī)采集圖片中的目標(biāo)區(qū)域。后續(xù)我們期望將深度相機(jī)左右兩攝像機(jī)采集到的圖像上的特征點(diǎn)一一對(duì)應(yīng)地進(jìn)行立體匹配。通過(guò)立體匹配對(duì)左、右攝像機(jī)采集圖像中的目標(biāo)物體上的點(diǎn)對(duì)進(jìn)行搜索，得到對(duì)應(yīng)的視差后進(jìn)行三維重建，進(jìn)而得到目標(biāo)點(diǎn)的位置信息。

目標(biāo)物體定位是為了確定搜索圖像中目標(biāo)絕緣子的位置坐標(biāo)，所以在此選擇物體的形心坐標(biāo)實(shí)現(xiàn)對(duì)物體的定位?；谕鈽O線(xiàn)約束、視差連續(xù)性約束、唯一性約束等極線(xiàn)約束準(zhǔn)則對(duì)采集到的圖像對(duì)進(jìn)行立體校正，通過(guò)立體匹配找到該像素點(diǎn)對(duì)應(yīng)的左、右攝像機(jī)獲取圖像中對(duì)應(yīng)像素點(diǎn)。

首先基于絕緣子模板圖像利用Canny邊緣檢測(cè)算子［17］提取目標(biāo)絕緣子輪廓邊緣如圖13（a）。

圖13 支柱絕緣子定位點(diǎn)提取Fig.13 Support insulator anchor point extraction

對(duì)絕緣子邊緣進(jìn)行提取后，通過(guò)Open CV計(jì)算輪廓矩的方法計(jì)算支柱絕緣子輪廓中心，得到絕緣子輪廓矩的輪廓中心像素坐標(biāo)(u，v)，例如在圖13（b）中，提取出形心坐標(biāo)為（130，146）。之后通過(guò)選擇提取極值點(diǎn)特征進(jìn)行目標(biāo)點(diǎn)的三維重建。

3.2 空間點(diǎn)三維重建實(shí)驗(yàn)

通過(guò)之前的相機(jī)標(biāo)定，已經(jīng)建立了空間某點(diǎn)P在世界坐標(biāo)系中坐標(biāo)P1=(X1，Y1，Z1)與其像點(diǎn)的圖像坐標(biāo)(u，v)之間存在關(guān)系見(jiàn)式（8）。

本文主要使用最小二乘法進(jìn)行空間點(diǎn)重建，三維重建主要是研究如何根據(jù)二維信息計(jì)算出三維信息，具體為根據(jù)匹配點(diǎn)對(duì)信息得到該點(diǎn)在空間中的位置信息。其原理圖如圖14所示。

圖14 三維點(diǎn)重建原理圖Fig.14 Three-dimensional point reconstruction schematic diagram

此時(shí)假設(shè)目標(biāo)絕緣子的形心點(diǎn)在左右攝像機(jī)圖像中的坐標(biāo)分別為(ul，vl)，和(ur，vr)，絕緣子形心點(diǎn)的世界坐標(biāo)為(X1，Y1，Z1)，則有左右相機(jī)的成像函數(shù)分別為：

絕緣子形心在左、右相機(jī)系中像素坐標(biāo)(ul，vl)，(ur，vr)已知，代入式（7）、式（8）中消去Zcl和Zcr。在機(jī)器人視覺(jué)系統(tǒng)中，雙目相機(jī)投影矩陣Ml與Mr由相機(jī)標(biāo)定參數(shù)已知，其中mlij與mrij分別代表左、右相機(jī)參數(shù)矩陣第i行第j列，存在矩陣關(guān)系A(chǔ) X=B，其中矩陣A、B表達(dá)式如式（11）所示。

通過(guò)X=A－1B，求解出P點(diǎn)的在三維空間中重建的坐標(biāo)值(X1，Y1，Z1)，即為目標(biāo)絕緣子形心點(diǎn)三維坐標(biāo)。如圖15所示，選取絕緣子5個(gè)目標(biāo)點(diǎn)進(jìn)行實(shí)驗(yàn)，對(duì)三維點(diǎn)重建精度進(jìn)行驗(yàn)證，然后將計(jì)算出的目標(biāo)點(diǎn)與相機(jī)中心的實(shí)際深度距離與目標(biāo)測(cè)量距離進(jìn)行對(duì)比，目標(biāo)點(diǎn)三維重建實(shí)驗(yàn)結(jié)果如表3所示。

圖15 絕緣子目標(biāo)點(diǎn)重建Fig.15 Insulator target point reconstruction

表3 目標(biāo)點(diǎn)三維重建實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of 3D reconstruction of target points

對(duì)實(shí)驗(yàn)數(shù)據(jù)結(jié)果分析，重建得到的實(shí)際距離與理論距離的最大誤差為0.96 cm，最小誤差為0.41 cm，平均誤差0.73 cm。由此結(jié)果可知，重建精度能夠滿(mǎn)足抓取需要。后續(xù)對(duì)多自由度機(jī)械臂進(jìn)行控制時(shí)，可將機(jī)械臂末端自主送入定位點(diǎn)區(qū)域，完成機(jī)械臂對(duì)支柱絕緣子串的自主抓取任務(wù)。

4 絕緣子細(xì)節(jié)信息提取

目前，已通過(guò)相機(jī)完成了對(duì)目標(biāo)絕緣子的識(shí)別與定位工作，為實(shí)現(xiàn)伺服系統(tǒng)中機(jī)械臂對(duì)于絕緣子盤(pán)更加精準(zhǔn)的夾持控制，引導(dǎo)位于作業(yè)末端的干冰噴嘴調(diào)整清洗角度對(duì)絕緣子盤(pán)凹壑部位進(jìn)行精準(zhǔn)清洗，還需對(duì)局部的絕緣子盤(pán)傘裙以及傾角等細(xì)節(jié)信息進(jìn)行檢測(cè)。

采用ROI區(qū)域方法對(duì)絕緣子盤(pán)輪廓進(jìn)行提取，建立絕緣子觀測(cè)模型，對(duì)絕緣子盤(pán)傘裙邊傾斜角進(jìn)行檢測(cè)，通過(guò)視覺(jué)算法對(duì)獲取的現(xiàn)場(chǎng)圖像信息進(jìn)行處理，通過(guò)轉(zhuǎn)換獲得機(jī)器人的作業(yè)機(jī)械手與作業(yè)對(duì)象絕緣子之間的相對(duì)位姿關(guān)系，完成精準(zhǔn)清洗任務(wù)。

4.1 絕緣子盤(pán)ROI區(qū)域提取

為了減少圖像處理需要計(jì)算像素的數(shù)量與復(fù)雜背景對(duì)絕緣子目標(biāo)信息提取的影響，首先利用Open CV數(shù)字圖像處理技術(shù)，通過(guò)對(duì)目標(biāo)圖像進(jìn)行色彩轉(zhuǎn)換以及對(duì)H、S、V設(shè)置不同閾值，利用cv.bitwise（）函數(shù)，將每一片絕緣子ROI區(qū)域提取出來(lái)。對(duì)攝像頭采集回的圖像進(jìn)行處理，考慮到在對(duì)原圖像平滑去噪的同時(shí)能更好地保留支柱絕緣子的邊緣細(xì)節(jié)，故選擇采用雙邊濾波進(jìn)行圖像去噪。雙邊濾波器計(jì)算公式如下：

式中，i、j為模板窗口其他系數(shù)坐標(biāo)，k、l為模板窗口的中心點(diǎn)坐標(biāo)。

ROI區(qū)域雙邊濾波結(jié)果如圖16所示，由于支柱絕緣子結(jié)構(gòu)復(fù)雜且表面材質(zhì)的特殊性，易受光照影響出現(xiàn)陰影過(guò)重或過(guò)曝等情況，為了使清洗過(guò)程中拍攝的絕緣子目標(biāo)更易識(shí)別，使用Gamma校正圖像增強(qiáng)技術(shù)使目標(biāo)變得更清晰，Gamma校正的公式如式（13）所示。

圖16 ROI區(qū)域雙邊濾波結(jié)果Fig.16 Bilateral filtering results in ROI region

式中，s為輸出圖像像素灰度，r為原圖像像素灰度，γ為Gamma調(diào)節(jié)系數(shù)。當(dāng)γ＜1時(shí)，圖像整體灰度值提升，原圖像暗處部分對(duì)比度增加，亮處對(duì)比度減少，當(dāng)γ＞1時(shí)則完全相反，整體灰度值下降。因此最終采用γ=0.5的Gamma校正對(duì)絕緣子圖像信息進(jìn)行增強(qiáng)處理，處理結(jié)果如圖17所示。

圖17 γ=0.5的Gamma校正Fig.17 Gamma correction forγ=0.5

4.2 絕緣子盤(pán)傘裙邊信息提取及傾角檢測(cè)

為實(shí)現(xiàn)引導(dǎo)位于作業(yè)末端的干冰噴嘴調(diào)整清洗角度對(duì)絕緣子盤(pán)凹壑部位進(jìn)行精準(zhǔn)清洗，還需對(duì)局部的絕緣子盤(pán)傘裙傾角進(jìn)行檢測(cè)。準(zhǔn)確地對(duì)絕緣子盤(pán)傘裙圖像進(jìn)行分析，需要將單個(gè)絕緣傘裙圖像與背景準(zhǔn)確分割出來(lái)。

采用OTSU算法選取二值化閾值，根據(jù)灰度值將圖像分為前景部分和背景部分［18］。再對(duì)所得到的二值化圖像取最大連通域并進(jìn)行開(kāi)運(yùn)算，其結(jié)果如圖18（a）所示。之后對(duì)二值化的絕緣子盤(pán)圖像提取輪廓，并在原圖像中繪制，如圖18（b）所示。

圖18 絕緣子傘裙輪廓提取Fig.18 Insulator skirt contour extraction

在得到具體絕緣子傘裙輪廓信息的基礎(chǔ)上，將所有檢測(cè)出的絕緣子盤(pán)傘裙邊中線(xiàn)相連，即可視為整串絕緣子的垂直中線(xiàn)。建立絕緣子盤(pán)的視覺(jué)觀測(cè)模型，如圖19所示。

在圖19中，假設(shè)當(dāng)前視覺(jué)系統(tǒng)的觀測(cè)角度為θ，絕緣子盤(pán)長(zhǎng)軸長(zhǎng)度為d。通過(guò)對(duì)絕緣子盤(pán)傘裙邊緣的識(shí)別、擬合，可推導(dǎo)出橢圓方程，完成對(duì)傘裙觀測(cè)角信息的計(jì)算。

圖19 絕緣子觀測(cè)模型Fig.19 Insulator observation model

首先對(duì)絕緣子傘裙邊緣進(jìn)行提取，刪除其中較短的傘裙邊輪廓，再對(duì)剩余的輪廓進(jìn)行最小二乘法橢圓擬合。擬合準(zhǔn)則為：使得輪廓中所有點(diǎn)到擬合出的橢圓距離平方和最小。待擬合橢圓的方程為x2+A x y+B y2+C x+D y+E=0，根據(jù)擬合準(zhǔn)則，需確定5個(gè)參數(shù)A、B、C、D、E使得式（14）函數(shù)值取最小值。

通過(guò)對(duì)上式求解，可完成對(duì)絕緣子傘裙邊橢圓的擬合。如圖20所示，為采用最小二乘法橢圓擬合對(duì)絕緣子盤(pán)傘裙邊的擬合結(jié)果。

圖20 絕緣子盤(pán)圖像傘裙邊擬合結(jié)果Fig.20 Fitting result of insulator plate image umbrella skirt

由絕緣子觀測(cè)模型，確定長(zhǎng)軸為傘裙邊位置，長(zhǎng)度為d，且絕緣子盤(pán)短軸長(zhǎng)度為d·cosθ。通過(guò)長(zhǎng)短軸關(guān)系計(jì)算出觀測(cè)角θ。根據(jù)檢測(cè)到的絕緣子傘裙邊傾角，引導(dǎo)位于作業(yè)末端的干冰噴嘴，通過(guò)調(diào)整其清洗角度，可實(shí)現(xiàn)對(duì)絕緣子盤(pán)凹壑部位的準(zhǔn)確清洗。

5 結(jié)論

本文針對(duì)當(dāng)前變電站支柱絕緣子清洗存在的問(wèn)題，設(shè)計(jì)了一種可適應(yīng)變電站的高電場(chǎng)強(qiáng)度環(huán)境的變電支柱絕緣子綜合作業(yè)機(jī)器人，可完成對(duì)變電站支柱絕緣子的清洗工作。

基于帶電清洗機(jī)器人視覺(jué)伺服系統(tǒng)，使用YOLOv4-tiny深度學(xué)習(xí)網(wǎng)絡(luò)算法實(shí)現(xiàn)了對(duì)支柱絕緣子與法蘭目標(biāo)的識(shí)別，通過(guò)立體匹配對(duì)左、右攝像機(jī)采集圖像中的目標(biāo)物體上的點(diǎn)對(duì)進(jìn)行搜索，對(duì)絕緣子目標(biāo)點(diǎn)進(jìn)行三維重建實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，目標(biāo)點(diǎn)定位精度滿(mǎn)足機(jī)械臂抓取需要。另外，為實(shí)現(xiàn)機(jī)械臂對(duì)絕緣子盤(pán)精準(zhǔn)的夾持控制及作業(yè)末端的干冰噴嘴準(zhǔn)確清洗任務(wù)，建立了絕緣子視覺(jué)觀測(cè)模型，獲取相機(jī)觀測(cè)角，通過(guò)ROI區(qū)域?qū)^緣子盤(pán)輪廓進(jìn)行提取，利用最小二乘法對(duì)絕緣子傘裙邊進(jìn)行橢圓擬合，可實(shí)現(xiàn)對(duì)絕緣子盤(pán)傘裙邊的檢測(cè)。