面向電力施工機(jī)器人的圖像識別與處理技術(shù)研究

龔向陽，楊躍平，張明達(dá)，王思謹(jǐn)，江炯

（國網(wǎng)寧波市奉化區(qū)供電公司，浙江寧波 315506）

隨著機(jī)器人技術(shù)的不斷進(jìn)步，其在醫(yī)療器械、電力巡檢、農(nóng)業(yè)生產(chǎn)等行業(yè)的應(yīng)用也越來越廣泛[1]。爬桿機(jī)器人是電力行業(yè)配網(wǎng)自動化過程中的重要角色，其與移動機(jī)器人有所不同，爬桿機(jī)器人需要攀爬物體表面才能完成移動動作。爬桿過程中通過拍攝視頻圖像對其進(jìn)行識別與處理，進(jìn)而做出判斷指令[2]。但在此過程中，對機(jī)器人捕捉到的圖像缺陷進(jìn)行識別和處理是目前研究的難點(diǎn)與熱點(diǎn)[3-4]。在國外，有學(xué)者對缺陷視覺系統(tǒng)做出了相關(guān)研究，但其仍處于試驗(yàn)階段，尚未進(jìn)行工程實(shí)踐應(yīng)用[5-6]。在國內(nèi)，文獻(xiàn)[7]應(yīng)用邊緣檢測算法對缺陷進(jìn)行識別，并利用差分法檢測缺陷；文獻(xiàn)[8]通過增加機(jī)器人攝像頭的硬件配置，應(yīng)用改進(jìn)的機(jī)器視覺算法進(jìn)行物體表面缺陷檢測，從而取得良好效果。雖然上述研究均取得了一定的效果，但由于在實(shí)際工程中拍攝到的視頻或圖像受現(xiàn)場因素影響，故需要采用不同的技術(shù)處理不同的應(yīng)用場景，進(jìn)而降低光線、角度、天氣等因素的影響[9-11]。因此需要結(jié)合電力爬桿機(jī)器人的爬桿特征，制定合適的圖像識別與處理方法。

該文根據(jù)電力爬桿機(jī)器人的實(shí)際需要，提出了一種圖像識別處理技術(shù)方案。在確定機(jī)器人在電桿上的位置后，提取出目標(biāo)與樣本圖像的差異特征，并實(shí)現(xiàn)了不同灰度值圖像之間的識別；最終，對分割后的圖像進(jìn)行缺陷提取，且在去除干擾信息后對相應(yīng)的區(qū)域進(jìn)行描述。

1 圖像數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)采集

電力爬桿機(jī)器人搭載四臺視頻攝像頭，全方位采集電桿表面的視頻數(shù)據(jù)，同時(shí)利用圖像識別與處理技術(shù)實(shí)現(xiàn)數(shù)據(jù)的采集與處理，并通過損傷定位確定機(jī)器人在電桿上的位置。爬桿機(jī)器人由視覺系統(tǒng)、控制系統(tǒng)、動力系統(tǒng)組成：動力系統(tǒng)采用鋰電池供電、四輪驅(qū)動、用彈簧連接可跨越障礙，并可安裝不同直徑的車輪；視覺系統(tǒng)由攝像頭、存儲器、處理器組成，并將攝像頭拍攝到的圖像數(shù)據(jù)傳輸給控制系統(tǒng)；控制系統(tǒng)通過無線網(wǎng)絡(luò)連接機(jī)器人，保證數(shù)據(jù)采集過程中的真實(shí)性[12-13]。

前期的數(shù)據(jù)采集過程采集的信息主要包括機(jī)器人的位置、角度、拍攝圖像等。在爬桿過程中還需要時(shí)刻檢查電池電量是否充足，并通過控制系統(tǒng)控制機(jī)器人行走，同時(shí)判斷視頻是否清晰[14]。安裝完電力爬桿機(jī)器人之后，系統(tǒng)能夠自動采集視頻信息，且對所處環(huán)境作出判斷與相應(yīng)的處理。

1.2 數(shù)據(jù)預(yù)處理

采集到的視頻信息由一系列圖像組成，可看成運(yùn)動圖像。為提高圖像識別的精度，將視頻轉(zhuǎn)換為圖像處理，其目的是壓縮采集到的數(shù)據(jù)量。假設(shè)y(m,n)表示一組數(shù)字圖像，通過視頻轉(zhuǎn)換可得到的圖像表達(dá)式為：

其中，Δk表示圖像間隔幀數(shù)，通常取Δk為30。

在圖像處理過程中，不同的場景對應(yīng)不同的信息，且絕大多數(shù)圖像信息均為RGB 圖像。為便于處理，通常將其轉(zhuǎn)換為HSV 圖像。從心理學(xué)的角度來看，HSV 空間更容易被人眼接受，且具備獨(dú)特的優(yōu)越性。

1.3 圖像閾值分割

圖像閾值分割技術(shù)是最簡單的分割方法。該方法通過提取目標(biāo)圖像與樣本圖像的差異特征，將灰度不同的兩類圖像組合，從而產(chǎn)生二值圖像。其適用于不同灰度值圖像之間的識別，并被廣泛應(yīng)用于圖像識別領(lǐng)域[15-16]。依據(jù)閾值的數(shù)量將圖像分割為單閾值與多閾值，其原理如下。

假設(shè)采集到的視頻圖像表示為y(m,n)，經(jīng)過分割操作之后，圖像變?yōu)間(m,n)。令單閾值為T，將像素點(diǎn)小于T的像素點(diǎn)設(shè)置為0；將像素點(diǎn)大于或等于T的像素點(diǎn)設(shè)置為1。因此，采用下述函數(shù)對曲線進(jìn)行變換：

基于圖像數(shù)據(jù)自動調(diào)整整個(gè)圖像的單閾值，使得目標(biāo)圖像與原始圖像的背景分布具有明顯的差異性。該算法對計(jì)算能力有一定的要求，其算法流程如圖1 所示。

圖1 閾值分割算法流程

其迭代流程如下：

1）選擇初始值T0，其值取為圖像灰度值最大值與最小值的平均值；

2）將圖像分割為G1與G2兩部分；

3）計(jì)算G1與G2的平均灰度值；

4）重新計(jì)算閾值T，其值取為兩個(gè)平均灰度值的平均數(shù)；

5）重復(fù)步驟2）-步驟4），直到滿足誤差要求為止；

6）利用最終的T值完成圖像分割，將不同背景區(qū)域值分開。

2 缺陷特征提取與分類

2.1 圖像特征分析

在完成爬桿機(jī)器人采集圖像背景分割后，需要利用分割后的圖像進(jìn)行缺陷提取。選取電桿表面定期檢測數(shù)據(jù)，坐標(biāo)軸中用不同的區(qū)域表示不同的圖像特征，且區(qū)域內(nèi)亮度越高則表示灰度值越高。為確定目標(biāo)類型，根據(jù)閾值進(jìn)行分割。在缺陷處標(biāo)明背景分割并計(jì)算干擾信息，采用形態(tài)學(xué)方法去除干擾信息，用描述子對區(qū)域進(jìn)行描述。缺陷特征提取流程如圖2 所示。

圖2 缺陷特征提取流程

2.2 形態(tài)學(xué)處理

缺陷圖像中包含了噪聲等信息，且該類信息均不適用于后續(xù)的特征分析，故需要通過閉環(huán)運(yùn)算剔除噪聲信息才能加以利用。形態(tài)學(xué)本質(zhì)上為集合論，通過一系列的元素表示圖像特征。二值圖像通常采用形態(tài)學(xué)的方法來描述，通過開運(yùn)算與閉運(yùn)算進(jìn)行圖像處理，從而避免對圖像邊緣信息造成破壞。開運(yùn)算和閉運(yùn)算針對平滑的物體輪廓，結(jié)構(gòu)Y對X的開運(yùn)算可表示為X°Y，其定義為：

上式的含義為：Y對X先進(jìn)行腐蝕，然后進(jìn)行膨脹。同理，類似的閉運(yùn)算可表示為X·Y，其定義為：

即Y對X先進(jìn)行膨脹，再進(jìn)行腐蝕。

2.3 缺陷區(qū)域特征分析與描述

圖像經(jīng)過分割處理之后，需要進(jìn)一步進(jìn)行描述，使得特征描述適應(yīng)計(jì)算機(jī)的處理模式。根據(jù)缺陷區(qū)域的計(jì)數(shù)點(diǎn)判定缺陷的大小，假設(shè)z(x,y)為圖像灰度值，A為圖像缺陷區(qū)域，則該區(qū)域可表示為：

根據(jù)上述描述，可得到缺陷區(qū)域的表達(dá)式為：

隨機(jī)選取電桿缺陷部位，利用長與寬的比值對其進(jìn)行描述。假設(shè)缺陷區(qū)域的長與寬分別表示為a、b，則其比值可表示為。

圖像的缺陷類型較多，可根據(jù)不同的分類標(biāo)準(zhǔn)對其進(jìn)行分類，缺陷的大小影響電力爬桿機(jī)器人的識別效果。根據(jù)缺陷的嚴(yán)重性劃分可將缺陷分為一般缺陷和嚴(yán)重缺陷，其分類流程如圖3 所示。

圖3 缺陷分類流程

通過判別函數(shù)將特征空間分為不同類別的子空間，每個(gè)類別有兩個(gè)特征，可表示為二維函數(shù)如下所示：

式中，w為權(quán)重參數(shù)，x1、x2分別表示模式特征的坐標(biāo)變量。d(X)可用于判斷所屬類別，且該值決定了類的屬性，其對應(yīng)關(guān)系如下：

綜上所述，可得到圖像或視頻數(shù)據(jù)自動化處理流程，如圖4 所示。

圖4 圖像或視頻數(shù)據(jù)自動化處理流程

3 實(shí)驗(yàn)測試

3.1 測試環(huán)境概況

選取部分視頻采集數(shù)據(jù)作為測試的數(shù)據(jù)集，以視頻數(shù)據(jù)處理軟件為平臺，進(jìn)行爬桿機(jī)器人圖像數(shù)據(jù)處理。實(shí)驗(yàn)圖像視頻選取某次爬桿過程中的缺陷檢測數(shù)據(jù)項(xiàng)目，在該次實(shí)驗(yàn)過程中采用爬桿機(jī)器人拍攝視頻。拍攝圖像中選取無損傷、輕微損傷、嚴(yán)重缺陷的電桿區(qū)域進(jìn)行電桿表面缺陷檢測。

3.2 數(shù)據(jù)處理與結(jié)果分析

將采集到的視頻數(shù)據(jù)進(jìn)行預(yù)處理、背景分割、缺陷提取、分類等操作，并對每一步驟的效果進(jìn)行評價(jià)，逐步分析檢測過程中的情況。數(shù)據(jù)預(yù)處理包括數(shù)字視頻轉(zhuǎn)換成數(shù)字圖像和圖像預(yù)處理兩個(gè)步驟，以減小數(shù)據(jù)量并對不同信息數(shù)據(jù)進(jìn)行處理與分析。

將處理之后的數(shù)據(jù)傳送到處理工具上，再進(jìn)行表面缺陷檢測，判斷缺陷圖像，并與之進(jìn)行對比分析以及評價(jià)其效果。通過檢測準(zhǔn)確率衡量檢測的效果，準(zhǔn)確率的計(jì)算公式如下：

式中，R表示檢測準(zhǔn)確率，N表示實(shí)際檢測數(shù)量，S表示缺陷數(shù)量。

對檢測結(jié)果進(jìn)行統(tǒng)計(jì)分析，可得到的準(zhǔn)確率結(jié)果如表1 所示。從表中可以看出，應(yīng)用圖像識別處理技術(shù)，識別準(zhǔn)確率最低可達(dá)到95.0%。

表1 缺陷檢測準(zhǔn)確率

為進(jìn)一步驗(yàn)證圖像處理算法的性能，設(shè)置第一組邊長為450 nm 和550 nm 以及第二組邊長為650 nm和750 nm 的矩形圖像對其進(jìn)行測試。測試圖像的壓縮比以及圖像處理時(shí)間，進(jìn)而判斷與原始圖像的差距。其中壓縮比為圖像原始大小與壓縮后圖像大小的比值，得到的測試結(jié)果如表2 所示。

從表2 中可以看出，由于前兩種方法未考慮譜間壓縮，因此文中方法的壓縮比相較前兩種方法的壓縮比更大，從而可以減小圖像的大小。而更大的壓縮比可以帶來時(shí)間上的優(yōu)勢，所以采用該文方法對圖像進(jìn)行處理時(shí)，其處理時(shí)間相對更短，在工程應(yīng)用中更占優(yōu)勢。

表2 圖像處理壓縮對比

4 結(jié)束語

該文研究了面向電力爬桿機(jī)器人的圖像識別和處理技術(shù)[17-19]，介紹了數(shù)據(jù)采集與預(yù)處理的背景分割方法，識別及處理的關(guān)鍵流程：數(shù)據(jù)預(yù)處理、背景分割、缺陷特征提取與分類、缺陷檢測結(jié)果。其中關(guān)鍵技術(shù)為缺陷圖像的特征提取與分類，通過實(shí)驗(yàn)驗(yàn)證了該文所述方法的有效性，且其具有較短的處理時(shí)間、較大的壓縮比以及較高的檢測精度。但所提方法的背景分割模塊中利用了采集視頻的整體特征，故當(dāng)位置信息發(fā)生變化時(shí)，其檢測精度會下降。因此，下一步研究工作需要聚焦于動態(tài)變化過程時(shí)的高精度圖像識別與處理技術(shù)。