一種風機葉片圖像采集及缺陷檢測系統(tǒng)

趙春溢，郭洪濤，郭 濤，梁 國，荊海城

一種風機葉片圖像采集及缺陷檢測系統(tǒng)

趙春溢，郭洪濤，郭 濤，梁 國，荊海城

（中電投東北新能源發(fā)展有限公司，遼寧 沈陽 110179）

本文針對目前風機葉片人工檢測工作量大、效率低、缺陷檢測準確率不高的問題，提出并設(shè)計了一種基于無人機圖像的缺陷自動化檢測系統(tǒng)。本文介紹了系統(tǒng)的圖像采集系統(tǒng)、采集方法、缺陷檢測原理及檢測效果：系統(tǒng)以無人機為飛行載體實現(xiàn)了（風機葉片的）自動巡檢，從而提高了巡檢效率，降低了人工的工作量；通過圖像分割及缺陷檢測算法設(shè)計實現(xiàn)了缺陷可疑區(qū)域的自動檢測；可見光加紅外光雙光融合提高了葉片缺陷自動識別的準確性。經(jīng)過多次現(xiàn)場測試驗證，本系統(tǒng)可以精確、快速地實現(xiàn)鼓包，裂紋和褶皺等缺陷的自動識別與檢測。

無人機；風機葉片；缺陷檢測；圖像處理

0 引言

目前中國已是全球最大的風電市場。風場主要分布在城市的遠郊、近海以及戈壁等地理環(huán)境和氣候環(huán)境十分復雜的風能儲備地，葉片是風機捕捉風能的關(guān)鍵部件，易受環(huán)境影響造成自身缺陷，若不及時進行處理會影響風機壽命及發(fā)電量，甚至演變成嚴重事故。經(jīng)過長期對葉片檢查的結(jié)果統(tǒng)計發(fā)現(xiàn)，葉片缺陷主要存在如下故障：裂紋、邊緣腐蝕、開裂、褶皺、雷擊、結(jié)冰等。

當前葉片的缺陷檢測主要依賴人工完成，由于檢測的精度、速度和安全性等方面的限制，檢測存在效率低下、可靠性低、危險性高和成本高等問題[1]。當前眾多研究院校、機構(gòu)針對以上問題進行研究。Menon等人介紹了基于聲發(fā)射信號自適應(yīng)閾值的小波分析方法來評估風機葉片狀況[2]。CUI Hongyu等人利用采集的振動信號提出了一種基于EMD（empirical mode decomposition）的風機葉片裂紋診斷方法[3]。Wang等人提出了一種基于無人機采集圖片，運用Logiboost、決策樹和支持向量機相結(jié)合的風機裂紋分類方法[4]。目前依靠聲波及振動信號的分析方法適用于地面檢查，無法在葉片安裝后使用?；诳梢姽獾姆治龇椒ń鉀Q了葉片安裝后的檢查問題。但是易受光線、拍攝角度等因素影響，且僅可檢測葉片表面故障。針對以上問題本文提出的基于無人機搭載可見光加紅外光的檢測方式，風機停機即可檢測，提高巡檢效率的同時可檢測葉片內(nèi)部缺陷，提高葉片缺陷檢測的多樣性與準確性。

紅外光可通過葉片輻射的熱量，對葉片內(nèi)部的缺陷進行判斷。葉片最為致命的缺陷往往產(chǎn)生于內(nèi)部，并向外部擴散，如內(nèi)部褶皺、內(nèi)部開裂等，反應(yīng)到外表面時，葉片已受損嚴重甚者不可修復，本文通過可見光與紅外的雙光融合手段，可見光與紅外光結(jié)合分析，得出更加準確、更加有效的故障診斷系統(tǒng)。同時基于分析手段搭建了一套以無人機為飛行平臺，雙光吊艙為采集設(shè)備的全自動巡檢系統(tǒng)，為風電場提高發(fā)電量，節(jié)約運維成本，減小事故發(fā)生率。

1 圖像采集系統(tǒng)與采集方法

由于風場的風速較大，需要選用抗風性能較強的六旋翼無人機為飛行平臺，搭載雙光云臺（可見光＋紅外光）的雙光譜圖像采集系統(tǒng)，同時還需搭載機載計算機進行視覺導航，并配有專業(yè)版本地面站來發(fā)布指令。故圖像采集系統(tǒng)的組成結(jié)構(gòu)如圖1所示。

圖1 圖像采集系統(tǒng)組成結(jié)構(gòu)圖

1.1 圖像采集系統(tǒng)

1.1.1 無人機選型

鑒于風場風速、任務(wù)航時、載荷重量等綜合因素，系統(tǒng)采用DJI經(jīng)緯M600 PRO型號無人機作為飛行平臺（如圖2所示）。該型號無人機配備3套IMU和GNSS模塊，配合軟件解析余度實現(xiàn)6路冗余導航系統(tǒng)，提升飛行時的安全性。該機型最大載荷為5.5kg，有效航時為20min，滿足本系統(tǒng)任務(wù)需求。

該款飛行平臺面向開發(fā)者用戶提供API（application programming interface），可獲取無人機GPS數(shù)據(jù)，IMU數(shù)據(jù)等，并且用戶可向無人機發(fā)送姿態(tài)、速度、位置等控制指令。使系統(tǒng)可基于無人機提供的數(shù)據(jù)及控制接口實現(xiàn)全流程自動化作業(yè)。

圖2 DJI經(jīng)緯M600 PRO

1.1.2 雙光云臺選型

雙光云臺是本系統(tǒng)圖像采集的主要部分，為保證后期故障檢測時可見光圖像與紅外光圖像進行匹配融合檢測，需要保證兩攝像頭同軸且水平視場角和垂直視場角一致。兩者機械安裝位置為垂直方向機芯間隔3cm，偏差可忽略不計?？梢姽馀c紅外機芯參數(shù)分別如表1，表2所示。

表1 可見光機芯參數(shù)表

表2 紅外光機芯參數(shù)表

1.1.3 機載計算機選型

在整體任務(wù)巡檢中，無人機自主飛行主要依靠慣性導航與視覺導航。其中視覺導航需要機載小型計算機實時處理可見光相機圖像。本系統(tǒng)選用NIVDIA TX2計算設(shè)備，這款超級計算機模塊采用NVIDIA Pascal? GPU、高達8GB內(nèi)存、59.7GB/s內(nèi)存帶寬，可實現(xiàn)GPU加速，快速處理圖像。

1.1.4 地面站設(shè)計

地面站主要完成風機塔基位置輸入，及巡檢任務(wù)啟動、圖像缺陷檢測等功能。地面站特為本系統(tǒng)定制設(shè)計與開發(fā)，起到人機交互的作用?；贒JI提供的Mobile SDK，在android系統(tǒng)上開發(fā)風機葉片巡檢地面站軟件，安裝于平板電腦上。該平板電腦開拓展數(shù)傳模塊，用于與無人機的無線通信，實現(xiàn)無人機狀態(tài)接收與控制指令上傳功能。此外，地面站實時接收機載端采集的圖像數(shù)據(jù)并進行實時處理。

1.2 現(xiàn)場采集方案

現(xiàn)場采集時風機為停機鎖車狀態(tài)，葉片成倒“Y”字型，如圖3所示。

圖3 葉片位置

巡檢人員將風機塔基編號輸入地面站中，地面站預(yù)先配置好風機編號對應(yīng)其經(jīng)緯度。巡檢人員開啟無人機，無人機自檢查無故障后，即可啟動自動巡檢按鈕。無人機接收到風機編號對應(yīng)的塔基經(jīng)緯度信息，自動起飛至距起飛點140m高度，此時無人機高于垂直向上葉片的葉尖部，無人機再飛向塔基的經(jīng)度、緯度，控制云臺垂直向下拍攝。由于塔基的經(jīng)緯度可能存在誤差，此時的機艙（風機發(fā)電機部位）可能不在圖像中心位置，通過機載計算機對圖像進行目標識別并計算得到無人機的控制指令，無人機依據(jù)指令移動將機艙調(diào)整到圖像中心，最后經(jīng)過圖像處理提取機艙邊緣朝向，通過無人機當前航向與機艙邊緣和無人機機頭方向偏差，可得到機艙的航向角度。

由無人機的當前經(jīng)度、緯度、機艙的航向角度、風機的物理參數(shù)，可計算得到葉片葉尖的空間位置。

式中：、、分別代表圖3中對應(yīng)的葉片，下角標alt為高度、lat為緯度、lon為經(jīng)度；為機艙高度；為葉片長度；為無人機的緯度；為無人機的經(jīng)度；為機頭中心點距機艙中心點偏移量；為機艙的航向角度。

為分辨出毫米的裂紋故障，根據(jù)相機參數(shù)，可計算得出，無人機需距葉片的最小垂直距離取水平方向與垂直方向計算的最小值：

式中：為相機水平像素；相機水平視場角為25°；相機垂直視場角為19°；為識別算法識別故障所需最小所占像素；d為以水平方向計算的最小距離；d為以垂直方向計算的最小距離。

無人機計算出葉尖的空間位置后根據(jù)無人機需距葉片的最小垂直距離。即可生成初步的自動巡檢路線，如圖4所示，圖中1～10表示生成的航點及其序號。

為保證安全，無人機機頭與葉片旋轉(zhuǎn)面成45°角關(guān)系，形成旋轉(zhuǎn)面外葉片前緣后緣兩部分主要航線，共18個航點。

圖4 自動巡檢路線（正視圖、右視圖、俯視圖）

無人機在自動航線飛行過程中，由于定位誤差、圖像目標識別誤差等，圖像中葉片位置會產(chǎn)生偏差，通過機載計算機對畫面中葉片邊緣提取，得到葉片弦長中心與圖像中心偏差，機載計算機將向無人機發(fā)送控制指令，使無人機在按航線飛行過程中，不斷修正位置，使葉片弦長中心在圖像中心。運行完所有航點后，無人機上升至140m，然后完成自動返航動作，至此一臺風機葉片巡檢任務(wù)完成。流程圖如圖5所示，現(xiàn)場作業(yè)情況如圖6所示。

圖5 巡檢任務(wù)流程圖

圖6 無人機自動巡檢現(xiàn)場

2 葉片缺陷檢測算法

2.1 紅外與可見光圖像融合

由于紅外圖像和可見光圖像具有不同的特性，可見光是基于顏色特征形成的圖像，可直觀地反映葉片的表面特征，紅外圖像可反映物體的溫度場分布，間接反映物體的熱輻射特性，熱輻射特性又可反映出物體的結(jié)構(gòu)特征，因此將二者進行融合，可反映出物體的綜合特征[5]。針對本雙光系統(tǒng)紅外相機和可見光相機同軸，且相對位姿固定，使得二者采集的圖像可進行特征級融合。

依據(jù)單應(yīng)性矩陣原理，從可見光相機成像平面到紅外成像平面的投影映射中，兩平面中的坐標點是一一對應(yīng)的。假設(shè)點為可見光成像平面中的一點，其齊次坐標為1＝(1,1,1)，將其映射到紅外成像平面上，匹配點的齊次坐標為2＝(1,1,2)，則滿足：

2＝1(5)

其中單應(yīng)性矩陣為3×3的方陣，假設(shè)其為：

式中：33＝1。

那么將式(6)代入式(5)矩陣相乘得：

式中：

＝[1112132122233132]T(8)

通過式(7)每組點可以得到兩個線性方程，要想求解，由式(9)得含有8個變量，故至少需要4組不共線的對應(yīng)點即可得如下：

由式(9)通過SVD分解可求得矩陣H[6]，利用式(5)可將可見光平面上的像素點轉(zhuǎn)換到紅外圖像成像平面上，從而使得可見光圖像與紅外圖像融合，示例圖像如圖7所示，可見光圖像與紅外圖像融合后的效果如圖8所示。

圖8 可見光與紅外圖像融合效果

可見光與紅外圖像的融合，可以實現(xiàn)從紅外圖像上定位缺陷的可疑區(qū)域，通過映射關(guān)系定位可疑區(qū)域在可見光圖像上的位置。

2.2 缺陷提取

本系統(tǒng)由于采用無人機進行葉片圖像采集，目標背景為地面，為了提高風機巡檢的準確性，對于采集的葉片圖像首先進行目標分割，將葉片準確地分割出來。在此選擇深度學習語義分割網(wǎng)絡(luò)Deeplab v3＋作為基礎(chǔ)網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合空間金字塔模塊和編碼-解碼結(jié)構(gòu)的優(yōu)點，使用擴張卷積和深度分離卷積對風機葉片進行有效分割。實現(xiàn)過程為：

①依據(jù)采集的風機葉片圖像，通過數(shù)據(jù)清洗剔除風機葉片占比較小、曝光不足或過曝的圖像；

②選擇VIA標注工具對風機葉片進行標注，獲得單通道的mask圖。

③進行網(wǎng)絡(luò)訓練，得到分割模型并視效果迭代優(yōu)化。

通過對優(yōu)化模型進行測試，分割結(jié)果如圖9所示。

無人機采集葉片圖像后，實時將可見光和紅外圖像傳輸?shù)降孛娑?，地面多功能地面站部署有Opencv和Visual Studio 2017開發(fā)的圖像處理系統(tǒng)，實現(xiàn)對實時采集的圖像進行實時處理。圖像處理系統(tǒng)如圖10所示。

圖9 分割效果圖

圖10 可疑缺陷提取流程圖

鑒于以下原因，需要對采集的圖像進行濾波和增強：

1）無人機搭載雙光譜云臺采集圖像時一直處于運動狀態(tài)，導致相機本身具有難以克服的抖動性；

2）由于風機葉片長年運行于幾十米的高空，自然環(huán)境較惡劣，表面易積存油污、水漬、污漬等；

3）3只葉片處于不同的位姿，由于背光面光線較暗，迎光面光線超強，會導致光線分布不均；

4）由于數(shù)字圖像生成的原理，采集的圖像都會存在不同程度的噪聲。

此外，相對于葉片，缺陷的區(qū)域占比較小，需要缺陷區(qū)域有比較明顯的特征才能快速、準確地定位缺陷區(qū)域。傳統(tǒng)的圖像增強算法均為全局圖像增強算法，通過對全局圖像像素進行統(tǒng)計，制定統(tǒng)一尺度改變圖像的亮度，存在對部分區(qū)域增強過度變得更暗或更亮，丟失細節(jié)的風險。在此針對紅外和可見光雙光譜圖像本文采用“局部”增強的算法，“局部”思想主要體現(xiàn)在：①為了避免背景對前景的影響，局部增強算法只對前景圖像區(qū)域增強；②前景圖像區(qū)域內(nèi)采用改進的直方圖均衡化算法——“自適應(yīng)局部”增強算法。

傳統(tǒng)的圖像增強算法原理如下：

1）統(tǒng)計整幅圖像的像素分布，即各灰度級像素的個數(shù)n；

2）累積積分計算分布概率：

式中：為灰度級；為總像素個數(shù)。

3）依據(jù)累積積分結(jié)果進行像素映射計算得增強后的圖像。

p＝Sk(11)

改進后的“自適應(yīng)局部”增強算法原理如下：

1）依據(jù)2.2的分割結(jié)果，去除背景，只保留前景區(qū)域；

2）將前景區(qū)域均勻分成若干等份；

3） 統(tǒng)計計算每塊的直方圖，積分分布函數(shù)及對應(yīng)的變換；

4）設(shè)計變換規(guī)則：

對于規(guī)則的區(qū)域如圖11(a)所示，采用如下變換：①角點處（深色區(qū)域）：直接使用塊所在的變換函數(shù)；②邊緣處（淺色區(qū)域）：采用線性插值；③中心（灰色區(qū)域）采用雙線性插值。

對于非規(guī)則區(qū)域如圖11(b)所示，其中白色區(qū)域代表背景區(qū)域，背景區(qū)域與前景區(qū)域交界采用如下變換：含有邊界的塊區(qū)域采用塊區(qū)域的全局直方圖均衡化算法，但直方圖統(tǒng)計及累計積分時，背景區(qū)域不參與計算。其余區(qū)域同規(guī)則區(qū)域變換規(guī)則。

傳統(tǒng)的基于全局的圖像增強算法效果如圖12(a)所示，改進后的自適應(yīng)局部增強算法效果如圖12(b)所示。通過對比發(fā)現(xiàn)全局算法出現(xiàn)了局部更暗，影響后續(xù)缺陷檢測。改進后的自適應(yīng)局部增強算法對裂紋實現(xiàn)了增強，沒有出現(xiàn)局部增強過度的現(xiàn)場。

增強后的圖像通過生態(tài)學組合算法檢測圖像中各點梯度的最大值，并將梯度最大值的點連接起來形成缺陷的邊緣，從而實現(xiàn)對可疑缺陷區(qū)域的提取。

2.3 實驗與結(jié)果分析

本文將紅外與可見光圖像分別進行處理，通過可見光圖像判別葉片表面的缺陷，通過紅外圖像判別葉片的內(nèi)部缺陷，再通過二者的映射融合關(guān)系將紅外可疑缺陷區(qū)域定位至可見光圖像中進一步進行確認。

可見光圖像的處理結(jié)果如圖13所示。

紅外圖像的處理結(jié)果以及對應(yīng)的可見光圖像表現(xiàn)如圖14所示。

圖11 圖像分塊示意圖

圖12 增強效果對比

圖13 可見光圖像缺陷檢測效果圖

圖14 可見光與紅外對應(yīng)缺陷

3 結(jié)論

本文針對目前風電巡檢的技術(shù)水平，設(shè)計和開發(fā)了一套基于無人機平臺的風機葉片自動圖像采集和故障檢測系統(tǒng)。系統(tǒng)選用了抗風性能較強的M600機型作為平臺，搭載可見光與紅外雙光系統(tǒng)，通過科學的航線規(guī)劃實現(xiàn)了圖像自動采集。通過單應(yīng)性原理實現(xiàn)了紅外與可見光融合，通過算法設(shè)計實現(xiàn)了對風機葉片的缺陷檢測。該系統(tǒng)經(jīng)過測試，可以實現(xiàn)鼓包、裂紋和褶皺等缺陷的自動識別與檢測，且準確率可以達到90%以上，相對于傳統(tǒng)檢測手段具有較高的準確率，為風電場的無損自動檢測開辟了新的思路。

[1] 賀斌, 賈建華, 趙峰, 等. 無人機在風機葉片檢測中的應(yīng)用[J]. 電工技術(shù), 2019(13): 64-65.

HE Bin, JIA Jianhua, ZHAO Feng, et al. Application of UAV in detection of wind turbine blade[J]., 2019(13): 64-65.

[2] Menon S, Schoess J N, Hamza R, et al. Wavelet-based acoustic emission detection method with adaptive thresholding[C]/, 2000,3986: 71-78.

[3] CUI Hongyu, DING Ning, HONG Ming. Crack diagnosis of wind turbine blades based on MD method[J].:, 2016, 157(1): 012003.

[4] WANG Long, ZHANG Zijun. Automatic detection of wind turbine blade surface cracks based on UAV-taken images[J]., 2017, 64(9): 7293-7303.

[5] 王凱, 韋宏利, 陳超波, 等. 基于紅外和可見光融合的目標跟蹤[J]. 計算機系統(tǒng)應(yīng)用, 2018, 27(1): 149-153.

WANG Kai, WEI Hongli, CHEN Chaobo, et al. Target tracking based on infrared and visible light fusion[J]., 2018, 27(1): 149-153.

[6] 翟永杰, 劉金龍, 程海燕. 基于機器視覺的汽車工件抓取定位系統(tǒng)設(shè)計與開發(fā)[J]. 現(xiàn)代電子技術(shù), 2018, 41(20): 6-9.

ZHAI Yongjie, LIU Jinlong, CHENG Haiyan. Design and development of automobile workpiece grasping and positioning system based on machine vision[J]., 2018, 41(20): 6-9.

Defect Detection System Based on UAV Images for Wind Turbine Blades

ZHAO Chunyi，GUO Hongtao，GUO Tao，LIANG Guo，JING Haicheng

(SPIC Northeast New Energy Development Co., Ltd., Shenyang 110000, China)

This study proposes and designs an automatic defect detection system based on UAV images for wind turbine blades, aimed at alleviating problems with manual detection methods, such as low efficiency and inaccurate defect detection. This paper introduces the system's image acquisition system, acquisition method, defect detection principle, and detection result. This system uses a UAV as the flying carrier to realize automatic inspection of wind turbine blades, thereby improving the inspection efficiency and reducing the manual workload. Through image segmentation and defect detection algorithm design, automatic detection of suspicious defect areas is achieved. Double light fusion of visible and infrared light improves the accuracy of automatic blade defect recognition. After multiple field tests and verification, the system is shown to accurately and quickly realize the automatic identification and detection of defects, such as bulges, cracks, and wrinkles.

UAV, wind turbine blade, defect defection, image processing

TP391

A

1001-8891(2020)10-1203-08

2020-04-04；

2020-05-18.

趙春溢（1970-），男，學士學位，高級工程師，主要研究方向火電及新能源技術(shù)管理，E-mail：sshsdsfyj@126.com。

荊海城（1973-），男，學士學位，高級工程師，主要研究方向為新能源技術(shù)管理。E-mail：smart_3d@126.com。