基于無人機(jī)的光伏電站智能巡檢

王 浩，閆 號，葉海瑞，柏 嵩，李藝達(dá)

〈紅外應(yīng)用〉

基于無人機(jī)的光伏電站智能巡檢

王 浩1，閆 號2，葉海瑞3，柏 嵩3，李藝達(dá)2

（1. 國家電投集團(tuán)江蘇電力有限公司，江蘇 南京 210000；2. 南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210000； 3. 國家電投集團(tuán)江蘇新能源有限公司，江蘇 鹽城 224000）

太陽能光伏發(fā)電是國家能源結(jié)構(gòu)性調(diào)整的重要組成部分，近幾年隨著光伏發(fā)電產(chǎn)業(yè)規(guī)模迅速擴(kuò)張，光伏電站的日常運維壓力日益增加。針對光伏電站面積大、人工檢測效率低等問題，文章對基于無人機(jī)的光伏電站智能巡檢技術(shù)進(jìn)行研究，提出了一個基于無人機(jī)的光伏電站智能巡檢完整技術(shù)路線，實現(xiàn)了光伏面板圖像數(shù)據(jù)自動化采集與分析，并對基于計算機(jī)視覺的缺陷檢測方法進(jìn)行研究，采用自適應(yīng)動態(tài)閾值法并結(jié)合圖像增強(qiáng)技術(shù)，基于紅外圖像實現(xiàn)了魯棒的光伏面板缺陷檢測，結(jié)合可見光數(shù)據(jù)實現(xiàn)缺陷類型判別，進(jìn)一步根據(jù)相機(jī)POS數(shù)據(jù)及相機(jī)模型解算缺陷坐標(biāo)，實現(xiàn)缺陷定位，并在實際場景中驗證了所提出技術(shù)路線的有效性。

無人機(jī)；光伏電站；缺陷檢測；智能巡檢

0 引言

太陽能作為一種來源廣泛的清潔能源，近年來在國內(nèi)得到了充分的重視，光伏發(fā)電產(chǎn)業(yè)已經(jīng)達(dá)到了一定的規(guī)模[1-2]。巨大的光伏發(fā)電面積對光伏面板的日常巡檢工作提出了很大的挑戰(zhàn)。光伏面板作為光伏發(fā)電系統(tǒng)的核心組成部分，在日常的運行中長期暴露在自然環(huán)境下，不可避免會產(chǎn)生各種缺陷，如隱裂、遮擋、碎裂等等，及時發(fā)現(xiàn)面板缺陷并進(jìn)行人工干預(yù)對保障電站的發(fā)電效率有重要意義[3]。

傳統(tǒng)的方法主要是對面板的發(fā)電電流進(jìn)行監(jiān)測[4]，當(dāng)發(fā)電功率異常則可能存在面板缺陷。由于成本的限制，這種方法只能將故障限定在一定范圍內(nèi)，準(zhǔn)確的故障定位還需要依賴人工排查，檢測效率低，勞動量大。尤其針對漁光互補(bǔ)光伏電站，電站和魚塘的結(jié)合有效提高了空間的利用率，但同時也對光伏面板的巡檢造成了更大的困難。

為了解決上述問題，國內(nèi)外學(xué)者進(jìn)行了廣泛研究。陸成龍[5]等進(jìn)行無人機(jī)智能巡檢系統(tǒng)硬件以及軟件平臺設(shè)計，根據(jù)損傷尺寸理論實現(xiàn)了對風(fēng)電光伏的檢測；王栓虎[6]等分析了無人機(jī)相對于傳統(tǒng)光伏電站運維模式的優(yōu)勢；但他們僅僅提供了關(guān)于應(yīng)用研究，并未給出具體缺陷檢測方法。趙玲玲[7]等提出了一種基于HSV空間模型的圖像分割及檢測的光伏面板缺陷檢測技術(shù)，能有效地對復(fù)雜背景下的光伏圖像進(jìn)行區(qū)域分割與檢測；李香凡[8]等提出了一種基于金字塔圖像序列的數(shù)據(jù)增強(qiáng)方法，該方法可以在不增加噪聲的情況下最大程度地增加小目標(biāo)的訓(xùn)練樣本；Gabriele Roggi[9]等提出了一種基于視覺的引導(dǎo)光伏電站分析測試自動檢測方法，并通過測驗證明了其有效性；但他們所提出的方法存在對光照變化魯棒性不強(qiáng)，檢測效率低，不能滿足實時性要求的問題。

本文提出一種基于無人機(jī)的光伏電站智能巡檢方法，巡檢方法首先利用無人機(jī)搭載多光譜相機(jī)進(jìn)行高效的數(shù)據(jù)采集，然后對采集到的紅外圖像數(shù)據(jù)進(jìn)行自動化分析處理，快速檢出并定位缺陷，再結(jié)合可見光圖像對缺陷類型進(jìn)行判別，指導(dǎo)電站運維人員對缺陷面板采取適當(dāng)?shù)氖侄芜M(jìn)行修復(fù)。

1 無人機(jī)智能巡檢技術(shù)路線

基于無人機(jī)的光伏面板智能巡檢系統(tǒng)包含軟、硬件模塊，其中，由無人機(jī)飛行平臺及云臺相機(jī)共同構(gòu)成了數(shù)據(jù)采集硬件平臺，結(jié)合航線自動規(guī)劃技術(shù)組成了數(shù)據(jù)采集子系統(tǒng)；缺陷識別與缺陷定位模塊組成了數(shù)據(jù)分析子系統(tǒng)。

如圖1，使用大疆經(jīng)緯M300RTK作為無人機(jī)飛行平臺，該飛行平臺基于實時動態(tài)測量（Real Time Kinematic，RTK）技術(shù)可實現(xiàn)厘米級精確定位，單架次續(xù)航時間超過45min，為任務(wù)高效可靠執(zhí)行提供了有效保障。平臺搭載大疆禪思H20T云臺相機(jī)，該云臺相機(jī)由一個廣角相機(jī)、一個變焦相機(jī)、一個紅外相機(jī)和一個激光測距傳感器組成，其中可見光變焦相機(jī)有效分辨率為2000萬像素，可實現(xiàn)23倍光學(xué)混合變焦，紅外成像相機(jī)分辨率640×512像素，熱靈敏度＜50mK，可以較好滿足任務(wù)對圖像質(zhì)量的要求。利用該云臺相機(jī)可同時獲取視場相似的紅外和可見光圖像，為缺陷檢測與缺陷類型判別提供了很大的便利。

如圖2(a)所示為無人機(jī)執(zhí)行自動化數(shù)據(jù)采集任務(wù)，圖2(b)、(c)分別為采集到的紅外和可見光正射圖像。

圖1 數(shù)據(jù)采集硬件平臺

圖2 無人機(jī)數(shù)據(jù)采集

智能巡檢流程如圖3所示：首先劃定光伏面板區(qū)域，根據(jù)鏡頭參數(shù)、設(shè)定的飛行高度、畫面重疊率等參數(shù)，由算法自動生成任務(wù)航線，然后由無人機(jī)搭載紅外熱成像相機(jī)和可見光相機(jī)進(jìn)行自主數(shù)據(jù)采集；對采集到的圖像數(shù)據(jù)進(jìn)行分析處理，基于紅外圖像進(jìn)行面板熱斑的檢測與分割，然后結(jié)合可見光圖像對造成熱斑區(qū)域進(jìn)行缺陷判別，最后根據(jù)照片位置與姿態(tài)系統(tǒng)（position and orientation system，POS）數(shù)據(jù)與相機(jī)成像模型實現(xiàn)缺陷定位。

圖3 巡檢系統(tǒng)工作流程圖

2 缺陷檢測與定位

2.1 缺陷檢測

從紅外圖像中識別出熱斑區(qū)域可以劃歸為計算機(jī)視覺中的目標(biāo)檢測任務(wù)。近年來隨著人工智能的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測已經(jīng)在各行業(yè)領(lǐng)域得到廣泛的應(yīng)用[10]。但是基于深度學(xué)習(xí)的方法依賴于大量人工標(biāo)注的數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備工作量大，且算法執(zhí)行效率較低。因此，本文提出一種自適應(yīng)動態(tài)閾值分割的方法進(jìn)行缺陷檢測。算法主要分為3步，分別是預(yù)處理、熱斑分割提取以及異常原因判斷。算法流程如圖4。

由于基于無人機(jī)的缺陷采集單元是無人機(jī)在航線飛行過程中等時間或者等間距進(jìn)行拍照，采集到的數(shù)據(jù)會存在較多的背景，背景的存在會對缺陷檢測的效率和識別率帶來一定的影響，因此，首先通過大津法[11]對圖像進(jìn)行前景分割提取。如圖5，可以看出光伏面板的灰度值與水面等背景的灰度值相差較大，按照大津法求得的分割閾值可以使前景與背景圖像的類間方差最大，類間方差可表示為：

＝0(0－)2＋1(1－)2(1)

式中：0，1分別為前景像素點數(shù)和背景像素點數(shù)占整幅圖像的比例；0和1分別為前景像素和背景像素的平均灰度；為整幅圖像的平均灰度，可表示為：

＝00＋11(2)

將式(2)代入式(1)可得：

＝01(0－1)2(3)

采用遍歷的方法得到使最大的閾值即為所求。大津法分割結(jié)果如圖6(b)，圖6(a)是其對應(yīng)的紅外圖像。

圖4 缺陷檢測算法流程

圖5 紅外數(shù)據(jù)的灰度圖及灰度直方圖

通過圖6(b)可以看出，分割后的二值圖像存在斑點噪聲、邊界不平滑等問題，因此需要進(jìn)一步地開運算、閉運算處理[12]得到完整的前景和背景區(qū)域。開運算是先腐蝕后膨脹的操作，可以平滑邊界，去除背景區(qū)域的噪聲；閉運算可以填補(bǔ)前景區(qū)域的孔洞，如圖6(c)所示。

在前處理結(jié)束后，為了提高缺陷識別率，需要對原圖像進(jìn)行圖像增強(qiáng)，達(dá)到凸顯缺陷并抑制噪聲的目的，具體地，包括以下步驟：

1）選用3像素×3像素的結(jié)構(gòu)元作為計算增強(qiáng)系數(shù)的局部窗口。

2）計算窗口內(nèi)中心點周圍8個像素點的均值（mean）和標(biāo)準(zhǔn)差（dev），如下式：

式中：X代表中心像素點的8鄰域。

3）計算窗口增強(qiáng)系數(shù)F。作為中心像素點的新像素。

圖像增強(qiáng)處理后，采用一種自適應(yīng)動態(tài)閾值的方法完成紅外圖像熱斑的分割提取。該方法為每個像素點計算一個閾值，首先在15×15的局部窗口進(jìn)行運算，計算每個窗口中像素的高斯加權(quán)和，然后減去動態(tài)閾值即得到該點的閾值。動態(tài)閾值(i,j)確定方法如下：

(i,j)＝max(dev(i,j),) (7)

式中：dev為標(biāo)準(zhǔn)差因子用于調(diào)整標(biāo)準(zhǔn)差對局部噪聲的靈敏度，不能較高或較低，否則會導(dǎo)致不能提取缺陷或提取整張圖片為缺陷，一般?。?至1；為絕對動態(tài)閾值，在灰度值均勻區(qū)域，局部標(biāo)準(zhǔn)差較低，為了降低單個灰度值影響，可調(diào)整的值從而忽略均勻環(huán)境的灰度值。則缺陷區(qū)域分割可表示為：

式中：(i,j)為該像素點的高斯加權(quán)和，自適應(yīng)動態(tài)閾值分割效果如圖6(d)，進(jìn)行閉運算處理得到如圖6(e)。將圖6(c)與圖6(e)進(jìn)行數(shù)學(xué)運算，計算方式為將圖6(c)中像素為0的區(qū)域賦值為1，像素為1的區(qū)域與圖6(e)相乘。得到結(jié)果如圖6(f)，檢測黑色像素標(biāo)出并映射到原圖上，效果如圖6(g)，即為識別的熱斑位置。

與前景提取所采用的大津法關(guān)注全局灰度值不同，自適應(yīng)動態(tài)閾值分割只關(guān)注局部灰度差異，為每個像素點計算單獨的閾值，可以降低光強(qiáng)隨天氣變化導(dǎo)致成像差異帶來的影響，提高缺陷識別率。

在紅外圖像中檢測出熱斑區(qū)域后，根據(jù)紅外圖像和可見光圖像的對應(yīng)關(guān)系，結(jié)合可見光圖像對熱斑區(qū)域的缺陷類型進(jìn)行判別，包括內(nèi)部缺陷、碎裂或者異物遮擋，幫助運維人員快速確定維修方案，包括清洗、維修和更換。

圖6 檢測算法處理過程

2.2 缺陷定位

為了將圖像中檢出的缺陷定位到真實地理坐標(biāo)系中，需要實現(xiàn)缺陷區(qū)域從圖像坐標(biāo)系到地理坐標(biāo)系的映射。如圖7所示，缺陷在圖像坐標(biāo)系中的坐標(biāo)為(,)，在地心地固坐標(biāo)系ECEF中的坐標(biāo)為E(E,E,E)，存在如下變換關(guān)系：

圖7 缺陷定位坐標(biāo)關(guān)系示意

式中：和分別是地心地固坐標(biāo)系坐標(biāo)系ECEF到相機(jī)坐標(biāo)系C的旋轉(zhuǎn)和平移，可將E(E,E,E)從ECEF坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系C，和可由拍攝照片時相機(jī)的POS數(shù)據(jù)求解得到；矩陣為相機(jī)的內(nèi)參矩陣，通過矩陣可將相機(jī)坐標(biāo)系下的空間點投影到像素坐標(biāo)系上，可以通過相機(jī)標(biāo)定得到。因此通過公式(3)～(11)逆映射即可將圖像中檢測出的缺陷轉(zhuǎn)換到地理坐標(biāo)系下，實現(xiàn)缺陷定位。

3 試驗結(jié)果

本文提出的智能巡檢技術(shù)路線試驗在建湖漁光互補(bǔ)光伏電站進(jìn)行。漁光互補(bǔ)光伏發(fā)電技術(shù)作為一種把光伏面板建在池塘上的技術(shù)手段[13]，通過池塘養(yǎng)魚、光伏面板發(fā)電達(dá)到資源的更充分利用，但同時也對傳統(tǒng)運維手段提出了很大的挑戰(zhàn)，因此基于無人機(jī)的智能巡檢技術(shù)具有很大的發(fā)展空間。

如圖8為部分航線示意圖，其中劃定的巡檢區(qū)域面積接近200000m2，規(guī)劃航線總長度超過10000m，預(yù)計任務(wù)總時長約1h，可在兩個架次內(nèi)完成數(shù)據(jù)采集任務(wù)。

使用所提出的方法可在3min內(nèi)完成對采集到的1200余張照片進(jìn)行分析處理，如圖9為部分處理結(jié)果。

圖9 部分缺陷檢測結(jié)果

對檢測結(jié)果進(jìn)行統(tǒng)計，如表1所示?？梢钥闯觯疚姆椒▽岚邊^(qū)域的檢出率高于95%，滿足實際工程應(yīng)用需求，且效率遠(yuǎn)遠(yuǎn)超過傳統(tǒng)巡檢方式。

表1 缺陷檢測統(tǒng)計結(jié)果

4 結(jié)論

本文提出了一種完整的基于無人機(jī)的光伏電站智能巡檢技術(shù)路線，所述方法是完整地，可直接用于光伏電站運維管理；搭建了無人機(jī)圖像數(shù)據(jù)采集平臺，利用機(jī)器視覺技術(shù)實現(xiàn)光伏面板缺陷檢測與定位。文章將基于圖像處理的方法應(yīng)用到光伏面板缺陷檢測中，能夠有效檢出、定位和分類缺陷，相比深度學(xué)習(xí)的方法更加高效、貼合實際運維場景要求。并在實踐中從巡檢效率和精度方面對所提出的技術(shù)路線及方法進(jìn)行了試驗，驗證了方法在實際應(yīng)用場景中的有效性。

[1] 彭向陽, 錢金菊, 吳功平, 等. 架空輸電線路機(jī)器人全自主巡檢系統(tǒng)及示范應(yīng)用[J]. 高電壓技術(shù), 2017, 43(8): 2582-2591.

PENG Xiangyang, QIAN Jinju, WU Gongping, et al. Full automatic inspection system and its demonstration application based on robot for overhead transmission lines[J]., 2017, 43(8): 2582-2591.

[2] 黃山, 吳振升, 任志剛, 等. 電力智能巡檢機(jī)器人研究綜述[J]. 電測與儀表, 2020, 57(2): 26-38.

HUANG Shan, WU Zhensheng, REN Zhigang, et al. Review of electric power intelligent inspection robot[J]., 2020, 57(2): 26-38.

[3] 王培珍, 鄭詩程. 基于紅外圖像的太陽能光伏陣列故障分析[J]. 太陽能學(xué)報, 2010, 31(2): 197–202.

WANG Peizhen, ZHENG Shicheng. Fault analysis of photovoltaic array based on infrared image[J]., 2010, 31(2): 197-202.

[4] 閆萍, 王趕強(qiáng). 電致發(fā)光成像測試晶體硅光伏組件缺陷的方法標(biāo)準(zhǔn)解讀[J]. 標(biāo)準(zhǔn)化研究, 2020(9): 29-31.

YAN Ping, WANG Ganqiang. Interpretation of standard for test method for cell defects in crystalline silicon photovoltaic modules by electroluminescence (EL) imaging[J]., 2020(9): 29-31.

[5] 陸成龍, 劉忠德, 張皖軍, 等. 無人機(jī)智能巡檢在檢測風(fēng)電光伏故障中的應(yīng)用研究[J]. 電子設(shè)計工程, 2021, 29(6): 130-134.

LU Chenglong, LIU Zhongde, ZHANG Wanjun, et al. Research on the application of UAV intelligent inspection in the detection of wind power photovoltaic fault[J]., 2021, 29(6): 130-134.

[6] 王栓虎, 溫向煒. 無人機(jī)在光伏組件巡視檢查中的應(yīng)用分析[J]. 太陽能, 2021(1): 51-54.

WANG Shuanhu, WEN Xiangwei. Application analysis of unmanned aerial vehicle in pv modules inspection[J]., 2021(1): 51-54.

[7] 趙玲玲, 汪燁, 劉俊. 基于無人機(jī)與HSV空間的光伏電池板檢測分析[J]. 紅外技術(shù), 2020, 42(10): 978-982.

ZHAO Lingling, WANG Ye, LIU Jun. Detection and analysis of photovoltaic panels based on UAV and HSV space[J]., 2020, 42(10): 978-982.

[8] 李香凡, 唐志偉, 胡家龍, 等. 無人機(jī)光伏巡檢的圖像目標(biāo)檢測算法[J]. 電子世界, 2020(11): 7-8.

LI Xiangfan, TANG Zhiwei, HU Jialong, et al. Image target detection algorithm of UAV photovoltaic inspection[J]., 2020(11): 7-8.

[9] Roggi G , Niccolai A , Grimaccia F , et al. A computer vision line-tracking algorithm for automatic UAV photovoltaic plants monitoring applications[J]., 2020, 13(4): 1-15.

[10] 金映谷, 張濤, 楊亞寧, 等. 基于深度學(xué)習(xí)的產(chǎn)品缺陷檢測方法綜述[J]. 大連民族大學(xué)學(xué)報, 2020, 22(5): 420-427.

JIN Yinggu, ZHANG Tao, YANG Yaning, et al. Review of product defect detection methods based on deep learning[J]., 2020, 22(5): 420-427.

[11] Otsu N. A threshold selection method from gray-level histograms[J]., 2007, 9(1): 62-66

[12] Natale F, Boato G. Detecting morphological filtering of binary images[J]., 2017, 12(5): 1207-1217.

[13] 徐立波. 漁光互補(bǔ)光伏發(fā)電系統(tǒng)設(shè)計[J]. 科技風(fēng), 2020(33): 3-4.

XU Libo. Design of fishing light complementary photovoltaic power generation system[J]., 2020(33): 3-4.

Intelligent Patrol Inspection of Photovoltaic Power Station Based on UAVs

WANG Hao1，YAN Hao2，YE Hairui3，BAI Song3，LI Yida2

(1.,,21000,;2.,,21000,;3.,,21000,)

Solar photovoltaic power generation is an important component of a country's energy structural adjustment. With the rapid expansion of the scale of the photovoltaic power generation industry in recent years, the need for an automated daily maintenance of photovoltaic power stations has increased. Traditional manual detection methods are inefficient because photovoltaic power stations are spread over a large area. In this study, we investigate the intelligent inspection technology of a photovoltaic power station based on an unmanned aerial vehicle (UAV). A technical route for an intelligent inspection of a UAV-based photovoltaic power station is proposed. We achieve the automation of photovoltaic panel image data acquisition and analysis and investigate defect detection based on computer vision. We realize photovoltaic panel defect detection based on infrared images using an adaptive dynamic threshold method combined with image enhancement technology, facilitating the classification of defects to be determined by using visible light images. The defect locations are further calculated by combining the POS data and the camera model. Finally, we verify the effectiveness of the proposed technical route in an actual scenario.

UAV, photovoltaic power station, defect detection, intelligent patrol inspection

TN219

A

1001-8891(2022)05-0537-06

2021-07-19；

2021-10-12.

王浩（1986-），男，江蘇徐州人，碩士，工程師，主要研究方向：網(wǎng)絡(luò)通信及信息化。E-mail: wanghao05@spic.com.cn