基于無人機(jī)與HSV空間的光伏電池板檢測(cè)分析

趙玲玲，汪 燁，劉 俊

基于無人機(jī)與HSV空間的光伏電池板檢測(cè)分析

趙玲玲，汪 燁，劉 俊

（上海電機(jī)學(xué)院 機(jī)械學(xué)院，上海 201306）

針對(duì)復(fù)雜環(huán)境下圖像分析的困難性，研究了一種基于HSV空間模型的圖像分割與檢測(cè)方法。首先，利用無人機(jī)采集圖像，區(qū)域分割提取出光伏電池板區(qū)域。其次，運(yùn)用高斯卷積檢測(cè)裂紋圖像的梯度。最后，應(yīng)用形態(tài)學(xué)圖像處理與HSV空間模型的方法提取遮擋物，計(jì)算最小外接矩形面積與其占光伏電池板的比例。該方法能有效地對(duì)復(fù)雜背景下的光伏圖像進(jìn)行區(qū)域分割與檢測(cè)，具有一定創(chuàng)新性和實(shí)用價(jià)值。

工業(yè)無人機(jī)；HSV空間模型；圖像分割；區(qū)域檢測(cè)；形態(tài)學(xué)處理

0 引言

能源危機(jī)與環(huán)境問題受全球重視，光伏產(chǎn)業(yè)技術(shù)的發(fā)展也備受關(guān)注[1]。光伏電站分布著大面積的太陽能電池板，電池板的發(fā)電效率直接影響著光伏電站的發(fā)電量，準(zhǔn)確高效地監(jiān)測(cè)維護(hù)電池板對(duì)光伏電站意義重大[2]。目前的檢測(cè)方法主要有人工勘測(cè)方法[3]、電致發(fā)光檢測(cè)EL（electro luminescence）法、超聲波檢測(cè)法等。近年來，人們開始利用工業(yè)無人機(jī)對(duì)規(guī)模大、危險(xiǎn)性高的監(jiān)測(cè)目標(biāo)進(jìn)行巡檢。

當(dāng)無人機(jī)采集到光伏圖像后需要進(jìn)行區(qū)域分割與檢測(cè)。文獻(xiàn)[4]提出一種準(zhǔn)確有效的統(tǒng)計(jì)紅外熱斑圖像中局部特征的分割算法。文獻(xiàn)[5]提出基于概率模型改進(jìn)的PV性能評(píng)估閾值方法，識(shí)別功率損耗超出了基于自適應(yīng)閾值的方法。文獻(xiàn)[6]提出一種新的缺陷檢測(cè)方法，通過前景分割，求灰度差分圖、形態(tài)學(xué)開運(yùn)算等步驟準(zhǔn)確完整地分割出缺陷位置。文獻(xiàn)[7]從對(duì)人眼吸引程度的角度出發(fā)，提出一種視覺顯著性缺陷檢測(cè)算法，在含有多種缺陷的圖片庫上進(jìn)行實(shí)驗(yàn)證明了該算法的有效性。文獻(xiàn)[8]利用無人機(jī)設(shè)備巡檢絕緣子，采用閾值分割、形態(tài)學(xué)與邊緣檢測(cè)等技術(shù)對(duì)絕緣子進(jìn)行圖像識(shí)別。然而，實(shí)際圖像包含有復(fù)雜的背景信息會(huì)給后續(xù)圖像分析帶來一定的困難，因此有效的圖像分割方法是光伏電池板檢測(cè)與分析的重要保障。

基于以上原因，本文在利用工業(yè)無人機(jī)采集圖像的基礎(chǔ)上提出一種基于HSV空間模型的圖像分割與檢測(cè)方法。

1 圖像獲取

本文基于工業(yè)無人機(jī)采集光伏電池板圖像，如圖1(a)所示。搭載可見光與紅外一體的云臺(tái)相機(jī)，通過通信系統(tǒng)將圖像數(shù)據(jù)實(shí)時(shí)傳輸至地面站。該無人機(jī)最大載重為6kg，定點(diǎn)懸停精度水平方向≤1.15m，垂直方向≤0.25m。可見光相機(jī)的分辨率為1920×1080，紅外相機(jī)的分辨率為640×512，波長(zhǎng)范圍為8～14mm，焦距為19mm。規(guī)劃飛行路徑后讓無人機(jī)在合適的高度采集圖像。圖1(b)為無人機(jī)圖片采集現(xiàn)場(chǎng)。圖1(c)與圖1(d)分別為紅外圖像與可見光圖像。

2 HSV空間模型與圖像分割

2.1 HSV與RGB空間模型

目前來看，在計(jì)算機(jī)視覺研究領(lǐng)域存在著多種類型的顏色空間模型，最熟悉的是以R、G、B三個(gè)分量為主色在三維坐標(biāo)系中呈現(xiàn)為單位正方體模型，此外還有HIS（Hue, Intensity, Saturation）與HSV（Hue, Saturation, Value）兩種以圓柱體三維坐標(biāo)表示的顏色空間模型。由于R、G、B三個(gè)分量會(huì)隨著光照變化而變化，相近顏色的R、G、B值差別可能會(huì)很大[9]，而HSV顏色空間模型在視覺上比RGB模型更具有直觀性。因此，本文選擇在HSV空間對(duì)圖像進(jìn)行處理。

圖2為HSV模型，由RGB模型轉(zhuǎn)換到HSV模型的轉(zhuǎn)換表達(dá)式為：

式中：為RGB三個(gè)分量最大與最小值之差，＝max(,,)－min(,,)；Max為RGB三個(gè)分量的最大值，Max＝max(,,)。

圖2 HSV模型

2.2 前景分割

通過對(duì)HSV與RGB空間模型的轉(zhuǎn)換分析，將原始光伏面板RGB圖像通過設(shè)定HSV藍(lán)色取值范圍對(duì)其進(jìn)行分割，將面板從復(fù)雜的背景中提取出來。謝永祥等[10]基于HSV空間對(duì)汽車牌識(shí)別方法研究，通過二次標(biāo)記車牌圖片減少藍(lán)色背景干擾的方法可以有效地分割出車牌。因此本文提出一種基于HSV顏色空間模型的3個(gè)分量取值的方法分割光伏面板，提取前景區(qū)域。藍(lán)色與綠色區(qū)域在HSV空間取值范圍如表1所示。

表1 各HSV分量取值范圍

依據(jù)上述HSV空間模型取值范圍對(duì)原始圖像進(jìn)行區(qū)域分割。設(shè)原始圖像為(,)，其大小為[,,]，參照表1中藍(lán)色分量的HSV取值范圍，區(qū)域分割的步驟為：

1）將原始圖像(,)從RGB空間轉(zhuǎn)換到HSV空間，得到HSV空間圖像(,)；

2）定義矩陣target 1，大小為[,1]，將圖像(,)在[0.56～0.71]的分量，[0.36～1]的分量，[0.36～1]的分量的像素點(diǎn)進(jìn)行方向上的標(biāo)記，將標(biāo)記結(jié)果復(fù)制到target 1中，定位區(qū)間位置為[1:]；

3）定義矩陣target 2，大小為[1,]，重復(fù)步驟2），對(duì)圖像(,)的像素點(diǎn)進(jìn)行方向上的標(biāo)記，將標(biāo)記結(jié)果復(fù)制到target 2中，并尋找target 2中標(biāo)記的藍(lán)色像素點(diǎn)最小位置pos1與最大位置pos2，定位區(qū)間位置為[pos1,pos2]；

4）將標(biāo)記的區(qū)間位置返回到原圖像中得到分割結(jié)果。

在此項(xiàng)工作中，本文調(diào)查了兩種光伏電池板缺陷綠植遮擋與裂紋。圖3(a)、(b)是含有裂紋、綠植遮擋的光伏電池板原圖像。通過本文提出的圖像分割方法將圖3(a)、(b)轉(zhuǎn)換到HSV空間中如圖3(c)、(d)所示，視覺上的顏色效果要比在RGB空間中更具有直觀性，有效地將光伏電池板從復(fù)雜的周圍環(huán)境中提取出來，得到圖3(e)、(f)的分割結(jié)果，大大降低了圖像處理計(jì)算與分析的冗余程度。

圖3 HSV空間中分割光伏太陽能電池板

3 障礙缺陷分析

3.1 高斯濾波及裂紋分析

光伏電池板表面分布著橫豎交錯(cuò)的柵極以及主電極線，用于輸送光電轉(zhuǎn)化的電流。當(dāng)利用邊緣檢測(cè)、形態(tài)學(xué)方法、自適應(yīng)閾值分割等圖像處理方法時(shí)會(huì)影響結(jié)果的分析。因此，在將光伏電池板從復(fù)雜的背景環(huán)境中分割出來后，需要對(duì)其做進(jìn)一步圖像處理。Li X.等[11]提出一種FODG（first-order derivative of Gaussian function）濾波方法，并基于無人機(jī)采用可見光相機(jī)對(duì)光伏電池板上存在的蝸牛印跡以及灰塵遮蔽區(qū)域進(jìn)行缺陷檢測(cè)。文獻(xiàn)[12]提出一種改進(jìn)的不規(guī)則區(qū)域的高斯濾波算法，該方法去除噪聲的同時(shí)還保留紋理細(xì)節(jié)信息，相比較傳統(tǒng)的高斯濾波效果更好。因此，本文采用高斯卷積濾波求取梯度的方法分別去除光伏電池板表面水平與垂直方向的柵極紋路，突出缺陷邊緣。(,)為高斯函數(shù)，(,)為原圖像函數(shù)，具體方法如下：

二維的高斯函數(shù)形式如式(2)所示，、為自變量，為方差：

利用高斯函數(shù)與導(dǎo)數(shù)進(jìn)行卷積求得、兩個(gè)方向的卷積核ker、ker：

將原圖像函數(shù)(,)與卷積核進(jìn)行卷積：

kerx＝ker(,;)?(,) (7)

ker＝ker(,;)?(,) (8)

通過圖像濾波的方法去除光伏電池板表面的柵極條紋，減少圖像計(jì)算的復(fù)雜度且該方法對(duì)噪聲敏感程度低。參數(shù)控制圖像的濾波模糊程度。

圖4(b)、(c)為圖像在、方向上的高斯濾波結(jié)果。運(yùn)用此方法可以從、兩個(gè)方向分別將光伏電池板表面分布的柵極網(wǎng)格線去除，清楚地觀察到裂紋的邊緣及其發(fā)展趨勢(shì)。

圖4 濾波圖像

3.2 遮擋物分析

光伏電池板除了有裂紋這樣的可見缺陷外，綠植遮擋與常見的灰塵遮擋一樣能使光伏電池板產(chǎn)生熱斑效應(yīng)。本文拍攝的紅外圖片如圖5所示。

圖5 光伏電池板的紅外圖像

光伏電池板紅外圖像如圖5所示。其中，圖5(a)是無較多灰塵遮蓋的光伏電池板的紅外圖像，整體呈現(xiàn)出粉紫色；圖5(b)是較重灰塵遮蓋的電池板且有熱斑，整體呈現(xiàn)出橘紅色；圖5(c)是缺陷的地方呈現(xiàn)出塊狀的熱斑。將紅外圖像與原圖進(jìn)行對(duì)比可以發(fā)現(xiàn)熱斑出現(xiàn)的原因是由電池板出現(xiàn)裂紋或有綠植的遮擋造成。

對(duì)綠植遮擋物的識(shí)別與分割方法步驟如下：

1）將圖3(e)與(f)轉(zhuǎn)換到HSV空間中，結(jié)合表1中綠色分量的HSV取值范圍作為標(biāo)記條件，并將識(shí)別到的綠色像素點(diǎn)3個(gè)分量(,)、(,)、(,)的值都設(shè)置為0。

2）采集的圖像易出現(xiàn)光照不均等問題[13]，因此進(jìn)行圖像增強(qiáng)，從三通道圖中提取出單通道進(jìn)行圖像處理。設(shè)定通道的取值范圍為[0.43～0.689]，填充空洞并進(jìn)行形態(tài)學(xué)開運(yùn)算操作。形態(tài)學(xué)開運(yùn)算中，用結(jié)構(gòu)元素來處理圖像，先腐蝕后膨脹，即：

3）形態(tài)學(xué)方法處理過圖像后，求出遮擋區(qū)域的質(zhì)心及其最小外接矩形面積以及每塊光伏電池板的最小外接面積[14]。其中，矩形面積最大的即為遮擋最嚴(yán)重的位置。

根據(jù)被標(biāo)記圖6(a)、(c)的灰度直方圖設(shè)定一個(gè)灰度閾值點(diǎn)進(jìn)行二值化分割，并選取光伏電池板塊中的單塊區(qū)域作為區(qū)域生長(zhǎng)算法的種子點(diǎn)，再運(yùn)用形態(tài)學(xué)增強(qiáng)算法進(jìn)行孔洞填充，計(jì)算單塊面板的外接矩形面積，得到其總像素點(diǎn)為127×81，如圖6(e)所示，且單塊電池板共有10×6個(gè)網(wǎng)格方塊。圖6(b)小塊遮擋面積像素點(diǎn)經(jīng)計(jì)算為25×17，遮擋面積約占2.47個(gè)網(wǎng)格。圖6(d)大塊遮擋面積像素點(diǎn)為76×56，遮擋面積約占24.8個(gè)網(wǎng)格，遮擋面積約占單塊面板面積的2/3，此種情形，需要及時(shí)處理掉遮擋物避免長(zhǎng)期遮擋導(dǎo)致嚴(yán)重?fù)p壞電池板。

實(shí)驗(yàn)證明，本文提出的基于HSV顏色空間模型的光伏電池板分割方法能實(shí)現(xiàn)有效的前景區(qū)域分割，并能應(yīng)用到遮擋物檢測(cè)分析當(dāng)中且效果良好。

4 結(jié)論

本文根據(jù)光伏電池板圖片的特點(diǎn)提出了一種基于HSV空間模型的圖像分割與檢測(cè)方法，有效地去除光伏電池板圖像復(fù)雜的背景干擾信息。通過設(shè)定HSV三個(gè)分量的取值范圍，識(shí)別并提取感興趣區(qū)域，重點(diǎn)分析了光伏組件的2種典型缺陷類型，即裂紋與綠植遮擋，并對(duì)可見相機(jī)拍攝的圖像進(jìn)行基于HSV空間、高斯濾波以及形態(tài)學(xué)圖像增強(qiáng)的處理。從計(jì)算機(jī)視覺角度出發(fā)，減小了復(fù)雜地形對(duì)圖像處理造成的計(jì)算難度，在光伏電池板圖像分割方面具有一定的魯棒性，而且紅外檢測(cè)與可見光檢測(cè)相輔相成，兩者結(jié)合能更好地完成大型光伏電站的巡檢工作。

[1] Romero-Cadaval E, Spagnuolo G, Franquelo L G, et al. Grid- connected photovoltaic generation plants: components and operation[J]., 2013, 7(3):6-20.

[2] 洪向共, 周世芬. 基于灰度共生矩陣和區(qū)域生長(zhǎng)算法的紅外光伏面板圖像分割[J]. 科學(xué)技術(shù)與工程, 2018, 18(34): 97-102.

HONG Xianggong, ZHOU Shifen. Infrared photoelectric panels image segmentation based on gray level co-occurrence matrix and region growing algorithm[J]., 2018, 18(34): 97-102.

[3] 劉磊, 王沖, 趙樹旺, 等. 基于機(jī)器視覺的太陽能電池片缺陷檢測(cè)技術(shù)的研究[J]. 電子測(cè)量與儀器學(xué)報(bào), 2018, 32(10): 47-52.

LIU Lei, WANG Chong, ZHAO Shuwang, et al. Research on solar cells defect detection technology based on machine vision[J]., 2018, 32(10): 47-52.

[4] 毛峽, 石天朋. 光伏熱斑圖像有效區(qū)域分割算法研究[J]. 太陽能學(xué)報(bào), 2018, 39(5): 1270-1276.

MAO Xia, SHI Tianpeng. Research on effective region segmentation algorithm of photovoltaic hot spot image[J]., 2018, 39(5): 1270-1276.

[5] WANG Jingyi, QIAN Zheng, Zareipour Hamidreza, et al. Performance assessment of photovoltaic modules based on daily energy generation estimation[J]., 2018, 165(1085/1414): 1160-1172.

[6] 陳磊, 喬繼紅, 陳巖. 太陽能電池板缺陷分割技術(shù)研究[J]. 微電子學(xué)與計(jì)算機(jī), 2014, 31(12): 98-102, 107.

CHEN Lei, QIAO Jihong, CHEN Yan. The algorithm research of solar cells defect segmentation[J]., 2014, 31(12): 98-102, 107.

[7] 錢曉亮, 張鶴慶, 張煥龍, 等. 基于視覺顯著性的太陽能電池片表面缺陷檢測(cè)[J]. 儀器儀表學(xué)報(bào), 2017, 38(7): 1570-1578.

QIAN Xiaoliang, ZHANG Heqing, ZHANG Huanlong, et al. Solar cell surface defect detection based on visual saliency[J]., 2017, 38(7): 1570-1578.

[8] 王淼, 杜毅, 張忠瑞. 無人機(jī)輔助巡視及絕緣子缺陷圖像識(shí)別研究[J]. 電子測(cè)量與儀器學(xué)報(bào), 2015, 29(12): 1862-1869.

WANG Miao, DU Yi, ZHANG Zhongrui. Study on power transmission lines inspection using unmanned aerial vehicle and image recognition of insulator defect[J]., 2015, 29(12): 1862-1869.

[9] 王夏黎, 周明全, 耿國(guó)華. 一種基于HSV顏色空間的車輛牌照提取方法[J]. 計(jì)算機(jī)工程, 2004, 30(17): 133-135.

WANG Xiali, ZHOU Mingquan, GENG Guohua. An approach of vehicle plate extract based on HSV color space[J]., 2004, 30(17): 133-135.

[10] 謝永祥, 董蘭芳. 復(fù)雜背景下基于HSV空間和模板匹配的車牌識(shí)別方法研究[J]. 圖學(xué)學(xué)報(bào), 2014, 35(4): 585-589.

XIE Yongxiang, DONG Lanfang. License plate recognition in complex background base on HSV space and template matching[J]., 2014, 35(4): 585-589.

[11] LI X, YANG Q, CHEN Z , et al. Visible defects detection based on UAV-based inspection in large-scale photovoltaic systems[J]., 2017, 11(10): 1234-1244.

[12] 姒紹輝, 胡伏原, 顧亞軍, 等. 一種基于不規(guī)則區(qū)域的高斯濾波去噪算法[J]. 計(jì)算機(jī)科學(xué), 2014, 41(11): 313-316.

SI Shaohui, HU Fuyuan, GU Yajun, et al. Improved denoising algorithm based on non-regular area Gaussian filtering[J]., 2014, 41(11): 313-316.

[13] 黃鈺雯. 基于無人機(jī)視覺的大規(guī)模光伏電池板檢測(cè)技術(shù)研究[D].南寧: 廣西大學(xué), 2017.

HUANG Yuwen. Research on Large-scale Photovoltaic Panel Detection Technology Based on UAV Vision[D]. Nanning: Guangxi University, 2017.

[14] 劉齊, 王茂軍, 高強(qiáng), 等. 基于紅外成像技術(shù)的電氣設(shè)備故障檢測(cè)[J]. 電測(cè)與儀表, 2019, 56(10): 122-126, 152.

LIU Qi, WANG Maojun, GAO Qiang, et al. Fault detection of electrical equipment based on infrared imaging technology[J]., 2019, 56(10): 122-126, 152.

Detection and Analysis of Photovoltaic Panels Based on UAV and HSV Space

ZHAO Lingling，WANG Ye，LIU Jun

(,,201306,)

To address the difficulty of image analysis in a complex environment, an image segmentation and detection method of an HSV spatial model was studied. First, a UAV was used to collect images. Second, Gaussian convolution was used to detect the gradient of the cracked image after the photovoltaic (PV) panel area was extracted. Finally, morphological image processing and the HSV spatial model were applied to extract the occlusion, and the ratio of the minimum external rectangle area to the PV panel area was calculated. This method can effectively segment and detect PV images in complex backgrounds and provides certain innovative and practical value.

industrial UAV, HSV space model, image segmentation, area detection, morphological processing

TN219

A

1001-8891(2020)10-0978-05

2019-11-28；

2019-12-20.

趙玲玲（1996-），女，碩士研究生，主要研究方向?yàn)楣夥娬?、變電站等故障圖像檢測(cè)分析，E-mail：angelj00@163.com。

劉?。?971-），女，碩士，副教授，副院長(zhǎng)，主要研究方向?yàn)闄C(jī)器人視覺導(dǎo)引與位姿控制。

國(guó)家自然科學(xué)基金（51809161）。