摘 要:針對(duì)以往光伏缺陷檢測(cè)中可識(shí)別缺陷的種類少、無法對(duì)缺陷進(jìn)行定位、模型參數(shù)多體積大以及檢測(cè)速度慢的局限性,改進(jìn)傳統(tǒng)的YOLOv5網(wǎng)絡(luò)對(duì)光伏組件面板圖像中常見的裂紋、斷柵、黑芯、粗線和熱斑5類主要缺陷進(jìn)行檢測(cè)和分類。使用3種不同的注意力機(jī)制模塊:CA注意力機(jī)制模塊、ECA注意力機(jī)制模塊、CBAM注意力機(jī)制模塊,分別融入YOLOv5網(wǎng)絡(luò)中進(jìn)行對(duì)比分析實(shí)驗(yàn),發(fā)現(xiàn)CA注意力機(jī)制更加適合光伏缺陷圖像檢測(cè)。隨后對(duì)融入CA注意力機(jī)制模塊的YOLOv5算法再次加入雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)一步加強(qiáng)網(wǎng)絡(luò)的特征融合能力。實(shí)驗(yàn)結(jié)果表明,該模型可對(duì)5類常見的缺陷進(jìn)行有效的識(shí)別和定位,與YOLOv5算法相比平均精準(zhǔn)度(mAP)值提升3.7 %,模型體積減小15 %,圖片的檢測(cè)平均速度提升9.7 %。結(jié)論表明該方法可有效增強(qiáng)YOLOv5算法在光伏缺陷檢測(cè)中的能力,同時(shí)可降低深度學(xué)習(xí)算法在光伏檢測(cè)中誤檢和漏檢的情況。
關(guān)鍵詞:計(jì)算機(jī)視覺;深度學(xué)習(xí);太陽電池;YOLOv5;光伏缺陷
中圖分類號(hào):TK51 " " " " "文獻(xiàn)標(biāo)志碼:A
0 引 言
近年來,太陽能作為一種廣泛使用的清潔能源備受矚目,光伏發(fā)電產(chǎn)業(yè)在國內(nèi)蓬勃發(fā)展[1-2]。然而,隨著光伏電站規(guī)模的擴(kuò)大,對(duì)光伏組件面板的日常巡檢帶來了巨大挑戰(zhàn)。光伏組件面板作為光伏發(fā)電系統(tǒng)的核心組成部分,經(jīng)常在惡劣自然環(huán)境下運(yùn)行,容易出現(xiàn)斷柵、裂紋、熱斑等缺陷[3]。光伏缺陷檢測(cè)通常采用兩種主要方式,即電氣檢測(cè)[4]和圖象分析。電氣檢測(cè)利用光伏組件內(nèi)部的數(shù)據(jù)來尋找潛在的問題[5],但這種方式要求搭建復(fù)雜的硬件設(shè)備,會(huì)導(dǎo)致成本的增加。并且其準(zhǔn)確性有限,不能準(zhǔn)確定位到具體的光伏組件面板,精確定位故障依賴人工巡檢,效率低且需要大量人力。與此不同,圖像分析的方式是對(duì)采集到的光伏組件紅外圖像進(jìn)行處理即可。對(duì)于小規(guī)模的光伏組件,可使用手持式紅外儀器直接觀測(cè),但對(duì)于大型光伏發(fā)電站其效率仍然相對(duì)較低。目前,深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域有兩種主要方法:一種是基于區(qū)域的方法,例如Mask R-CNN[6]和Faster R-CNN[7];另一種是采用回歸方式解決的方法,如SSD[8]和YOLO[9]。
盡管以上算法可提供較高的目標(biāo)檢測(cè)準(zhǔn)確率,但在光伏缺陷檢測(cè)中仍存在以下問題:
1)由于光伏缺陷的特殊性,包括大小不一、形狀復(fù)雜、紋理變化等因素,使得算法在缺陷定位和分類方面仍存在一定的誤檢和漏檢問題。
2)光伏缺陷中的一些微小缺陷被深度學(xué)習(xí)算法難以準(zhǔn)確檢測(cè),特別是在低分辨率或遠(yuǎn)距離情況下。這可能導(dǎo)致這些算法在檢測(cè)小尺寸缺陷方面的性能不佳。
3)某些深度學(xué)習(xí)算法在面對(duì)光照變化、背景干擾、遮擋等復(fù)雜場(chǎng)景時(shí)可能表現(xiàn)出較低的魯棒性。此外,一些基于回歸的算法(如SSD、YOLO)雖然提高了檢測(cè)速率,但犧牲了一定的準(zhǔn)確性。
本文針對(duì)如上問題,提出改進(jìn)后的YOLOv5檢測(cè)模型。改進(jìn)過程為在骨干網(wǎng)絡(luò)中分別加入CBAM(convolutional block attention module)注意力模塊、ECA(efficient channel attention)注意力模塊、CA(coordinate attention)注意力模塊,進(jìn)行對(duì)比實(shí)驗(yàn)。在特征融合網(wǎng)絡(luò)方面,本文采用雙向特征金字塔網(wǎng)絡(luò)(bidirectional feature pyramid network, BiFPN)結(jié)構(gòu),進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的特征融合能力。BiFPN結(jié)構(gòu)允許在不同層級(jí)的特征金字塔之間進(jìn)行雙向的信息傳遞和融合,從而提高模型對(duì)多尺度特征的感知和表達(dá)能力,這對(duì)于光伏組件紅外缺陷的檢測(cè)非常重要,因?yàn)槿毕菘赡芫哂胁煌某叨群托螤?,需要模型能夠有效地捕捉和表示這些多尺度特征。
1 研究實(shí)驗(yàn)準(zhǔn)備
1.1 數(shù)據(jù)集
本研究使用的數(shù)據(jù)集由河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院-高端裝備智能感知與先進(jìn)控制研究所和北京航空航天大學(xué)NAVE Group創(chuàng)建,并獲得授權(quán)使用。該數(shù)據(jù)集經(jīng)過精心篩選和標(biāo)注,包含36542張圖像,涵蓋12種不同類型的光伏缺陷。
本文根據(jù)研究的具體內(nèi)容和需求,選擇數(shù)據(jù)集中的4500張圖像進(jìn)行實(shí)驗(yàn)。這些圖像代表5種常見的光伏缺陷類型,包括裂紋、斷柵、黑芯、粗線和熱斑。5種缺陷的圖像如下圖所示。這些缺陷類型在光伏組件的質(zhì)量控制和檢測(cè)中具有重要意義。
本文將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集,其中訓(xùn)練集圖片3600張,驗(yàn)證集圖片450張,測(cè)試集圖片450張。5類缺陷的標(biāo)簽數(shù)量分別為288、604、207、218、227個(gè)。
1.2 3種注意力機(jī)制模塊
為更加精準(zhǔn)地實(shí)現(xiàn)光伏缺陷的檢測(cè)和定位,本文提出一種改進(jìn)的YOLOv5缺陷檢測(cè)算法。注意力機(jī)制允許神經(jīng)網(wǎng)絡(luò)更有針對(duì)性地關(guān)注圖像中對(duì)于分類結(jié)果至關(guān)重要的像素區(qū)域,同時(shí)忽略對(duì)分類不太重要的區(qū)域[10]。這有助于改善特征圖通道之間的分配關(guān)系,從而提升網(wǎng)絡(luò)性能。本文對(duì)分別融合了CA注意力機(jī)制、ECA注意力機(jī)制、CBAM注意力機(jī)制的YOLOv5算法進(jìn)行對(duì)比實(shí)驗(yàn),探究哪一種注意力機(jī)制更加適合光伏缺陷的檢測(cè)。在此對(duì)3種注意力機(jī)制做簡(jiǎn)單的引入和介紹。
CA、ECA和CBAM是3種不同的注意力機(jī)制,用于增強(qiáng)神經(jīng)網(wǎng)絡(luò)在處理圖像和視頻等視覺數(shù)據(jù)時(shí)的性能。CA注意力關(guān)注通道間的關(guān)聯(lián)性,有助于提取不同通道的特征。ECA注意力引入了一維卷積操作,增強(qiáng)了對(duì)特征在通道和空間維度上的建模能力。CBAM注意機(jī)制包含通道注意力和空間注意力,使模型能夠在通道和空間上更好地理解特征,從而提高性能。這些注意力機(jī)制通過放大主要特征的重要性,有助于提高視覺任務(wù)的準(zhǔn)確性和效率。
1.3 BiFPN網(wǎng)絡(luò)結(jié)構(gòu)
BiFPN的結(jié)構(gòu)圖如圖2所示。輸入本文算法網(wǎng)絡(luò)電致發(fā)光(electrduminescent,EL)圖片經(jīng)過骨干網(wǎng)絡(luò)進(jìn)行特征提取之后,產(chǎn)生3個(gè)不同分辨率的特征圖。低分辨率的特征圖逐層向上經(jīng)過2倍上采樣之后與高分辨率的特征圖進(jìn)行融合,高分辨率的特征圖逐層向下經(jīng)過1/2池化操作與低分辨率的特征圖進(jìn)行融合[11]。此外,與單向結(jié)構(gòu)的特征金字塔網(wǎng)絡(luò)(feature pyramid network,F(xiàn)PN)相比,BiFPN增加了一條從高分辨率特征圖到低分辨率特征圖融合的路徑。與雙向結(jié)構(gòu)的PANet相比,它剔除了路徑聚合網(wǎng)絡(luò)(path aggregation network,PANet)中特征融合能力弱的節(jié)點(diǎn),使得BiFPN比PANet更高效。
2 基于YOLO-v5的改進(jìn)缺陷模型
本文基于以上的注意力機(jī)制和BiFPN網(wǎng)絡(luò)結(jié)構(gòu),本節(jié)詳細(xì)介紹如何將注意力機(jī)制和BiFPN網(wǎng)絡(luò)與YOLOv5算法結(jié)合以及結(jié)合后增強(qiáng)的效果。
2.1 YOLOv5-算法結(jié)構(gòu)
YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)[12]如圖3所示。在輸入圖像時(shí),通過Mosaic數(shù)據(jù)增強(qiáng)技術(shù)生成一張新的高質(zhì)量圖片,以豐富數(shù)據(jù)集并提高網(wǎng)絡(luò)的健壯性。同時(shí),使用Autoanchor自適應(yīng)錨框技術(shù),根據(jù)數(shù)據(jù)集特征聚類生成符合實(shí)際情況的錨框。特征提取骨干網(wǎng)絡(luò)采用基于CSPDarknet53的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。通過多次卷積和池化操作,從輸入圖像中提取不同大小的特征圖。具體而言,包括4個(gè)C3模塊,生成4個(gè)不同尺度的特征圖。Neck端,多尺度特征融合網(wǎng)絡(luò)采用PANet,它通過自底向上的特征融合層,提升了特征提取的能力。與傳統(tǒng)的特FPN相比,PANet結(jié)構(gòu)進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)的感受野和上下文信息的獲取能力[13]。在Input端輸出預(yù)測(cè)部分包括目標(biāo)框的回歸和非極大值抑制兩個(gè)過程?;貧w運(yùn)算的目標(biāo)函數(shù)采用CIOU Loss,通過反向更新和優(yōu)化網(wǎng)絡(luò)參數(shù)。而在眾多目標(biāo)框中,采用非極大值抑制(non-maximum suppression,NMS)方法,選擇最優(yōu)的目標(biāo)框作為最終的檢測(cè)結(jié)果。
綜上所述,YOLOv5算法通過結(jié)構(gòu)的劃分和各部分的設(shè)計(jì),實(shí)現(xiàn)了高效的目標(biāo)檢測(cè)。通過引入Mosaic數(shù)據(jù)增強(qiáng)和Autoanchor自適應(yīng)錨框技術(shù),以及使用CSPDarknet53骨干網(wǎng)絡(luò)和PANet多尺度特征融合網(wǎng)絡(luò),具有不錯(cuò)的目標(biāo)檢測(cè)的能力。
2.2 算法結(jié)構(gòu)改進(jìn)
COCO[14]數(shù)據(jù)集是當(dāng)前目標(biāo)檢測(cè)算法比較可靠的數(shù)據(jù)集,通過它檢測(cè)出的結(jié)果[15]相對(duì)權(quán)威。然而該算法包含的目標(biāo)類別數(shù)量較多[16],因此導(dǎo)致出現(xiàn)算法在均衡檢測(cè)多種類別目標(biāo)時(shí)抑制了某些特征的表達(dá)[17]。本研究只涉及到5種類別,為增強(qiáng)特征表達(dá),提高光伏缺陷檢測(cè)性能,結(jié)合5種缺陷的特點(diǎn),對(duì)YOLOv5算法中骨干網(wǎng)絡(luò)、Neck 網(wǎng)絡(luò)以及 Head 網(wǎng)絡(luò)等結(jié)構(gòu)進(jìn)行相對(duì)應(yīng)的優(yōu)化。
2.2.1 骨干網(wǎng)絡(luò)優(yōu)化
在本研究中,首先引入注意力機(jī)制模塊以骨干網(wǎng)絡(luò)進(jìn)行改進(jìn)。光伏缺陷圖像通常表現(xiàn)為小范圍的缺陷在大范圍的背景之間。在深度卷積神經(jīng)網(wǎng)絡(luò)中,處理大量背景信息可能會(huì)導(dǎo)致無效數(shù)據(jù)積累,從而模糊目標(biāo)信息,損害圖像識(shí)別的精確性[18-19]。為應(yīng)對(duì)這一問題,引入注意力機(jī)制到深度神經(jīng)網(wǎng)絡(luò)中,有助于提高對(duì)光伏缺陷圖像中關(guān)鍵區(qū)域的關(guān)注度和特征表達(dá)能力,增強(qiáng)網(wǎng)絡(luò)的感知能力[20]。
由1.3節(jié)可看到,ECA、CBAM、CA這3種注意力機(jī)制在小目標(biāo)檢測(cè)中均有不錯(cuò)的表現(xiàn),這些注意力機(jī)制模塊通過對(duì)不同的特征通道或空間位置進(jìn)行自適應(yīng)的權(quán)重調(diào)整,可提高網(wǎng)絡(luò)在重要區(qū)域的特征表示能力。本文為探究這3種注意力機(jī)制哪種可以更好地提升YOLOv5在光伏缺陷檢測(cè)中的性能,在骨干網(wǎng)絡(luò)的C3模塊之后分別引入這些注意力機(jī)制并進(jìn)行充分的實(shí)驗(yàn)比較。
在傳統(tǒng)的YOLOv5中,C3模塊由3個(gè)連續(xù)的卷積層組成,用于提取圖像特征。在其后加入注意力機(jī)制,模型可以更加聚焦于感興趣的目標(biāo)區(qū)域,并減少對(duì)不相關(guān)區(qū)域的關(guān)注。具體來說,通過添加注意力模塊來獲取特征圖中的通道注意力權(quán)重。然后,將這些注意力權(quán)重應(yīng)用于特征圖中的每個(gè)通道,對(duì)通道的特征進(jìn)行加權(quán)聚合。這樣,模型可更加準(zhǔn)確地捕捉到有關(guān)光伏缺陷的重要特征,并且減少了對(duì)無關(guān)特征的干擾。
通過細(xì)致的性能評(píng)估和分析,本文得出關(guān)于這3種注意力機(jī)制在光伏缺陷檢測(cè)中的相對(duì)優(yōu)劣以及對(duì)YOLOv5性能提升的影響的結(jié)論,詳細(xì)的實(shí)驗(yàn)結(jié)果在4節(jié)敘述。
2.2.2 Neck端優(yōu)化
本文針對(duì)YOLOv5的Neck端進(jìn)行改進(jìn),對(duì)該部分的特征融合能力進(jìn)一步增強(qiáng),以應(yīng)對(duì)光伏缺陷圖像中不同尺度的特征。BiFPN結(jié)構(gòu)通過多層迭代的方式,將不同分辨率的特征圖進(jìn)行自上而下和自下而上的信息流傳遞和融合。具體而言,BiFPN結(jié)構(gòu)通過以下幾個(gè)關(guān)鍵步驟來實(shí)現(xiàn):
1)自下而上的特征傳播:初始時(shí),本文使用多個(gè)特征金字塔層作為輸入,每個(gè)層包含不同分辨率的特征圖。然后,本文采用上采樣操作,將低分辨率特征圖提升到與高分辨率特征圖相同的尺度。
2)自上而下的特征傳播:通過下采樣操作,本文將高分辨率特征圖降采樣到與低分辨率特征圖相同的尺度,以便與低分辨率特征圖進(jìn)行融合。
3)特征融合:在每個(gè)層中,本文將上采樣后的低分辨率特征圖和下采樣后的高分辨率特征圖進(jìn)行融合。具體地,本文使用雙向特征融合操作,通過自適應(yīng)加權(quán)的方式,將不同尺度特征的有用信息進(jìn)行融合。
4)重復(fù)迭代:上述步驟會(huì)迭代多次,以逐漸增強(qiáng)特征的融合能力。每次迭代后,本文會(huì)進(jìn)一步優(yōu)化特征圖的質(zhì)量和豐富度。
通過引入BiFPN結(jié)構(gòu),本文的改進(jìn)模型能夠更好地捕捉光伏缺陷圖像中不同尺度的特征信息,并將其有效融合。這有助于提高缺陷的定位準(zhǔn)確性和識(shí)別準(zhǔn)確性,從而增強(qiáng)整個(gè)光伏缺陷檢測(cè)系統(tǒng)的性能,為光伏缺陷檢測(cè)提供更快的速率和可靠性。
3 實(shí)驗(yàn)結(jié)果分析
3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置
本研究神經(jīng)網(wǎng)絡(luò)框架使用Pytorch1.11搭建,實(shí)驗(yàn)平臺(tái)操作系統(tǒng)為Windows 10,CPU型號(hào)為 Intel i5-12400F,GPU 型號(hào)為 NVIDIA GTX3060。Batch size設(shè)置為8,Epoch 設(shè)置為100次。
3.2 結(jié)果評(píng)價(jià)指標(biāo)
根據(jù)標(biāo)記的真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽的組合,每張圖片會(huì)被分為真正樣本(true positive,TP)、真負(fù)樣本(true negative,TN)、假正樣本(False Positive,F(xiàn)P)和假負(fù)樣本(1 negative,F(xiàn)N)4類。其中TP是被正確識(shí)別的圖像中實(shí)際存在的對(duì)象,F(xiàn)N是圖像中存在但未檢測(cè)到的對(duì)象,F(xiàn)P是被錯(cuò)誤識(shí)別的圖像中實(shí)際存在的對(duì)象,F(xiàn)N是圖像中存在但未被檢測(cè)到的對(duì)象。為了檢驗(yàn)?zāi)P偷男阅埽x取精確率(Precision, P),召回率(Recall, R),平均精度(mean Average Precision, mAP)作為評(píng)價(jià)指標(biāo)。精確率P代表模型的查準(zhǔn)率,召回率R代表模型的查全率,mAP代表各類缺陷AP指標(biāo)的平均值,各指標(biāo)的計(jì)算公式如式(1)~式(2)所示。mAP數(shù)值越大表示模型識(shí)別效果越好。
[P=NTPNTP+NFP] (1)
[R=NTPNTP+NFN] (2)
[AP=01P(R)dR] (3)
式中:NTP——TP樣本數(shù)量;NFP——FP樣本數(shù)量;NFN——FN樣本數(shù)量。
3.3 實(shí)驗(yàn)結(jié)果分析
3.3.1 模型檢測(cè)結(jié)果
為驗(yàn)證模型改進(jìn)后的效果,本文將多種模型進(jìn)行對(duì)比分析實(shí)驗(yàn),其中有一階段代表性算法Faster-RCNN,二階段算法SSD、YOLO系列,結(jié)合3種注意力機(jī)制的YOLOv5算法,結(jié)合CA注意力機(jī)制和BiFPN網(wǎng)絡(luò)的YOLOv5算法。每個(gè)算法模型都是將訓(xùn)練集和驗(yàn)證集輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。經(jīng)過100輪迭代訓(xùn)練,得到測(cè)試集精確率、召回率、mAP0.5(%)值等指標(biāo)的結(jié)果,如表1所示。從表1可看出,在所有的原始算法中,二階段算法中的Faster R-CNN表現(xiàn)出最佳的檢測(cè)效果。然而,本文也注意到該算法的模型規(guī)模較大且檢測(cè)速度較慢。相反,一階段算法中的SSD、YOLOv4、YOLOv5以及YOLOv7等模型中,YOLOv5表現(xiàn)出最佳的性能。此外,YOLOv5具有更快的檢測(cè)速度。
綜合考慮實(shí)驗(yàn)結(jié)果得出以下結(jié)論:針對(duì)光伏缺陷檢測(cè),F(xiàn)aster R-CNN作為一種二階段算法,展現(xiàn)了優(yōu)異的檢測(cè)性能,能夠提供精確的缺陷識(shí)別。然而,它的較大模型尺寸和較慢的檢測(cè)速度可能在某些實(shí)際應(yīng)用場(chǎng)景中存在一定限制。相比之下,YOLOv5作為一種一階段算法,顯示出更好的檢測(cè)性能,尤其在快速目標(biāo)檢測(cè)方面表現(xiàn)出色。由于其快速的檢測(cè)速度和可靠的性能,YOLOv5在工業(yè)應(yīng)用中更具實(shí)用性和適用性。本文改進(jìn)YOLOv5也是基于此原因。
在原始YOLOv5與YOLOv5結(jié)合3種注意力機(jī)制及BiFPN網(wǎng)絡(luò)的消融實(shí)驗(yàn)中可看出,ECA、CBAM、CA這3種注意力機(jī)制都有效提升了原始YOLOv5算法的準(zhǔn)確率和mAP值,但其中ECA注意力機(jī)制在召回率方面有下降的表現(xiàn),降低約1個(gè)百分點(diǎn)。3種注意力機(jī)制中CA注意力機(jī)制在光伏缺陷檢測(cè)中對(duì)YOLOv5算法檢測(cè)能力提升最高,準(zhǔn)確率和mAP值均提高約3個(gè)百分點(diǎn)。隨后,本文對(duì)融合了CA注意力機(jī)制的YOLOv5網(wǎng)絡(luò)模型進(jìn)行了進(jìn)一步改進(jìn),將BiFPN網(wǎng)絡(luò)結(jié)構(gòu)置于YOLOv5的Neck端,以進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。這一改進(jìn)旨在簡(jiǎn)化算法的特征提取能力,并增強(qiáng)算法的分類精度。實(shí)驗(yàn)結(jié)果表明,盡管檢測(cè)準(zhǔn)確率和mAP值僅略微提升,但整個(gè)模型的體積減少了15%,圖片檢測(cè)的平均速度提升了9.7%,意味著在保持較高的缺陷分類精度的同時(shí),成功減小了模型的參數(shù)量。
結(jié)果表明,通過將BiFPN網(wǎng)絡(luò)結(jié)構(gòu)置于YOLOv5的Neck端,本文實(shí)現(xiàn)了更有效的特征融合和上下文理解。BiFPN結(jié)構(gòu)能夠在不同層級(jí)的特征圖之間進(jìn)行雙向的信息傳遞和融合,從而提高了算法對(duì)小尺寸缺陷和遠(yuǎn)距離缺陷的檢測(cè)能力。引入CA注意力機(jī)制進(jìn)一步增強(qiáng)了算法對(duì)重要特征的關(guān)注,減少了噪聲對(duì)檢測(cè)結(jié)果的干擾。
3.3.2 損失函數(shù)分析
本文主要討論對(duì)于YOLOv5算法模型的改進(jìn),僅分析原始YOLOv5算法和4種改進(jìn)后的模型的損失函數(shù)變化,如圖4所示。在圖4中,可明顯觀察到這5種模型的損失函數(shù)曲線的差別,在損失值下降的趨勢(shì)上都表現(xiàn)出相似的模式。然而,如果仔細(xì)分辨,仍可發(fā)現(xiàn)YOLOv5-CA-BiFPN算法模型相對(duì)于其他模型在收斂速度和收斂程度上表現(xiàn)更好。首先,YOLOv5-CA-BiFPN算法模型展現(xiàn)了更快的收斂速度。從損失函數(shù)曲線上能夠觀察到該模型的損失值下降得更快,表現(xiàn)出更快的學(xué)習(xí)能力。這意味著該算法能夠更快地適應(yīng)訓(xùn)練數(shù)據(jù),尋找到更優(yōu)的參數(shù)配置,從而提高了模型的性能。其次,YOLOv5-CA-BiFPN算法模型的損失函數(shù)曲線更加平穩(wěn)。曲線的下降趨勢(shì)相對(duì)更加平緩,未出現(xiàn)過大的波動(dòng)或震蕩。這表明該模型對(duì)訓(xùn)練數(shù)據(jù)的變化和噪聲具有更好的容忍度,并且在訓(xùn)練過程中能夠穩(wěn)定地優(yōu)化模型參數(shù),提高了模型的魯棒性。
綜合而言,盡管這5種模型的損失函數(shù)曲線整體上無顯著差別,但細(xì)致觀察后可發(fā)現(xiàn)YOLOv5-CA-BiFPN算法模型在收斂速度和收斂程度方面表現(xiàn)得更好。這說明該算法能夠更快地收斂到較低的損失值,并且能夠更穩(wěn)定地優(yōu)化模型參數(shù)。這些優(yōu)勢(shì)為光伏缺陷檢測(cè)任務(wù)提供了更可靠和高效的解決方案,進(jìn)一步證明了YOLOv5-CA-BiFPN算法相對(duì)于其他模型的優(yōu)越性。
圖5分別為原始YOLOv5算法和本文改進(jìn)過的YOLOv5-CA-BiFPN算法對(duì)光伏缺陷進(jìn)行的檢測(cè)結(jié)果,對(duì)比可知對(duì)于相同的圖像進(jìn)行檢測(cè),原始YOLOv5存在漏檢的情況,并且檢測(cè)準(zhǔn)確率大部分低于90%。而本文改進(jìn)的YOLOv5-CA-BiFPN則在漏檢率和準(zhǔn)確率方面有明顯改善。改進(jìn)算法利用CA模塊增強(qiáng)了對(duì)重要特征的關(guān)注,減少了噪聲對(duì)檢測(cè)結(jié)果的干擾;同時(shí),BiFPN結(jié)構(gòu)的引入使得算法能夠更好地融合多尺度特征,提升了對(duì)小尺寸缺陷和遠(yuǎn)距離缺陷的檢測(cè)能力。這些改進(jìn)使得YOLOv5-CA-BiFPN算法在光伏缺陷檢測(cè)任務(wù)中表現(xiàn)出更高的檢測(cè)準(zhǔn)確率和更少的漏檢情況。
4 結(jié) 論
本文提出一種輕量化的光伏組件缺陷檢測(cè)模型,對(duì)現(xiàn)有的YOLOv5算法進(jìn)行了改進(jìn)。首先,引入注意力機(jī)制,捕捉圖像中的關(guān)鍵特征,并將其融入特征提取骨干網(wǎng)絡(luò)中,以提升模型對(duì)關(guān)鍵特征的關(guān)注能力。其次,采用高效的雙向特征融合BiFPN結(jié)構(gòu),以提高模型的分類精度。該模型可準(zhǔn)確檢測(cè)和定位裂紋、斷柵、黑芯、粗線和熱斑等5類主要缺陷。
實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的YOLOv5模型相比,本文提出的輕量化模型在保持分類精度的同時(shí)減小了模型的體積約15%。此外,為驗(yàn)證模型的泛化能力,本文還在實(shí)驗(yàn)室采集的組件EL圖片上進(jìn)行測(cè)試,結(jié)果顯示本文的算法能夠有效識(shí)別出前述的5類缺陷,與傳統(tǒng)的YOLOv5算法相比,mAP值提升3.7%。
[參考文獻(xiàn)]
[1] 丁世浩. 基于計(jì)算機(jī)視覺的光伏組件缺陷診斷研究[D].杭州:浙江大學(xué), 2020.
DING S H. Research on defect diagnosis of photovoltaic module based on computer vision[D]. Hangzhou: Zhejiang University, 2020.
[2] 蔡潔聰, 呂洪坤, 朱凌云, 等. 光伏發(fā)電站熱斑檢測(cè)技術(shù)綜述[J]. 電源技術(shù), 2021, 45(5): 683-685.
CAI J C, LYU H K, ZHU L Y, et al. Review of hot spot detection technology in photovoltaic power station[J]. Chinese journal of power sources, 2021, 45(5): 683-685.
[3] 郭寶柱. 光伏陣列熱斑的紅外圖像處理的研究[D].天津: 天津理工大學(xué), 2016.
GUO B Z. Study on infrared image processing of hot spots in photovoltaic array[D]. Tianjin: Tianjin University of Technology, 2016.
[4] 蔣琳, 蘇建徽, 施永, 等. 基于紅外熱圖像處理的光伏陣列熱斑檢測(cè)方法[J]. 太陽能學(xué)報(bào), 2020, 41(8): 180-184.
JIANG L, SU J H, SHI Y, et al. Hot spots detection of operating PV arrays through IR thermal image[J]. Acta energiae solaris sinica, 2020, 41(8): 180-184.
[5] 馬浩. 基于紅外熱成像及可見光圖像的光伏電站熱斑檢測(cè)及定位技術(shù)研究[D]. 南京: 南京郵電大學(xué), 2019.
MA H. Research on hot spot detection and localization technology of photovoltaic power station based on infrared thermal "imaging "and "visible "light "image[D]. "Nanjing: Nanjing University of Posts and Telecommunications, 2019.
[6] HE K M, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy, 2017: 2980-2988.
[7] 王道累, 李超, 李明山, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的光伏組件熱斑檢測(cè)[J]. 太陽能學(xué)報(bào), 2022, 43(1): 412-417.
WANG D L, LI C, LI M S, et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks[J]. Acta energiae solaris sinica, 2022, 43(1): 412-417.
[8] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[M]. Lecture Notes in Computer Science, Cham: Springer International Publishing, 2016: 21-37.
[9] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look "once: "Unified, real-time "object "detection[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA, 2016: 779-788.
[10] 孫海蓉, 李帆. 基于注意力機(jī)制的光伏熱斑識(shí)別[J]. 太陽能學(xué)報(bào), 2023, 44(2): 453-459.
SUN H R, LI F. Photovoltaic hot spot recognition based on attention mechanism[J]. Acta energiae solaris sinica, 2023, 44(2): 453-459.
[11] 郭嵐, 劉正新. 基于改進(jìn)YOLOv5的光伏組件缺陷檢測(cè)[J]. 激光與光電子學(xué)進(jìn)展, 2023, 60(20): 148-156.
GUO L, LIU Z X. Improved YOLOv5-based defect detection in photovoltaic modules[J]. Laser amp; optoelectronics progress, 2023, 60(20): 148-156.
[12] YAN B, FAN P, LEI X Y, et al. A Real-Time apple targets detection method for picking robot based on improved YOLOv5[J]. Remote Sensing, 2021, 13(9) : 1619.
[13] DAI J, ZHAO X, LI L P, et al. Improved YOLOv5-based infrared dim-small target detection under complex background[J]. Infrared technology, 2022, 44(5): 504-512.
[14] SENG W C, MIRISAEE S H. A new method for fruits recognition system[C]//2009 International Conference on Electrical Engineering and Informatics. Bangi, Malaysia, 2009: 130-134.
[15] LINKER R, COHEN O, NAOR A. Determination of the number of green apples in RGB images recorded in orchards[J]. "Computers "and "electronics "in "agriculture, 2012, 81(1): 45-57.
[16] KURTULMUS F, LEE W S, VARDAR A. Immature peach detection in colour images acquired in natural illumination conditions using statistical classifiers and neural network[J]. Precision agriculture, 2014, 15(1): 57-79.
[17] 張志遠(yuǎn), 羅銘毅, 郭樹欣, 等. 基于改進(jìn)YOLOv5的自然環(huán)境下櫻桃果實(shí)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(S1): 232-240.
ZHANG Z Y, LUO M Y, GUO S X, et al. A cherry fruit recognition method based on improved YOLOv5 in natural environment[J]. Journal of agricultural machinery, 2022, 53(S1): 232-240.
[18] MOHAMMED S, NIMALI T. A new paradigm for waste classification "based "on "YOLOv5[J]. "Instrumentation, 2021, 8(4): 9-17.
[19] 彭繼慎, 孫禮鑫, 王凱, 等. 基于模型壓縮的ED-YOLO電力巡檢無人機(jī)避障目標(biāo)檢測(cè)算法[J]. 儀器儀表學(xué)報(bào), 2021, 42(10): 161-170.
PENG J S, SUN L X, WANG K, et al. ED-YOLO power inspection UAV obstacle avoidance target detectionalgorithm " based " on " model " compression[J]. Chinese journal of scientific instrument, 2021, 42(10): 161-170.
[20] GUO M H, XU T X, LIU J J, et al. Attention mechanisms in computer vision: a survey[J]. Computational visual media, 2022, 8(3): 331-368.
PHOTOVOLTAIC DEFECT DETECTION BASED ON
IMPROVED YOLOv5 ALGORITHM
Wang Yuxin1,Zhang Zhi1,Zhang Jialiang1,Han Jiangning2,Lian Jianguo3,Qi Yifeng1
(1. School of Computer and Information Engineering, Tianjin Agricultural College, Tianjin 300380, China;
2. China Unicom Video Technology Co., Ltd.,Tianjin 300132, China;
3. Tianjin Huada Technology Co., Ltd., Tianjin 301799, China)
Abstract:Aiming at the limitations of the previous PV defect detection, such as fewer types of recognizable defects, multiple model parameters, large volume of model parameters, and slow detection speed, the traditional YOLOv5 network is improved to detect and classify the five main types of defects, namely, cracks, broken grids, black cores, thick wires, and hot spots that are commonly found in the images of photovoltaic panels. Three different attention mechanism modules: CA attention mechanism module, ECA attention mechanism module, and CBAM attention mechanism module, are integrated into the YOLOv5 network for comparative analysis experiments, and it is found that the CA attention mechanism is more suitable for PV defect image detection. Subsequently, the YOLOv5 algorithm incorporating the CA attention mechanism module is added to the bidirectional feature pyramid network structure further to strengthen the feature fusion capability of the network. The experimental results show that the model can effectively identify and localize five types of common defects, and compared with the YOLOv5 algorithm, the Map (Mean Average Precision) value is improved by 3.7 %, the model volume is reduced by 15 %, and the average speed of the detection of the images is improved by 9.7 %. The overall conclusion shows that the method effectively enhances the ability of YOLOv5 algorithm in PV defect detection, and at the same time reduces the misdetection and omission of the deep learning algorithm in PV detection.
Keywords:computer vision; deep learning; solar cells; YOLOv5; photovoltaic defects