基于PPYOLO的電池片缺陷檢測(cè)

韓鈺,鄭金亮,王磊,蔡培君,王晨旸,王紫玉

(安徽大學(xué) 江淮學(xué)院,安徽 合肥,230031)

太陽能電池片的表面質(zhì)量直接影響光能的吸收效率[1],在太陽能電池片的生產(chǎn)過程中,由于機(jī)械或人為因素等會(huì)對(duì)電池片表面造成各種缺陷,這些缺陷會(huì)對(duì)電池片轉(zhuǎn)換效率和壽命產(chǎn)生較大影響,因此,檢測(cè)電池片表面缺陷是非常必要的。

目前,對(duì)電池片表面檢測(cè)的方法主要分為人工檢測(cè)方法、機(jī)器視覺檢測(cè)方法[2]和深度學(xué)習(xí)檢測(cè)方法[3]。常見的有高光譜成像技術(shù)[4]、發(fā)光成像對(duì)比方法[5]、聲波法[6]、均值漂移法[7]、多特征區(qū)域融合法[8]、頻域法[9]和深度學(xué)習(xí)法[10]等。采用平均法[7]進(jìn)行檢測(cè)是一種簡(jiǎn)單且容易實(shí)現(xiàn)的方法,但如果檢測(cè)目標(biāo)較少,它的檢測(cè)效率將較低。而頻域法擅長(zhǎng)對(duì)分布比較散亂的缺陷進(jìn)行檢測(cè),但其對(duì)刮傷不能進(jìn)行有效識(shí)別[11]。近年來,目標(biāo)檢測(cè)算法YOLOv3[12]已應(yīng)用于多種目標(biāo)檢測(cè)場(chǎng)景[13-14],但是對(duì)于高清圖像中微小目標(biāo)的檢測(cè),依然存在檢測(cè)精度不高的問題。由于在深度學(xué)習(xí)檢測(cè)方法中,對(duì)圖像邊緣的檢測(cè)十分重要,Sobel算子作為邊緣檢測(cè)中的重要算子之一,可以優(yōu)化圖像邊緣檢測(cè)效果并提升處理圖像的效率[15-16]。李雪梅等[17]將加權(quán)核范數(shù)最小化圖像去噪算法與索貝爾(Sobel)邊緣檢測(cè)算法相結(jié)合,大大提高了Sobel算子檢測(cè)的準(zhǔn)確度,使得在高噪聲水平下能夠獲得清晰連續(xù)的邊緣信息。本文在前人的研究基礎(chǔ)上,提出通過添加Sobel算子改進(jìn)PPYOLO模型來進(jìn)一步提升電池片表面微小缺陷檢測(cè)效率[18]。

1 數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)集介紹

本實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集來源于安徽慧視金瞳科技有限公司提供的二維高清太陽能電池片圖像。訓(xùn)練集一共有300張圖片,每張圖片的分辨率為5 800×3 504,由6(行)×24(列)個(gè)電池片組合而成,圖片中可能會(huì)存在一種或多種缺陷。缺陷包括5種:電池片破碎、電池片有明顯亮斑、電池片有形狀規(guī)則黑邊或灰邊、電池片有劃痕以及電池片不上電呈現(xiàn)黑色。將訓(xùn)練集中這5種缺陷進(jìn)行標(biāo)記,以便進(jìn)行模型的訓(xùn)練,對(duì)應(yīng)的數(shù)字為0～4,見表1。

表1 電池片缺陷分類

訓(xùn)練集中缺陷的標(biāo)注由5個(gè)數(shù)組成,分別為缺陷對(duì)應(yīng)的數(shù)字,矩形框左上角點(diǎn)橫、縱坐標(biāo),右下角點(diǎn)橫、縱坐標(biāo),標(biāo)注結(jié)果保存在對(duì)應(yīng)的訓(xùn)練集CSV文件中。

1.2 數(shù)據(jù)增強(qiáng)

訓(xùn)練集中的缺陷圖片只有300張,樣本量少,同時(shí)數(shù)據(jù)集圖片尺寸過大并且缺陷分布稀疏(一張圖片上可能只有一兩個(gè)缺陷),其中,有的缺陷尺寸極小,最小只有8×12像素,使得該缺陷在圖片中的面積占比也極小,增加了檢測(cè)難度。因此,如果只用這300張圖片進(jìn)行訓(xùn)練,可能出現(xiàn)大部分缺陷無法被檢測(cè)出來。為使訓(xùn)練數(shù)據(jù)更加豐富,提高模型訓(xùn)練效果和精度,實(shí)驗(yàn)時(shí)采用了如下幾種增強(qiáng)方案。

1)混合[19](MixUp)和隨機(jī)切片等。在訓(xùn)練時(shí)對(duì)每輪epoch選擇出來的數(shù)據(jù)進(jìn)行隨機(jī)旋轉(zhuǎn)、鏡像和亮度調(diào)節(jié)等處理,再將擴(kuò)增后的數(shù)據(jù)送入模型進(jìn)行訓(xùn)練,這樣,操作模型在訓(xùn)練過程中可實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增。

2)粘貼增強(qiáng)。將數(shù)據(jù)的缺陷裁剪下來,隨機(jī)等概率地選取缺陷圖片粘貼到無缺陷的圖片上去,提高圖片中缺陷數(shù)量和面積占比,這樣模型在訓(xùn)練時(shí)相比于之前的稀疏缺陷將更快速且更容易學(xué)到缺陷特征。通過該方法將數(shù)據(jù)集擴(kuò)充到800張圖片。如圖1所示,相比于圖1(a)稀疏的缺陷分布,圖1(b)具有更多缺陷特征。

圖1 粘貼增強(qiáng)方案Fig.1 Paste the enhancement scheme

3)尺寸增強(qiáng)(resize)。由于目前常用顯存設(shè)備(GPU)的顯存資源無法對(duì)高清圖片進(jìn)行計(jì)算處理,因此,不得不降低圖片尺寸以滿足訓(xùn)練的基本要求。但是如果降低圖片尺寸,缺陷也會(huì)隨之變小,導(dǎo)致小缺陷難以被檢測(cè)出來,出現(xiàn)缺陷漏檢,模型檢測(cè)效果會(huì)降低。例如,將圖片resize到(960,960)(像素寬,像素高),部分缺陷會(huì)縮小到(2,3)左右的像素點(diǎn)大小,使檢測(cè)模型幾乎失效。因此,本次實(shí)驗(yàn)在特定的顯存設(shè)備下(Tesla T4,16G)將圖片resize到合適的大小(2 880,1 280)或(3 200,3 200),以適配不同的算法模型。

1.3 數(shù)據(jù)集制作

電池片數(shù)據(jù)集制作是最基礎(chǔ)的步驟,同時(shí)也是實(shí)驗(yàn)前最重要的步驟。由于本實(shí)驗(yàn)所用的模型無法識(shí)別訓(xùn)練集標(biāo)注的CSV文件,需要將該文件轉(zhuǎn)換為適配模型的COCO格式數(shù)據(jù)[20]。讀取CSV文件,對(duì)每張訓(xùn)練集圖片對(duì)應(yīng)的標(biāo)注框數(shù)據(jù)(標(biāo)注框面積、左上點(diǎn)的橫和縱坐標(biāo)、寬和高、對(duì)應(yīng)的缺陷類型等)進(jìn)行簡(jiǎn)單地計(jì)算,生成標(biāo)準(zhǔn)的COCO格式數(shù)據(jù)集。劃分?jǐn)?shù)據(jù)集結(jié)果見表2。

表2 數(shù)據(jù)集數(shù)量分布

2 模型結(jié)構(gòu)

2.1 PPYOLO網(wǎng)絡(luò)結(jié)構(gòu)

PPYOLO[18]采用YOLOv3[12]的架構(gòu)骨干網(wǎng)絡(luò)(backbone)+瓶頸(neck)+檢測(cè)頭(head)框架。backbone部分使用殘差網(wǎng)絡(luò),neck用特征金字塔網(wǎng)絡(luò),head部分是YOLOHead。PPYOLO backbone使用ResNet(殘差網(wǎng)絡(luò))。殘差網(wǎng)絡(luò)通過殘差層的連接將網(wǎng)絡(luò)層數(shù)變深,使得網(wǎng)絡(luò)提取特征能力變得更強(qiáng)。neck部分采用了圖像金字塔網(wǎng)絡(luò)(feature pyramid network,FPN),將局部與整體信息進(jìn)行結(jié)合。由于存在不同層級(jí)提取特征圖尺寸不同的情況,例如,高語義內(nèi)容的特征圖(深層網(wǎng)絡(luò)提取的特征圖)尺寸小,含小目標(biāo)的信息少,而低語義內(nèi)容的特征圖(淺層網(wǎng)絡(luò)提取的特征圖)尺寸大,含大目標(biāo)的信息小,FPN可以將高層信息提取傳遞給低層,同時(shí),低層信息也可以傳遞進(jìn)高層,將信息進(jìn)一步融合,彌補(bǔ)了大物體的細(xì)節(jié),也補(bǔ)充了小物體的周邊環(huán)境,從而進(jìn)一步提高精度。

PPYOLO使用了DropBlock、IoU[21]aware等策略。dropout會(huì)使一部分神經(jīng)元失活,從而減少網(wǎng)絡(luò)對(duì)某些特征的依賴,在線性變換中對(duì)一些特征具有較好的抑制效果,防止過擬合,因此,被廣泛地用在全連接層,但是在卷積層,通常不太有效。卷積在局部之間具有較強(qiáng)的相關(guān)性,僅僅使用dropout,只是丟棄了不連續(xù)的點(diǎn),而卷積依然可以得到大部分信息。因此,針對(duì)卷積神經(jīng)網(wǎng)絡(luò)就需要整體丟棄dropout結(jié)構(gòu)形式,也就是把大部分連續(xù)的點(diǎn)一整塊進(jìn)行丟棄,這樣可以讓逼迫網(wǎng)絡(luò)觀察該物體其他的細(xì)節(jié)特征進(jìn)行推導(dǎo),防止過擬合,使網(wǎng)絡(luò)具有更好的泛化能力。

2.2 Sobel算子

Sobel算子常用在邊緣檢測(cè)上[15-16],它使用了高斯濾波器平滑噪聲,再通過水平垂直方向的兩個(gè)算子計(jì)算圖像亮度函數(shù)的像素梯度值[22]。算法原理如下:

(1)

式中:G(x,y)為二維高斯分布;σ為高斯濾波器參數(shù)標(biāo)準(zhǔn)差,影響去噪質(zhì)量。

原始圖像f(x,y)與高斯濾波器卷積得到圖像I(x,y)。

I(x,y)=G(x,y)×f(x,y)

(2)

Sobel算子的3×3卷積模板如式(3)所示。

(3)

將gx和gy與I(x,y)進(jìn)行計(jì)算,也就是對(duì)圖像I(x,y)分別在x和y方向求導(dǎo),得到Gx和Gy。最后,計(jì)算圖像每一點(diǎn)的近似梯度,得到G。

(4)

G矩陣對(duì)應(yīng)原圖像每個(gè)像素點(diǎn)的近似梯度值,如果某點(diǎn)值越高,說明該點(diǎn)為邊緣點(diǎn)的概率就越高。當(dāng)設(shè)置合適的閾值后,如果該點(diǎn)值大于閾值則認(rèn)為是邊緣點(diǎn),反之則不是。在電池片圖片上進(jìn)行Sobel算子計(jì)算,結(jié)果見圖2。

圖2 Sobel算子處理后缺陷細(xì)節(jié)Fig.2 Defect details after Sobel operator processing

圖2(a)為正常圖片,圖2(c)為缺陷圖片,圖2(b)、圖2(d)分別為圖2(a)、圖2(c)進(jìn)行Sobel算子處理后得到的計(jì)算結(jié)果圖片展示,圖2(e)、圖2(f)為圖2(d)的放大部分。觀察Sobel算子處理圖像前后,前者缺陷雖然比較明顯,但是正常部分特征干擾較大,黑白相交。后者正常部分整體脈絡(luò)明朗,規(guī)律明顯,較容易識(shí)別。圖2(e)和圖2(f)能更加容易地顯示缺陷邊緣特征,缺陷部分與正常部分有較大的特征沖突,這種沖突對(duì)網(wǎng)絡(luò)學(xué)習(xí)具有一定的幫助。

2.3 改進(jìn)方法

在圖像缺陷檢測(cè)領(lǐng)域,早期一般通過傳統(tǒng)的圖像處理技術(shù),如先通過二值化方法分割圖片,再對(duì)分割后的圖片進(jìn)行劃分,從而找到缺陷所在的地方。該類傳統(tǒng)圖像處理方法利用了人的常識(shí)及推理能力。而神經(jīng)網(wǎng)絡(luò)算法并不具備這種能力,只能通過數(shù)據(jù)學(xué)習(xí)到一些相關(guān)的特征,使用網(wǎng)絡(luò)參數(shù)保存并記住特征。當(dāng)樣本量多時(shí),可能會(huì)具備上述的推理能力(實(shí)際是因?yàn)槟Ｐ陀涀×颂卣?,但樣本量較少時(shí),神經(jīng)網(wǎng)絡(luò)模型則難以學(xué)到一些關(guān)鍵特征,并且容易產(chǎn)生過擬合。

基于上述兩種算法結(jié)構(gòu),本文提出將Sobel算子與PPYOLO算法相結(jié)合的方法,先使用Sobel算子對(duì)圖片進(jìn)行處理,再將經(jīng)過Sobel算子處理后的圖片和原始圖片拼接到一起,輸入到網(wǎng)絡(luò)模型中,提高了對(duì)電池片缺陷檢測(cè)的準(zhǔn)確性。整合后網(wǎng)絡(luò)結(jié)構(gòu)見圖3。

圖3 Sobel+PPYOLO結(jié)構(gòu)圖Fig.3 Sobel+PPYOLO structure diagram

模型選用Resnet50作為backbone、neck部分使用金字塔自注意力網(wǎng)絡(luò)(pyramid attention network,PAN),在backbone部分,輸入的圖片數(shù)據(jù)先經(jīng)過Sobel算子處理后,再與自己拼接(concat)得到新的輸入數(shù)據(jù),經(jīng)過ConvBN(卷積和批量標(biāo)準(zhǔn)化層)和最大池化層,進(jìn)入4個(gè)stage模塊,這4個(gè)主要由殘差卷積組成。從第二個(gè)Stage層開始將特征提取的結(jié)果輸出到neck部分。Neck部分借用跨階段局部網(wǎng)絡(luò)[22](cross stage partial network,CSPnet)的思想,先分為conv_left和conv_right兩塊,將通道縮小,conv_left再通過conv_module后與conv_right進(jìn)行concat,再經(jīng)過conv3輸出。這種處理方式相比于FPN直接使用conv_module進(jìn)行處理,在檢測(cè)實(shí)驗(yàn)中精度略有提升并且計(jì)算量少了很多。conv3的輸出既通過Head部分進(jìn)行結(jié)果輸出又與前一個(gè)stage的輸出進(jìn)行concat后繼續(xù)輸入PAN的前一個(gè)部分,重復(fù)進(jìn)行,最后得到多個(gè)不同尺度輸出的結(jié)果。

3 模型訓(xùn)練

3.1 訓(xùn)練平臺(tái)

本實(shí)驗(yàn)的訓(xùn)練平臺(tái)采用的CPU為Intel(R)Core(TM)i7—11700@2.5 GHz、內(nèi)存64 GB、GPU為Tesla T4(16 GB)。實(shí)驗(yàn)操作系統(tǒng)為Ubuntu 18.04.6 LTS,環(huán)境為Python 3.6;GPU加速包為CUDA 10.1 API和cudnn 7.1。網(wǎng)絡(luò)模型訓(xùn)練框架采用paddle 2.2.2。

3.2 參數(shù)設(shè)置

初始化電池片數(shù)據(jù)集中的類別、類別名稱和訓(xùn)練路徑等相關(guān)參數(shù)。部分網(wǎng)絡(luò)訓(xùn)練參數(shù)見表3。

表3 網(wǎng)絡(luò)訓(xùn)練參數(shù)

4 結(jié)果分析

4.1 評(píng)估指標(biāo)

本實(shí)驗(yàn)訓(xùn)練模型對(duì)高清電池片圖片中微小缺陷區(qū)域進(jìn)行檢測(cè),模型性能采用精度均值(average precision,AP)、平均精度均值(mean average precision,mAP)及檢測(cè)速度(FPS)來進(jìn)行評(píng)估,FPS即每秒內(nèi)可以處理的圖片數(shù)量或者處理一張圖片所需時(shí)間,AP由電池片數(shù)據(jù)集上預(yù)測(cè)結(jié)果的精確率P和召回率R決定,如式(5)所示:

(5)

(6)

P(r)=maxr′:r′≥rP(r′)

(7)

(8)

(9)

式中:P為預(yù)測(cè)結(jié)果中正確的比例;R為正類樣本被正確預(yù)測(cè)的比例;TP為被正確劃分的正類樣本的數(shù)量;FP為被正確劃分的負(fù)類樣本的數(shù)量;FN為沒有檢測(cè)到的正類樣本的數(shù)量;C為總類別數(shù)量;APi為第i類的AP值;P(r)為某一召回率時(shí)精確率的大小。

計(jì)算AP,首先需要繪制準(zhǔn)確率-召回率(P-R)曲線,對(duì)P-R曲線按照式(7)進(jìn)行平滑處理后再按照式(8)計(jì)算即可。按照上述方法計(jì)算其他所有類的AP,最后取平均值即視為mAP,如式(9)所示。在圖像分類任務(wù)中,mAP就是類識(shí)別準(zhǔn)確率,由于回歸框預(yù)測(cè)難以被衡量是否識(shí)別準(zhǔn)確,其準(zhǔn)確率的劃分一般由預(yù)測(cè)框與真實(shí)框進(jìn)行IoU(交并比)計(jì)算來決定,當(dāng)大于閾值時(shí),則識(shí)別準(zhǔn)確,反之不準(zhǔn)確。為了能更好體現(xiàn)模型對(duì)微小缺陷的檢測(cè)能力,還使用小(small)、中(medium)、大(large)3種尺寸的mAP值進(jìn)行評(píng)價(jià),見表4。

表4 評(píng)價(jià)方式

4.2 對(duì)比驗(yàn)證

為驗(yàn)證網(wǎng)絡(luò)模型的性能,本文首先使用PPYOLO[18]算法、Faster-RCNN[23]和YOLOv3[12]算法,分別在電池片缺陷圖片數(shù)據(jù)集上進(jìn)行訓(xùn)練,并將訓(xùn)練結(jié)果進(jìn)行多項(xiàng)性能指標(biāo)對(duì)比,對(duì)比結(jié)果見表5。

表5 實(shí)驗(yàn)結(jié)果

由表5可知,Faster-RCNN為兩階段檢測(cè)算法,模型參數(shù)量大,可輸入圖片的尺寸較小(1 600×1 333),可提取圖片信息不足導(dǎo)致mAP小于PPYOLO算法(Resnet 50);在輸入尺寸相同情況下(2 880×1 280),PPYOLO算法(Resnet 50)比YOLOv3算法在small、median、large上AP值均有所提升,同時(shí),前者的mAP值也高于后者,在小尺寸的缺陷檢測(cè)上,提高了0.13,在中等尺寸上提高了0.4左右;PPYOLO(Resnet 18)主要體現(xiàn)在檢測(cè)速度上大幅提升,相比于PPYOLO算法(Resnet 50),其FPS提高了近170%,但mAP約為PPYOLO算法(Resnet 50)的45%,并且在微小缺陷上檢測(cè)效果最差,僅為0.1%,這一點(diǎn)也說明,檢測(cè)效果與模型及輸入圖片大小都密切相關(guān),圖片尺寸越大其包含的信息越多,模型能接收的信息就越多,但相應(yīng)也需要適合的模型大小進(jìn)行檢測(cè),否則效果就不理想。

通過表5各項(xiàng)評(píng)估指標(biāo)的對(duì)比可知,PPYOLO算法與YOLOV3及Faster-RCNN相比,總體性能更好。故選擇PPYOLO算法(Resnet 50)作為后續(xù)對(duì)比實(shí)驗(yàn)的基礎(chǔ)算法。

為驗(yàn)證PPYOLO+Sobel算子組合模型的有效性,在少量高清電池片缺陷數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集情況下,將該方法與原PPYOLO算法進(jìn)行對(duì)比,見表6。

表6 算法結(jié)果對(duì)比表

由表6可知,將PPYOLO算法與Sobel算子相結(jié)合的方法,在最終檢測(cè)效果上有進(jìn)一步的提升,mAP提升了1.4%,而FPS值差異較小,即對(duì)推理速度影響不大。說明在少樣本的情況,使用Sobel算子與深度學(xué)習(xí)方法(PPYOLO)相結(jié)合,對(duì)模型檢測(cè)精度有一定的提升作用。分析以上兩種算法的損失函數(shù),見圖4。采用PPYOLO+Sobel算子方法改進(jìn)模型后,在模型訓(xùn)練迭代過程中,得到的loss比原PPYOLO算法更低,收斂速度更快。

圖4 增加Sobel算子與原算法的損失值對(duì)比實(shí)驗(yàn)Fig.4 Comparison experiment of loss value between adding Sobel operator and original algorithm

4.3 檢測(cè)結(jié)果可視化

PPYOLO+Sobel算子相結(jié)合的模型對(duì)電池片檢測(cè)的整體效果圖,見圖5。

圖5 PPYOLO檢測(cè)結(jié)果圖Fig.5 PPYOLO detection results

由于圖片過大,不便觀測(cè),將檢測(cè)圖的缺陷部分放大,見圖6。通過框住的缺陷位置和置信度,可以看出,PPYOLO+Sobel相結(jié)合的模型對(duì)于5種不同的缺陷具有良好的檢測(cè)效果。

圖6 檢測(cè)放大圖Fig.6 Enlarged view of detection

5 結(jié)論

神經(jīng)網(wǎng)絡(luò)感知機(jī)模型只能從大量數(shù)據(jù)中學(xué)到缺陷信息特征,而無法像人類一樣在少量樣本上進(jìn)行思考并總結(jié)出一部分特征。為了滿足實(shí)際場(chǎng)景需求,本文基于PPYOLO模型作出了一些改進(jìn),為此,將人腦判別缺陷時(shí)所用的一種信息特征(邊緣信息特征)輸入到PPYOLO神經(jīng)網(wǎng)絡(luò)算法中,能使得網(wǎng)絡(luò)直接獲得邊緣信息,即將Sobel算子與PPYOLO算法相結(jié)合,使其能根據(jù)邊緣信息更好的定位識(shí)別缺陷。在高清電池片數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,添加Sobel算子后的改進(jìn)PPYOLO模型檢測(cè)效率有所提升,mAP提升1.4%,并且mAP相比于其他不同輸入尺寸和模型大小的算法,提升效果超過20%。在此基礎(chǔ)上,后續(xù)工作將繼續(xù)探索Sobel或其他算子與模型組合,持續(xù)優(yōu)化算法,提高目標(biāo)檢測(cè)效果。