基于改進(jìn)YOLOv7-tiny的大尺寸導(dǎo)光板缺陷檢測(cè)

摘 要 針對(duì)導(dǎo)光板缺陷種類多、尺寸小、人工檢測(cè)效率低的問(wèn)題，提出一種基于改進(jìn)YOLOv7-tiny的大尺寸導(dǎo)光板缺陷檢測(cè)方法。首先，通過(guò)對(duì)導(dǎo)光板圖像進(jìn)行滑窗剪切以解決圖像分辨率過(guò)大的問(wèn)題；然后，對(duì)小樣本缺陷使用多角度數(shù)據(jù)增強(qiáng)技術(shù)豐富數(shù)據(jù)量以解決樣本不均衡的問(wèn)題；最后，將輕量級(jí)卷積注意力模塊（CBAM）整合到Y(jié)OLOv7-tiny主干特征提取部分，使模型在通道和空間上對(duì)小目標(biāo)缺陷的特征提取能力得到增強(qiáng)；選取WIoUv2損失函數(shù)計(jì)算定位損失，增強(qiáng)網(wǎng)絡(luò)對(duì)困難示例的關(guān)注度，提高算法對(duì)低質(zhì)量錨框的檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明，所提方法的均值平均精度為85.8%、召回率為81.3%，與原始YOLOv7-tiny相比，分別提高了5.4%和8.1%。

關(guān)鍵詞 小目標(biāo)缺陷檢測(cè) YOLOv7-tiny 多角度數(shù)據(jù)增強(qiáng) 特征提取 注意力機(jī)制 損失函數(shù)

中圖分類號(hào) TP391.41" "文獻(xiàn)標(biāo)志碼 A" "文章編號(hào) 1000-3932（2024）06-1001-10

導(dǎo)光板以光學(xué)級(jí)亞克力板為原材料，是筆記本電腦顯示屏背光模組中的重要組成部件之一。其作用機(jī)理是將線光源發(fā)出的光線經(jīng)由導(dǎo)光點(diǎn)的多次折射轉(zhuǎn)變?yōu)榫鶆虻拿婀鉅顟B(tài)。產(chǎn)品在恒溫濕、無(wú)塵環(huán)境下制作而成，具有超薄、超亮、導(dǎo)光均勻等特點(diǎn)［1］。由于導(dǎo)光板在液晶顯示行業(yè)的重大作用及其特殊的生產(chǎn)環(huán)境，保證導(dǎo)光板的產(chǎn)品質(zhì)量已然成為液晶顯示行業(yè)關(guān)注的重點(diǎn)。

近年來(lái)，隨著工業(yè)人工智能技術(shù)的穩(wěn)步發(fā)展，我國(guó)導(dǎo)光板生產(chǎn)廠家陸續(xù)將機(jī)器視覺(jué)［2］應(yīng)用到導(dǎo)光板缺陷檢測(cè)。傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)方法主要有支持向量機(jī)［3］、DPM［4］、模板匹配算法［5］等。2019年MING W Y等提出了一種基于機(jī)器視覺(jué)的導(dǎo)光板缺陷檢測(cè)方法，在圖像分割和增強(qiáng)之后，對(duì)所提出的具有動(dòng)態(tài)權(quán)重的組合分類器進(jìn)行訓(xùn)練以取得優(yōu)于單一分類器分類的效果［6］。PARK N K和YOO S I在液晶顯示面板缺陷的檢測(cè)和評(píng)估過(guò)程中，提出了一種改進(jìn)的面積缺陷和線缺陷的評(píng)價(jià)指標(biāo)方法，該方法計(jì)算出的指標(biāo)與缺陷面積呈線性正比關(guān)系，可以在較小的誤差范圍內(nèi)對(duì)缺陷進(jìn)行與人工檢測(cè)相似的判斷［7］。但此類傳統(tǒng)的導(dǎo)光板缺陷檢測(cè)算法以手動(dòng)提取為主，由于導(dǎo)光板圖像具有缺陷種類多、差異性大、對(duì)比度低及背景復(fù)雜等特點(diǎn)，無(wú)法滿足導(dǎo)光板檢測(cè)精度、抗干擾性等要求。

隨著深度學(xué)習(xí)［8～10］被引入導(dǎo)光板檢測(cè)領(lǐng)域，2019年李俊峰和李明睿提出了一種基于機(jī)器視覺(jué)的導(dǎo)光板缺陷檢測(cè)方法，其針對(duì)導(dǎo)光點(diǎn)密度的不同應(yīng)用相應(yīng)的檢測(cè)方法，此方法雖可以對(duì)白點(diǎn)、劃傷、壓傷3種缺陷進(jìn)行檢測(cè)，但所需的特征提取算法并不相同，導(dǎo)致代碼量大、成本高［11］；2021年李俊峰等提出了一種結(jié)合輕量化與級(jí)聯(lián)深度學(xué)習(xí)網(wǎng)絡(luò)的導(dǎo)光板缺陷檢測(cè)方法，此方法在檢測(cè)時(shí)間上有所提升但數(shù)據(jù)量過(guò)少，不具有普適性［12］；2022年胡金良和李俊峰提出了一種基于改進(jìn)YOLOv3的大尺寸導(dǎo)光板缺陷檢測(cè)方法，通過(guò)網(wǎng)絡(luò)淺層引入改進(jìn)多分支RFB模塊，深層利用深度可分離卷積替換標(biāo)準(zhǔn)卷積與改進(jìn)K-means算法相結(jié)合的方式提高檢測(cè)精度，但由于算法版本過(guò)低，導(dǎo)致其性能不強(qiáng)且訓(xùn)練時(shí)間過(guò)長(zhǎng)［13］。

筆者針對(duì)導(dǎo)光板尺寸大、檢測(cè)精度要求高、圖像背景復(fù)雜、缺陷目標(biāo)小、質(zhì)量低及種類不平衡等問(wèn)題，提出一種導(dǎo)光板缺陷檢測(cè)算法。首先對(duì)圖像進(jìn)行特殊剪切將單張圖像進(jìn)行分圖處理，再使用多角度數(shù)據(jù)增強(qiáng)技術(shù)豐富樣本數(shù)據(jù)量，最后選擇YOLOv7-tiny模型從缺陷實(shí)際特點(diǎn)出發(fā)對(duì)模型加以改進(jìn)，最終實(shí)現(xiàn)導(dǎo)光板缺陷的粗分類與定位檢測(cè)。

1 滑窗剪切

為滿足產(chǎn)品尺寸大和檢測(cè)精度高要求的需求，采圖設(shè)備選用DALSA的16K線掃相機(jī)，型號(hào)為EV71YC4MCL1605-BA1，對(duì)應(yīng)鏡頭型號(hào)為HJ-16K40M。相機(jī)參數(shù)具體如下：

彩色/黑白 Mono

像元尺寸 5 μm

行頻 50 kHz

是否支持感興趣區(qū)域（ROI） 支持

分辨率 16384×4

芯片類型 CMOS

自動(dòng)白平衡 是

數(shù)據(jù)接口 CameraLink

由于產(chǎn)品尺寸并不統(tǒng)一，后續(xù)將圖像分辨率統(tǒng)一設(shè)置為16384×25000，單張圖像總像素?cái)?shù)為4.096億，而最小的缺陷僅占10個(gè)像素左右，由于像素占比差距懸殊，無(wú)法通過(guò)單張圖像直接檢測(cè)，因此為考慮后續(xù)檢測(cè)算法的可實(shí)施性，提出一種滑窗剪切方式（圖1）。首先確定感興趣區(qū)域（ROI），由于產(chǎn)品來(lái)料方式較為固定，只需將圖像四周剪切掉留白區(qū)域即可得到導(dǎo)光板實(shí)際位置。而不同尺寸的導(dǎo)光板則可以提前設(shè)置好剪切坐標(biāo)。之后以ROI區(qū)域左頂點(diǎn)為起點(diǎn)，步長(zhǎng)為1 024個(gè)像素，將整張圖像剪切成若干個(gè)1024×1024的小圖。為了避免缺陷位置恰好被剪切而造成漏檢情況的發(fā)生，需在相鄰兩張小圖剪切位置設(shè)置重疊區(qū)域Overlap，文中設(shè)置為10個(gè)像素?；凹羟泻蟮膱D像通過(guò)圖像增強(qiáng)后即可加入訓(xùn)練。

2 多角度數(shù)據(jù)增強(qiáng)處理方法

為避免產(chǎn)品透明產(chǎn)生反光對(duì)成像效果的影響，打光方式采用正向多角度打光，如圖2所示。光源型號(hào)為L(zhǎng)ST-3LINM300-W，其具有高亮度和高集中性的特點(diǎn)，對(duì)表面劃痕、氣泡、臟污、油面、異物及指紋等缺陷表征明顯。

實(shí)際取圖發(fā)現(xiàn)，缺陷種類主要包含白亮點(diǎn)、黑點(diǎn)、異物、白線及劃傷等。缺陷的分類主要依靠人為主觀判斷，因此在圖像呈現(xiàn)上各缺陷種類之間的界限劃分并不清晰。經(jīng)過(guò)實(shí)地與生產(chǎn)廠家的溝通與考察后，將缺陷種類按照形態(tài)學(xué)表征粗分類為點(diǎn)缺陷與線缺陷兩大類，如圖3所示。

對(duì)現(xiàn)有樣品進(jìn)行拍攝時(shí)發(fā)現(xiàn)白線、劃傷缺陷的數(shù)量明顯少于其他缺陷，導(dǎo)致點(diǎn)、線缺陷數(shù)據(jù)不平衡進(jìn)而引起模型過(guò)擬合、對(duì)圖像敏感度降低、泛化能力降低等問(wèn)題。為此筆者使用一種多角度數(shù)據(jù)增強(qiáng)處理方法。首先通過(guò)創(chuàng)建變換矩陣M，對(duì)滑窗剪切后的圖像進(jìn)行旋轉(zhuǎn)：

M= a？搖" " b？搖" （1-a）×c■-b×c■-b？搖" "a？搖" b×c■+（1-a）×c■（1）

其中，a=scale×cos θ，b=scale×sin θ，c■、c■為圖像的旋轉(zhuǎn)中心坐標(biāo)，θ為圖像的旋轉(zhuǎn)角度，scale為各向同性比例因子，可根據(jù)提供的值對(duì)圖像進(jìn)行縮放?？紤]剪切后的圖像為方形，因此以幾何中心為旋轉(zhuǎn)中心，scale取值為1，θ為90、180、270°隨機(jī)旋轉(zhuǎn)圖像。

然后通過(guò)對(duì)像素矩陣的重組實(shí)現(xiàn)水平、垂直鏡像：

水平鏡像" x′=width-1-xy′=y（2）

垂直鏡像" x′=xy′=height-1-y（3）

其中，x、y為原坐標(biāo)，x′、y′為目標(biāo)坐標(biāo)，width、height為圖像寬度和高度。

通過(guò)遍歷圖像的每個(gè)像素進(jìn)行亮度與對(duì)比度在有限范圍內(nèi)的隨機(jī)調(diào)整操作，以改變?nèi)毕莸幕叶戎怠Ｗ詈鬄榱讼肼?，選取邊長(zhǎng)為3、方差O為2的高斯濾波器G（x）使圖像變得更平滑：

G（x）=■e■（4）

采用多角度的數(shù)據(jù)增強(qiáng)處理技術(shù)，可使有限的數(shù)據(jù)產(chǎn)生與更多數(shù)據(jù)相等的價(jià)值，從而增加數(shù)據(jù)量。多角度數(shù)據(jù)增強(qiáng)前后如圖4所示。

經(jīng)多角度數(shù)據(jù)增強(qiáng)處理后共獲得7 940張包含缺陷的數(shù)據(jù)圖像，最終參與訓(xùn)練的點(diǎn)、線缺陷數(shù)據(jù)統(tǒng)計(jì)見(jiàn)表1。

3 YOLOv7-tiny算法

3.1 模型選擇與改進(jìn)方向

目前主流的目標(biāo)檢測(cè)算法以YOLO系列為主，其中較新推出的YOLOv7系列模型主要包含YOLOv7、 YOLOv7x、 YOLOv7-d6、 YOLOv7-e6及

YOLOv7-tiny［14］等多個(gè)模型，由于導(dǎo)光板缺陷以小目標(biāo)為主，YOLOv7-tiny恰為輕量級(jí)小目標(biāo)檢測(cè)模型，滿足所需。

針對(duì)導(dǎo)光板實(shí)際缺陷情況筆者從加強(qiáng)特征提取與重定義損失函數(shù)兩方面進(jìn)行改進(jìn)。

3.2 模型結(jié)構(gòu)

初始版YOLOv7-tiny模型主要由輸入層（Input）、特征提取主干網(wǎng)絡(luò)（Backbone）、特征融合層（Neck）與檢測(cè)頭（Head）4部分組成。首先將像素尺寸統(tǒng)一的圖像輸入，將其送入由CBL（由卷積（Conv）、批量歸一化（BN）和激活函數(shù)（LeakyReLU）組成）、ELAN（由多個(gè)CBL組成）與最大池化（MP）三者構(gòu)成的特征提取主干網(wǎng)絡(luò)中，之后將提取的特征圖送入改進(jìn)的SPPCSPC模塊以增大感受野、提升模型的泛化性能，進(jìn)行處理后再送入特征融合網(wǎng)絡(luò)層，采用聚合特征金字塔結(jié)構(gòu)進(jìn)行特征融合，最后采用卷積對(duì)不同尺度的特征進(jìn)行通道調(diào)整。最終使用CIoU［15］損失函數(shù)計(jì)算預(yù)測(cè)框的置信度。

筆者針對(duì)導(dǎo)光板實(shí)際缺陷較小的特點(diǎn)，在主干網(wǎng)絡(luò)特征提取當(dāng)中引入卷積塊注意力機(jī)制模塊（Convolutional Block Attention Module，CBAM）［16］從而保證網(wǎng)絡(luò)更好地提取微小缺陷的主要特征，解決特征冗余問(wèn)題并進(jìn)一步提升檢測(cè)精度。損失函數(shù)中采用WIoU［17］代替CIoU，使模型更側(cè)重于低質(zhì)量錨框和普通錨框，從而提高模型對(duì)低質(zhì)量缺陷的準(zhǔn)確定位能力。改進(jìn)后的YOLOv7-tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

3.3 融入CBAM的特征提取網(wǎng)絡(luò)

CBAM（圖6）主要由通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM）兩部分組成。

通道注意力模塊的計(jì)算步驟如下。首先，將輸入的特征圖F（維度為H×W×C）在W和H維度上分別進(jìn)行最大池化和平均池化操作得到兩個(gè)特征圖，維度為1×1×C。然后，將這兩個(gè)特征圖分別輸入一個(gè)雙層的神經(jīng)網(wǎng)絡(luò)。該神經(jīng)網(wǎng)絡(luò)的第1層有C/k（k為減少率）個(gè)神經(jīng)元，第2層有C個(gè)神經(jīng)元，而且這兩個(gè)神經(jīng)層是共享的。最后，將輸出的特征按元素寬度進(jìn)行求和操作，并通過(guò)激活函數(shù)激活，生成最終的輸出特征M■（F）：

M■（F）=F■（MLP（MaxPool（F））+MLP（AvgPool（F）））（5）

其中，M■為通道注意力操作，MaxPool為最大池化操作，AvgPool為平均池化操作，MLP為雙層共享神經(jīng)網(wǎng)絡(luò)，F(xiàn)■為sigmoid激活函數(shù)。

空間注意力模塊將通道注意力模塊的輸出特征圖作為輸入。首先將輸入沿著通道C維度上進(jìn)行全局最大池化和全局平均池化操作得到兩個(gè)特征圖，維度為H×W×1；然后將這兩個(gè)特征圖做通道拼接操作整合為單個(gè)特征圖，維度為H×W×2；再經(jīng)過(guò)一個(gè)卷積核為7×7的卷積將特征圖降維到H×W×1；最終通過(guò)激活函數(shù)激活后生成空間注意力模塊輸出。具體計(jì)算式如下：

M■（F′）=F■（f■（［MaxPool（F′）；AvgPool（F′）］））（6）

其中，MS為空間注意力操作，F(xiàn)′為通道注意力模塊處理得到的特征圖。

將空間注意力模塊的輸入輸出特征做乘法即可得到CBAM的輸出，即：

F′=M■（F）？茚FF ″=M■（F′）？茚F′（7）

其中，F(xiàn) ″為空間注意力模塊處理得到的特征圖。

3.4 損失函數(shù)的更改

損失函數(shù)作為評(píng)價(jià)模型預(yù)測(cè)結(jié)果與真實(shí)值之間差異程度的重要非負(fù)值運(yùn)算函數(shù)，其值越小，代表模型的魯棒性越好。一個(gè)合適的損失函數(shù)不僅可以提高目標(biāo)的檢測(cè)精度，還可以加快網(wǎng)絡(luò)模型收斂。CIoU作為YOLOv7-tiny原始的損失函數(shù)，其將長(zhǎng)寬比、中心點(diǎn)距離、預(yù)測(cè)框與標(biāo)注框的重疊面積這3個(gè)對(duì)損失函數(shù)影響重要的因素均考慮在內(nèi)。相關(guān)計(jì)算式如下：

L■=1-IoU+■+qν（8）

q=■（9）

ν=■arctan■？搖-arctan■？搖■（10）

■=■arctan■？搖-arctan■？搖×■（11）

■=-■arctan■？搖-arctan■？搖×■（12）

其中，L■表示原始YOLOv7-tiny損失函數(shù)，IoU表示交并比，b和b■分別代表模型預(yù)測(cè)框與標(biāo)注框的中心點(diǎn)，ρ代表這兩個(gè)中心點(diǎn)之間的歐氏距離，c代表預(yù)測(cè)框與標(biāo)注框的最小凸包對(duì)角線長(zhǎng)度（即最小外接矩形的對(duì)角線長(zhǎng)度），q代表權(quán)重函數(shù)，？淄用于度量長(zhǎng)寬比的一致性，w、h表示模型預(yù)測(cè)框長(zhǎng)與寬，w■、h■表示缺陷實(shí)際標(biāo)注框長(zhǎng)與寬。

式（10）中，當(dāng)預(yù)測(cè)框與標(biāo)注框的長(zhǎng)寬比相同時(shí)，即w∶h=w■∶h■時(shí)，長(zhǎng)寬比的懲罰項(xiàng)？淄恒為零，失去了作用，這顯然是不合理的。觀察CIoU中w、h相對(duì)于？淄的梯度，即式（11）、（12），可以看出這兩個(gè)梯度互為相反數(shù)，也就是說(shuō)，w和h不可能同時(shí)增大或減小，這顯然也是不合理的。

為此，筆者引入具有動(dòng)態(tài)非單調(diào)聚焦機(jī)構(gòu)的WIoUv2損失函數(shù)代替CIoU作為新的定位損失函數(shù)。相關(guān)計(jì)算式如下：

L■=1-IoUL■（13）

L■=R■L■（14）

R■=exp■（15）

其中，L■表示預(yù)測(cè)框與實(shí)際框的重疊程度，

L■表示W(wǎng)IoUv1損失函數(shù)，x、y表示預(yù)測(cè)框中心坐標(biāo)，x■、y■表示缺陷目標(biāo)框中心坐標(biāo)，W■、H■為最小外接矩形的寬和高，*代表將W■、H■從計(jì)算圖中分離以防止R■產(chǎn)生阻礙收斂的梯度。由式（13）可知，L■∈［0，1］，此時(shí)當(dāng)錨框質(zhì)量較高時(shí)，可有效減少R■產(chǎn)生的影響，并且在錨框與目標(biāo)框重合較好的情況下可有效降低其對(duì)中心點(diǎn)距離的關(guān)注。由式（15）可以計(jì)算出R■∈［1，e），可有效放大普通質(zhì)量錨框的L■。

WIoUv2的關(guān)鍵在于引入了梯度增益L■■，使得模型能夠聚焦困難示例的同時(shí)獲得分類性能的提升，表達(dá)式為：

L■=L■■L■，γ＞0（16）

其中，L■表示W(wǎng)IoUv2損失函數(shù)，γ表示單調(diào)聚焦系數(shù)。

在模型訓(xùn)練過(guò)程中，梯度增益L■■與L■同增減，為此引入L■的均值作為歸一化因子，即：

L■=■■L■（17）

其中，L■■表示將LIoU中的W■、H■從計(jì)算圖中分離。

L■為動(dòng)量m的滑動(dòng)平均值，動(dòng)態(tài)更新歸一化因子r=■■，使得梯度增益整體處于較高水平，從而解決訓(xùn)練后期收斂速度較慢的問(wèn)題。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)工控機(jī)具體配置為：Windows10操作系統(tǒng)、Intel（R） Core（TM）i7-10700K@3.80 GHz處理器、NVIDIA GeForce RTX 2080Ti（11 GB顯存）單張GPU、32 GB內(nèi)存、Python3.8語(yǔ)言環(huán)境、Pytorch1.13深度學(xué)習(xí)開源框架，采用CUDA11.7進(jìn)行加速。實(shí)驗(yàn)參數(shù)為：初始學(xué)習(xí)率為0.01，優(yōu)化器選擇SGD，權(quán)重衰減系數(shù)為0.000 5，優(yōu)化器動(dòng)量參數(shù)為0.937、訓(xùn)練輪數(shù)Epoch為300、Batch Size為10的Warmup方法預(yù)學(xué)習(xí)，并采用一維線性插值更新學(xué)習(xí)率，預(yù)學(xué)習(xí)結(jié)束后采用余弦退火算法對(duì)學(xué)習(xí)率進(jìn)行更新。

4.2 評(píng)價(jià)指標(biāo)

為更加直觀有效地體現(xiàn)出網(wǎng)絡(luò)改進(jìn)后的效果，采用以下性能指標(biāo)進(jìn)行評(píng)估：召回率R（表示預(yù)測(cè)樣本中實(shí)際正樣本數(shù)占所有預(yù)測(cè)樣本的比例）、精度P（表示預(yù)測(cè)樣本中實(shí)際正樣本數(shù)占所有正樣本數(shù)的比例）、平均精度AP與均值平均精度mAP。相關(guān)計(jì)算式如下：

R=■（18）

P=■（19）

AP=■P（R）dR（20）

mAP=■（21）

其中，TP代表實(shí)際正樣本被預(yù)測(cè)為正樣本的數(shù)量，F(xiàn)P代表實(shí)際負(fù)樣本被預(yù)測(cè)為正樣本的數(shù)量，F(xiàn)N代表實(shí)際正樣本被預(yù)測(cè)為負(fù)樣本的數(shù)量，n代表目標(biāo)檢測(cè)的總類別數(shù)，P（R）代表以召回率R為橫軸、精度P為縱軸所繪制出的曲線，又稱P-R曲線。本實(shí)驗(yàn)中n=2。mAP值越大，代表算法模型的整體檢測(cè)效果越好，識(shí)別精度越高。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 消融實(shí)驗(yàn)

為體現(xiàn)本文改進(jìn)方案的優(yōu)勢(shì)，在保證各組實(shí)驗(yàn)數(shù)據(jù)集、訓(xùn)練參數(shù)、超參數(shù)等條件相同的情況下進(jìn)行消融實(shí)驗(yàn)，對(duì)各網(wǎng)絡(luò)模型進(jìn)行驗(yàn)證，結(jié)果見(jiàn)表2?？梢钥闯?，筆者提出的改進(jìn)YOLOv7-tiny模型無(wú)論是召回率還是精度都有一定的優(yōu)勢(shì)，說(shuō)明模型的整體預(yù)測(cè)準(zhǔn)確度更高，并且在均值平均精度上較其他方法表現(xiàn)得更為優(yōu)異。

4.3.2 對(duì)比實(shí)驗(yàn)與可視化結(jié)果分析

為驗(yàn)證改進(jìn)后模型的優(yōu)越性和準(zhǔn)確性，在使用自建數(shù)據(jù)集的基礎(chǔ)上，將改進(jìn)后的YOLOv7-tiny模型與原始YOLOv7-tiny進(jìn)行對(duì)比實(shí)驗(yàn)。改進(jìn)YOLOv7-tiny網(wǎng)絡(luò)與YOLOv7-tiny網(wǎng)絡(luò)在整個(gè)訓(xùn)練過(guò)程中的box_loss、obj_loss、cls_loss、mAP@0.5對(duì)比如圖7所示。其中，box_loss代表預(yù)測(cè)位置與實(shí)際位置之間的誤差；obj_loss代表網(wǎng)絡(luò)的置信度；cls_loss代表模型在預(yù)測(cè)目標(biāo)類別時(shí)的錯(cuò)誤程度；mAP@0.5代表將交并比IoU設(shè)為0.5時(shí)的均值平均精度，用于表現(xiàn)模型的識(shí)別能力與檢測(cè)效果。從圖7中可以看出，模型改進(jìn)后，各損失函數(shù)收斂速度均有顯著提升且更平穩(wěn)，均值平均精度也有所提高，表明改進(jìn)后的YOLOv7-tiny針對(duì)導(dǎo)光板小目標(biāo)缺陷檢測(cè)具有更穩(wěn)定、更精準(zhǔn)的檢測(cè)效果。

另外，為了驗(yàn)證改進(jìn)YOLOv7-tiny模型較其他缺陷檢測(cè)網(wǎng)絡(luò)是否具有優(yōu)勢(shì)，筆者選取一些典型的缺陷檢測(cè)模型在相同的自建數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表3?？梢钥闯觯倪M(jìn)后的YOLOv7-tiny較其他經(jīng)典缺陷檢測(cè)算法在mAP上提升了8%左右，具有更好的檢測(cè)性能，并且相較典型的小目標(biāo)缺陷檢測(cè)網(wǎng)絡(luò)YOLOv5s，均值平均精度仍提升了3.1%。

為了更加直觀地體現(xiàn)算法改進(jìn)后的檢測(cè)效果提升，圖8為改進(jìn)前后YOLOv7-tiny模型以及部分經(jīng)典網(wǎng)絡(luò)模型的實(shí)際檢測(cè)效果?？梢钥闯觯鄬?duì)于其他網(wǎng)絡(luò)模型而言，原始YOLOv7-tiny模型對(duì)于導(dǎo)光板缺陷位置的提取更加精準(zhǔn)，但忽略了低質(zhì)量錨框的線缺陷，改進(jìn)后的YOLOv7-tiny模型可以將原始網(wǎng)絡(luò)所漏檢的目標(biāo)全部檢出，有效減少了缺陷漏檢次數(shù)，并且更加貼近實(shí)際缺陷位置，進(jìn)一步提升了檢測(cè)效果。對(duì)于同一缺陷，雖然其他經(jīng)典網(wǎng)絡(luò)模型也可以檢出，但是筆者所提算法的檢出置信度更高，體現(xiàn)了改進(jìn)算法在檢測(cè)性能上的優(yōu)越性。綜上，筆者所提算法與其他經(jīng)典主流算法相比，更加滿足導(dǎo)光板缺陷背景復(fù)雜、缺陷尺寸小、質(zhì)量低的特點(diǎn)，滿足目標(biāo)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性要求。

5 結(jié)束語(yǔ)

筆者從導(dǎo)光板的光學(xué)特性出發(fā)，根據(jù)缺陷實(shí)際特點(diǎn)與檢測(cè)需求，提出了一種改進(jìn)的YOLOv7-tiny網(wǎng)絡(luò)用于導(dǎo)光板缺陷檢測(cè)。針對(duì)缺陷尺寸較小的問(wèn)題，首先在網(wǎng)絡(luò)特征提取部分融入CBAM注意力機(jī)制，使網(wǎng)絡(luò)更好地提取微小缺陷的主要特征，有效增強(qiáng)對(duì)小目標(biāo)特征信息的保留和關(guān)注；損失函數(shù)上，將定位損失函數(shù)替換為WIoUv2函數(shù)，增強(qiáng)模型對(duì)普通質(zhì)量和低質(zhì)量錨框的關(guān)注度，使模型預(yù)測(cè)更加準(zhǔn)確，有效降低缺陷的漏檢概率，提高檢測(cè)準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，與原始YOLOv7-tiny模型相比，改進(jìn)YOLOv7-tiny模型的均值平均精度提升5.4%，模型收斂速度更快，檢測(cè)效果對(duì)于低質(zhì)量線缺陷錨框有顯著提升，提高了對(duì)背景環(huán)境復(fù)雜下小目標(biāo)的檢測(cè)能力，滿足導(dǎo)光板缺陷檢測(cè)的實(shí)際需求。

參 考 文 獻(xiàn)

［1］" "陳祥賢，徐平，萬(wàn)麗麗，等.新型背光系統(tǒng)導(dǎo)光板技術(shù)［J］.液晶與顯示，2007，22（5）：576-582.

［2］" "LI Z P， LI J F， DAI W Z. A Two-Stage Multiscale Residual Attention Network for Light Guide Plate Defect Detection［J］.IEEE Access，2021，9：2780-2792.

［3］" "AMER A Y A.Global-local least-squares support vector machine （GLocal-LS-SVM）［J］.PLoS ONE，2023，18（4）.DOI：10.1371/journal.pone.0285131.

［4］" "WU S Y，WANG X F，YUE Z Q.Addressing Random Variations in MWD Penetration Rate with the DPM Algorithm［J］.Sustainability，2022，14（20）：13456.

［5］" "KONG Q M，WU Z H，SONG Y T.Online detection of external thread surface defects based on an improved template matching algorithm［J］.Measurement，2022，195：111087.

［6］" "MING W Y，SHEN F，ZHANG H M，et al.Defect detection of LGP based on combined classifier with dynamic weights［J］.Measurement，2019，143：211-225.

［7］" "PARK N K，YOO S I.Evaluation of TFT-LCD defects based on human visual perception［J］.Displays，2009，30（1）：1-16.

［8］" "RAJKUMAR S，RAJARAMAN P V，MEGANATHAN H S，et al.COVID-DETECT：A Deep Learning Approach for Classification of COVID-19 Pneumonia from Lung" Segmented Chest X-Rays［J］.Biomedical Engineering：Applications，Basis and Communications，2021，33（2）. DOI：10.4015/S1016237221500101.

［9］" "CHEN Y F，HAN W.Harmonic current control strategy of DC distribution network based on deep learning algorithm［J］.Energy Reports，2022，8：13066-13075.

［10］" "LI Y Q，YABUKI NOBUYOSHI，F(xiàn)UKUDA TOMOHIRO.Integrating GIS，deep learning，and environmental sensors for multicriteria evaluation of urban street walkability［J］.Landscape and Urban Planning，2023：230.

［11］" "李俊峰，李明睿.基于機(jī)器視覺(jué)的導(dǎo)光板缺陷檢測(cè)方法研究［J］.光電子·激光，2019，30（3）：256-265.

［12］" "李俊峰，何炎森，戴文戰(zhàn).結(jié)合輕量化與級(jí)聯(lián)深度學(xué)習(xí)網(wǎng)絡(luò)的導(dǎo)光板缺陷檢測(cè)方法［J］.激光與光電子學(xué)進(jìn)展，2021，58（14）：188-198.

［13］" "胡金良，李俊峰.基于改進(jìn)YOLOv3的大尺寸導(dǎo)光板缺陷檢測(cè)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（6）：279-286.

［14］" "WANG C Y， BOCHKOVSKIY A， LIAO H Y. YOL-Ov7：Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2023：7464-7475.

［15］" "ZHENG Z H，WANG P，REN D W，et al.Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation［J］.IEEE Transactions on Cybernetics，2022，52（8）：8574-8586.

［16］" "WOO S，PARK J，LEE J Y，et al.Cbam：Convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）.Springer，2018：3-19.

［17］" "TONG Z J， CHEN Y H， XU Z W，et al.Wise-IoU：Bounding Box Regression Loss with Dynamic Focusing Mechanism［EB/OL］.（2021-04-08）.https：//arxiv.org/pdf/2301.10051v3.

（收稿日期：2023-12-19，修回日期：2024-10-08）

Defect Detection of Large-sized Light Guide Plates Based on Improved YOLOv7-tiny

LIU Xia1， WANG Hong-ding1， XIAO Ming2， GONG Ye-fei3， LIU Ji-cheng3， LI Xiao-wei4

（1. School of Physics and Electronic Engineering， Northeast Petroleum University； 2. School of Electrical Engineering， Yancheng University of Technology； 3. School of Electrical and Automation Engineering， Changshu University of Technology； 4. Wuxi Woge Automation Co.， Ltd.）

Abstract" "Considering the multiple types of defects， small sizes and low manual detection efficiency of light guide plates， an improved YOLOv7-tiny-based method for detecting large-sized light guide plate’s defect was proposed. In which， having the excessive image resolution solved by sliding window cropping on the image of the light guide plate; then， as for small sample defects， having multi-angle data augmentation techniques adopted to enrich data volume and solve imbalanced samples; finally， having the lightweight convolution attention module（CBAM） integrated into the YOLOv7-tiny backbone feature extraction section to enhance the model’s feature extraction ability for small target defects in both channel and space. In addition， having the WIoUv2 loss function selected to calculate localization loss， enhance network’s attention to difficult examples and improve algorithm’s detection ability for low-quality anchor boxes. Experimental results show that， as compared to the traditional YOLOv7-tiny， the proposed method has an average accuracy of 85.8% and a recall rate of 81.3%， an improvement by 5.4% and 8.1%， respectively.

Key words" "small target defect detection， YOLOv7-tiny， multi-angle data augmentation， feature extraction， attention mechanism， loss function