基于SURF特征改進(jìn)的空調(diào)標(biāo)簽缺陷檢測(cè)算法

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.7535/hbkd.2025yx03010

An improved air conditioner label defect detection algorithm based on SURF features

ZHOU Huizi1'2，LIU Yuelin3，LIU Qing4，LI Jianwul

（1．School of Computer Science and Technology，Beijing Institute of Technology，Beijing 10o081，China； 2.Big Data Center，Zhuhai Gree Electric Appliances Company Limited，Zhuhai，Guangdong 519o7o，China; 3.Ara Institute of Canterbury International Enginering College（Zhongxin International College of Engineering）， ShenyangJianzhu University，Shenyang，Liaoning1lol68，China; 4.School of Economics and Management，Hebei University of Science and Technology， Shijiazhuang，Hebei O50o18，China）

Abstract：Aiming at thebottleneck that deep learning algorithms are not compatible withdevice detectionand new sample colection，aswellaspoordetectiontimelinessandgeneralizationability，atraditionaltemplatematchingdetectionalgorithm basedonSURFfeatures was proposed.Firstly，SURFalgorithm was usedtoextractfeaturesfrom theimage，andthe product quantization theory was used to construct search tres.The matching points were quickly screned basedon spatial position informationof feature points.Secondly，the homographymatrix and afine transformation matrix wereobtained from the matching points，and the two matrices werecombined to scree the \"interior points\"forofset calculationand image registration.Finaly，combined withtheideaoflocal defect density measurement，thedefect densitywascalculatedby integratingtheregionalforegroundandbackground weighting method，andthequalificationofthelabelwasdeterminedbythe defectdensity.Atthesametime，forthesceneofsmallcharacterswithfewfeaturesandlocalofset，animproved method wasproposed toavoid misjudgment.The results show that thealgorithm improves the stability and detection acuracyof feature point matching. The accuracy，recall and Fl on the self-built data set are 98.67% ， 97.69% and 98.18% ， respectively，which arebettr thanthemainstream methods.The practicalapplicationonthedevice meets thereal-time requirements.Thealgorithmcaneffectively improve thestabilityoffeature pointsandthe detectionacuracy，meet the detection timeliness of equipment，and provide technical reference for its practicability.

Keywords：image processing；defect detection;SURF characteristics；image registration；defect density

隨著工業(yè)4.0的浪潮推進(jìn)，標(biāo)簽的質(zhì)量已經(jīng)成為衡量企業(yè)生產(chǎn)能力和市場(chǎng)競(jìng)爭(zhēng)力的關(guān)鍵指標(biāo)之一。為節(jié)約成本，大部分企業(yè)的空調(diào)內(nèi)機(jī)標(biāo)簽是由人工粘貼的，存在人為造成的貼錯(cuò)、貼偏、漏貼等情況，并且生產(chǎn)線上采用人工目視檢測(cè)的方式來(lái)判斷產(chǎn)品外觀合格性，不能有效保證檢測(cè)精度，因此需要研制空調(diào)內(nèi)機(jī)標(biāo)簽質(zhì)量自動(dòng)化檢測(cè)設(shè)備對(duì)空調(diào)機(jī)身外觀進(jìn)行檢測(cè)，達(dá)到省時(shí)省力、提高生產(chǎn)效率的目的[1]。

常用的標(biāo)簽缺陷檢測(cè)方法有2種：基于傳統(tǒng)圖像處理的檢測(cè)和基于深度學(xué)習(xí)模型的檢測(cè)。關(guān)于傳統(tǒng)圖像處理的檢測(cè)方法，周陽(yáng)等[2]采用Halcon展開日化瓶瓶底噴碼質(zhì)量檢測(cè)算法研究，利用基于形狀的模板匹配法實(shí)現(xiàn)字符區(qū)域的定位;尚玉廷[3」利用專門特殊算法分割提取隨機(jī)畸變字符集，創(chuàng)建每個(gè)獨(dú)立字符的匹配模板，并記錄相對(duì)位置區(qū)域進(jìn)行包裝箱型號(hào)標(biāo)記缺陷檢測(cè)；張永宏等[4]采用尺度不變特征轉(zhuǎn)換算子（scale-invariant feature transform，SIFT）進(jìn)行模板匹配，利用像素差值的方式來(lái)實(shí)現(xiàn)缺陷檢測(cè);BENJELIL等5使用交互式信息進(jìn)行字符檢測(cè)，找到自動(dòng)缺陷檢測(cè)算法檢測(cè)到的圖像與標(biāo)準(zhǔn)圖像之間的差異，實(shí)現(xiàn)字符缺陷檢測(cè);HUA等[6]采用快速魯棒特征描述子（speeded up robust feature descriptor，SURF）與特征跟蹤角檢測(cè)器進(jìn)行圖像特征提取，解決了拐角檢測(cè)中拐角信息丟失、位置偏移等問題。此類方法能適應(yīng)更多類型標(biāo)簽的檢測(cè)，但由于特征點(diǎn)檢測(cè)依賴于檢測(cè)算子，通常因?yàn)闄z測(cè)速度慢和特征點(diǎn)不穩(wěn)定出現(xiàn)誤識(shí)別，對(duì)畸變、旋轉(zhuǎn)等情況適應(yīng)性較差[7]。關(guān)于深度學(xué)習(xí)模型的檢測(cè)方法，ZHAO等[8針對(duì)集裝箱字符檢測(cè)提出一種改進(jìn)的基于DETR的方法，該方法將具有多通道分割注意力結(jié)構(gòu)的ResNet骨干網(wǎng)絡(luò)引入多尺度位置編碼，實(shí)現(xiàn)容器字符端到端識(shí)別框架，提高了對(duì)輸入位置信息的敏感度，在其自建集裝箱字符數(shù)據(jù)集中測(cè)試精度可達(dá) 98.6% ：KOCH等[9使用孿生網(wǎng)絡(luò)（2個(gè)共享權(quán)重的網(wǎng)絡(luò)）進(jìn)行一次性圖像識(shí)別，可以對(duì)2個(gè)輸入圖像判定是否屬于同一類別，特別適用于人臉對(duì)比及基于模板匹配的缺陷檢測(cè);王勇等[10]將YOLOv4 網(wǎng)絡(luò)應(yīng)用于建筑構(gòu)件表面缺陷檢測(cè)，通過多種優(yōu)化技術(shù)提高了模型的檢測(cè)精度，在構(gòu)建的結(jié)構(gòu)鋸材表面缺陷數(shù)據(jù)集上達(dá)到了96.7% 以上的平均檢測(cè)精度，能夠準(zhǔn)確檢測(cè)多種類型的缺陷。此類方法對(duì)缺陷有不錯(cuò)的識(shí)別能力，但通常需要大規(guī)模標(biāo)注數(shù)據(jù)才能保證模型的準(zhǔn)確性，難以適用于缺陷類型多變及語(yǔ)言字符多變的標(biāo)簽缺陷檢測(cè)，且獲取標(biāo)注數(shù)據(jù)代價(jià)高，泛化能力較差。為了解決這個(gè)問題，研究者開始探索無(wú)監(jiān)督學(xué)習(xí)策略。LIANG等[1]使用頻率編碼器將輸入圖像重建成不同頻率圖像信息，自適應(yīng)地選擇不同通道來(lái)執(zhí)行不同編碼器之間的頻率交互以增強(qiáng)模型。LEE等[12]采用基于ViT的模型結(jié)構(gòu)，通過使用多個(gè)自注意力層的補(bǔ)丁嵌人構(gòu)建特征圖學(xué)習(xí)圖像塊之間的全局關(guān)系，利用重建圖像誤差識(shí)別異常區(qū)域。ZHANG等[13]提出了一種基于Transformer 架構(gòu)的互注意力機(jī)制，重建過程中融合了圖像的局部和全局特征，解決了現(xiàn)有Transformer模型融合局部信息效率低的問題。WANG 等[14]通過結(jié)合對(duì)比學(xué)習(xí)并保留2D-Flow模型的輕量級(jí)特性，增強(qiáng)了2D-Flow框架，使網(wǎng)絡(luò)能夠從自生成的標(biāo)簽中學(xué)習(xí)更精確的映射關(guān)系。

雖然近期備受關(guān)注的無(wú)監(jiān)督學(xué)習(xí)策略不依賴特定缺陷標(biāo)注數(shù)據(jù)，但仍需要少量無(wú)標(biāo)注的樣本，且對(duì)于一些業(yè)務(wù)上可忽略的缺陷，缺陷維度不統(tǒng)一，對(duì)模型的調(diào)整優(yōu)化十分困難，在處理復(fù)雜紋理和微小缺陷時(shí)仍存在泛化性不足的問題[15-17]。新研發(fā)產(chǎn)品生產(chǎn)時(shí)無(wú)初始樣本，且生產(chǎn)計(jì)劃無(wú)法因設(shè)備調(diào)整而中止，檢測(cè)設(shè)備無(wú)法兼顧生產(chǎn)檢測(cè)及樣本收集。另外，檢測(cè)設(shè)備要兼容尺寸跨度非常大的產(chǎn)品，需要用戶建模輸人產(chǎn)品尺寸調(diào)節(jié)相機(jī)位置，所以采用模板匹配方法框選ROI（region of interest）區(qū)域不會(huì)耗費(fèi)人工過多精力，且所耗時(shí)長(zhǎng)遠(yuǎn)小于拍攝多次收集樣本并訓(xùn)練模型的時(shí)間?；谝陨显颍疚奶岢鲆环N基于SURF特征改進(jìn)的空調(diào)標(biāo)簽缺陷檢測(cè)算法，以解決傳統(tǒng) SURF算法對(duì)相同字符及標(biāo)簽大小多樣時(shí)標(biāo)簽誤識(shí)別問題以及解決深度學(xué)習(xí)算法無(wú)法滿足檢測(cè)設(shè)備的產(chǎn)品兼容性與檢測(cè)時(shí)效性問題。另外，針對(duì)小字符特征少又含有局部偏移的場(chǎng)景提出改進(jìn)方法。

1基于SURF特征改進(jìn)方法

為了提高空調(diào)內(nèi)機(jī)標(biāo)簽缺陷檢測(cè)的性能，本文提出了一種基于SURF特征改進(jìn)特征點(diǎn)篩選匹配的空調(diào)標(biāo)簽缺陷檢測(cè)方法，如圖1所示。所提出的方法包括圖像預(yù)處理、特征提取、特征過濾、特征匹配、圖像配準(zhǔn)、缺陷判定幾個(gè)關(guān)鍵步驟。

1.1 圖像預(yù)處理及特征提取

模板圖片帶有用戶輸入的信息，包括ROI區(qū)域坐標(biāo)、偏位檢測(cè)標(biāo)準(zhǔn)和角度檢測(cè)標(biāo)準(zhǔn)。根據(jù)ROI區(qū)域坐標(biāo)將模板圖片進(jìn)行裁剪，然后經(jīng)過中值濾波、二值化及像素填充后得到如圖2a）所示圖像，其中像素填充采用平均灰度值法，根據(jù)偏位檢測(cè)標(biāo)準(zhǔn)以ROI區(qū)域中心點(diǎn)向四周擴(kuò)充。根據(jù)偏位檢測(cè)標(biāo)準(zhǔn)擴(kuò)充ROI區(qū)域坐標(biāo)后，將待檢測(cè)圖片進(jìn)行裁剪、中值濾波及二值化后得到如圖2b）所示圖像，至此就完成了模板圖片及待檢測(cè)圖片的預(yù)處理操作。因SURF算法具有尺度和旋轉(zhuǎn)不變性，且它將特征點(diǎn)描述向量進(jìn)行歸一化處理，也保持了對(duì)光照的不變性，所以選用SURF算法對(duì)圖像進(jìn)行特征提取。將上述進(jìn)行預(yù)處理后的模板圖像及待檢測(cè)圖像作為輸入，提取2張輸人圖像的SURF特征描述，用于后續(xù)過程的計(jì)算（SURF算法是廣泛使用的特征檢測(cè)算法，此處不再贅述其原理）。

1.2 特征過濾與匹配

實(shí)際生產(chǎn)中，人為粘貼的標(biāo)簽會(huì)存在角度旋轉(zhuǎn)，若標(biāo)簽旋轉(zhuǎn)角度過大或存在相似圖案特征，容易出現(xiàn)特征點(diǎn)匹配的偏移，在匹配后計(jì)算特征缺陷時(shí)因匹配點(diǎn)效果不佳、缺陷計(jì)算錯(cuò)誤而出現(xiàn)誤識(shí)別。另外，提取的特征可能存在部分冗余信息，從提升檢測(cè)速度方面考慮也應(yīng)該對(duì)特征點(diǎn)進(jìn)行篩選過濾。所以從減少噪點(diǎn)誤匹配影響及提升檢測(cè)速度角度考慮，本方法采用乘積量化方法對(duì)特征點(diǎn)描述進(jìn)行壓縮，構(gòu)建搜索樹[18」。第 i 個(gè)特征點(diǎn)的SURF描述是一個(gè)64或128 維的向量 F_i ，將其分為8個(gè)部分 F_ij （ 1?j?8） 。對(duì)所有描述的每個(gè)子向量進(jìn)行類別數(shù)為 K 的 K -Means聚類，具體如式（1）所示。

K?Means_j=1⁸={F_1j，F(xiàn)_2j，…，F(xiàn)_ij}

計(jì)算聚類中心 C_kj （ 0?k?K ）并進(jìn)行二進(jìn)制編碼以構(gòu)建搜索樹。聚類中心的數(shù)量 K 與特征點(diǎn)的數(shù)量N 之間根據(jù)式（2）計(jì)算，其中 K 的結(jié)果向上取整數(shù)。

提取待檢測(cè)圖像中特征點(diǎn)描述符，并通過計(jì)算描述符的子向量與聚類中心 C_kj 之間的距離來(lái)確定聚類類別。然后對(duì)特征點(diǎn)進(jìn)行二進(jìn)制編碼，以便快速定位具有相同編碼的特征點(diǎn)子集。本方法基于空間信息的特征，計(jì)算模板待匹配特征點(diǎn)與待檢測(cè)圖特征點(diǎn)子集中歐氏空間距離，距離最小的點(diǎn)作為相應(yīng)匹配點(diǎn)，得到如圖3所示的特征點(diǎn)匹配效果圖。

1.3圖像配準(zhǔn)與缺陷判定

空調(diào)內(nèi)機(jī)在生產(chǎn)線上流轉(zhuǎn)時(shí)，因?yàn)楣に嚢迮c阻擋器的碰撞，會(huì)造成機(jī)身出現(xiàn)不同程度的輕微偏移，使得待檢測(cè)面到相機(jī)鏡頭面會(huì)有空間上的畸變。根據(jù)獲取的特征點(diǎn)匹配對(duì)，結(jié)合隨機(jī)采樣一致性思想[19]，通過上述特征點(diǎn)對(duì)計(jì)算單應(yīng)性矩陣、仿射變換矩陣。通過兩矩陣結(jié)合，計(jì)算所有特征點(diǎn)與估計(jì)模型之間的誤差，將誤差小于閾值的特征點(diǎn)對(duì)視為“內(nèi)點(diǎn)”，其余特征點(diǎn)對(duì)視為“外點(diǎn)”，選擇兩矩陣交叉部分“內(nèi)點(diǎn)\"作為最終的估計(jì)結(jié)果，計(jì)算偏移量，再計(jì)算仿射變換角度。仿射變換角度用于評(píng)估標(biāo)簽的角度偏移量，若超出設(shè)定的角度檢測(cè)標(biāo)準(zhǔn)則視標(biāo)簽存在角度偏差缺陷。最后進(jìn)行透視變換，使得待檢圖像變換到與模板圖像相同的空間位置，達(dá)到配準(zhǔn)效果，如圖4a）所示。使用像素差法提取配準(zhǔn)后二值化待檢測(cè)圖像與二值化模板圖像之間的缺陷部分，如圖4b）所示。

對(duì)于不同種類、不同大小的標(biāo)簽，絕對(duì)閾值并不適用于判斷缺陷，同時(shí)，標(biāo)簽的缺陷有原本字體缺失及空白區(qū)域臟污2種情況，故需要設(shè)計(jì)一種自適應(yīng)缺陷判定方法。結(jié)合局部缺陷密度度量法（local defectdensity of measurement，LDDM）的思想，提出一種綜合區(qū)域前景及區(qū)域背景加權(quán)方式計(jì)算缺陷密度，使用缺陷密度來(lái)衡量缺陷部分是否符合判定閾值的方法，進(jìn)而判定產(chǎn)品是否合格。首先，使用輪廓搜索方法找到上述像素差法處理后的圖像中缺陷輪廓。其次，定義區(qū)域背景為以缺陷輪廓中心點(diǎn)畫圓的圓形區(qū)域（對(duì)應(yīng)真實(shí)場(chǎng)景的標(biāo)簽空白區(qū)域），定義區(qū)域前景為待檢測(cè)圖二值化圖像對(duì)應(yīng)像素增加以缺陷輪廓中心點(diǎn)畫圓的白色圓形區(qū)域再減去模板二值圖（對(duì)應(yīng)真實(shí)場(chǎng)景的標(biāo)簽原有字體區(qū)域），其中圓形區(qū)域半徑 r 定義為式（3），缺陷密度計(jì)算公式定義為式（4）。

r=0.05min（a，b）

D=0.5（μ/δ+μ/σ）

式中： a 表示模板ROI區(qū)域長(zhǎng)； b 表示模板ROI區(qū)域?qū)挘?D 表示缺陷密度； μ 表示缺陷像素面積； δ 表示區(qū)域前景像素面積； σ 表示區(qū)域背景像素面積。特別的，形如圖 _4b 的標(biāo)簽空白區(qū)域臟污缺陷在前景像素計(jì)算得0，作為分母時(shí)， μ/δ 結(jié)果取無(wú)窮值，即標(biāo)簽空白區(qū)域的臟污一定能有效檢出。

在某些特殊情況下，業(yè)務(wù)上允許標(biāo)簽有一定程度的輕微缺陷（即可忽略），通過上述缺陷密度 D 的計(jì)算方式，也可以在一定程度上避免出現(xiàn)檢測(cè)結(jié)果過于嚴(yán)苛的問題（缺陷密度計(jì)算是在滿足用戶容忍度且不影響其他類型缺陷檢測(cè)結(jié)果的前提下設(shè)計(jì)的）。例如圖5所示，左側(cè)配準(zhǔn)圖中最左側(cè)類圓圖像因工藝?yán)鋮s步驟存在縫隙不一致的輕微缺陷（紅色矩形框所示部分），在實(shí)際業(yè)務(wù)上允許出現(xiàn)，但是縫隙差距又要符合企業(yè)標(biāo)準(zhǔn)不能過大?？擅黠@看到經(jīng)過像素差法處理后的效果圖上縫隙造成的缺陷區(qū)域，若其通過上述缺陷密度公式計(jì)算后，得到的缺陷密度小于設(shè)定閾值，則可以達(dá)到忽略的效果。

1.4小字符局部偏位改進(jìn)

若待檢測(cè)ROI區(qū)域字符或圖案特征較少且周圍存在相似特征時(shí)，在圖像配準(zhǔn)階段會(huì)因相似干擾特征點(diǎn)造成圖像配準(zhǔn)誤差，誤 珠整室室出制整室出制判為不合格。但若為增加特征擴(kuò)大ROI區(qū)域，當(dāng)擴(kuò)大后的ROI區(qū)域內(nèi)存在圖案局部偏位時(shí)，會(huì)因配準(zhǔn)后的圖像在使用像素差法進(jìn)行缺陷區(qū)域計(jì)算時(shí)，未對(duì)齊部分影響判斷結(jié)果。如圖6所示，部分標(biāo)簽因批次不同，字符存在局部偏位現(xiàn)象，業(yè)務(wù)上人們僅關(guān)注“2023.10\"字符是否存在缺陷，但因其特征較少且鄰域內(nèi)存在相近字符，所以僅框選此部分作為ROI區(qū)域會(huì)因圖像配準(zhǔn)誤差而誤判。圖6上半部分“見機(jī)身?xiàng)l碼”和“2023.10”與圖6下半部分中F相比（綠色矩形框所示），字符間相對(duì)位置不同，所以若為了增加字符特征框選ROI區(qū)域范圍較大，會(huì)因字符間相對(duì)位置偏位造成批量誤判。

為此，提出一種針對(duì)小字符特征少及鄰域存在相似特征影響配準(zhǔn)效果并且存在局部偏位現(xiàn)象的改進(jìn)檢測(cè)方法。針對(duì)小字符ROI區(qū)域“2023.10”，首先在模板圖中ROI區(qū)域鄰域擴(kuò)展偏位檢測(cè)標(biāo)準(zhǔn)并掩模去除ROI區(qū)域，將其按照1.1節(jié)方式預(yù)處理得到如圖7a）所示的去除ROI區(qū)域過程圖;然后，將待檢測(cè)圖按照1.1節(jié)方式預(yù)處理得到圖7b），將圖7a）與圖7b）進(jìn)行圖像配準(zhǔn)，同時(shí)利用平均像素值進(jìn)行填充，得到圖7c），在圖7c）的基礎(chǔ)上裁剪輕微擴(kuò)充后ROI區(qū)域坐標(biāo)（擴(kuò)充10像素，目的是避免圖像配準(zhǔn)空間誤差），與模板圖ROI區(qū)域配準(zhǔn)后進(jìn)行缺陷判斷，如圖7d）所示。通過先找小字符鄰近區(qū)域的較多特征進(jìn)行配準(zhǔn)，再單獨(dú)提取小字符ROI區(qū)域進(jìn)行缺陷判定，這樣在一定程度上可以減少因小字符特征少而誤判的情況。但以上處理過程因在提取特征計(jì)算配準(zhǔn)時(shí)引人了周圍較多特征，所以計(jì)算資源耗費(fèi)較多，在一定程度上會(huì)降低檢測(cè)效率。實(shí)際應(yīng)用在設(shè)備上時(shí)為其專屬設(shè)定了一種算法屬性，即僅在ROI區(qū)域內(nèi)存在小字符局部偏移的情況才選擇使用本算法屬性，否則默認(rèn)使用1.1節(jié)至1.3節(jié)介紹的方法。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集

實(shí)際生產(chǎn)中，空調(diào)內(nèi)機(jī)的標(biāo)簽復(fù)雜多樣，本文將標(biāo)簽種類分為3類：僅文本、僅圖案和混合文本圖案。按照企業(yè)標(biāo)準(zhǔn)，標(biāo)簽粘貼位置應(yīng)與標(biāo)準(zhǔn)規(guī)定位置上下左右橫向偏差在 1cm 之內(nèi)、角度偏差在 ±5^° 以內(nèi)。本文將缺陷標(biāo)簽的類型分為印刷缺陷、位置偏差、角度偏差。印刷缺陷包括多印、錯(cuò)印和漏?。ú缓伾毕荩鐖D8a）所示。位置偏差是指由于標(biāo)簽粘貼位置上下左右橫向偏移，整個(gè)標(biāo)簽沒有出現(xiàn)或局部出現(xiàn)在偏位檢測(cè)標(biāo)準(zhǔn)區(qū)域內(nèi)，如圖8b）所示。角度偏差是指標(biāo)簽粘貼的傾斜角度超出上述企業(yè)標(biāo)準(zhǔn) 5^° ，則將此類標(biāo)簽視為角度偏差缺陷，如圖8c）所示。綜合考慮工控機(jī)算力、多路相機(jī)通信帶寬負(fù)荷及檢測(cè)設(shè)備成本，本文使用2000萬(wàn)像素黑白工業(yè)相機(jī)（MV-CE200-10GM）采集空調(diào)機(jī)身灰度圖像（分辨率為 5 472×3 648 并制作了3600組標(biāo)簽的標(biāo)注數(shù)據(jù)與圖像樣本，其中2400組按照訓(xùn)練集與驗(yàn)證集為 7：3 的比例用于訓(xùn)練深度學(xué)習(xí)模型（此處深度學(xué)習(xí)模型用于進(jìn)行算法性能的對(duì)比分析，本文提出的方法無(wú)需樣本訓(xùn)練），1200 組作為不同算法的公共測(cè)試集，數(shù)據(jù)集分布情況如表1所示。

2.2 評(píng)估指標(biāo)

在檢測(cè)空調(diào)內(nèi)機(jī)標(biāo)簽缺陷時(shí)為了評(píng)估檢測(cè)性能，采用準(zhǔn)確率（Precision， P ）、召回率（Recall， R ）以及綜合指標(biāo)F1作為主要評(píng)價(jià)指標(biāo)，見式（5）—（7）。

其中真正例（TP）、假正例（FP）和假反例（FN）分別對(duì)應(yīng)實(shí)際良品判定為良品的數(shù)目、實(shí)際良品判定為缺陷的數(shù)目和實(shí)際缺陷判定為良品的數(shù)目。

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提出的方法相較于傳統(tǒng) SURF算法的改進(jìn)性和有效性，本文在上述全部3600組自制標(biāo)簽數(shù)據(jù)集上，將傳統(tǒng)的 SURF特征點(diǎn)匹配算法（Classic-SURF）與本文提出的基于SURF特征改進(jìn)特征點(diǎn)篩選匹配的空調(diào)標(biāo)簽缺陷檢測(cè)方法（Our-SURF）對(duì)標(biāo)簽進(jìn)行特征提取，并結(jié)合3種缺陷判定方法（絕對(duì)缺陷面積法ADAM[20]、局部結(jié)構(gòu)相似度法 LSSM^[21] 、本文提出的局部缺陷密度度量法LDDM）設(shè)置了最優(yōu)判斷閾值，計(jì)算上述3個(gè)評(píng)估指標(biāo)，測(cè)試結(jié)果如表2所示。

從表2可以看出，在準(zhǔn)確率、召回率和F1方面，本文提出的基于SURF的改進(jìn)特征點(diǎn)篩選匹配方法整體效果明顯優(yōu)于傳統(tǒng) SURF算法，這是因?yàn)楸疚奶岢龅姆椒ㄍ瑫r(shí)考慮了特征點(diǎn)的局部特征和特征點(diǎn)的空間位置信息，對(duì)于復(fù)雜圖案，特別是有重復(fù)子圖案的標(biāo)簽檢測(cè)效果有顯著提升。圖9a）為傳統(tǒng)的 SURF特征點(diǎn)匹配算法匹配效果圖，圖9 b）為本文方法匹配效果圖。由圖可知，由于有很多相似的“五角星\"子圖案，局部特征比較相似，在進(jìn)行特征點(diǎn)匹配時(shí)圖9a）中出現(xiàn)了大量誤匹配。從圖9b）可以看出，本文方法將特征點(diǎn)的相對(duì)空間信息納入考量后，誤匹配大大減少，匹配效果得到提升。此外，本文提出的方法相較于傳統(tǒng)SURF算法，因去除了部分冗余特征點(diǎn)，所以在圖像配準(zhǔn)計(jì)算速度方面提升了約 100ms 。另由表2還可以看出，本文提出的改進(jìn)特征點(diǎn)篩選匹配方法結(jié)合局部缺陷密度法（Our-SU RF+LDI DM）在標(biāo)簽缺陷檢測(cè)的各項(xiàng)指標(biāo)上均表現(xiàn)出色，能夠適應(yīng)字符或圖案大小的變化，具有更好的適應(yīng)性和魯棒性。

2.4缺陷檢測(cè)算法比較

為驗(yàn)證本文方法的性能，在上述1200組自建復(fù)雜數(shù)據(jù)測(cè)試集上將本文方法（Our-SURF + LDDM）與傳統(tǒng)模板匹配（TTM）[22]、孿生網(wǎng)絡(luò)（Siamese network，SN）模型[9]及YOLOv4（you only look once）模型[10]進(jìn)行對(duì)比。在顯卡為NVIDIAGeForceGTX10606GB的計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn)。訓(xùn)練2個(gè)深度學(xué)習(xí)模型時(shí)，設(shè)置batch_size =32 ，epoches =100 ，使用自適應(yīng)梯度下降A(chǔ)dam優(yōu)化器并設(shè)置初始學(xué)習(xí)率為0.0O05。SN模型是將模板圖像與標(biāo)注圖像（良品及缺陷）作為匹配對(duì)，根據(jù)1.1節(jié)介紹的預(yù)處理過程后加上匹配對(duì)是否合格的label輸人網(wǎng)絡(luò)； YOLOv4 模型則將良品圖像作為負(fù)樣本，缺陷圖像作為正樣本，加上標(biāo)定框輸入網(wǎng)絡(luò)。

對(duì)比結(jié)果見表3?？梢姳疚姆椒?zhǔn)確率、召回率和F1分別為 98.67%，97.69% 和 98.18% ，與TTM，SN，YOLOv4算法相比，本文方法在自建復(fù)雜數(shù)據(jù)集上檢測(cè)效果有大幅提升。TTM通過在圖像中查找最佳匹配點(diǎn)和匹配系數(shù)來(lái)確定是否合格，但在多目標(biāo)檢測(cè)時(shí)有較高的漏檢率和誤報(bào)率。SN對(duì)圖像變形有較強(qiáng)的魯棒性，但無(wú)法針對(duì)標(biāo)簽的角度進(jìn)行具體的量化判定，在角度偏差缺陷上特別容易誤判。YOLOv4 能快速檢測(cè)，但對(duì)小目標(biāo)或密集小目標(biāo)容易出現(xiàn)漏檢，并且無(wú)法對(duì)未經(jīng)訓(xùn)練的印刷缺陷類型進(jìn)行檢測(cè)，另外它無(wú)法對(duì)標(biāo)簽的位置偏差、角度偏差進(jìn)行精確檢測(cè)，在本場(chǎng)景下誤判較大，業(yè)務(wù)上導(dǎo)致漏掉很多實(shí)際缺陷，不利于產(chǎn)品的質(zhì)量控制。通過以上對(duì)比分析可以看出，本文方法不僅可以檢測(cè)標(biāo)簽的印刷缺陷，還可以判斷標(biāo)簽的角度和位置，且針對(duì)小字符局部偏位情況作出了改善，滿足了這類缺陷檢測(cè)的需求。本文方法通過目標(biāo)匹配的方式簡(jiǎn)化了檢測(cè)的復(fù)雜程度，提高了檢測(cè)目標(biāo)的匹配正確率，有較強(qiáng)的泛化能力。通過與不同算法比較，驗(yàn)證了本文方法的準(zhǔn)確性和可靠性。

2.5 實(shí)用情況

將本文方法在自動(dòng)化檢測(cè)設(shè)備上應(yīng)用實(shí)施，視覺設(shè)備工控機(jī)參數(shù)如表4所示。在實(shí)際應(yīng)用時(shí)，采用高分辨率工業(yè)相機(jī)（MV-CE200-10GM）同時(shí)傳輸多路數(shù)據(jù)，涉及空調(diào)機(jī)身4個(gè)檢測(cè)面共計(jì)6臺(tái)相機(jī)。算法方面采用線程池的處理方法提升檢測(cè)速度，每個(gè)檢測(cè)面開一個(gè)線程且每個(gè)檢測(cè)面上每個(gè)ROI區(qū)域開一個(gè)線程，大大提升了整體檢測(cè)速度。以6個(gè)面、每個(gè)面15個(gè)ROI區(qū)域、每個(gè)ROI區(qū)域 300×300 像素計(jì)算比較說明：?jiǎn)尉€程計(jì)算共耗時(shí)約7.92s，線程池計(jì)算共耗時(shí)約 1.23s ，整體效率提升約 84.47% 。以2.1節(jié)數(shù)據(jù)集進(jìn)行測(cè)試，本文方法對(duì)每一張測(cè)試圖片都可以在1.5s內(nèi)完成計(jì)算，平均耗時(shí) 1.18s ，符合生產(chǎn)線節(jié)拍，具備良好的實(shí)時(shí)性。另外，針對(duì)1.4節(jié)提出的小字符局部偏位改進(jìn)方法也在工控機(jī)上進(jìn)行了測(cè)試，當(dāng)模板ROI區(qū)域擴(kuò)充偏位檢測(cè)標(biāo)準(zhǔn)后，圖像像素尺寸在 300×300 內(nèi)，1.4節(jié)優(yōu)化算法平均耗時(shí)2.45s，也可滿足生產(chǎn)線節(jié)拍。

3結(jié)語(yǔ)

針對(duì)深度學(xué)習(xí)算法無(wú)法兼容設(shè)備檢測(cè)及新樣本收集、檢測(cè)時(shí)效性及泛化能力差的瓶頸，本文提出了一種應(yīng)用于空調(diào)內(nèi)機(jī)標(biāo)簽檢測(cè)設(shè)備，基于SURF特征改進(jìn)特征點(diǎn)篩選匹配的標(biāo)簽缺陷實(shí)時(shí)檢測(cè)方法。

本文方法使用SURF算法對(duì)圖像進(jìn)行特征提取，為了快速準(zhǔn)確地提取特征匹配點(diǎn)，采用乘積量化的思想，為模板圖像中的特征點(diǎn)構(gòu)建搜索樹，快速篩選匹配的特征點(diǎn)子集;結(jié)合特征點(diǎn)的空間位置信息，在特征點(diǎn)的鄰域坐標(biāo)一定范圍內(nèi)過濾目標(biāo)特征點(diǎn)，進(jìn)一步確定匹配點(diǎn)，加快過濾過程;再結(jié)合隨機(jī)采樣一致性思想進(jìn)一步剔除誤匹配點(diǎn)，根據(jù)匹配點(diǎn)對(duì)獲取單應(yīng)性矩陣和仿射變換矩陣；通過兩矩陣結(jié)合的形式篩選“內(nèi)點(diǎn)”，通過\"內(nèi)點(diǎn)\"進(jìn)行偏移量計(jì)算及圖像配準(zhǔn)，減少由于相同子圖案在仿射變換時(shí)帶來(lái)的匹配不準(zhǔn)的情況;最后結(jié)合局部缺陷密度度量法的思想，綜合區(qū)域前景及區(qū)域背景加權(quán)方式計(jì)算缺陷密度，使用缺陷密度來(lái)衡量缺陷部分是否符合判定閾值的方法判定產(chǎn)品缺陷，同時(shí)還針對(duì)小字符特征少又含有局部偏移的場(chǎng)景，提出了改進(jìn)方法，避免了此場(chǎng)景的誤判。實(shí)驗(yàn)結(jié)果表明，本文算法可以提升特征點(diǎn)匹配穩(wěn)定性及檢測(cè)精度，在自建數(shù)據(jù)集上其準(zhǔn)確率、召回率和F1分別為 98.67%，97.69% 和 98.18% ，均優(yōu)于主流方法，同時(shí)可以有效檢測(cè)標(biāo)簽的偏移角度，滿足檢測(cè)設(shè)備的新產(chǎn)品兼容性與檢測(cè)時(shí)效性，有較強(qiáng)的泛化能力，在設(shè)備上實(shí)際應(yīng)用時(shí)可滿足實(shí)時(shí)性要求，實(shí)現(xiàn)更優(yōu)、更全面的檢測(cè)效果，有較高的實(shí)用性。

本方法不足之處在于，對(duì)密集小字符的缺陷檢測(cè)方法的改進(jìn)雖然使整體準(zhǔn)確率有所提升，但是因?yàn)檫^程計(jì)算的繁瑣，造成對(duì)小字符缺陷檢測(cè)的耗時(shí)更長(zhǎng)，因此后續(xù)會(huì)考慮如何加快計(jì)算速度，同時(shí)考慮多種特征提取方法相融合的方式，提升算法對(duì)小字符特征點(diǎn)提取能力，進(jìn)一步提高算法檢測(cè)的準(zhǔn)確率、魯棒性和檢測(cè)速度。另外，通過本文方法的實(shí)際落地使用，不斷地自動(dòng)化收集標(biāo)簽樣本，未來(lái)可利用這些標(biāo)記好的樣本數(shù)據(jù)進(jìn)行基于深度學(xué)習(xí)模型的新算法的創(chuàng)新嘗試。

參考文獻(xiàn)/References：

[1]張豪，張綱，蔣家東，等.中國(guó)制造業(yè)產(chǎn)品質(zhì)量提升策略研究[J].中國(guó)工程科學(xué)，2022，24（2）：38-47. ZHANG Hao，ZHANGGangJANGJiadong，etalStrategyforimprovingproductqualityofmanufacturingindustryinChina.ate gic Study of CAE，2022，24（2）：38-47.

[2]周陽(yáng)，沈婷婷，席志遠(yuǎn)，等.基于 Halcon的日化瓶瓶底噴碼質(zhì)量檢測(cè)算法研究[J].儀表技術(shù)與傳感器，2020（11）：101-104. ZHOU Yang，SHENTingting，XI Zhiyuan，etal.ResearchonqualitydtectionalgorithmsbasedonHalconforbotomspraycodeofdaily chemical bottles[J].Instrument Technique and Sensor，202o（11）：101-104.

[3]尚玉廷.包裝箱型號(hào)標(biāo)記缺陷檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].包裝工程，2021，42（1）：214-223. SHANG Yuting.Designand implementationofdefectdetectionsystem forpackingcase type markJ].Packaging Engineering，202142 （1）：214-223.

[4]張永宏，黃曉華.基于SIFT 匹配算法的 PCB 板缺陷檢測(cè)[J].計(jì)算機(jī)測(cè)量與控制，2012，20（9）：2328-2330. ZHANG Yonghong，HUANG Xiaohua.DetectionofPCBdefect basedon SIFT matching algorithm[J].Computer Measurementamp;.Control，2012，20（9）：2328-2330.

[5]BENJELIL M，KANOUNS，MULLOTR，etal.ArabicandLatinscriptidentificationinprintedandhandwritentypesbasedonsterable pyramid features[C/20o9OthInternationalConferenceonDocumentAnalysisandRecognition.BarcelonaSpain，59-595.

[6]HUA Guoliang，HUANG Weipeng，LIUHong.AccurateimageregistrationmethodforPCBdefectsdetectionJ].TheJournalof Engineering，2018（16）：1662-1667.

[7]湯勃，孔建益，伍世虔.機(jī)器視覺表面缺陷檢測(cè)綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（12）：1640-1663. TANGBo，KONGJianyi，WUiqianReviewofurfacedefectdetetionbasedonmachinevisionJ].JouralofImagendGaics， 2017，22（12）：1640-1663.

[8]ZHAO Xiaofang，ZHOUPeng，XUKe，etal.AnimprovedcharacterrecognitionframeworkforcontainersbasedonDETRalgorith[J]. Sensors，2021.DOI：10.3390/s21134612.

[9]KOCH G，ZEMEL R，SALAKHUTDINOV R.Siamese Neural Networks forOne-Shot Image Recognition[DB/OL].[2024-11-01]. http：//www.cs.cmu.edu/ ～ rsalakhu/papers/oneshot1.pdf.

[10]王勇，張偉，高銳，等.基于YOLOv4的結(jié)構(gòu)用鋸材表面缺陷識(shí)別[J].林業(yè)工程學(xué)報(bào)，2021，6（4）：120-126. WANG Yong，ZHANG Wei，GAORui，etal.ResearchonsurfacedefectrecognitionoftructuralsawntimberusingYOLOv4J].Journal ofForestry Engineering，2021，6（4）：120-126.

[11]LIANGYufei，ZHANGJangnng，ZHAOShiwei，etal.Omni-FrequencyChanel-SelectionRepresentationsforUnsupervisedAoaly Detection[DB/OL].（2023-07-03）[2024-11-01].https：//arxiv.org/abs/2203.00259.

[12]LEEY，KANGP.AnoViT：UnsupervisedAnomalyDetectionandLocalizationwithVision Transformer-BasedEncoder-DecoderDB/ OL].（2022-03-21）[2024-11-01].https：//arxiv.org/abs/2203.10808.

[13]ZHNGMengting，ANXiuxiaTansformerarchitecturebasedonmutualattentionforimageanomalydetectionJ].Virtualealityamp; Intelligent Hardware，2023，5（1）：57-67.

[14]WANG Shunfeng，LIYueyang，LUOHaichi.CL-flowStrengtheningthenormalizingflowsbyontrastivelearningforbettromaly detection[C]/Conferenceon Image，SignalProcessing，andPatrnRecognition（ISPP2024）．Guangzhou：[s.n.]，2024： 1318060-1318068.

[15]倪洪啟，李鑫宇，戴文博，等.基于機(jī)器學(xué)習(xí)的金屬軟管缺陷檢測(cè)系統(tǒng)[J].電子測(cè)量技術(shù)，2024，47（10）：78-84. NI Hongqi，LI Xinyu，DAIWenboetal.Machinelearningbaseddefectdetectionsystemformetal hosesJ.ElectronicMeasurement Technology，2024，47（10）：78-84.

[16]張付祥，徐兆洋，李俊慧，等.改進(jìn)CycleGAN的鋼材表面缺陷圖像生成方法[J].河北科技大學(xué)學(xué)報(bào)，2023，44（6）：571-579. ZHANGFuxiang，XUZhaoyangIJunhui，etalImagegenerationmethodforsteelurfacedefectsonimprovedCcleGANJalf Hebei University of Science and Technology，2023，44（6）：571-579.

[17]鄭太雄，黃鑫，尹綸培，等.基于深度學(xué)習(xí)的表面微小缺陷檢測(cè)方法綜述[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，36（5）：954-965. ZHENGTaixiong，HUANG Xin，YINLunpei，etal.Surfacetinydefects detectionbasedondeplearning：Areview[J].Jouralof Chongqing University of Posts and Telecommunications（Natural Science Edition），2024，36（5）：954-965.

[18]WANGJingdong，ZHANG TingSONGJingkuan，etal.Asurveyonlearning tohashJ].IEEETransactionsonPatternAnalysisand Machine Intelligence，2018，40（4）：769-790.

[19]熊風(fēng)光，霍旺，韓燮，等.三維點(diǎn)云中關(guān)鍵點(diǎn)誤匹配剔除方法[J].光學(xué)學(xué)報(bào)，2018，38（2）：121-131. XIONGFengguang，HUOWang，HANXie，etal.Removalmethodofmismatching keypointsin3DpointcloudJ.ActaOpticaSinica， 2018，38（2）：121-131.

[20]馬宏偉.成像無(wú)損檢測(cè)中缺陷的分類與面積計(jì)算[J].儀器儀表學(xué)報(bào)，2001，22（supl）：212-213. MAHongweiassiadcalulatiftsinigeN.seJualoftistrumnt（p）： 212-213.

[21]耿東芳，葉正麟，馬磊.基于結(jié)構(gòu)相似度的單幅圖像正則超分辨復(fù)原[J].計(jì)算機(jī)工程與應(yīng)用，2007，43（22）：34-37. GENG Dngfang，YEZhenglin，MALei.Regularizedsuperresolutionreconstructionforsingleimagebasedonstructuresimilit]. Computer Engineering and Applications，20o7，43（22）：34-37.

[22]XIEJianbin，IUTong，CHENZhangyong，etal.Jointtemplatematchingalgoritforassociatedmultioetdetetio. Transactions on Internet and Information Systems（TIS），2o12，6（1） ：393-403.