修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)

唐善成，逯建輝，張瑩，金子成，趙安新

(西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054)

磁瓦作為永磁直流電機(jī)的重要組成元件，被廣泛應(yīng)用在永磁電機(jī)中.受到生產(chǎn)工藝的影響，磁瓦表面容易形成漏洞、裂紋、漏角、起級(jí)、斷塊等缺陷，這些表面缺陷嚴(yán)重影響磁瓦壽命和性能.隨著工業(yè)生產(chǎn)的自動(dòng)化，基于深度學(xué)習(xí)的表面缺陷檢測(cè)在產(chǎn)品質(zhì)量控制中發(fā)揮著越來越重要的作用，主要分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)檢測(cè)方法.

一些學(xué)者利用不同有監(jiān)督學(xué)習(xí)方法檢測(cè)磁瓦表面缺陷.Huang 等[1]提出專門用于表面缺陷檢測(cè)的顯著性實(shí)時(shí)模型MCuePush U-Net，在磁瓦數(shù)據(jù)集上，能夠從低對(duì)比度圖像中準(zhǔn)確檢測(cè)出多個(gè)表面缺陷，有效地將單張圖片的檢測(cè)時(shí)間從0.50 s降低到0.07 s.Cui 等[2]提出的表面缺陷檢測(cè)網(wǎng)絡(luò)SDDNet 快速準(zhǔn)確，對(duì)微小缺陷的檢測(cè)效果較好.Liu 等[3]將二元網(wǎng)絡(luò)引入表面缺陷檢測(cè)領(lǐng)域，提出利用低位寬的二進(jìn)制卷積層和激活層的網(wǎng)絡(luò)Bi-ShuffleNet 和U-BiNet，并將所提網(wǎng)絡(luò)串聯(lián)后應(yīng)用在MT 和NEU 數(shù)據(jù)集上，與BiRealNet、ReActNet-A模型相比，模型所需計(jì)算量(operations per second，OPs)最小，精度少量下降.Tang 等[4]提出融合高分辨率特征和多尺度特征的表面缺陷語義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠準(zhǔn)確檢測(cè)缺陷并精準(zhǔn)定位缺陷邊界.Ling 等[5]提出的基于多頭自注意力和自監(jiān)督學(xué)習(xí)(SSL-VIT)的磁瓦表面缺陷檢測(cè)方法，可以準(zhǔn)確定位一個(gè)或者多個(gè)缺陷，測(cè)試精度高達(dá)98.5%.劉培勇等[6]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的磁瓦表面缺陷檢測(cè)算法，在MT 數(shù)據(jù)集上的檢測(cè)精度達(dá)到99.90%.卞佰成等[7]改進(jìn)YOLOv3 主干網(wǎng)絡(luò)，引入SPP 模塊和SE 模塊，提升了模型的檢測(cè)能力.Hou等[8]在YOLOv5s 中引入Res-Head 和Drop-CA，以增強(qiáng)不同層結(jié)構(gòu)之間的特征融合，緩解了模型過于關(guān)注缺陷目標(biāo)的問題.以上方法雖然能夠?qū)崿F(xiàn)高精度檢測(cè)，但是實(shí)際工況中通常磁瓦表面缺陷樣本數(shù)量較少，而且異常視覺特征分布發(fā)散，現(xiàn)有依賴目標(biāo)特征的有監(jiān)督檢測(cè)方法不能有效檢測(cè)未定義缺陷[9].

針對(duì)有監(jiān)督方法的弊端，學(xué)者開展了無監(jiān)督方法研究，主要使用自編碼器[10]和生成對(duì)抗網(wǎng)絡(luò)[11]2 種類型的重構(gòu)網(wǎng)絡(luò).Mi 等[12]在GAN 的基礎(chǔ)上加入注意力機(jī)制，使模型能夠更好地理解全局信息.Guo 等[13]基于cycleGAN 構(gòu)建無監(jiān)督小樣本缺陷檢測(cè)模型，該模型可以在未標(biāo)記訓(xùn)練數(shù)據(jù)不到1/3 的情況下獲得高的檢測(cè)精度和精準(zhǔn)的缺陷曲線.Wei 等[14]基于GAN 提出DCGAN 的多級(jí)無監(jiān)督織物缺陷檢測(cè)方法，方法包含3 個(gè)階段：GAN訓(xùn)練、編碼器訓(xùn)練和分類器訓(xùn)練，每個(gè)階段采用單獨(dú)的訓(xùn)練策略.景海釗等[15]提出基于密集殘差塊的GAN 超分辨率重建方法，有效實(shí)現(xiàn)了空間目標(biāo)AO 圖像的清晰化重建，降低了重建圖像的偽影，豐富了圖像細(xì)節(jié).唐善成等[16]在VAE 編解碼器中融入注意力機(jī)制，增強(qiáng)了模型提取壓敏電阻表面特征能力，實(shí)現(xiàn)了壓敏電阻高精度檢測(cè).Wei 等[17]在AE 和VAE 編解碼網(wǎng)絡(luò)中引入平均結(jié)構(gòu)相似度(MSSIM)作為網(wǎng)絡(luò)訓(xùn)練損失函數(shù)，僅使用L-p 距離損失函數(shù)進(jìn)行圖像亮度比較.Liu 等[18]基于AE 編解碼網(wǎng)絡(luò)提出卷積自編碼器網(wǎng)絡(luò)(RCCAEN)，與標(biāo)準(zhǔn)自編碼器(AE)相比，RCCAEN可以提高系統(tǒng)的實(shí)時(shí)性和恢復(fù)圖像邊緣的模糊性.上述圖像重建網(wǎng)絡(luò)應(yīng)用于表面紋理分布均勻且周期性的圖像時(shí)的重建效果良好，應(yīng)用于表面紋理分布呈現(xiàn)非均勻和非周期性特征的圖像時(shí)的重建能力不足.

針對(duì)以上問題，本研究提出修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)方法.該檢測(cè)方法綜合無監(jiān)督檢測(cè)方法只需要無缺陷樣本的優(yōu)點(diǎn)，能夠解決磁瓦表面缺陷數(shù)據(jù)量少、異常視覺特征發(fā)散的問題，可以減少對(duì)人工標(biāo)注數(shù)據(jù)樣本的依賴.為了解決傳統(tǒng)圖像重構(gòu)網(wǎng)絡(luò)無法長(zhǎng)距離分析圖像特征的問題，引入多頭注意力機(jī)制構(gòu)建圖像修復(fù)模型，提升模型修復(fù)圖像表面紋理細(xì)節(jié)的能力.通過實(shí)驗(yàn)證明所提檢測(cè)方法的可行性與有效性.

1 修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)

修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)框架如圖1 所示，包括無缺陷磁瓦表面特征提取、缺陷嫌疑區(qū)域定位、磁瓦表面缺陷檢測(cè)3 個(gè)階段.1）無缺陷磁瓦表面特征提?。貉诖a圖像修復(fù)網(wǎng)絡(luò)(masked image inpaint network，MIINet)訓(xùn)練階段輸入為無缺陷圖像.首先將輸入圖像分割成指定大小的圖像塊；再隨機(jī)生成掩碼圖像，根據(jù)掩碼區(qū)域移除輸入圖像中對(duì)應(yīng)位置的圖像塊，得到輸入圖像；然后將輸入圖像輸入編碼器進(jìn)行編碼，并在編碼特征向量中嵌入共享特征向量，輸入解碼器預(yù)測(cè)被移除圖像塊；最后以修復(fù)圖像與標(biāo)簽圖像之間的均方誤差值作為模型損失.2）缺陷嫌疑區(qū)域定位：任意圖像具備顯著性特征，磁瓦圖像缺陷區(qū)域顯著性尤為突出.首先利用顯著性算法分析磁瓦圖像表面特征信息，得到顯著特征圖；然后使用二值化對(duì)顯著特征圖進(jìn)行閾值分割，確定缺陷嫌疑區(qū)域；最后對(duì)缺陷嫌疑區(qū)域進(jìn)行分塊定位.3）磁瓦表面缺陷檢測(cè)：首先向模型輸入無缺陷圖像，得到修復(fù)圖像，修復(fù)前后圖像相減，得到差分圖像；再基于 3σ 準(zhǔn)則處理差分圖像，得到判定閾值(區(qū)分有無缺陷)；然后將待檢測(cè)圖像輸入模型，利用MIINet 修復(fù)待檢測(cè)圖像中缺陷嫌疑區(qū)域?qū)?yīng)的掩碼位置；依據(jù)判定閾值辨別差分圖像是否包含缺陷，分離無缺陷圖像與有缺陷圖像；最后對(duì)有缺陷圖像使用區(qū)域結(jié)構(gòu)相似性比對(duì)完成缺陷區(qū)域定位.

圖1 修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)Fig.1 Unsupervised surface defect detection of magnetic tile for repair of suspected area defects

1.1 無缺陷磁瓦表面特征提取

MIINet 的結(jié)構(gòu)如圖2 所示.首先通過塊嵌入層將輸入圖像分割為196 塊同等大小的圖像塊，并將二維圖像塊展平為一維特征向量；然后隨機(jī)丟棄固定比例特征向量，并在保留的特征向量中嵌入類別編碼和位置編碼，通過依賴多頭注意力機(jī)制的編碼器，長(zhǎng)距離捕獲不同維度下的圖像特征，加權(quán)融合得到圖像本質(zhì)特征隱向量Z；最后在Z中插入共享特征向量，輸入至解碼器預(yù)測(cè)缺失的特征向量，使用均方誤差值作為損失約束迫使模型收斂.MIINet 包括掩碼模塊、塊嵌入層、編碼模塊、解碼模塊、損失模塊.

圖2 掩碼圖像修復(fù)網(wǎng)絡(luò)的結(jié)構(gòu)Fig.2 Structure of masked image inpaint network

1.1.1 掩碼策略 首先模型會(huì)隨機(jī)生成一張掩碼圖像，掩碼比率為75%[19]，該掩碼比率能夠獲得最佳的模型訓(xùn)練效果；然后將輸入圖像分割成規(guī)則的非重疊圖像塊；最后根據(jù)掩碼區(qū)域移除輸入圖像中對(duì)應(yīng)位置的圖像塊.這種隨機(jī)掩碼的訓(xùn)練方式可以讓重建任務(wù)多樣化，有效增強(qiáng)模型的重構(gòu)能力.

1.1.2 塊嵌入層 通過降維函數(shù)Flatten 展平x∈RH×W×C的圖像為xp∈RN×(P2×C) 一維序列，其中N=H×W/P為一維序列的個(gè)數(shù)，H=W=224 分別為圖像的長(zhǎng)和寬，P2=256 為序列的像素大小，C=3為通道數(shù)，因此P2×C為每個(gè)序列的維度，對(duì)序列進(jìn)行線性變換E∈R(p2×C)×D，D為變換后維度，表示為

隨機(jī)生成掩碼圖像，根據(jù)掩碼區(qū)域移除Z0中對(duì)應(yīng)位置特征向量；再通過拼接函數(shù)Concat 添加1 個(gè)可學(xué)習(xí)的類別編碼xcls，用于代表圖像經(jīng)過編碼后的全局特征，表示為

嵌入位置編碼Epos，得到待編碼向量

Epos使用相同的固定位置編碼，即使用不同頻率的正弦和余弦函數(shù)表示：

式中：pos 為圖像塊在圖像中的位置，d為xp的維度.

1.1.3 編碼器 編碼器由交替的多頭注意力機(jī)制[20-21]層和多層感知機(jī)層組成，每層之間通過層歸一化和殘差連接進(jìn)行連接.多頭注意力機(jī)制是自注意力機(jī)制的變體，通過計(jì)算輸入序列中每個(gè)像素與其他像素的關(guān)聯(lián)性來降低模型對(duì)無關(guān)信息的依賴，從而捕捉更精確、更豐富的特征信息.多頭注意力機(jī)制可以從多個(gè)維度計(jì)算輸入向量注意力特征并加權(quán)融合，得到更準(zhǔn)確、更深層次的無缺陷磁瓦表面圖像特征.具體步驟如下：1）對(duì)輸入向量Z2進(jìn)行h次線性變換，得到h個(gè)不同維度下的子向量：

式中：i為第i個(gè)自注意力頭，為隨機(jī)權(quán)重矩陣，Qi、Ki、Vi分別為線性映射下的查詢序列、鍵序列和值序列.2）計(jì)算Q和K之間的點(diǎn)積相似度B，以分析全部像素特征之間的相互聯(lián)系，強(qiáng)化有關(guān)信息，抑制無關(guān)信息.

式中：Attention(·) 為自注意力機(jī)制函數(shù)，softmax(·)為激活函數(shù)，dK為K的維度.3）對(duì)步驟2）進(jìn)行h次計(jì)算，每次計(jì)算稱為1 個(gè)“頭”.這個(gè)過程可以從多個(gè)不同維度的子空間，提取不同的圖像特征，

每次Q、K、V進(jìn)行線性變換的參數(shù)W均不同.4）融合提取到的各個(gè)不同的子空間特征，得到全面的圖像特征.

式中：MultiHead(·) 為多頭注意力機(jī)制函數(shù).多層感知機(jī)是前饋神經(jīng)網(wǎng)絡(luò)，作用是將輸入序列映射為固定長(zhǎng)度的向量.這種向量可以被送入注意力機(jī)制進(jìn)一步計(jì)算和處理，以提高模型的表達(dá)能力和性能.多層感知機(jī)還能夠捕捉輸入向量的局部特征和全局特征關(guān)系，進(jìn)一步提高模型性能.

1.1.4 解碼器 在對(duì)編碼器輸出向量進(jìn)行一系列處理后，輸入解碼器預(yù)測(cè)被丟棄特征向量，得到輸出圖像，具體流程如下.1）通過線性層對(duì)輸入數(shù)據(jù)進(jìn)行維度轉(zhuǎn)換，表示為

式中：A為512×1 024 維權(quán)重矩陣，B為偏執(zhí)變量.2）向轉(zhuǎn)換后的向量矩陣中添加嵌入位置編碼的共享特征向量，以代替被移除的圖像塊，為模型提供可預(yù)測(cè)的區(qū)域.3）將獲得的向量矩陣輸入一系列Transformer 塊，以預(yù)測(cè)被移除圖像塊.解碼器計(jì)算過程與編碼器相似.4）通過歸一化(layer normalization，LN)層對(duì)解碼器輸出結(jié)果進(jìn)行歸一化.5）通過線性層對(duì)步驟4）輸出結(jié)果進(jìn)行維度轉(zhuǎn)換.6）將嵌入的位置編碼移除，得到輸出圖像.

1.2 缺陷嫌疑區(qū)域定位

1.2.1 視覺顯著性特征分析 鑒于磁瓦表面復(fù)雜的紋理信息，采用基于空間尺度差異顯著性[22]算法從多個(gè)尺度分析圖像特征信息，獲得不同尺度圖像之間的像素關(guān)系，平衡不同尺度圖像的權(quán)重，抑制紋理信息的顯著特征，突顯缺陷區(qū)域顯著特征.算法流程如下：1）使用2 次3×3 窗口的高斯濾波器，平滑原始磁瓦圖像，得到灰度圖像I.2）根據(jù)灰度圖像I計(jì)算積分圖像O，

給定任何矩形區(qū)域(對(duì)角頂點(diǎn)為P1=(r1,c1)，P2=(r2,c2) 的和Srect都可以用積分圖像O計(jì)算得到.

3）利用中心-周圍方法計(jì)算12 個(gè)多尺寸顯著特征圖.具體計(jì)算步驟為a)計(jì)算全部矩形窗口尺寸,

式中：ξ 為窗口尺寸，s∈{2,3,4}，σ∈{3,7}.b)計(jì)算中心和周圍顯著特征值，

c)依次計(jì)算每個(gè)顯著特征圖的每個(gè)像素，

式中：ξ ∈{12,24,28,48,56,112}為矩形窗口，Inton,ξ、Intoff,ξ分別表示內(nèi)中心差和外中心差.4）顯著特征圖合成：逐個(gè)像素對(duì)6 個(gè)內(nèi)中心顯著特征圖進(jìn)行求和，得到內(nèi)中心顯著特征圖；以相同的方式生成外中心顯著特征圖；融合內(nèi)中心和外中心顯著特征圖得到最終的顯著特征圖.

1.2.2 缺陷嫌疑區(qū)域確定 在磁瓦圖像中，無缺陷區(qū)域也存在顯著特征.為了消除這些特征，對(duì)無缺陷圖像的顯著特征值進(jìn)行統(tǒng)計(jì)分析，得到其分布區(qū)間；再采用閾值分割的方法來消除這些信息.如圖3 所示，統(tǒng)計(jì)無缺陷顯著特征圖的像素分布情況，得到其像素分布柱狀圖，表示為

圖3 無缺陷磁瓦顯著特征分析Fig.3 Analysis of saliency characteristics of defect-free magnetic tiles

式中：k為圖像的灰度像素值，L為灰度像素值的個(gè)數(shù)，nk為圖像中灰度像素值為k的像素個(gè)數(shù).可以看出，在無缺陷磁瓦圖像分析得到的顯著特征圖中主體像素主要分布在k=0～100.因此，采用固定閾值100 來消除顯著特征圖的背景信息.對(duì)顯著特征圖進(jìn)行固定閾值二值化操作，將像素值大于100 的像素點(diǎn)賦值為255，將像素值小于100 的像素點(diǎn)賦值為0，從而分割缺陷嫌疑區(qū)域.對(duì)缺陷嫌疑區(qū)域進(jìn)行分塊定位.將缺陷嫌疑區(qū)域圖分為16×16 圖像塊，對(duì)每一塊進(jìn)行賦值，得到MIINet 掩碼圖像，計(jì)算式為

式中：pi(r,c) 為第i個(gè)圖像塊，i=1,2,···,196.

1.3 磁瓦表面缺陷檢測(cè)

1.3.1 磁瓦表面缺陷檢測(cè)流程磁瓦表面缺陷檢測(cè)流程如圖4 所示，具體檢測(cè)流程如下.1）將待檢測(cè)圖像分為16×16 的圖像塊，根據(jù)掩碼圖像移除待檢圖像中被掩蔽的圖像塊(包括嫌疑缺陷)；2）將步驟1）得到的結(jié)果輸入MIINet，修復(fù)缺陷嫌疑區(qū)域，得到修復(fù)圖像；3）將待檢測(cè)圖像與修復(fù)圖像進(jìn)行“減”操作，得到差分圖像；4）對(duì)差分圖像進(jìn)行形態(tài)學(xué)處理，濾除圖像中的小噪點(diǎn)；5）對(duì)步驟4）得到的結(jié)果進(jìn)行閾值判斷.若結(jié)果為無缺陷圖像，則輸出檢測(cè)結(jié)果；若結(jié)果為有缺陷圖像，則進(jìn)一步判定缺陷區(qū)域并輸出檢測(cè)結(jié)果.

圖4 磁瓦表面缺陷檢測(cè)流程Fig.4 Surface defect detection process of magnetic tile

1.3.2 磁瓦表面缺陷檢測(cè) “減”操作的表達(dá)式為

式中：ΔX(r,c) 為“減”操作后的結(jié)果，即差分圖像；X(r,c)、(r,c) 和XV(r,c) 分別為原始圖像、修復(fù)圖像和缺陷嫌疑區(qū)域圖像中第r行第c列的像素值，其中r=0,1,···,223 ；c=0,1,···,223.將MIINet修復(fù)前后圖像進(jìn)行“減”操作，結(jié)果如圖5 所示，其中3D 圖像z軸為2D 圖像灰度像素值，x、y軸為像素點(diǎn)位置坐標(biāo).在無缺陷圖像中，MIINet 修復(fù)前后圖像之間存在微小像素差異；在有缺陷圖像中，存在較大的像素差異.提取差分圖像最高灰度像素值Pmax，作為判別待檢測(cè)圖像是否包含缺陷區(qū)域的標(biāo)準(zhǔn)：

圖5 磁瓦修復(fù)前后的差分圖像Fig.5 Differential image before and after magnetic tile repair

式中：P(0,0) 為第0 行第0 列灰度像素值.采用3σ準(zhǔn)則對(duì)無缺陷磁瓦圖像進(jìn)行統(tǒng)計(jì)分析，并選取判定閾值(用于區(qū)分有無缺陷).本研究選擇的判定閾值為

式中：μ 為圖像的均值；σ 為圖像的標(biāo)準(zhǔn)差；β 為標(biāo)準(zhǔn)差 σ 的系數(shù)，取 β=3；T為閾值.

1.3.3 缺陷區(qū)域判定 如圖6 所示，為了消除差分圖像中殘留的非缺陷區(qū)域，并確定缺陷區(qū)域的輪廓，對(duì)差分圖像進(jìn)行進(jìn)一步檢測(cè)，算法具體流程如下.1）對(duì)比待檢測(cè)圖像與修復(fù)圖像結(jié)構(gòu)相似度，得到結(jié)構(gòu)相似度熱力圖，熱力圖中灰度像素值越高，圖像結(jié)構(gòu)相似度越低，計(jì)算式為

圖6 缺陷區(qū)域判定流程圖Fig.6 Flow chart of defect area determination

式中：μX為X各元素的均值；各元素的均值；各元素的方差；各元素的方差；各元素的協(xié)方差；C1=(k1L)2、C2=(k2L)2均為穩(wěn)定常數(shù)，避免分母為0 時(shí)系統(tǒng)錯(cuò)誤，其中L為像素動(dòng)態(tài)取值范圍，k1=0.01、k2=0.03.2）對(duì)差分圖像進(jìn)行開運(yùn)算，消除背景信息中的細(xì)小噪點(diǎn).3）融合步驟1)、2)得到的結(jié)果圖，在結(jié)構(gòu)相似度熱力圖中去除非缺陷嫌疑區(qū)域灰度像素值.4）對(duì)缺陷嫌疑區(qū)域熱力圖逐像素計(jì)算區(qū)域像素均值，增加缺陷區(qū)域與非缺陷區(qū)域?qū)Ρ榷?計(jì)算式為

式中：Pmor(r,c) 為濾波圖像第r行第c列的像素值，PS(r,c) 為潛在缺陷結(jié)構(gòu)相似度圖第r行第c列的像素值，m為缺陷嫌疑區(qū)域熱力圖中非零像素個(gè)數(shù)的一半.5）在步驟4）結(jié)果圖中提取前10 個(gè)灰度像素值.6）尋找步驟2）結(jié)果圖中所有區(qū)域輪廓.7）依據(jù)步驟5）提取的10 個(gè)灰度像素值對(duì)應(yīng)位置坐標(biāo)，在步驟6）結(jié)果圖中定位缺陷區(qū)域輪廓，得到最終的缺陷輪廓.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

處理器為64 位Win10、Intel(R) Core(TM) i9-12900H@2.50 GHz，CPU 為NVIDIA GeForce RTX 2080 Laptop.試驗(yàn)平臺(tái)為python 3.7，CUDA Toolkit 11.6，OpenCV 1.6.0.

2.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集為中科院自動(dòng)化所公開的磁瓦數(shù)據(jù)集(magnetic tile dataset，MTD)，包含6 種類型的磁瓦圖像，共計(jì)1 344 張.為了滿足MIINet 所需圖片尺寸，將MTD 的圖像裁剪成224×224 的統(tǒng)一尺寸，實(shí)驗(yàn)數(shù)據(jù)集各類別圖片數(shù)目如表1 所示.其中n0為原始數(shù)據(jù)量，ne為實(shí)驗(yàn)數(shù)據(jù)量.在3 324 張F(tuán)ree 類型(無缺陷)圖像中隨機(jī)選取2 000 張，分別進(jìn)行90°、180°和270°的旋轉(zhuǎn)，以及上下翻轉(zhuǎn)和左右翻轉(zhuǎn)操作，得到的24 000 張圖像作為MIINet 的訓(xùn)練集；剩余的1 324 張F(tuán)ree 類型圖像和其他類型的圖像作為MIINet 的測(cè)試集.

表1 磁瓦數(shù)據(jù)集參數(shù)Tab.1 Parameters of magnetic tile dataset

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 磁瓦重建結(jié)果對(duì)比實(shí)驗(yàn) 在無監(jiān)督缺陷檢測(cè)模型中，重建能力是直接影響檢測(cè)結(jié)果的關(guān)鍵因素.檢測(cè)模型的重建能力主要表現(xiàn)在修復(fù)待檢測(cè)磁瓦圖像的缺陷區(qū)域和保持無缺陷區(qū)域的圖像細(xì)節(jié)能力方面.使用相同數(shù)據(jù)集訓(xùn)練DCGAN、DCAE 以及GAN+DA[23]，為了讓這3 種方法在磁瓦數(shù)據(jù)集上達(dá)到最優(yōu)的效果，統(tǒng)一迭代次數(shù)為1 000 次，確保模型損失收斂；為了比較DCGAN、DCAE 以及GAN+DA 和MIINet 的重建能力，選擇5 種不同類型的磁瓦樣本進(jìn)行定性分析.如圖7所示為磁瓦重建實(shí)驗(yàn)結(jié)果，其中列1、2 分別是原始圖像和對(duì)應(yīng)的正確缺陷區(qū)域(ground truth，GT).可以看出，DCAE 和DCGAN 的重建結(jié)果中都存在明顯的缺陷殘留痕跡，特別是DCGAN 無缺陷區(qū)域的紋理細(xì)節(jié)在視覺上明顯丟失嚴(yán)重；GAN+DA幾乎能夠完全修復(fù)如Blowhole、Break 的小面積缺陷，而對(duì)于如Break、Fray 的大面積缺陷，重建圖像中存在明顯缺陷殘留，并且重建圖像中紋理細(xì)節(jié)丟失嚴(yán)重.MIINet 的重建結(jié)果中沒有缺陷殘留痕跡，并且缺陷區(qū)域與非缺陷區(qū)域銜接融洽.實(shí)驗(yàn)結(jié)果表明，所提圖像修復(fù)網(wǎng)絡(luò)具有高質(zhì)量的缺陷區(qū)域修復(fù)能力，為后續(xù)的缺陷檢測(cè)工作奠定了基礎(chǔ).

圖7 不同檢測(cè)模型的磁瓦重建結(jié)果Fig.7 Magnetic tile reconstruction results of different detection models

DCAE 和DCGAN 通常用于均勻、周期性的規(guī)則紋理表面缺陷檢測(cè)，難以處理磁瓦表面正常紋理呈現(xiàn)的非均勻且非周期性的特征.此外，DCAE和DCGAN 的感受野較小，只能對(duì)輸入圖像進(jìn)行簡(jiǎn)單的映射變換，因此訓(xùn)練后的模型無法提取無缺陷圖像本質(zhì)的紋理信息，容易生成與原始圖像高度相似的重建圖像.GAN+DA 通過引入雙頭注意力機(jī)制，增強(qiáng)了GAN 模型捕獲無缺陷圖像數(shù)據(jù)特征的能力，但是重建圖像中無缺陷區(qū)域的細(xì)節(jié)在視覺上丟失嚴(yán)重.與上述模型相比，MIINet 具有捕獲磁瓦圖像本質(zhì)信息的能力，能夠?qū)⑷毕萏卣餍迯?fù)為正常特征，因此在磁瓦圖像的重建和修復(fù)效果最佳.

2.3.2 缺陷嫌疑區(qū)域定位精準(zhǔn)性實(shí)驗(yàn) 為了驗(yàn)證缺陷嫌疑區(qū)域定位的精準(zhǔn)性，在5 種磁瓦類別上進(jìn)行測(cè)試，缺陷嫌疑區(qū)域定位結(jié)果如圖8 所示.可以看出，顯著特征圖不僅有效突出了缺陷特征區(qū)域，而且分析得到的缺陷區(qū)域輪廓清晰；二值化算法分割得到的缺陷嫌疑區(qū)域不僅保留了相對(duì)完整的缺陷特征，而且有效消除了背景信息；MIINet掩碼能夠精準(zhǔn)定位缺陷區(qū)域，完全遮掩缺陷區(qū)域.由5 種磁瓦類別的實(shí)驗(yàn)驗(yàn)證可以得出結(jié)論：采用視覺顯著性和二值化算法定位缺陷嫌疑區(qū)域方面具有較高的準(zhǔn)確性，有助于提高圖像修復(fù)能力和缺陷檢測(cè)的準(zhǔn)確率.

圖8 不同方法的缺陷嫌疑區(qū)域定位結(jié)果Fig.8 Localization results of suspected defect area for different methods

2.3.3 缺陷判定準(zhǔn)確性實(shí)驗(yàn) 為了驗(yàn)證模型對(duì)不同缺陷類型定位的準(zhǔn)確性和對(duì)輪廓檢測(cè)的完整性，檢測(cè)4 種缺陷類型，缺陷判定結(jié)果如圖9 所示.可以看出，所提方法不僅可以準(zhǔn)確地定位缺陷的位置，而且能夠比較完整地檢測(cè)到缺陷區(qū)域輪廓.綜合來看，所提方法具有辨別缺陷區(qū)域與非缺陷區(qū)域的能力.

圖9 MIINet 對(duì)不同缺陷類型的判定結(jié)果Fig.9 Verdict results of different defects by MIINet

2.4 缺陷檢測(cè)性能評(píng)估

為了評(píng)估所提檢測(cè)模型的性能，將所提修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)方法與經(jīng)典圖像重建網(wǎng)絡(luò)DCGAN、DCAE 和3 種具有代表性的磁瓦表面缺陷檢測(cè)方法[23-25]進(jìn)行比較.Li 等[23]采用無監(jiān)督檢測(cè)方法，其訓(xùn)練集中均為無缺陷樣本；Liu 等[24-25]提出弱監(jiān)督檢測(cè)方法，訓(xùn)練集中加入少量的缺陷圖像.實(shí)驗(yàn)均使用MTD 數(shù)據(jù)集，將準(zhǔn)確率Acc、F1 值、受試者工作特性曲線ROC 和ROC 下的面積AUC 作為評(píng)價(jià)指標(biāo).

式中：TP 為無缺陷樣本檢測(cè)正確的數(shù)量，F(xiàn) N 為缺陷樣本檢測(cè)錯(cuò)誤的數(shù)量，F(xiàn)P 為無缺陷樣本檢測(cè)錯(cuò)誤的數(shù)量，TN 為無缺陷樣本檢測(cè)正確的數(shù)量.AUC值為ROC 與其橫軸之間的面積，ROC 的橫軸為假陽率 FPR，縱軸為真陽率 T PR.

在已有的實(shí)驗(yàn)環(huán)境下，構(gòu)建修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)方法，利用測(cè)試集進(jìn)行實(shí)驗(yàn)，結(jié)果如圖10 所示.圖中，pg為MIINet修復(fù)前后圖像做“減”操作得到差分圖像中的最高灰度像素值.實(shí)際閾值T=31.574 853，由式（25）計(jì)算得到.在相同實(shí)驗(yàn)環(huán)境下，采用相同數(shù)據(jù)集訓(xùn)練文獻(xiàn)[23]～[25] 所提模型，迭代次數(shù)統(tǒng)一為1 000 次，以確保模型損失達(dá)到穩(wěn)定狀態(tài).利用同一測(cè)試集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖11 和表2 所示.從檢測(cè)精度和ROC 來看，所提方法較其他5 種檢測(cè)方法的檢測(cè)效果更好，檢測(cè)準(zhǔn)確率Acc至少提高了2.36 個(gè)百分點(diǎn)，F(xiàn)1 值至少提高了1.62個(gè)百分點(diǎn)，AUC 至少提高了0.84 個(gè)百分點(diǎn).模型檢測(cè)精度是間接反映模型將異常視覺特征修復(fù)為正常特征能力的參數(shù)，所提方法在磁瓦數(shù)據(jù)集上擁有較高檢測(cè)精度，更符合工業(yè)生產(chǎn)線對(duì)可靠性的要求.

表2 6 種檢測(cè)方法的檢測(cè)精度比較Tab.2 Comparison of detection accuracy for six detection methods

圖10 磁瓦表面缺陷檢測(cè)結(jié)果Fig.10 Magnet tile surface defect detection results

圖11 6 種檢測(cè)方法受試者工作特供曲線比較Fig.11 Comparison of receiver operating characteristic curves for six detection methods

2.5 模型失效實(shí)驗(yàn)

本研究模型在MTD 數(shù)據(jù)集上整體表現(xiàn)良好，但在部分圖像上失效，例樣本檢測(cè)過程如表3 所示，其中NF為修復(fù)失效的圖片數(shù)量.主要失效原因如下.類型1：在修復(fù)圖像時(shí)，模型難以對(duì)與異常視覺特征相似的表面紋理進(jìn)行高質(zhì)量修復(fù)，圖片共計(jì)25 張.類型2：在定位缺陷嫌疑區(qū)域時(shí)，算法不能對(duì)與正常特征對(duì)比度低的缺陷特征區(qū)域進(jìn)行精準(zhǔn)遮掩，圖片共計(jì)23 張.類型3：在判定缺陷區(qū)域時(shí)，算法難以準(zhǔn)確判定與正常紋理重合的缺陷區(qū)域，圖片共計(jì)8 張.未來研究可以進(jìn)一步優(yōu)化和提升磁瓦表面缺陷檢測(cè)中類型1、2 的有效性，以提高模型的穩(wěn)定性.

表3 本研究部分模型失效樣本檢測(cè)過程Tab.3 Failure sample detection process of proposed model

3 結(jié)論

(1)提出新的圖像修復(fù)網(wǎng)絡(luò)MIINet，引入多頭注意力機(jī)制，長(zhǎng)距離分析圖像特征，充分學(xué)習(xí)修復(fù)不規(guī)則紋理所需表面特征信息.MIINet 使用無缺陷圖像進(jìn)行訓(xùn)練，通過掩碼遮蔽的方式修復(fù)有缺陷圖像的缺陷區(qū)域，得到無缺陷圖像利用判別閾值和SSIM，對(duì)修復(fù)前后的差分圖像進(jìn)行缺陷檢測(cè)和缺陷區(qū)域判定.

(2)為了使模型能夠精準(zhǔn)修復(fù)有缺陷圖像中的缺陷區(qū)域，構(gòu)建缺陷嫌疑區(qū)域定位方法.將原始圖像經(jīng)過視覺顯著性分析，得到顯著特征圖；利用二值化算法消除顯著特征圖的背景信息，確定缺陷嫌疑區(qū)域；將缺陷嫌疑區(qū)域結(jié)果圖轉(zhuǎn)化為MIINet 掩碼，為MIINet 提供目標(biāo)修復(fù)區(qū)域.

(3)實(shí)驗(yàn)結(jié)果表明，修復(fù)缺陷嫌疑區(qū)域的無監(jiān)督磁瓦表面缺陷檢測(cè)方法具有將異常視覺特征轉(zhuǎn)化為正常特征的能力，缺陷檢測(cè)準(zhǔn)確率、F1 值和AUC 值分別為96.87%、97.93%、95.88%.與經(jīng)典磁瓦表面缺陷檢測(cè)方法進(jìn)行相比，該方法解決了磁瓦缺陷樣本數(shù)量少和缺陷類型不確定的問題，檢測(cè)效果更好.