使用候選框進行全卷積網(wǎng)絡(luò)修正的目標分割算法

彭大芹，劉 恒,2，許國良

(1.重慶郵電大學(xué) 電子信息與網(wǎng)絡(luò)工程研究院，重慶 400065;2.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 前 言

目標分割是計算機視覺領(lǐng)域中一項重要的技術(shù)，在實際生活中和工業(yè)生產(chǎn)中廣泛應(yīng)用，諸如自動駕駛系統(tǒng)中對路面上行人和馬路的分割，在缺陷檢測系統(tǒng)中對工業(yè)生產(chǎn)中出現(xiàn)的各類表面缺陷的檢測。然而，由于現(xiàn)有技術(shù)在速度和精度上達不到工業(yè)生產(chǎn)的需求，目標分割技術(shù)在工業(yè)生產(chǎn)線上應(yīng)用水平目前還處于比較不充分的層次。以液晶面板的缺陷檢測為例，目前針對液晶面板的檢測仍部分依賴于有專業(yè)經(jīng)驗的工人靠肉眼觀察，受人工檢測中主觀和客觀方面條件的限制，很難實現(xiàn)高效、精準和穩(wěn)定的液晶面板缺陷檢測。傳統(tǒng)機器視覺的方法受限于其手工提取特征的方式，往往僅能在特定的幾種缺陷場景下發(fā)揮良好性能，對于新型缺陷缺乏良好的自適應(yīng)性和泛化性能，此外，也有研究者[1]使用數(shù)據(jù)場和水平集的方法進行圖像分割，但仍然局限于這些特征的低效性。近年來隨著深度學(xué)習(xí)在機器視覺領(lǐng)域的應(yīng)用，催生了一大批在目標檢測領(lǐng)域的成功案例，文獻[2]中使用YOLO算法對車牌進行自動識別。YOLO系列[3-4]算法是J. Redmon等于2016年提出的單階段目標檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)將對各個目標的分類和對位置坐標的回歸同時輸出，極大地提高了目標檢測的速度，但是由于輸入的錨框誤差被直接傳導(dǎo)至輸出層，其檢測精度比相較于R-CNN系列[5-7]的兩階段網(wǎng)絡(luò)有一定的差距。

目標的分割任務(wù)相比于目標檢測任務(wù)而言具有更高的要求，需要對輸入圖片進行逐像素分類。目前實現(xiàn)目標分割任務(wù)有2種思路：①以R-CNN系列中最新的Mask R-CNN(mask region convolutional neural network)[8]為代表的先檢測、后分割的技術(shù)路線。具體的思路是首先依靠候選框網(wǎng)絡(luò)，產(chǎn)生高置信度的候選框?qū)崿F(xiàn)了對待檢測目標的框定及分類，然后將框內(nèi)的特征像素導(dǎo)入全卷積網(wǎng)絡(luò)，進而得到分割掩碼。這種方式能夠?qū)崿F(xiàn)較高的分割精度，但對于液晶面板場景中多種尺度共存、語義信息模糊的缺陷，其檢測精度達不到要求，這是因為候選框內(nèi)的特征圖的像素分辨率相較于原圖已經(jīng)縮小了數(shù)十倍，在此之上進行反卷積操作導(dǎo)致最終分割粒度太粗，小目標的缺陷很容易被忽略；②直接將卷積神經(jīng)網(wǎng)絡(luò)最后一層卷積層的特征進行上采樣，得到和原圖相同分辨率的特征圖，這就是全卷積網(wǎng)絡(luò)。典型的全卷積網(wǎng)絡(luò)結(jié)構(gòu)有FCN[9]，DeconvNet[10]，SegNet[11]和DeepLab[12]等網(wǎng)絡(luò)。這種方法存在的問題是在全卷積網(wǎng)絡(luò)中反卷積和上池化操作丟失了目標的位置信息，雖然分割粒度滿足了要求，但是特征圖中對目標位置的分割發(fā)生了較大偏差。

基于上述2種算法的優(yōu)缺點，本文提出將目標檢測中最核心的候選框網(wǎng)絡(luò)(region proposal network, RPN)和具有高分辨率輸出特征圖的全卷積網(wǎng)絡(luò)進行有機結(jié)合，利用高置信度的候選框?qū)θ矸e網(wǎng)絡(luò)輸出的多通道類別缺陷分割圖進行逐通道預(yù)矯正，進而實現(xiàn)對液晶面板中各種尺度差異缺陷的精準分割。本文所提網(wǎng)絡(luò)被稱為帶RPN的全卷積網(wǎng)絡(luò)結(jié)構(gòu)(fully convolution network with region proposal network, FCN-RPNet)。

1 全卷積網(wǎng)絡(luò)和候選框網(wǎng)絡(luò)

1.1 輸出多通道類別分割圖的全卷積網(wǎng)絡(luò)

最早使用全卷積網(wǎng)絡(luò)做分割任務(wù)是在文獻[8]中提出的FCN，作者分別基于AlexNet[13]、VGG-16[14]和GoogLeNet[15]構(gòu)建了全卷積網(wǎng)絡(luò)的主干部分，然后將全連接層以卷積化的形式表現(xiàn)，構(gòu)成了不含全連接層的網(wǎng)絡(luò)結(jié)構(gòu)。在最后一層卷積層的基礎(chǔ)上，使用雙線性插值完成上采樣，最后輸出和原圖相同大小的分割圖。在實施上采樣時，采取了多層級多倍率的上采樣方案，在最后一層基礎(chǔ)上擴大32倍，得到分割圖，在Pool4層上擴大16倍，在Pool3層上擴大8倍。這種單次上采樣的方案雖然取得了一定的效果，但是由于上采樣倍率過大時，導(dǎo)致分割精度較差，而在放大倍率較小的特征處，其特征提取的信息有限，因此，這種上采樣方式在后續(xù)很快被改進。隨后以SegNet和DeconvNet為代表的語義分割網(wǎng)絡(luò)均使用了反卷積和上池化操作進行上采樣，并使用學(xué)習(xí)的方式對反卷積參數(shù)進行調(diào)整。圖1為使用了卷積-反卷積方式的語義分割網(wǎng)絡(luò)。

圖1 運用反卷積進行上采樣的全卷積網(wǎng)絡(luò)Fig.1 Fully convolutional network usingdeconvolution for upsampling

網(wǎng)絡(luò)的輸入為W×H×3的圖片，其中，W×H表示圖片的尺寸，3表示RGB三通道。網(wǎng)絡(luò)的輸出為W×H的分割圖。(1)式為網(wǎng)絡(luò)的損失函數(shù)。

(1)

使用RPN直接對全卷積網(wǎng)絡(luò)輸出的單通道分割圖進行預(yù)矯正，進行預(yù)矯正提升效果并不明顯，因為該分割圖包含全部缺陷類別的信息，針對每種缺陷的分割信息有限，如若對每種缺陷進行位置信息的預(yù)矯正，則需要單獨得到每種缺陷的分割圖。基于此，提出將全卷積網(wǎng)絡(luò)輸出增加為多通道的輸出分割圖，每通道代表對一種缺陷的分割圖，并提出使用多通道的損失函數(shù)作為目標函數(shù)。如圖2。

圖2 輸出多通道類別分割圖的全卷積網(wǎng)絡(luò)Fig.2 Fully convolutional network with outputs of multi-channel class segmentation maps

輸出的特征分割圖的大小為W×H×(C+1)，其中，C代表需要分類的C種液晶面板缺陷；1代表背景區(qū)域。基于此輸出結(jié)構(gòu)，提出多通道的損失函數(shù)，如(2)式

(2)

(2)式中，Lc代表每個分割通道的損失函數(shù)。其表達式為

(3)

1.2 候選框網(wǎng)絡(luò)

目標檢測技術(shù)能夠快速發(fā)展的重要技術(shù)創(chuàng)新是以R-CNN為代表的系列神經(jīng)網(wǎng)絡(luò)架構(gòu)提出了候選框進行初步框定的思想。候選框的出現(xiàn)使得兩階段的目標檢測算法在性能上領(lǐng)先于其他的檢測算法。

早期的候選框提取方式仍然采用了傳統(tǒng)手工構(gòu)造特征的方式，比如選擇搜索算法[16]等，這些方法利用各類基于非學(xué)習(xí)類的特征，諸如邊緣梯度、顏色直方圖、統(tǒng)計分布特征等來進行候選區(qū)域的提取。這些方法能夠較好地提取可能存在前景的候選區(qū)域，但是前提往往是其需要產(chǎn)生海量的候選框才能基本囊括全部的前景可能存在的區(qū)域，由此，導(dǎo)致檢測效率比較低效，因此，很快被后續(xù)的算法所改進。

在Faster R-CNN中，將候選區(qū)域的提取首次視為學(xué)習(xí)的過程，使用卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合預(yù)先定義的錨框機制，并使用包含分類和回歸任務(wù)的損失函數(shù)，較好地產(chǎn)生了具有高置信度的候選區(qū)域，也因此降低了所需候選框的數(shù)量，大大提高了網(wǎng)絡(luò)的檢測效率。圖3為RPN網(wǎng)絡(luò)示意圖。

圖3 RPN示意圖Fig.3 Schematic of RPN

假設(shè)在高層特征圖上以每個特征像素點為中心，按照預(yù)先設(shè)定的各種尺度和比例的錨框進行滑動檢測，錨框的設(shè)定是根據(jù)先驗信息通過聚類得到的，在液晶面板缺陷檢測任務(wù)中，使用了5種不同尺度和3種不同比例的錨框，這5種尺度分別為：2，8，16，32，64，3種不同的比例分別為1∶1，1∶2，2∶1(見圖3)。也就是每個像素塊有5×3=15種錨框進行滑動檢測，每種錨框所覆蓋的區(qū)域?qū)⒈惶崛≈梁罄m(xù)的全連接層。后續(xù)的2個網(wǎng)絡(luò)分支分別對這些候選區(qū)域進行分類和回歸操作，分類使用Softmax損失，回歸使用Smooth L1損失，如(4)式所示，總的誤差函數(shù)如(5)式

(4)

(5)

(5)式中：pi表示前景的預(yù)測概率;pi*表示標簽值，當(dāng)對應(yīng)區(qū)域是缺陷目標時為1，否則為0。第2項中乘以該標記值的目的是僅對包含了缺陷目標的候選框計算位置損失。ti,ti*分別表示預(yù)測的位置值和真實位置值標簽，它們是一個向量，其表達式為(6)式

(6)

(6)式中：xa,ya,wa,ha分別表示anchor的中心坐標及其寬高;x,y,w,h分別表示預(yù)測出來的矩形框的中心坐標及其寬高;x*,y*,w*,h*表示真實缺陷框的中心坐標及其寬高。

2 使用候選框?qū)θ矸e的類別分割圖逐通道矯正

2.1 算法框架

由于全卷積網(wǎng)絡(luò)中存在反卷積和上池化的操作，因此，在此過程丟失了關(guān)于目標的位置信息，從而對分割結(jié)果產(chǎn)生了較大的位置損失。而液晶面板的缺陷檢測具有多種尺度缺陷共存、缺陷語義模糊和背景前景差異性小等難題，這些小目標和語義信息模糊的缺陷信息在反卷積過程中很容易產(chǎn)生位置飄移，從而導(dǎo)致對缺陷的分割精度大大降低。為了解決這一問題，提出使用RPN對卷積神經(jīng)網(wǎng)絡(luò)正向卷積特征圖中的位置信息進行提取，以高置信度的候選框?qū)θ矸e網(wǎng)絡(luò)的多通道輸出分割圖進行逐通道預(yù)矯正，達到對位置信息增益的效果。本文提出的使用RPN網(wǎng)絡(luò)對全卷積網(wǎng)絡(luò)輸出的多類別分割圖進行逐通道預(yù)矯正的算法框架如圖4。

圖4中，算法整體由7個元素組成，首先由ResNet-101和深度反卷積網(wǎng)絡(luò)構(gòu)成全卷積網(wǎng)絡(luò)的主體部分，然后以ResNet-101中的高層特征圖為RPN的輸入，產(chǎn)生若干高置信度的缺陷目標候選框，基于候選框?qū)θ矸e網(wǎng)絡(luò)輸出的多通道類別分割圖進行逐通道預(yù)矯正。使用矯正后的多通道類別分割圖進行逐像素分割，最后計算分割圖和真實分割圖之間的損失，并將其反饋至逐通道預(yù)矯正模塊，更新預(yù)矯正參數(shù)，直至預(yù)矯正損失收斂。

圖4 使用RPN對全卷積網(wǎng)絡(luò)進行逐通道預(yù)矯正算法框架圖Fig.4 Frame-by-channel pre-correction algorithmframework for full convolutional networks using RPN

2.2 逐通道預(yù)矯正

圖5是逐通道預(yù)矯正算法部分示意圖，算法的輸入為2個部分：全卷積網(wǎng)絡(luò)的多通道類別分割圖和RPN提取的高置信度候選框區(qū)域。算法主體由2個模塊組成：①逐通道預(yù)矯正模塊；②預(yù)矯正損失反饋模塊。由于候選框網(wǎng)絡(luò)產(chǎn)生的是高置信度的候選框，其包含了非常豐富的關(guān)于待檢測缺陷的位置信息，但其和實際缺陷位置仍有細小的偏差，因此，使用這些候選框進行缺陷矯正時，只能稱為預(yù)矯正算法，配合學(xué)習(xí)過程一同完成對分割區(qū)域矯正。為了更精細化地修正缺陷位置，因此使用預(yù)矯正損失，使用少量樣本數(shù)據(jù)，學(xué)習(xí)預(yù)矯正中的參數(shù)。

圖5 逐通道矯正算法示意圖Fig.5 Schematic diagram of channel-by-channel correction algorithm

首先介紹使用高置信度的候選框?qū)蝹€通道的缺陷分割圖進行預(yù)矯正的算法。其算法流程如圖6。

(7)

(8)

(9)

圖6 對單通道缺陷分割圖進行預(yù)矯正示意圖Fig.6 Pre-correction diagram for single-channeldefect segmentation

圖7 使用學(xué)習(xí)的預(yù)矯正參數(shù)對缺陷位置進行微調(diào)Fig.7 Fine-tune the defect location using the learnedpre-correction parameters

使用上述算法依次對全部通道進行預(yù)矯正，得到(C+1)個通道的矯正后子類分割圖。對全部通道相同像素位置的值使用Softmax回歸進行逐像素分類，進而得到最后的液晶面板缺陷分割圖，如圖5。

3 實驗與分析

3.1 實驗數(shù)據(jù)來源

為了驗證本文算法的有效性和穩(wěn)定性，本文分別在2種場景下進行了對比分析實驗：通用視覺場景和液晶面板缺陷檢測場景。前一種環(huán)境下語義信息更加豐富，重點考察了網(wǎng)絡(luò)對語義信息提取的能力，后者場景中存在較多不規(guī)則和小目標缺陷，考察了網(wǎng)絡(luò)在語義模糊情況下的穩(wěn)定性。

在對液晶面板缺陷檢測場景的分割實驗中，課題依托于重慶市技術(shù)創(chuàng)新與應(yīng)用示范專項產(chǎn)業(yè)類重點研發(fā)項目，基于中國信息通信研究院西部分院自主研制的一體式自動采集裝置在重慶美景光電工業(yè)園液晶面板生產(chǎn)基地進行了數(shù)據(jù)集的采集。并對數(shù)據(jù)集進行了預(yù)處理，形成了液晶面板缺陷數(shù)據(jù)集TFT-LCD。數(shù)據(jù)集包含各類缺陷圖片和經(jīng)過數(shù)據(jù)增強新增的圖片共計10 000張。包含Mura、背景白印、劃痕、暗斑等多種缺陷，其中以Mura缺陷居多。圖8為數(shù)據(jù)集中典型缺陷示意圖。

表1 圖像數(shù)據(jù)集

基于上述數(shù)據(jù)集，本文在Caffe框架下搭建了全卷積網(wǎng)絡(luò)，實驗環(huán)境為Intel Core i7-7700HQ、CPU3.50 GHz、GPU Nvidia1 080、內(nèi)存16 GByte。

圖8 典型的液晶面板缺陷Fig.8 Typical LCD panel defect

在對通用視覺場景的分割實驗中，課題選取了CamVid公開數(shù)據(jù)集[17-18]作為訓(xùn)練集和測試集。CamVid數(shù)據(jù)集是一個包含街景圖片的公開數(shù)據(jù)集。

3.2 準確度分析

網(wǎng)絡(luò)的訓(xùn)練分為2個階段進行，第1階段對基于ResNet-101構(gòu)建的全卷積網(wǎng)絡(luò)前半部分進行單獨訓(xùn)練，首先使用從網(wǎng)絡(luò)下載的已在ImageNet數(shù)據(jù)集上收斂的權(quán)重進行初始化，然后使用TFT-LCD數(shù)據(jù)集進行遷移學(xué)習(xí)的訓(xùn)練，使用多分類損失函數(shù)，并使用隨機梯度下降算法(stochastic gradient descent, SGD)進行參數(shù)的更新，網(wǎng)絡(luò)的初始學(xué)習(xí)率Ir=0.01，動量參數(shù)設(shè)為mentum=0.85，學(xué)習(xí)衰減率設(shè)為decay=1×e-6。在液晶面板缺陷數(shù)據(jù)集TFT-LCD訓(xùn)練下?lián)p失函數(shù)的輸出值和迭代次數(shù)變化圖如圖9。

圖9 基于ResNet網(wǎng)絡(luò)搭建的3種算法訓(xùn)練損失Fig.9 Loss of ResNet-101 training with the TFT-LCDdata set

圖9分別顯示3種算法SegNet,DeepLab v3和本文算法分別在TFT-LCD數(shù)據(jù)集訓(xùn)練下的MSE損失。從圖9中可以發(fā)現(xiàn)，本文的方法在網(wǎng)絡(luò)迭代至1 500次左右時趨于穩(wěn)定，在訓(xùn)練初期網(wǎng)絡(luò)的損失下降得比較快，由于網(wǎng)絡(luò)的訓(xùn)練是在已導(dǎo)入預(yù)訓(xùn)練權(quán)重之上進行的，網(wǎng)絡(luò)很快便進入逐漸收斂的狀態(tài)。在網(wǎng)絡(luò)收斂時，本文方法的MSE損失小于0.1。同時可以看出，其余2種算法在前期損失函數(shù)的下降同樣比較迅速，在2 000次迭代后逐漸趨于穩(wěn)定，在網(wǎng)絡(luò)最后收斂之和，他們的損失分別超過了0.3和0.5，由此，表明使用多通道損失函數(shù)的全卷積網(wǎng)絡(luò)能夠取得更好的網(wǎng)絡(luò)學(xué)習(xí)效果。第2階段的訓(xùn)練為反卷積網(wǎng)絡(luò)的訓(xùn)練，固定第一階段網(wǎng)絡(luò)的參數(shù)，使用TFT-LCD的分割標簽進行反卷積網(wǎng)絡(luò)的訓(xùn)練，使用標準差為0.01的零均值高斯分布對反卷積網(wǎng)絡(luò)參數(shù)權(quán)重的初始化，學(xué)習(xí)的其他參數(shù)同上。并使用(2)式的多通道損失函數(shù)。

圖10為本文方法、SegNet算法、SegNet+RPN算法和DeepLab v3 4種算法的精確度的數(shù)值隨著迭代次數(shù)變化的曲線。訓(xùn)練至1 200次左右，網(wǎng)絡(luò)逐漸收斂，全卷積網(wǎng)絡(luò)像素分類的平均精度到達91%。DeepLab v3算法在收斂后精確度為89%，SegNet+RPN和SegNet在收斂后的精度分別為88%和87%。由此證明了使用RPN進行修正后的目標分割算法對分割的整體精度有一定的改善。

圖10 反卷積網(wǎng)絡(luò)精確度Fig.10 Deconvolution network accuracy

3.3 分割輸出位置性能分析

為驗證候選框網(wǎng)絡(luò)提取的位置信息對全卷積網(wǎng)絡(luò)最終的分割缺陷的位置產(chǎn)生了正向增益，本文進行了多組實驗測試全卷積網(wǎng)絡(luò)在液晶面板缺陷檢測位置精度方面的性能。為了使得分析過程更加清晰，本文現(xiàn)對本節(jié)采用的評價指標進行說明。本文使用的評價指標平均交并比(mean intersection over union, mIoU)為

(10)

(10)式中：N為全部缺陷的數(shù)量;mIoU計算了全部液晶面板真實缺陷及其分割圖間的交并比的統(tǒng)計平均值。

圖11對比了3種分割算法在不同情況下的mIoU的值。橫坐標表示像素級分割時判斷為各類缺陷的置信度閾值，當(dāng)大于該值時，認定為缺陷，否則為背景區(qū)域。

圖11 不同置信度閾值判定下的mean IU圖Fig.11 Mean IU diagram under different confidence thresholds

此外，為了衡量對缺陷的誤檢和漏檢方面的性能，使用平均精確率(mean average precision,mAP)性能指標對其進行衡量，指標mAP的定義式為

(11)

(11)式中：N表示缺陷的類別數(shù)量；Pi表示第i種缺陷的準確率;ri表示第i種缺陷的召回率。

從圖11中可知，本文所提的方法在各種缺陷置信度判定閾值下均取得了超過或者持平于當(dāng)前最領(lǐng)先分割算法的mIoU，這表明使用RPN進行預(yù)矯正后，習(xí)得了關(guān)于缺陷位置的特征，能較好地在原有分割的基礎(chǔ)上對缺陷位置進行微調(diào)，從而使得更多的像素點被分割成其正確的類別。此外，從圖11中的散點在水平方向的走勢中可以看出，mIoU的值先是處于上升的趨勢，當(dāng)置信度大于一定值時，mIoU整體的性能會降低。產(chǎn)生這一結(jié)果是因為當(dāng)判定是否為缺陷的閾值提高時，更多的點會被分割正確判定為其原有的屬性，因此，分割圖與真實缺陷區(qū)域之間的重疊的面積會更多，當(dāng)判定閾值升高至一定水平時，由于分割誤差導(dǎo)致網(wǎng)絡(luò)對其的置信度并沒有那么高，所以會被判定為非缺陷區(qū)域，更多的點被誤分類，因此，造成分割區(qū)域與真實缺陷區(qū)域重疊面積降低，由此拉低了mIoU的值。

3.4 分割性能分析

為驗證使用RPN對全卷積網(wǎng)絡(luò)多通道輸出進行逐通道預(yù)矯正后的分割精度是否得到了提升，本節(jié)使用mAP對其輸出分割圖進行評價。表2對SegNet和DeepLab v3 2種算法以及在這2種算法之上進行了候選框預(yù)矯正之后的算法進行性能對比。SegNet和DeepLab v3分別是2015年和2018被提出的2種性能優(yōu)異的目標分割算法。此外還對候選框網(wǎng)絡(luò)所產(chǎn)生的候選置信度閾值進行了調(diào)整，對比不同數(shù)量和置信度條件下的候選框?qū)λ惴ㄕw分割和檢測性能影響。

表2中的SegNet[M]和DeepLab v3[M]表示分別將其輸出分割圖改進為多通道輸出之后的網(wǎng)絡(luò)。從表2中可以看到，在已有的全卷積網(wǎng)絡(luò)分割算法之上使用RPN進行逐通道的缺陷位置預(yù)矯正后，其目標分割性能得到了提升，相較于使用了RPN的DeepLab v3算法相比于使用前其mIoU提升了7.5%，mAP提升了6.5%。當(dāng)在候選框網(wǎng)絡(luò)中使用不同的置信度閾值時，產(chǎn)生候選框的質(zhì)量和數(shù)量不一樣，其對算法最后的性能也產(chǎn)生了影響，當(dāng)置信度閾值為0.9時，平均產(chǎn)生約10個候選框，當(dāng)置信度閾值為0.8時，平均產(chǎn)生30個候選框，經(jīng)過實驗發(fā)現(xiàn)，置信度較高的候選框數(shù)量多時，其能夠小幅提升分割性能。在效率方面，可以看出添加了RPN結(jié)構(gòu)的SegNet和DeepLab v3相較于未添加時，檢測效率有略微的降低。

除了對缺陷進行完整的分割之外，對漏檢和誤檢的分析也是對算法分析的基本要求，為單獨驗證算法對單種缺陷的檢測性能，以Mura缺陷為實驗對象，進行了測試。圖12為不同算法在針對Mura缺陷進行檢測時的Precison-Recall性能圖。

從圖12中可以看出，在使用了反卷積的SegNet網(wǎng)絡(luò)，目前分割性能領(lǐng)先的DeepLab v3種，使用RPN預(yù)矯正算法在其分割輸出進行逐通道分割，并學(xué)習(xí)少量參數(shù)再進行微調(diào)的方案之后，網(wǎng)絡(luò)的分割性能均得到了不同程度的提升，其中在SegNet網(wǎng)絡(luò)上提升比較有限，這是因為其全卷積網(wǎng)絡(luò)分割原始的特征圖遺失的缺陷太多，導(dǎo)致使用候選框進行矯正時，找不到矯正目標，因此，最終矯正結(jié)果只能取得較為有限的提升。

圖13 多種分割算法在液晶面板上分割效果對比圖Fig.13 Comparison of segmentation effects of multiplesegmentation algorithms on a liquid crystal panel

圖13和圖14分別顯示了本文算法和其他基于全卷積網(wǎng)絡(luò)分割算法在常見液晶面板缺陷場景以及通用視覺場景的這兩類場景上的分割效果圖。在圖13中可以看出，本文算法對缺陷位置的預(yù)測的精確度和精細化程度方面均優(yōu)于其他2種算法，圖13中第一行是常見的Mura缺陷，使用多通道損失以及候選框逐通道微調(diào)后，算法的分割性能得到了較好的提升，對Mura缺陷的邊緣和主體部分更好地進行了分割，在劃痕和暗斑區(qū)域等缺陷上也取得了良好的分割性能。圖14第1列為CamVid數(shù)據(jù)集中的幾種街景圖片；第2列為CamVid數(shù)據(jù)集中對應(yīng)結(jié)晶圖片的標簽；第3列為使用DeepLab v3算法對街景圖片的分割圖；第4列為本文算法對該街景照片的分割效果圖。從圖14中可以看出，相較于DeepLab v3的分割效果而言，本文算法在對房子的輪廓的分割、對行人的分割、對道路斑馬線和對道路路沿等部分的分割效果均取得更優(yōu)的分割表現(xiàn)，驗證了本文算法在多種場景下的分割性能具有較強的穩(wěn)定性。

圖14 多種分割算法在CamVid數(shù)據(jù)集上分割效果對比圖Fig.14 Comparison of segmentation effects of multiplesegmentation algorithms on CamVid datasets

4 結(jié)束語

本文針對現(xiàn)有全卷積網(wǎng)絡(luò)在液晶面板缺陷分割任務(wù)中精度差、位置信息丟失等問題，提出了使用多通道損失函數(shù)的全卷積網(wǎng)絡(luò)，并利用候選框網(wǎng)絡(luò)學(xué)習(xí)關(guān)于缺陷目標位置信息的候選框，使用預(yù)矯正算法對全卷積網(wǎng)絡(luò)輸出的多通道類別分割圖進行逐通道修正，并基于修正損失的反饋對預(yù)矯正參數(shù)進行微調(diào)。通過多組實驗對比分析表明，該算法在液晶面板缺陷檢測上取得了超過目前領(lǐng)先的目標分割網(wǎng)絡(luò)的性能，基于該算法改進后的DeepLab v3相較于未改進前的mIoU提升了7.5%。同時在CamVid街景數(shù)據(jù)集上進行了測試，實驗結(jié)果顯示，相比于目前目標分割領(lǐng)域性能領(lǐng)先的DeepLab v3算法的分割效果而言，本文算法在對前景的分割細節(jié)上取得了更好的效果，驗證了算法的穩(wěn)定性。