基于改進(jìn)的Faster R-CNN的古建筑地磚缺陷檢測(cè)

陳 利，劉艷艷

(1.南開(kāi)大學(xué) 光電子薄膜器件與技術(shù)天津市重點(diǎn)實(shí)驗(yàn)室，天津 300350；2.南開(kāi)大學(xué) 薄膜光電子技術(shù)教育部工程研究中心，天津 300350)

0 引言

隨著科技高速發(fā)展，對(duì)文物的保護(hù)和修繕越來(lái)越得到重視。傳統(tǒng)對(duì)文物的缺陷檢測(cè)主要依靠人力進(jìn)行目視檢查，但容易受到天氣、時(shí)間等原因影響。地磚缺陷具有形狀不規(guī)則、背景噪聲系數(shù)大等特征，目前大多數(shù)缺陷檢測(cè)算法都是根據(jù)應(yīng)用場(chǎng)景不同進(jìn)行手工提取缺陷特征，直接或者通過(guò)機(jī)器學(xué)習(xí)算法進(jìn)行分類(lèi)[1]。這種有監(jiān)督機(jī)器學(xué)習(xí)存在一定局限性，受圖片中缺陷類(lèi)別數(shù)目、特征形狀等因素影響，人為提取特征需要具有很強(qiáng)的專(zhuān)業(yè)性，檢測(cè)結(jié)果不好，魯棒性差，所以不能很好地適用于對(duì)地磚缺陷檢測(cè)。

隨著計(jì)算機(jī)視覺(jué)不斷發(fā)展，深度學(xué)習(xí)作為計(jì)算機(jī)視覺(jué)的分支，越來(lái)越受到人們重視，目標(biāo)檢測(cè)是深度學(xué)習(xí)的廣泛應(yīng)用之一。近些年來(lái)，目標(biāo)檢測(cè)取得了很大突破。目標(biāo)檢測(cè)主要分為兩類(lèi)：一類(lèi)是基于候選框的R-CNN(Region Convolutional Neural Network)系列算法，如 R-CNN、Fast R-CNN(Fast Region Convolutional Neural Network)、Faster R-CNN(Faster Region Convolutional Neural Network)[2]，它們是生成候選框后進(jìn)行分類(lèi)和位置回歸；另一類(lèi)是YOLO(You Only Look Once)[3]、SSD(Single Shot MultiBox Detector)，從回歸角度出發(fā)，直接在圖像中回歸出目標(biāo)邊框和位置，這類(lèi)算法僅使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。第一類(lèi)方法準(zhǔn)確度高，速度慢；第二類(lèi)算法速度快，可以到達(dá)實(shí)時(shí)檢測(cè)，但是準(zhǔn)確性低。

目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法很多，應(yīng)用在目標(biāo)檢測(cè)的效果也很突出[4-6]，但是現(xiàn)有算法在缺陷檢測(cè)中并不能很好地體現(xiàn)出來(lái)[7-9]，尤其是在地磚缺陷檢測(cè)中，現(xiàn)有目標(biāo)檢測(cè)算法受限于地磚特征的多樣性以及紋理特性。為此，本文提出了一種基于改進(jìn)型Faster R-CNN網(wǎng)絡(luò)用于檢測(cè)地磚缺陷。對(duì)卷積核中每個(gè)采樣點(diǎn)位置都增加了一個(gè)偏移變量，通過(guò)這些變量，卷積核就可以在當(dāng)前位置附近隨意采樣，而不再局限于之前的規(guī)則格點(diǎn)，形狀多變的感受野豐富了語(yǔ)義信息，從而提高檢測(cè)精度[3]。

1 基本原理

1.1 可變形卷積

在地磚缺陷數(shù)據(jù)集中，缺陷具有大小不一、形狀不同等特點(diǎn)，而Faster R-CNN中卷積網(wǎng)絡(luò)模塊采用固定3×3卷積核，所有激活層的感受野具有一致性，但是由于不同位置可能對(duì)應(yīng)著不同尺度的物體，因此很有必要對(duì)尺度或者感受野進(jìn)行自適應(yīng)調(diào)整，進(jìn)而更精確地定位。地磚缺陷這類(lèi)非剛性目標(biāo)，在圖片中形狀、大小不同，固定的幾何結(jié)構(gòu)已經(jīng)無(wú)法提取更準(zhǔn)確的特征。為此，本文引入可變形卷積模塊，將標(biāo)準(zhǔn)卷積核替換成可變形卷積核[10]。

可變形卷積示意圖如圖1所示，圖1(a)是標(biāo)準(zhǔn)的3×3卷積操作，圖1(b)是加入偏置量之后的采樣點(diǎn)的變化，圖1(c)是特殊的各種尺度變換，當(dāng)出現(xiàn)圖1(d)所示情況時(shí)，則卷積具有各向異性、旋轉(zhuǎn)變換等特點(diǎn)。

圖1 可變形卷積采樣點(diǎn)變化

在可變形卷積網(wǎng)絡(luò)中，卷積和池化操作是二維，在同一個(gè)通道上進(jìn)行，卷積操作在輸入的特征圖X上使用規(guī)則網(wǎng)格R采樣，然后進(jìn)行加權(quán)運(yùn)算，R定義了感受的大小和擴(kuò)張。對(duì)于在輸出的特征圖上的每個(gè)點(diǎn)的位置P0，通過(guò)下式計(jì)算：

其中，Δpn為偏置量，是一個(gè)分?jǐn)?shù)；W 是采樣點(diǎn)權(quán)重；pn是標(biāo)準(zhǔn)采樣位置。現(xiàn)在，采樣位置變成了不固定位置，由于Δpn通常是小數(shù)，而非整數(shù)坐標(biāo)是無(wú)法在圖像這種離散整數(shù)數(shù)據(jù)上使用，因此通過(guò)雙線性插值法進(jìn)行實(shí)現(xiàn)，該方法通過(guò)尋找距離這個(gè)對(duì)應(yīng)坐標(biāo)最近的4個(gè)像素點(diǎn)來(lái)計(jì)算該點(diǎn)值?？勺冃尉矸e網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，在輸入特征圖中，原始卷積網(wǎng)絡(luò)通過(guò)滑動(dòng)窗口直接輸出特征圖，加入可變形卷積后，原來(lái)的卷積網(wǎng)絡(luò)分為兩路，上面一路引入一個(gè)額外卷積層學(xué)習(xí)偏移量，輸出一個(gè)H×W×2N的偏移量，2N有x、y兩個(gè)方向的偏移，得到的滑動(dòng)窗口不是3×3，而是經(jīng)過(guò)平移后的窗口，特征圖和偏移作為可變形卷積輸入[11]。加入可變形卷積可以使感受野自適應(yīng)目標(biāo)的尺度變化，打破了原始卷積網(wǎng)絡(luò)采用固定感受野的限制，對(duì)特征信息的融合更加靈活，以少量復(fù)雜模型的代價(jià)提高了整體網(wǎng)絡(luò)對(duì)形變的學(xué)習(xí)能力。

圖2 可變形卷積的實(shí)現(xiàn)過(guò)程

1.2 區(qū)域生成網(wǎng)絡(luò)

經(jīng)典的檢測(cè)方法生成檢測(cè)框非常耗時(shí)，例如R-CNN和Fast R-CNN使用選擇性搜索方法生成檢測(cè)框，而Faster R-CNN摒棄了原始滑動(dòng)窗口和選擇性搜索，直接使用區(qū)域候選網(wǎng)絡(luò)生成檢測(cè)框，極大提升了檢測(cè)框的生成速度。

區(qū)域生成網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。在得到特征圖后，經(jīng)過(guò)一次 3×3卷積，得到新的 n-d特征圖，這樣做可以將特征信息集中，然后通過(guò)分類(lèi)層和回歸層獲取目標(biāo)的分類(lèi)和位置。其中，按照不同的長(zhǎng)寬比、不同面積的錨框在滑動(dòng)窗口處得到k個(gè)候選區(qū)域，每個(gè)候選區(qū)域和分類(lèi)準(zhǔn)確性得到前景概率和背景概率對(duì)應(yīng)圖片上的概率得分。由于每個(gè)候選區(qū)域和分類(lèi)準(zhǔn)確性的差異性，從候選區(qū)域通過(guò)平移縮放得到分類(lèi)準(zhǔn)確性需要4個(gè)平移縮放參數(shù)。候選區(qū)域作為區(qū)域生成網(wǎng)絡(luò)的輸出由兩個(gè)任務(wù)判定：(1)通過(guò)Softmax判定候選區(qū)域?qū)儆谇熬邦?lèi)還是背景類(lèi)；(2)通過(guò)邊界回歸預(yù)測(cè)候選框的偏移量，來(lái)降低定位的誤差。

圖3 區(qū)域生成網(wǎng)絡(luò)

區(qū)域生成網(wǎng)絡(luò)訓(xùn)練時(shí)要把區(qū)域生成網(wǎng)絡(luò)分類(lèi)和回歸的損失都加進(jìn)來(lái)一起訓(xùn)練。損失公式如下：

其中，Ncls是一個(gè) batch 的大小 256是前景和背景的對(duì)數(shù)損失，pi是錨框預(yù)測(cè)為目標(biāo)的概率是前景的標(biāo)簽，Nreg是錨框的總數(shù)，λ是兩種損失的平衡比列，ti是候選區(qū)域的標(biāo)簽是訓(xùn)練時(shí)每一個(gè)錨框與分類(lèi)準(zhǔn)確值間的偏差。

1.3 感興趣區(qū)域池化層

感興趣區(qū)域池化層負(fù)責(zé)收集候選區(qū)域，并得出候選區(qū)域特征圖，送入到后續(xù)全連接層網(wǎng)絡(luò)。該層有兩個(gè)輸入，一個(gè)是原始特征圖，另一個(gè)是區(qū)域生成網(wǎng)絡(luò)輸出大小不同的候選框。區(qū)域生成網(wǎng)絡(luò)生成候選區(qū)域是通過(guò)對(duì)錨框進(jìn)行邊框回歸操作得到，所以候選區(qū)域大小形狀各不相同，而傳統(tǒng)的卷積網(wǎng)絡(luò)訓(xùn)練好后輸入圖像尺寸必須是固定值，所以要進(jìn)行感興趣區(qū)域池化操作。感興趣區(qū)域池化層通過(guò)對(duì)輸入的特征圖進(jìn)行兩次量化得到固定尺寸的輸出。第一次是對(duì)輸入特征圖進(jìn)行取整操作，第二次是將特征圖分為49個(gè)相同大小的區(qū)域，對(duì)于每一個(gè)小區(qū)域，使用最大池化的操作從中選取最大的像素點(diǎn)作為輸出，這樣，就達(dá)到輸出固定尺寸特征圖目的了。

1.4 改進(jìn)型Faster R-CNN網(wǎng)絡(luò)

圖4 改進(jìn)的Faster R-CNN網(wǎng)絡(luò)

以 ResNet101(Residual Network，ResNet)為骨干網(wǎng)絡(luò)，網(wǎng)絡(luò)模型如圖4所示。輸入圖片經(jīng)過(guò)一個(gè)18層和34層的簡(jiǎn)單網(wǎng)絡(luò)，即將所有層進(jìn)行簡(jiǎn)單的疊加，然后經(jīng)過(guò)同樣層數(shù)的殘差網(wǎng)絡(luò)，被調(diào)整為512×512的像素。在利用卷積網(wǎng)絡(luò)提取特征的同時(shí)引入可變形卷積增加后者減小卷積核的大小，使卷積核自適應(yīng)調(diào)整為缺陷特征的大小，靈活調(diào)整感受野，獲得不同感受野的信息將其融合。獲得的特征圖經(jīng)過(guò)3×3卷積后輸入進(jìn)區(qū)域生成網(wǎng)絡(luò)得到候選框，獲得缺陷的大致位置，繼續(xù)訓(xùn)練，獲得更準(zhǔn)確的位置。利用前面獲得的精確位置，從特征圖中得出位置回歸和分類(lèi)的目標(biāo)。

2 實(shí)驗(yàn)分析結(jié)果

2.1 樣本采集

實(shí)驗(yàn)使用的數(shù)據(jù)集來(lái)自于現(xiàn)場(chǎng)采集，圖像分辨率約5 000像素×3 000像素。樣本采集首先通過(guò)矩形框選出缺陷具體位置。采集的樣本數(shù)量充足，背景豐富，避免了類(lèi)別不平衡造成檢測(cè)精度的下降。數(shù)據(jù)集如圖5所示。地磚缺陷分為 4類(lèi)，包括磨損(abrasion)、崩落(collapse)、開(kāi)裂(crack)、風(fēng)化(weathering)。本文按照PASCAL VOC的標(biāo)注方式建立了一個(gè)故宮地磚缺陷的數(shù)據(jù)集，用LabelImg工具對(duì)地磚數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)簽包括 perfect、abrasion、collapse、crack、weathering。 數(shù)據(jù)集包括 314張圖片，其中訓(xùn)練集245張，測(cè)試集62張。

圖5 故宮缺陷樣本

2.2 訓(xùn)練過(guò)程

本文在Ubuntu16.04系統(tǒng)下采用GeForce GTX1080 TIGPU加速，內(nèi)存為15 GB，算法在Mxnet框架下采用Python2.7編寫(xiě)實(shí)現(xiàn)。

實(shí)驗(yàn)分為3個(gè)階段，第一階段采用VGG16(Visual Geometry Group，VGG)分類(lèi)模型和 Faster R-CNN網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，參數(shù)設(shè)定為：學(xué)習(xí)率為0.001，初始動(dòng)量為 0.9，權(quán)重衰減為0.000 1，共迭代50 000次。VGG16包括13個(gè)卷積層、3個(gè)全連接層和5個(gè)池化層。VGG16使用了3個(gè) 3×3卷積核來(lái)代替 7×7卷積核，使用了 2個(gè) 3×3卷積核代替5×5卷積核，在保證具有相同感受野的條件下，增加了網(wǎng)絡(luò)的深度，提升了網(wǎng)絡(luò)的效果。

第二階段采用ResNet101分類(lèi)模型和Faster R-CNN網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，參數(shù)設(shè)定同第一階段一樣。首先構(gòu)建了一個(gè)18層和一個(gè)34層的簡(jiǎn)單網(wǎng)絡(luò)，然后構(gòu)建了一個(gè)18層和一個(gè)34層殘差網(wǎng)絡(luò)，這兩個(gè)網(wǎng)絡(luò)的參數(shù)量、計(jì)算量相同，并且與之前VGG-16相比，計(jì)算量要小很多。

第三階段采用ResNet101網(wǎng)絡(luò)和改進(jìn)的Faster R-CNN網(wǎng)絡(luò)訓(xùn)練。參數(shù)設(shè)定為：學(xué)利率設(shè)置為0.0005，初始動(dòng)量為0.9，初始權(quán)重為 0.000 5，共迭代 200輪。

2.3 實(shí)驗(yàn)結(jié)果

為評(píng)估算法在磚塊缺陷檢測(cè)重的有效性，采用平均準(zhǔn)確率均值(mean Average Precsion，mAP)來(lái)作為衡量模型性能指標(biāo)。mAP是指所有類(lèi)別目標(biāo)的平均準(zhǔn)確率(Average Precision，AP)的均值，它可以作為目標(biāo)檢測(cè)實(shí)際度量標(biāo)準(zhǔn)。

本文對(duì)比了不同網(wǎng)絡(luò)模型對(duì)地磚缺陷檢測(cè)的精度，如表1所示。

實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的網(wǎng)絡(luò)在測(cè)試集上取得了最高精度，在測(cè)試集上的平均準(zhǔn)確率均值為92.49%，相比原始Faster R-CNN網(wǎng)絡(luò)提高了2.99%。可以看出對(duì)特征的提取是提高地磚缺陷檢測(cè)準(zhǔn)確率的重要性。從表1可以得出，除了崩落這類(lèi)缺陷檢測(cè)精度略低于ResNet101分類(lèi)模型的Faster R-CNN網(wǎng)絡(luò)，其他缺陷檢測(cè)結(jié)果均表現(xiàn)了優(yōu)良的結(jié)果。尤其是在檢測(cè)完好地磚的結(jié)果中，表現(xiàn)尤為突出。

本文網(wǎng)絡(luò)訓(xùn)練過(guò)程中的損失(Loss)和檢測(cè)精度(Accuracy)隨迭代輪數(shù)(Epoch)變化曲線圖如圖6所示。

從圖6中發(fā)現(xiàn)，當(dāng)訓(xùn)練達(dá)到150輪之后，損失曲線和檢測(cè)精度曲線趨于平穩(wěn)。訓(xùn)練完成后，對(duì)測(cè)試集進(jìn)行測(cè)試，檢測(cè)的部分結(jié)果如圖7所示。

3 結(jié)論

本文針對(duì)地磚缺陷目標(biāo)尺度多變的復(fù)雜情況，搭建了基于改進(jìn)的Faster R-CNN對(duì)故宮地磚缺陷檢測(cè)網(wǎng)絡(luò)。加入可變形卷積網(wǎng)絡(luò)，對(duì)卷積核和池化核做增加偏移量操作，脫離原始正方形的卷積核，可以把卷積核更多聚集在缺陷的輪廓上，提升對(duì)不規(guī)則目標(biāo)的表現(xiàn)結(jié)果。實(shí)驗(yàn)表明，相比于VGG-16和ResNet101分類(lèi)模型與Faster R-CNN結(jié)合的網(wǎng)絡(luò)，本文網(wǎng)絡(luò)顯著提高了地磚缺陷像素的分類(lèi)精度，為地磚缺陷檢測(cè)領(lǐng)域提供了新的參考。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的檢測(cè)性能

圖6 本文訓(xùn)練的損失和檢測(cè)精度曲線

圖7 故宮地磚缺陷檢測(cè)結(jié)果