基于卷積神經(jīng)網(wǎng)絡(luò)的非織造材料三維點(diǎn)云重建*

陳旭旭 王榮武

東華大學(xué)紡織學(xué)院，上海201620

非織造材料指定向或隨機(jī)排列的纖維通過摩擦、抱合、黏結(jié)或這些方法的組合而形成的片狀物、纖網(wǎng)或絮墊等。非織造材料因其獨(dú)特的三維結(jié)構(gòu)在過濾[1-4]、衛(wèi)生[5-6]、醫(yī)用防護(hù)材料[7-8]和土木工程[9]等領(lǐng)域廣泛應(yīng)用。諸多學(xué)者就非織造材料的三維結(jié)構(gòu)展開了研究。

目前，用于重建非織造材料三維結(jié)構(gòu)的方法主要有激光共聚焦顯微鏡法[10]和工業(yè)CT法2種。其中，激光共聚焦顯微鏡法能夠直接獲取物體的三維深度信息，并有效過濾背景噪聲，但激光掃描存在易損壞樣品[11]和價格昂貴[12]等問題。工業(yè)CT法是采用X射線束對一定厚度的物體進(jìn)行層面掃描而獲取其三維結(jié)構(gòu)信息的技術(shù)。樣品掃描在密閉環(huán)境中完成，對檢測環(huán)境有較高的要求。因此，這兩種方法的普及使用難度很大。部分學(xué)者借鑒工業(yè)CT法與激光共聚焦顯微鏡法中的“切片”原理，在光學(xué)顯微鏡下，通過拍攝不同聚焦位置下的樣品得到多焦面序列圖像，利用聚焦測距(DFF)技術(shù)推算圖像中各點(diǎn)的深度信息，從而達(dá)到對微小物體進(jìn)行三維結(jié)構(gòu)重建的目的。

DFF技術(shù)是一種從多焦面序列圖像中獲取物體或場景深度信息的一項技術(shù)[13-15]，在PCB檢測、機(jī)器人操作與控制[16]、三維模型重建[17]及工業(yè)[18]等領(lǐng)域應(yīng)用較多。使用光學(xué)設(shè)備拍攝物體時，與焦平面平行的一個平面為真正合焦面。對于焦平面而言，由于人眼分辨力有限，能夠清晰成像的焦平面往往是一個范圍，稱為景深(深度)，只有在景深內(nèi)的物體才能清晰成像。DFF技術(shù)可獲取使物體能夠清晰成像的距離，進(jìn)而捕獲物體的三維深度信息，但是存在背景噪聲的問題。為此，本文設(shè)計了一種可去除圖像背景噪聲，且重建效果明顯優(yōu)于DFF技術(shù)的新的卷積神經(jīng)網(wǎng)絡(luò)IPDNet(In-Focus Point Detection Network)。

1 DFF重建非織造材料三維點(diǎn)云模型的算法

使用DFF技術(shù)重建非織造材料三維點(diǎn)云模型的算法具體如下。

1)在光學(xué)顯微鏡下縱向移動載物臺，等間距拍攝非織造材料的多焦面序列圖像。

2)將方差函數(shù)[式(1)]作為圖像清晰度的計算函數(shù)，計算每張圖像中各點(diǎn)的清晰度值，得三維清晰度矩陣M(x,y,z)。

(1)

式中：Ω(x,y)——以點(diǎn)(i,j)為中心的5×5矩陣；

μ——Ω(x,y)中所有像素值的均值。

3)選取清晰度最大的點(diǎn)(x,y)所在的圖層序號作為深度值z(圖1)。

圖1 DFF技術(shù)原理示意

4)重復(fù)3)，計算各點(diǎn)的深度值z，將每個二維點(diǎn)坐標(biāo)變成三維點(diǎn)坐標(biāo)(x,y,z)，最終獲取非織造材料的三維點(diǎn)云模型數(shù)據(jù)。

2 卷積神經(jīng)網(wǎng)絡(luò)提取聚焦點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)DFF技術(shù)的代表算法之一，在圖像分類、語義分割、目標(biāo)檢測等任務(wù)中能夠有效提取圖像特征。如，王飛[19]利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造了一種高精度分類器，能夠有效識別非織造材料中的滌綸、羊毛、黏膠、木棉等纖維；Feng等[20]提出了一種不破壞試樣即可分辨出各種紡織纖維成分的混合網(wǎng)絡(luò)(CU-Net)。本文利用卷積神經(jīng)網(wǎng)絡(luò)可高效提取圖像信息的特點(diǎn)，設(shè)計了一種新的卷積神經(jīng)網(wǎng)絡(luò)IPDNet，能夠準(zhǔn)確提取非織造材料多焦面序列圖像中的聚焦點(diǎn)，解決使用DFF技術(shù)無法過濾圖像背景噪聲的缺點(diǎn)。

首先，提出一種檢測圖像聚焦點(diǎn)的網(wǎng)絡(luò)。其次，制作用于網(wǎng)絡(luò)訓(xùn)練的7 000張圖像數(shù)據(jù)集，采用一種類別交叉熵?fù)p失函數(shù)解決網(wǎng)絡(luò)訓(xùn)練中正負(fù)樣本不均衡的問題。最后，通過試驗證明本文所提出的IPDNet方法在重建非織造材料三維點(diǎn)云模型中的效果優(yōu)于DFF技術(shù)。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

重建非織造材料的三維點(diǎn)云模型的目標(biāo)是在多焦面圖像中提取處于焦平面上的點(diǎn)。借鑒U-net[21]網(wǎng)絡(luò)中的編碼—解碼結(jié)構(gòu)，本文設(shè)計的可用于檢測圖像聚焦點(diǎn)的IPDNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 IPDNet網(wǎng)絡(luò)結(jié)構(gòu)

IPDNet的圖像特征編碼以VGG[22]為主干網(wǎng)絡(luò)，加載了ImageNet上的預(yù)訓(xùn)練參數(shù)進(jìn)行遷移學(xué)習(xí)。IPDNet網(wǎng)絡(luò)結(jié)構(gòu)包含13個卷積層和4個最大池化層，每個卷積層后面都以ReLU為激活函數(shù)。在圖像特征解碼路徑中包含了4個反卷積層，利用1×1的卷積層進(jìn)行降維操作，將特征編碼路徑與解碼路徑中得到的特征圖進(jìn)行相加，提升特征圖的分辨率。最后提出了一種循環(huán)全卷積神經(jīng)網(wǎng)絡(luò)(圖3)，該網(wǎng)絡(luò)對之前得到的特征圖像與輸入圖像進(jìn)行反復(fù)卷積，能更精確地提取非織造材料多焦面圖像中的聚焦點(diǎn)。

圖3 循環(huán)全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 數(shù)據(jù)集準(zhǔn)備

目前，公開的聚焦區(qū)域檢測數(shù)據(jù)集[23]已包含1 000多張自然風(fēng)景圖片，提供了人工標(biāo)注的聚焦區(qū)域分割圖像，但沒有適用于光學(xué)顯微鏡下纖維聚焦點(diǎn)的檢測數(shù)據(jù)。而對于非織造材料的聚焦點(diǎn)，只需要提取顯微鏡下微小物體的微細(xì)結(jié)構(gòu)，如纖維的邊緣輪廓等即可。為此，本文將非織造材料試樣置于裝有日本JAI公司BM-141GE工業(yè)相機(jī)的步進(jìn)電機(jī)的全自動顯微鏡上，對試樣進(jìn)行圖像采集。采集過程中，通過等距離上下移動載物臺，調(diào)整物體與顯微鏡的焦距，得非織造材料的多焦面序列圖像(像素為800 dpi×600 dpi)。同時，人工標(biāo)注采集的多焦面圖像的聚焦點(diǎn)(圖4)，將該標(biāo)注圖用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。此外，由于人工標(biāo)注的數(shù)據(jù)集數(shù)量較少，將采集圖片與人工標(biāo)注圖隨機(jī)裁剪為320 dpi×320 dpi(像素)的大小后旋轉(zhuǎn)進(jìn)行數(shù)據(jù)擴(kuò)充，最后得到包含7 000多張圖片的數(shù)據(jù)集，將其中的5 000張圖片作為訓(xùn)練集，1 000張圖片作為測試集，剩下的1 000張作為驗證集，以便在網(wǎng)絡(luò)訓(xùn)練過程中實(shí)時觀察網(wǎng)絡(luò)的準(zhǔn)確率。

以吸光度為縱坐標(biāo)(y)，以蘆丁質(zhì)量濃度為橫坐標(biāo)(x)，根據(jù)不同濃度蘆丁標(biāo)準(zhǔn)品溶液的吸光度，擬合得到線性回歸方程為y=12.685x+0.004 99(圖1)，R2 =0.999 23，說明相關(guān)性較好。

圖4 數(shù)據(jù)集采集示意圖

2.3 網(wǎng)絡(luò)訓(xùn)練

以Pytorch為IPDNet網(wǎng)絡(luò)的訓(xùn)練框架，使用NVIDIA GTX-2080Ti顯卡進(jìn)行訓(xùn)練。除特征編碼部分加載了VGG網(wǎng)絡(luò)在ImageNet上的預(yù)訓(xùn)練參數(shù)外，其余卷積層及循環(huán)全卷積網(wǎng)絡(luò)中的卷積層都采用Xavier算法[24]進(jìn)行初始化。采用隨機(jī)梯度下降法優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的各層參數(shù)。其中，學(xué)習(xí)率設(shè)置為1×10-5，動量設(shè)置為0.9。訓(xùn)練過程中，因圖像中的大多數(shù)點(diǎn)都不是纖維物體的聚焦點(diǎn)，所以，每張圖片中負(fù)樣本數(shù)較多，正樣本數(shù)偏少。因此，本文采用了類別交叉熵?fù)p失函數(shù)[25]作為IPDNet的損失函數(shù)，計算式如下：

(2)

(3)

式中：N1——聚焦面上的正樣本數(shù)；

N2——聚焦面上的負(fù)樣本數(shù)；

l(X,W)——類別交叉熵?fù)p失函數(shù)；

W——網(wǎng)絡(luò)中的所有參數(shù)；

Pr——IPDNet網(wǎng)絡(luò)最后的輸出值經(jīng)過的Sigmoid函數(shù)；

Xi——像素i處的預(yù)測聚焦概率。

2.4 結(jié)果對比

將IPDNet計算得出的結(jié)果與目前在判斷聚焦區(qū)域上效果較好的MGF[26]與LBP[27]兩種算法，以及在光學(xué)顯微鏡下判別物體邊緣具有較好效果的U-net網(wǎng)絡(luò)進(jìn)行了比較(圖5)。結(jié)果顯示，IPDNet的計算結(jié)果比另外3種算法更接近人工標(biāo)注的圖像，表明本文提出的新的卷積神經(jīng)網(wǎng)絡(luò)模型能夠較好地提取圖像聚焦面上的點(diǎn)。

圖5 各算法測試結(jié)果比較

為客觀地對比各算法圖像中提取點(diǎn)的清晰度和準(zhǔn)確度，本文計算了各算法的kF-Score值[式(3)]。kF-Score越大，說明代表模型預(yù)測的結(jié)果越準(zhǔn)確。此外，本文還采用絕對均值誤差MAE[式(4)]描述結(jié)果圖像與數(shù)據(jù)集標(biāo)注圖像中像素的整體差異。kF-Score值越小代表算法提取得到的結(jié)果越精確。不同算法間的kF-Score值與絕對均值的誤差如表1所示。

表1 各算法的kF-Score值與絕對均值誤差

(4)

式中：k1——正樣本預(yù)測數(shù)據(jù)(可能包含負(fù)樣本)中, 正樣本的真實(shí)比例；

k2——正樣本真實(shí)數(shù)據(jù)(不包含任何負(fù)樣本)中, 正確預(yù)測的比例。

(5)

式中：w和h——圖像的寬度與高度；

x和y——像素點(diǎn)的坐標(biāo)值；

G(x,y)——人工標(biāo)注圖像中點(diǎn)(x,y)的值；

M(x,y)——神經(jīng)網(wǎng)絡(luò)預(yù)測得到的圖像點(diǎn)(x,y)的值。

結(jié)果表明，IPDNet的kF-Score值最大，kMAE值最小，效果為最優(yōu)，與人工標(biāo)注結(jié)果相吻合。

2.5 三維點(diǎn)云重建

IPDNet雖然能夠去除非織造材料多焦面圖像序列中的背景噪聲點(diǎn)，但提取出來的點(diǎn)具有相同的二維坐標(biāo)(圖6，紅色框標(biāo)記區(qū))。因此，需要確定各點(diǎn)在圖層上的最佳深度值z0，以建立點(diǎn)云模型的三維點(diǎn)坐標(biāo)(x0,y0,z0)。

圖6 IPDNet多焦面圖

傳統(tǒng)DFF技術(shù)利用方差函數(shù)[式(1)]提取圖像中點(diǎn)的清晰度，該清晰度函數(shù)在纖維邊緣部分具有良好的單峰特性，能夠準(zhǔn)確且唯一地提取點(diǎn)(x0,y0)的最大清晰值所對應(yīng)的圖層序號。因此，本文利用式(1)判斷具有相同坐標(biāo)點(diǎn)的清晰度值，選取清晰度值最大的點(diǎn)所對應(yīng)的圖層序號z0作為點(diǎn)(x0,y0)的深度值，從而獲取重建非織造材料結(jié)構(gòu)時的三維點(diǎn)云坐標(biāo)(x0,y0,z0)。

3 算法對比與驗證

DFF技術(shù)重建非織造材料結(jié)構(gòu)的三維點(diǎn)云模型渲染圖(圖7)中的顏色變化可較為直觀地反映纖維在非織造材料中的縱向位置(偏藍(lán)色的點(diǎn)靠近正面，偏紅色的點(diǎn)靠近反面)。但由于拍攝非織造材料多焦面圖像中，不同區(qū)域?qū)?yīng)的清晰度變化曲線不同，三維點(diǎn)云模型具有較多的背景噪聲。

圖7 DFF技術(shù)重建非織造材料結(jié)構(gòu)的三維點(diǎn)云模型渲染圖

圖8a)中，藍(lán)色點(diǎn)代表纖維體，綠色點(diǎn)代表非織造材料多焦面圖像的背景。利用式(1)計算出的藍(lán)色點(diǎn)與綠色點(diǎn)所對應(yīng)的清晰度值變化曲線[圖8b)]可知，藍(lán)色點(diǎn)所對應(yīng)清晰度值變化曲線具有明顯的單峰，可較為有效地推導(dǎo)出該區(qū)域的深度信息，而綠色點(diǎn)的清晰度值變化曲線沒有明顯的波峰，說明采用DFF技術(shù)無法準(zhǔn)確地推導(dǎo)背景點(diǎn)的深度信息。

圖8 清晰度對比圖

為驗證本文提出的IPDNet在重建非織造材料三維點(diǎn)云模型中的良好效果，選取面密度為25 g/m2的熱風(fēng)非織造材料，利用全自動顯微鏡控制載物臺的上下移動，調(diào)整非織造材料與成像元件之間的焦距。采集非織造材料的多焦面圖像序列后，利用本文中提到的基于IPDNet的非織造材料三維點(diǎn)云重建方法進(jìn)行結(jié)構(gòu)重建(圖9)。由圖9可知，與傳統(tǒng)的DFF技術(shù)相比，本文提出的IPDNet算法建立的三維點(diǎn)云模型可減少背景噪聲，保留纖維部分信息，效果良好。

圖9 基于IPDNet的非織造材料三維點(diǎn)云重建結(jié)果

4 結(jié)論

基于DFF方法重建得到的非織造材料三維點(diǎn)云模型僅纖維部分具有明顯的深度信息，無法有效過濾背景噪聲，效果不佳。本文設(shè)計了一種可檢測圖像聚焦點(diǎn)的新的卷積神經(jīng)網(wǎng)絡(luò)IPDNet，該網(wǎng)絡(luò)能夠在有效提取圖像的聚焦點(diǎn)、剔除圖像中的背景噪聲點(diǎn)后，重建非織造材料的三維點(diǎn)云模型。通過主客觀試驗對比發(fā)現(xiàn)，IPDNet的重建效果明顯優(yōu)于其他算法。然后，利用方差函數(shù)判斷IPDNet提取的二維點(diǎn)的深度值z，得聚焦點(diǎn)的三維點(diǎn)云坐標(biāo)。最后，驗證了IPDNet三維點(diǎn)云重建算法的有效性。結(jié)果表明，本文提出的IPDNet三維點(diǎn)云算法比DFF技術(shù)有更好的三維結(jié)構(gòu)重建效果。