朱大慶,曹 國(guó)
(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,江蘇 南京 210094)
近年來(lái),隨著土木工程產(chǎn)業(yè)的快速發(fā)展,國(guó)內(nèi)外各類建筑行業(yè)對(duì)砂石的需求量不斷增多,從高樓建筑到高速公路建造均對(duì)砂石粒徑有一定的規(guī)格要求。不同粒徑的碎石按照一定比例混合起來(lái),達(dá)到符合要求的密實(shí)度,則稱這些碎石為級(jí)配碎石[1]。在對(duì)不同粒徑大小的砂石進(jìn)行混合之前,首先要做的是要獲得砂石的粒徑大小。因此,良好的砂石粒徑檢測(cè)方法對(duì)后期的砂石混合精確度起著至關(guān)重要的影響,也對(duì)鋪設(shè)的高速公路質(zhì)量以及樓房質(zhì)量有著決定性的影響[2]。傳統(tǒng)的砂石粒徑檢測(cè)方法是通過(guò)人工抽樣進(jìn)行檢測(cè),耗時(shí)費(fèi)力;或者是通過(guò)工業(yè)砂石篩分機(jī)[3]進(jìn)行篩分,獲得的結(jié)果較為粗略,并不能獲得砂石粒徑的精確大小數(shù)據(jù),因此會(huì)影響后期的砂石級(jí)配的精度。
除了使用上述人工或者工業(yè)砂石篩分機(jī)方法,也可以從計(jì)算機(jī)視覺(jué)的角度出發(fā),利用傳統(tǒng)的圖像分割技術(shù)對(duì)砂石圖像進(jìn)行砂石目標(biāo)分割,然后計(jì)算砂石的粒徑大小。傳統(tǒng)的圖像分割方法主要有基于閾值的分割方法[4]、基于區(qū)域的分割方法[5]以及基于邊緣的分割方法[6]等。閾值分割方法適用于分割目標(biāo)與背景像素差異較大的圖像,而本文處理的砂石圖像,砂石目標(biāo)互相遮擋,被遮蓋的砂石目標(biāo)成為了表面砂石目標(biāo)的背景,因此前景與背景的差異很小,所以無(wú)法選定一個(gè)合適的閾值將砂石目標(biāo)準(zhǔn)確地分割開(kāi)來(lái)。分水嶺分割方法是常見(jiàn)的區(qū)域分割方法,由于砂石緊密粘連,不符合目標(biāo)區(qū)域封閉且獨(dú)立的條件,因此該類分割方法對(duì)于砂石圖像的分割效果也較差?;谶吘壍姆指罘椒ㄍㄟ^(guò)邊緣像素與背景像素間的梯度差異來(lái)解決分割問(wèn)題,對(duì)于緊密粘連的砂石,無(wú)法獲得魯棒的邊緣線,因此無(wú)法進(jìn)行后續(xù)的砂石粒徑計(jì)算操作。
傳統(tǒng)圖像分割方法可以適用于常見(jiàn)的普通圖像分割任務(wù),但對(duì)緊密相連的復(fù)雜砂石圖像分割效果均不理想。為此,本文從深度學(xué)習(xí)角度出發(fā),使用基于全卷積網(wǎng)絡(luò)的分割模型對(duì)砂石圖像進(jìn)行分割,獲得更好的分割效果。目前在深度學(xué)習(xí)領(lǐng)域可以對(duì)圖像進(jìn)行目標(biāo)分割的方法中,主要是基于語(yǔ)義分割的全卷積網(wǎng)絡(luò)(FCN)[7]以及在其基礎(chǔ)上發(fā)展的醫(yī)學(xué)圖像領(lǐng)域的U型網(wǎng)絡(luò)(U-Net)[8]等。
卷積神經(jīng)網(wǎng)絡(luò)(CNN)能夠?qū)D片進(jìn)行分類[9-13],而FCN可以對(duì)圖像進(jìn)行像素級(jí)的分類,解決了語(yǔ)義級(jí)別的圖像分割(Semantic Segmentation)問(wèn)題。通常CNN網(wǎng)絡(luò)在卷積層之后會(huì)接上若干個(gè)全連接層(Fully connected layer),將卷積層產(chǎn)生的特征圖映射成一個(gè)固定長(zhǎng)度的特征向量。而全卷積網(wǎng)絡(luò)與CNN不同,F(xiàn)CN把CNN最后的全連接層換成卷積層,輸出的是一張標(biāo)記好的圖片。除了全連接層,使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割存在的一個(gè)問(wèn)題是池化層(Pooling layer)的存在造成了像素位置信息的丟失,但是,語(yǔ)義分割又需要保留像素的位置信息。為了解決這一問(wèn)題,在醫(yī)學(xué)圖像分割領(lǐng)域,出現(xiàn)了一種基于編碼器-解碼器結(jié)構(gòu)的U-Net網(wǎng)絡(luò)。U-Net約有20個(gè)卷積層,4個(gè)下采樣,4個(gè)上采樣,整個(gè)網(wǎng)絡(luò)沒(méi)有全連接層,只有卷積和上下采樣,網(wǎng)絡(luò)形狀似U型,故得名U型網(wǎng)絡(luò)。FCN可以對(duì)常見(jiàn)的圖像目標(biāo)進(jìn)行語(yǔ)義分割,U-Net可以對(duì)醫(yī)學(xué)圖像進(jìn)行分割,然而,對(duì)于本文研究的砂石目標(biāo),由于其體積微小、緊密粘連且存在相互遮擋,所以現(xiàn)如今的FCN、U-Net等分割模型在砂石圖像的目標(biāo)分割任務(wù)上,效果并不令人滿意。
本文通過(guò)兩階段深度學(xué)習(xí)網(wǎng)絡(luò)模型(分割模型、分離模型)進(jìn)行砂石目標(biāo)的分割和分離,可以將砂石目標(biāo)很好地分割開(kāi),得到每個(gè)獨(dú)立的砂石目標(biāo),提升了計(jì)算砂石粒徑大小的精度。
本文最終目的為獲得砂石粒徑大小,在粒徑計(jì)算之前,首先要做的是將砂石目標(biāo)分割開(kāi)來(lái),所以實(shí)驗(yàn)過(guò)程總體上分為2個(gè)部分:砂石分割和粒徑計(jì)算。
對(duì)于砂石分割部分,首先構(gòu)建一個(gè)砂石分割網(wǎng)絡(luò)模型,在訓(xùn)練模型階段,選取部分原圖手工標(biāo)記砂石目標(biāo)邊緣作為分割模型的訓(xùn)練樣本,訓(xùn)練完成后得到砂石分割模型;在檢測(cè)階段,將原圖直接經(jīng)過(guò)分割模型處理,再經(jīng)過(guò)形態(tài)學(xué)處理后得到初次分割結(jié)果圖。然后再構(gòu)建一個(gè)砂石分離模型,在模型訓(xùn)練階段,選取部分初次分割結(jié)果圖手工標(biāo)記砂石粘連處的凹點(diǎn)作為分離模型的訓(xùn)練樣本,訓(xùn)練完成后得到砂石分離模型;在檢測(cè)階段,將初次分割結(jié)果圖經(jīng)過(guò)分離模型處理后得到自動(dòng)標(biāo)記了凹點(diǎn)的結(jié)果圖,經(jīng)過(guò)凹點(diǎn)匹配得到最終分割且分離的結(jié)果圖。
對(duì)于粒徑計(jì)算部分,對(duì)得到的最終分割且分離的結(jié)果圖,計(jì)算砂石目標(biāo)的最長(zhǎng)徑,取均值后得到砂石圖像的平均粒徑大小。砂石圖像粒徑檢測(cè)的總體流程如圖1所示。
圖1 砂石粒徑檢測(cè)方法流程圖
在進(jìn)行砂石粒徑大小計(jì)算之前,需要先將砂石目標(biāo)分割開(kāi),本文構(gòu)建了如圖2所示的基于全卷積的神經(jīng)網(wǎng)絡(luò),用于砂石目標(biāo)的分割任務(wù),它是由4個(gè)數(shù)據(jù)輸入層(Data)、6個(gè)卷積層(Convolution)、6個(gè)激活層(Activation function)、1個(gè)輸出層(Output)和1個(gè)計(jì)算損失層(Loss)串聯(lián)而成。
其中卷積層中使用的參數(shù)Output為該卷積層中卷積核的個(gè)數(shù),也是輸出的數(shù)量;Pad為是否對(duì)輸入image進(jìn)行padding操作,此處根據(jù)所用的卷積核大小選用不同的padding大小,可以保證卷積操作所得的特征圖(feature map)與原圖尺寸一致;Conv_kernel為卷積核的內(nèi)核大?。籗tride為卷積核的步長(zhǎng);Weight為權(quán)值的初始化方法,本模型中使用了高斯分布初始化權(quán)值(gaussian);Bias為偏置項(xiàng)的初始化方法,本模型中使用了constant,且值為0。對(duì)于卷積層的參數(shù)配置詳情,如表1所示。
圖2 砂石目標(biāo)分割模型結(jié)構(gòu)圖
表1 卷積層中各個(gè)參數(shù)配置表
其中在激活層中,對(duì)輸入數(shù)據(jù)進(jìn)行激活操作(即函數(shù)變換),本模型的激活函數(shù)采用線性整流函數(shù)(ReLU)[14],其函數(shù)表達(dá)式為:
f(x)=max (0,x)
(1)
在神經(jīng)網(wǎng)絡(luò)中ReLU作為神經(jīng)元的激活函數(shù),定義了將神經(jīng)元在線性變換wTx+b之后的非線性輸出結(jié)果,也就是說(shuō),對(duì)于神經(jīng)元的來(lái)自上一層網(wǎng)絡(luò)的輸入向量x,使用ReLU激活函數(shù)的神經(jīng)元的輸出為:
max (0,wTx+b)
(2)
在計(jì)算損失層(Loss)中,計(jì)算模型得到的結(jié)果score與真實(shí)結(jié)果label之間的誤差,本模型采用Caffe中的SoftmaxWithLoss,即多項(xiàng)邏輯損失層(Multinomial Logistic Loss Layer)和Softmax層。
對(duì)獲得的原始砂石圖像,預(yù)處理后隨機(jī)抽取部分圖像作為訓(xùn)練樣本,使用Photoshop進(jìn)行手工標(biāo)記砂石目標(biāo)的邊緣,作為訓(xùn)練集標(biāo)簽。通過(guò)如圖2所示的分割模型的訓(xùn)練學(xué)習(xí),測(cè)試后可以得到如圖3所示的分割結(jié)果圖,其中圖3(b)為模型直接得出的結(jié)果圖,圖3(c)為對(duì)圖3(b)進(jìn)行二值化處理[15]以及形態(tài)學(xué)操作[16]后的效果圖,以此作為初次分割結(jié)果圖。
圖3 砂石目標(biāo)分割結(jié)果圖
在分割模型處理后,對(duì)得到的初次分割效果圖的研究發(fā)現(xiàn),結(jié)果圖中仍有很多砂石目標(biāo)粘連在一起,這將無(wú)法進(jìn)行后續(xù)的砂石粒徑計(jì)算工作,所以本文構(gòu)建了如圖4所示的基于全卷積網(wǎng)絡(luò)的分離模型,用于砂石目標(biāo)的分離任務(wù)。由于分離模型的模型結(jié)構(gòu)與參數(shù)配置和分割模型相同,所以在本節(jié)不再重復(fù)介紹。在分離模型中,輸入圖像為初次分割效果圖,輸出圖像為模型自動(dòng)標(biāo)記了凹點(diǎn)的結(jié)果圖。其中凹點(diǎn)是指砂石目標(biāo)粘連處的轉(zhuǎn)折點(diǎn),標(biāo)記粘連處的一對(duì)凹點(diǎn),將這對(duì)凹點(diǎn)連接即可實(shí)現(xiàn)粘連的分離效果。
圖4 砂石目標(biāo)分離模型結(jié)構(gòu)圖
對(duì)分割模型獲得的初次分割效果圖,隨機(jī)選取部分圖像作為訓(xùn)練樣本,手工標(biāo)記砂石目標(biāo)粘連處的凹點(diǎn),作為分離模型的訓(xùn)練集標(biāo)簽,通過(guò)如圖4所示的分離模型訓(xùn)練學(xué)習(xí),測(cè)試后可以得到如圖5所示的自動(dòng)標(biāo)記了凹點(diǎn)的結(jié)果圖,其中圖5(a)為手工標(biāo)記的凹點(diǎn),圖5(b)為模型自動(dòng)標(biāo)記凹點(diǎn)的結(jié)果圖。由圖中可以看到模型能夠準(zhǔn)確地標(biāo)記出砂石圖像中的凹點(diǎn)。
當(dāng)通過(guò)分離模型自動(dòng)獲得砂石目標(biāo)的凹點(diǎn)之后,需要做的就是將凹點(diǎn)配對(duì)連接[17],實(shí)現(xiàn)砂石目標(biāo)的最終分割且分離的效果。對(duì)于得到的砂石凹點(diǎn)圖,首先去掉不在砂石邊緣上的無(wú)效凹點(diǎn),再將距離非常接近的凹點(diǎn)過(guò)濾為一個(gè)凹點(diǎn),然后根據(jù)“凹點(diǎn)匹配規(guī)則”進(jìn)行凹點(diǎn)配對(duì)[18-19]。對(duì)于凹點(diǎn)匹配規(guī)則,如圖6所示,點(diǎn)A1、A2分別為2個(gè)凹點(diǎn),向量A1M1、A1N1分別為凹點(diǎn)A1前后2邊邊界的切線,向量A2M2、A2N2分別為凹點(diǎn)A2前后2邊邊界的切線。如果凹點(diǎn)A1、A2是一對(duì)凹點(diǎn)對(duì),則應(yīng)滿足以下條件:凹點(diǎn)A1、A2連線在向量A1M1與向量A1N1的夾角和向量A2M2與向量A2N2的夾角之間。滿足此配對(duì)條件的2個(gè)凹點(diǎn)將其歸類為一對(duì),凹點(diǎn)配對(duì)成功。將一對(duì)凹點(diǎn)間的連線作為砂石粘連處的分割線,最終實(shí)現(xiàn)砂石粘連的分離效果。
(a) 手工標(biāo)記 (b) 自動(dòng)標(biāo)記圖5 砂石目標(biāo)凹點(diǎn)標(biāo)記圖
圖6 凹點(diǎn)匹配規(guī)則示意圖
至此砂石圖像的分割、分離操作已完成,得到了分割最終的效果圖如圖7所示。圖中分別使用橢圓和矩形標(biāo)記出2處對(duì)應(yīng)位置的砂石分離結(jié)果作為示例,其他位置的分離結(jié)果與示例類似。其中圖7(a)為初次分割結(jié)果圖,發(fā)現(xiàn)很多砂石粘連在一起,圖7(b)為最終分割且分離的結(jié)果圖,對(duì)比發(fā)現(xiàn)大部分的粘連處均已實(shí)現(xiàn)目標(biāo)分離。
(a) 初次分割結(jié)果 (b) 最終分割且分離的結(jié)果圖7 砂石目標(biāo)最終分割分離結(jié)果圖
本實(shí)驗(yàn)所使用的砂石圖像數(shù)據(jù)集均為手工拍照采集,共12張砂石圖像,其中選取6張圖像進(jìn)行手工標(biāo)記作為訓(xùn)練樣本。
訓(xùn)練時(shí)使用的參數(shù)test_iter為完成一次測(cè)試需要的迭代次數(shù);test_interval為測(cè)試間隔;base_lr為基礎(chǔ)學(xué)習(xí)率,在參數(shù)梯度下降優(yōu)化的過(guò)程中,學(xué)習(xí)率會(huì)有所調(diào)整;lr_policy為學(xué)習(xí)率在梯度優(yōu)化過(guò)程中的變化策略,本次訓(xùn)練采用的是“step”,因此還需要一個(gè)stepsize參數(shù),表示學(xué)習(xí)率變化的頻率,momentum表示上一次梯度更新的權(quán)重;weight_decay表示權(quán)重衰減,用于防止過(guò)擬合;gamma表示學(xué)習(xí)率變化指數(shù)。對(duì)于網(wǎng)絡(luò)訓(xùn)練過(guò)程中的參數(shù)配置詳情,如表2所示。
表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)配置表
當(dāng)分割且分離完成得到最終效果圖后,就可以計(jì)算砂石目標(biāo)的最長(zhǎng)徑了[20-21]。對(duì)于分割分離結(jié)果圖,獲得圖像中每個(gè)砂石目標(biāo)的邊界后[22],對(duì)于每一個(gè)砂石目標(biāo)邊界,邊界上的所有像素點(diǎn)記為一個(gè)集合U。對(duì)于集合U中的每一個(gè)像素點(diǎn)i,使用歐氏距離公式計(jì)算i到集合U中其余像素點(diǎn)的距離,取最大值,作為從i出發(fā)到砂石目標(biāo)邊界的最遠(yuǎn)距離,記為L(zhǎng)(i)。對(duì)于集合U中所有像素點(diǎn)的最遠(yuǎn)距離,取其最大值作為集合U所成邊界的最大直徑,記為max(L(i))。由此,max(L(i))即為每個(gè)砂石目標(biāo)邊界的最長(zhǎng)徑。
值得注意的是,由于砂石目標(biāo)存在緊密相連且相互遮擋的情況,所以砂石圖像中的那些非常小的砂石個(gè)體并不能代表真實(shí)數(shù)據(jù),因此需要有所舍棄。本實(shí)驗(yàn)中,當(dāng)獲得一張分割分離效果圖中所有砂石目標(biāo)的最長(zhǎng)徑后,一方面舍棄最長(zhǎng)徑max(L(i))小于10個(gè)像素值的砂石目標(biāo),另一方面,在剩余的砂石目標(biāo)中,按最長(zhǎng)徑max(L(i))從大到小排序,取其前70%的最長(zhǎng)徑數(shù)據(jù)作為有效數(shù)據(jù)。圖8展示了獲得砂石最長(zhǎng)徑后的效果圖。
圖8 砂石目標(biāo)最長(zhǎng)徑效果圖
本實(shí)驗(yàn)的研究對(duì)象為砂石圖像,由于目前已有的對(duì)砂石圖像的研究并不多,并沒(méi)有公共數(shù)據(jù)集,所以本實(shí)驗(yàn)所用的砂石圖像均為手工拍照獲得。共12張砂石圖像,圖像尺寸為1296×972,由于圖像尺寸較大且圖像中的砂石目標(biāo)眾多且緊密粘連,所以12張圖像數(shù)據(jù)已足夠?qū)嶒?yàn)所用。實(shí)驗(yàn)拍攝器材使用??迪鄼C(jī),型號(hào)為MV-CE100-30DC。為了保證本實(shí)驗(yàn)方法能夠具有較高的魯棒性,拍攝圖像來(lái)自于不同場(chǎng)景下的砂石樣本,其光照條件、砂石本身顏色差異、砂石顆粒尺寸等因素均互不相同。
本實(shí)驗(yàn)雖然以砂石分割過(guò)程為研究重點(diǎn),但最終目的為計(jì)算砂石粒徑大小,所以對(duì)實(shí)驗(yàn)結(jié)果的評(píng)價(jià)分為2個(gè)部分:砂石分割準(zhǔn)確度評(píng)價(jià)和砂石粒徑計(jì)算精確度評(píng)價(jià)。
1)在砂石分割準(zhǔn)確度評(píng)價(jià)方面,本文采用了重疊率來(lái)度量砂石圖像分割模型的性能[23]。重疊率表示分割預(yù)測(cè)砂石區(qū)域與真實(shí)標(biāo)記砂石區(qū)域之間的重疊比例,重疊率計(jì)算方式為:
(3)
其中,AR表示本實(shí)驗(yàn)網(wǎng)絡(luò)預(yù)測(cè)的砂石目標(biāo)區(qū)域(Result Area),AGT表示實(shí)際的砂石目標(biāo)區(qū)域(Ground Truth Area),此分割結(jié)果對(duì)應(yīng)的Ground Truth為手工標(biāo)記砂石目標(biāo)獲得。使用Photoshop對(duì)砂石目標(biāo)邊緣進(jìn)行標(biāo)記,將砂石個(gè)體與模糊不清的無(wú)效背景區(qū)分開(kāi),然后對(duì)標(biāo)記圖進(jìn)行二值化,砂石目標(biāo)為白色,無(wú)效背景為黑色,最終得到的砂石個(gè)體相互獨(dú)立的圖像作為Ground Truth。Score越大,表明預(yù)測(cè)砂石目標(biāo)區(qū)域與實(shí)際砂石目標(biāo)區(qū)域的重疊部分越多,表示分割越接近真實(shí),即分割效果越好。
2)砂石粒徑計(jì)算精確度評(píng)價(jià)方面,本文采用了計(jì)算誤差來(lái)表示砂石粒徑計(jì)算結(jié)果與真實(shí)結(jié)果間的差距,單位為像素,計(jì)算誤差的計(jì)算方式為:
error = |NumR-NumT|
(4)
其中,NumR表示計(jì)算結(jié)果數(shù)據(jù)(Result Number),NumT為砂石粒徑大小真實(shí)數(shù)據(jù)(True Number)。其中計(jì)算結(jié)果數(shù)據(jù),由本實(shí)驗(yàn)運(yùn)行結(jié)束后自動(dòng)獲得,數(shù)據(jù)形式為砂石目標(biāo)的最長(zhǎng)徑所占的像素?cái)?shù)。而砂石粒徑大小真實(shí)數(shù)據(jù),為人工抽樣測(cè)量獲得。人工測(cè)量時(shí),使用3個(gè)人分別對(duì)采集到的6張砂石樣本測(cè)試圖,每張圖像隨機(jī)抽取60顆砂石目標(biāo),對(duì)抽取到的砂石樣本進(jìn)行人工測(cè)量其最長(zhǎng)徑所占像素?cái)?shù),取這3×60顆砂石樣本測(cè)量所得數(shù)據(jù)的均值作為本張圖像的粒徑平均真實(shí)大小。對(duì)于“砂石圖像最長(zhǎng)徑所占像素?cái)?shù)”的人工測(cè)量方法,使用Windows系統(tǒng)下自帶的“畫(huà)圖”軟件,標(biāo)記出砂石顆粒兩端的像素坐標(biāo),即可計(jì)算得到“砂石顆粒最長(zhǎng)徑所占像素?cái)?shù)”。
在砂石分割效果上,為了體現(xiàn)本實(shí)驗(yàn)方法中砂石圖像分割分離效果的優(yōu)越性,將本文方法和U-Net分割網(wǎng)絡(luò)進(jìn)行了對(duì)比。圖9展示了2張不同批次的砂石圖像在使用本文方法和U-Net網(wǎng)絡(luò)方法分割效果的對(duì)比。圖中分別以矩形和橢圓標(biāo)記出分割效果對(duì)比示例,其他位置的效果對(duì)比與示例類似。由圖中可見(jiàn),本文方法基本上可以分割且分離粘連的砂石目標(biāo),而使用U-Net網(wǎng)絡(luò)分割方法,大部分砂石目標(biāo)模糊且依舊粘連在一起,因此無(wú)法進(jìn)行后續(xù)的粒徑計(jì)算工作,由此可以體現(xiàn)出本文分割方法的優(yōu)越性。
(a) 原圖 (b) 本文方法 (c) U-Net網(wǎng)絡(luò)分割方法圖9 不同方法分割效果對(duì)比
為了量化體現(xiàn)本文方法的有效性,表3展示了6張測(cè)試圖的分割重疊率和砂石粒徑計(jì)算結(jié)果。在分割重疊率方面,對(duì)比可以發(fā)現(xiàn)U-Net網(wǎng)絡(luò)分割重疊率均小于兩階段分割方法,這正是從量化的角度說(shuō)明了在砂石圖像的分割能力上U-Net網(wǎng)絡(luò)弱于兩階段分割法。從表中可以發(fā)現(xiàn)3號(hào)圖像和4號(hào)圖像砂石粒徑最大,其分割結(jié)果重疊率最高,算法計(jì)算所得粒徑大小與手工測(cè)量粒徑大小誤差最小;而5號(hào)圖像和6號(hào)圖像砂石粒徑最小,其分割結(jié)果重疊率最低,算法計(jì)算所得粒徑大小與手工測(cè)量粒徑大小誤差最大。由此可以得出的結(jié)論是,當(dāng)砂石顆粒較大時(shí),分割效果較好,粒徑計(jì)算結(jié)果也較為準(zhǔn)確;相反,當(dāng)砂石顆粒較小時(shí),分割效果較差,粒徑計(jì)算結(jié)果的誤差也較大。雖然5號(hào)圖像和6號(hào)圖像的計(jì)算誤差較大,但綜合來(lái)看,整體的計(jì)算誤差均能控制在10個(gè)像素之內(nèi),由此可見(jiàn)本文方法計(jì)算砂石粒徑大小較為精確。
表3 砂石分割結(jié)果與粒徑計(jì)算統(tǒng)計(jì)表
對(duì)于本文實(shí)驗(yàn)的分割算法時(shí)間性能分析方面,在實(shí)驗(yàn)中,使用的計(jì)算機(jī)硬件設(shè)備CPU為Intel八代I5、GPU為NVIDIA GeForce GTX 1080Ti。對(duì)于6張尺寸為1296×972的測(cè)試圖像,兩階段分割法平均每張砂石圖像測(cè)試時(shí)間為:分割階段1.3 s、分離階段1.1 s,而U-Net網(wǎng)絡(luò)平均每張砂石圖像測(cè)試時(shí)間為3.1 s。與U-Net網(wǎng)絡(luò)相比,兩階段分割法由于網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單,只有6層卷積層,而U-Net網(wǎng)絡(luò)包括了編碼、解碼等一系列操作,所以兩階段分割法的平均運(yùn)行速度要快于U-Net網(wǎng)絡(luò)。因此可以說(shuō)明本文的兩階段分割算法能夠快速分割砂石目標(biāo)。
本文提出了一種基于全卷積網(wǎng)絡(luò)的砂石圖像粒徑檢測(cè)方法,能夠快速分割砂石目標(biāo),并準(zhǔn)確計(jì)算出砂石粒徑大小。在砂石目標(biāo)分割效果方面,使用其他現(xiàn)有的傳統(tǒng)方法或者深度網(wǎng)絡(luò)模型,分割結(jié)束后仍然有大量的砂石個(gè)體粘連在一起,而本文方法創(chuàng)新點(diǎn)在于使用2次網(wǎng)絡(luò),先將砂石目標(biāo)進(jìn)行分割,但由于砂石目標(biāo)緊密粘連,初次分割效果并不理想,所以需要對(duì)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練,將已經(jīng)分割的砂石目標(biāo)進(jìn)行分離,最終得到分割且分離完成的砂石目標(biāo)。在砂石粒徑大小計(jì)算方面,計(jì)算精度雖然受砂石顆粒大小的影響,但依舊可以控制在可接受范圍內(nèi),計(jì)算精度較為準(zhǔn)確。
本文方法已按“基于深度學(xué)習(xí)的砂石圖像粒徑檢測(cè)方法”申請(qǐng)專利(專利號(hào):201910201075.9),而且還可以應(yīng)用于細(xì)胞檢測(cè)及計(jì)數(shù),接下來(lái)的研究重點(diǎn)將會(huì)放在更加微小的砂石目標(biāo)圖像的分割任務(wù)上,嘗試優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),以期獲得更好的微小目標(biāo)分割效果。