基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別①

樊 帥,王 鑫,閻 鎮(zhèn)

1(中國(guó)科學(xué)院 空間應(yīng)用工程與技術(shù)中心 中國(guó)科學(xué)院太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室，北京100094)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

隨著人類空間活動(dòng)越來(lái)越頻繁,人類在太空中的活動(dòng)時(shí)間也越來(lái)越長(zhǎng).因此,在空間環(huán)境下研究植物生長(zhǎng)規(guī)律,建立人類空間生存的生態(tài)支持系統(tǒng)以解決人類在太空長(zhǎng)期生存的自給自足或部分自給自足問(wèn)題具有重要的意義[1].在空間植物培養(yǎng)實(shí)驗(yàn)中,培養(yǎng)箱為植物提供生長(zhǎng)所需的環(huán)境條件,同時(shí)通過(guò)相機(jī)拍攝空間植物生長(zhǎng)的圖像,然后人為觀測(cè)空間植物的生長(zhǎng)過(guò)程,分析植物生長(zhǎng)狀態(tài)[2,3].但是,隨著更多空間實(shí)驗(yàn)的進(jìn)行,圖像數(shù)據(jù)量增長(zhǎng),使得人工判讀效率低、誤差較大.因此,基于計(jì)算機(jī)視覺(jué)技術(shù)的空間植物自動(dòng)識(shí)別成為當(dāng)前研究的熱點(diǎn)[4].

早先圖像識(shí)別的方法利用淺層特征對(duì)圖像進(jìn)行識(shí)別,淺層特征有圖像灰度特征、顏色特征、紋理特征、梯度特征等[5].淺層特征提取的方法主要包括主成分分析方法[6]、流行學(xué)習(xí)方法[7]、基于核的方法、基于字典的方法等[8].然而,這些方法只能提取淺層特征,難以從復(fù)雜圖像場(chǎng)景中學(xué)習(xí)出穩(wěn)定性好且不變性好的深層特征.

深度學(xué)習(xí)方法[9]的提出以及在圖像領(lǐng)域的廣泛應(yīng)用,使得圖像識(shí)別的精度顯著提高,并逐漸成為主流圖像識(shí)別方法[10].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是近年來(lái)興起的一種人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論相結(jié)合的模式識(shí)別方法,目前已經(jīng)成為圖像領(lǐng)域中的研究熱點(diǎn)之一[11–13].但是,空間植物圖像干擾因素多且數(shù)據(jù)量大,而卷積神經(jīng)網(wǎng)絡(luò)方法在進(jìn)行圖像識(shí)別時(shí),耗用時(shí)間長(zhǎng)且精度不高.全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)方法是基于CNN的改進(jìn)模型,能夠?qū)崿F(xiàn)多類別的同時(shí)分類和密集的語(yǔ)義分割,分類精度很高而且速度快[14].

因此,本文所提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別的方法能夠很好的解決上述存在淺層圖像識(shí)別方法難以提取空間植物圖像分層特征,以及深層卷積神經(jīng)網(wǎng)絡(luò)方法識(shí)別時(shí)間較長(zhǎng)、精度不高的問(wèn)題,取得了較好的識(shí)別效果.此外,本文將以某航天器上的空間植物擬南芥圖像為例對(duì)提出的方法進(jìn)行驗(yàn)證.

1 本文方法

本文所提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別方法,主要包括以下三個(gè)步驟: 1)構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu); 2)學(xué)習(xí)全卷積神經(jīng)網(wǎng)絡(luò)參數(shù); 3)基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別.

1.1 構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示,是本文所構(gòu)建的全卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)圖.為了有效表示空間植物圖像,除了輸入層外,本文選擇卷積層來(lái)提取空間植物圖像的多層特征,引入歸一化層對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理,增加上采樣層實(shí)現(xiàn)像素級(jí)識(shí)別分類結(jié)果輸出.基于上述層類型,排布輸入層、多個(gè)卷積層、Relu激活函數(shù)、歸一化層和上采樣層,以構(gòu)成全卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu).

圖1 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1所示的網(wǎng)絡(luò)結(jié)構(gòu)中,conv1到conv6都是卷積部分,conv1到conv5包含卷積層的個(gè)數(shù)都是4個(gè),conv6包含2個(gè)卷積層.conv1到conv6中的卷積部分選擇卷積核為3×3的卷積層來(lái)提取空間植物圖像的多層特征.與一般的網(wǎng)絡(luò)結(jié)構(gòu)不同的是,本文并沒(méi)有使用pooling(池化層)進(jìn)行降維,而是在每一個(gè)卷積部分的最后一個(gè)卷積層采用步長(zhǎng)為2進(jìn)行降維,這樣做可以減少位置信息的損失.conv1到conv6每一個(gè)卷積部分都采用歸一化層使得輸出轉(zhuǎn)化為一個(gè)標(biāo)準(zhǔn)正態(tài)分布從而加速網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí).

采用卷積核為1×1的卷積層conv7、conv8、conv9,分別將conv6、conv4、conv3卷積部分的輸出轉(zhuǎn)化為N通道的特征圖像,N表示最終輸出的類別數(shù)目,本文中類別數(shù)是5,分別是綠葉片、綠長(zhǎng)莖、綠長(zhǎng)莖葉、枯葉片和背景.采用上采樣層up1將conv7進(jìn)行上采樣,同時(shí)采用剪裁層crop1將conv8的輸出剪裁成與up1輸出尺寸大小相同,再采用相加層sum1相加.對(duì)conv9、crop2、up2進(jìn)行相同操作.卷積層conv7的輸出包含了空間植物圖像的深層特征,而卷積層conv8、conv9的輸出包含了空間植物圖像的淺層特征.

因此,本文的所構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)能使網(wǎng)絡(luò)具備提取由淺層至深層的特征,同時(shí)融合深層、淺層多尺度的特征,實(shí)現(xiàn)空間植物圖像場(chǎng)景的有效準(zhǔn)確表示,為實(shí)現(xiàn)空間植物的準(zhǔn)確識(shí)別奠定基礎(chǔ).

1.2 學(xué)習(xí)全卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

參數(shù)學(xué)習(xí)包含兩個(gè)步驟: 1)訓(xùn)練一個(gè)初始網(wǎng)絡(luò);2)在初始網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行fine-tune.參數(shù)學(xué)習(xí)的第一步是訓(xùn)練卷積層conv1到conv7的參數(shù),從而得到一個(gè)初始網(wǎng)絡(luò).為了訓(xùn)練卷積層conv1到conv7的參數(shù),本文先構(gòu)建了一個(gè)VGGNet,如圖2所示.

圖2 VGGNet

在VGGNet中conv1到conv7網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置與全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的設(shè)置相同.在VGGNet訓(xùn)練之前,先將所得到的訓(xùn)練圖像剪裁成為圖像尺寸為12×12大小的圖像塊,如圖3所示.

圖3 VGG部分訓(xùn)練樣本

基于如圖3所示的訓(xùn)練集,本文利用帶有動(dòng)量的隨機(jī)梯度下降(SGD)方法學(xué)習(xí)網(wǎng)絡(luò)中權(quán)值參數(shù).在訓(xùn)練網(wǎng)絡(luò)之前,設(shè)置動(dòng)量系數(shù)為0.99,權(quán)值衰退系數(shù)即懲罰因子被設(shè)置為0.0005.學(xué)習(xí)率被初始化為0.000 06,當(dāng)驗(yàn)證數(shù)據(jù)集的分類精度停止上升時(shí)以10為因子遞減學(xué)習(xí)率.通過(guò)VGG網(wǎng)絡(luò)訓(xùn)練得到卷積層conv1到conv7的參數(shù),從而得到一個(gè)初始的網(wǎng)絡(luò)模型.

參數(shù)學(xué)習(xí)的第二個(gè)步驟就是對(duì)初始網(wǎng)絡(luò)進(jìn)行finetune.與VGG網(wǎng)絡(luò)訓(xùn)練不同的是全卷積神經(jīng)網(wǎng)絡(luò)FCN的方法能夠接受任意尺寸大小的圖像,不需要對(duì)原始圖像進(jìn)行切塊.因此,在建立數(shù)據(jù)集時(shí),選擇不同生長(zhǎng)周期的空間植物圖像進(jìn)行標(biāo)注.如圖4所示的是FCN的訓(xùn)練樣本,對(duì)圖像中所需要識(shí)別的類別進(jìn)行標(biāo)注.

圖4 FCN訓(xùn)練樣本

基于所得到的初始網(wǎng)絡(luò)和訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行finetune.與VGG網(wǎng)絡(luò)訓(xùn)練相同,FCN訓(xùn)練利用SGD方法進(jìn)行參數(shù)學(xué)習(xí).在參數(shù)學(xué)習(xí)之前設(shè)置一個(gè)固定的學(xué)習(xí)率10–10,動(dòng)量系數(shù)為0.99,權(quán)值衰退系數(shù)為0.0005.當(dāng)fine-tune完成之后就可以得到一個(gè)有效的網(wǎng)絡(luò)模型.

1.3 基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別

利用上述所得到的網(wǎng)絡(luò)模型對(duì)空間植物圖像進(jìn)行有效的識(shí)別.選擇不同生長(zhǎng)周期的空間植物圖像輸入網(wǎng)絡(luò)模型中,經(jīng)過(guò)一次前向計(jì)算產(chǎn)生密集的識(shí)別結(jié)果,從而實(shí)現(xiàn)了空間植物圖像的快速識(shí)別.

2 實(shí)驗(yàn)結(jié)果

利用訓(xùn)練樣本進(jìn)行模型訓(xùn)練之后,利用測(cè)試樣本對(duì)模型進(jìn)行驗(yàn)證.選擇部分不同生長(zhǎng)周期的測(cè)試樣本進(jìn)行測(cè)試,識(shí)別結(jié)果如圖5所示,a、b、c是擬南芥的幼苗期,d、e、f是團(tuán)簇期,g、h、i是長(zhǎng)莖期.如圖6所示,分別是強(qiáng)光干擾、鏡像干擾、水霧干擾條件下的空間植物局部識(shí)別圖像.如圖7所示的是本文方法與VGG方法的對(duì)比結(jié)果圖.其中,GroundTruth中的不同顏色區(qū)域代表空間植物不同類別的真實(shí)區(qū)域.

圖5 不同生長(zhǎng)周期識(shí)別結(jié)果

同時(shí),本文對(duì)識(shí)別的pixel accuracy(像素精度)和mean accuracy(平均精度)以及識(shí)別一張圖像的時(shí)間Rtime進(jìn)行測(cè)試.像素精度是指正確識(shí)別的像素占總像素的比例; 平均精度是指計(jì)算每個(gè)類別被正確分類像素的比例,之后求所有類的平均值.兩者的計(jì)算公式如下:

選擇500張不同生長(zhǎng)周期的擬南芥圖像利用本文方法和VGG方法進(jìn)行測(cè)試,所得到的圖像的像素精度、平均精度和識(shí)別時(shí)間如表1所示.

此外,從表1可以看出,本文所構(gòu)建的基于全卷積神經(jīng)網(wǎng)絡(luò)的方法所識(shí)別出的圖像的像素精度和平均精度值都要比VGG方法的高.本文方法的像素精度高達(dá)到96.58%,而VGG的方法為78.42%; 本文方法的平均精度值為85.63%,而VGG的方法為60.73%.同時(shí)VGG方法平均識(shí)別時(shí)間長(zhǎng)達(dá)668.253 s,而本文方法平均識(shí)別時(shí)間僅僅為0.156 s,兩者的識(shí)別速度相差非常大,本文方法識(shí)別速度非常快,因此可以處理大量的數(shù)據(jù).由此可以看出,本文方法能夠準(zhǔn)確、快速的實(shí)現(xiàn)空間植物圖像的識(shí)別.

圖6 干擾條件下的局部識(shí)別結(jié)果

圖7 實(shí)驗(yàn)對(duì)比結(jié)果

表1 像素精度、平均精度和識(shí)別時(shí)間

3 實(shí)驗(yàn)結(jié)果分析

圖5展示了擬南芥在不同生長(zhǎng)周期的識(shí)別效果,在a、b、c中,此階段擬南芥處于幼苗期,只有綠葉片,識(shí)別難度較小; d、e、f中,此時(shí),擬南芥處于團(tuán)簇期,有綠葉片和枯葉片,同時(shí)由于鏡像的影響,在培養(yǎng)箱壁上也出現(xiàn)了擬南芥的影像,識(shí)別難度增加; g、h、i中,擬南芥處于長(zhǎng)莖期,有綠葉片、綠長(zhǎng)莖、綠長(zhǎng)莖葉、枯葉片,其干擾因素主要是強(qiáng)光以及鏡像影響,同時(shí)i中還有水霧的影響,此時(shí)識(shí)別種類多、干擾因素多,識(shí)別難度很大.在圖5中,對(duì)照Ground Truth,從最終的識(shí)別結(jié)果可以看出,本文所提出的方法對(duì)于不同生長(zhǎng)周期的空間植物的各個(gè)類別都能準(zhǔn)確的識(shí)別出來(lái).在圖6中,紅色標(biāo)記出來(lái)的分別是圖像中的強(qiáng)光、鏡像、水霧干擾的區(qū)域.對(duì)照Ground Truth可以看出,對(duì)于培養(yǎng)箱中的干擾因素,強(qiáng)光、鏡像、水霧干擾因素,本文所提出的方法能夠很好的排除這些干擾因素,實(shí)現(xiàn)空間植物的準(zhǔn)確識(shí)別.圖7展示的是在強(qiáng)光、鏡像干擾因素下本文方法和VGG方法的識(shí)別結(jié)果,對(duì)照Ground Truth可以看出,本文方法能夠不受這些干擾因素的影響,將空間植物準(zhǔn)確識(shí)別出來(lái),而VGG的方法雖然能夠?qū)⒅参镒R(shí)別出來(lái)但是受鏡像干擾因素的影響將培養(yǎng)箱玻璃壁上的植物鏡像誤識(shí)別為空間植物.而且在強(qiáng)光干擾條件下VGG的方法雖然能夠?qū)⒅参锘咀R(shí)別出來(lái),但是也存在誤識(shí)別的問(wèn)題.

4 結(jié)論與展望

本文提出的一種基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別的方法,很好的解決了目前淺層圖像分割方法難以提取空間植物圖像分層特征以及深層卷積神經(jīng)網(wǎng)絡(luò)方法識(shí)別時(shí)間較長(zhǎng)的問(wèn)題.通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析,可以看出本文提出的基于全卷積神經(jīng)網(wǎng)絡(luò)的空間植物圖像快速識(shí)別的方法,能夠?qū)臻g植物圖像實(shí)現(xiàn)高精度、快速的識(shí)別.此外,結(jié)合圖像的語(yǔ)義解譯技術(shù),基于計(jì)算機(jī)視覺(jué)技術(shù)的空間植物圖像自動(dòng)識(shí)別及語(yǔ)義解譯也將會(huì)是一個(gè)有價(jià)值的研究方向.