基于ResNet50的紫色土圖像分類(lèi)

曾莉

（重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331）

0 引言

紫色土是重慶市分布面積最廣的旱地土壤類(lèi)型，在重慶市糧、油、果、菜等產(chǎn)業(yè)發(fā)展中發(fā)揮著重要作用。不同土屬類(lèi)別的紫色土的保水保肥力不同，全鉀、全磷、有機(jī)質(zhì)以及速效養(yǎng)分的含量不同。所以，不同土屬類(lèi)別的紫色土的宜種作物和施肥方案也不同。能正確識(shí)別土壤，使用土壤及實(shí)行配方施肥，對(duì)農(nóng)業(yè)的發(fā)展起著重要作用。

傳統(tǒng)的土壤分類(lèi)方法需要依靠專業(yè)人士或?qū)ｉT(mén)的設(shè)備。具有土壤的顏色、質(zhì)地和結(jié)構(gòu)等知識(shí)的專業(yè)人士辨識(shí)土壤類(lèi)別的實(shí)時(shí)性高，卻存在一定的主觀性，對(duì)土壤研究越深，準(zhǔn)確率越高，只有長(zhǎng)期從事土壤類(lèi)別研究的專家能達(dá)到準(zhǔn)確分類(lèi)的要求。專門(mén)的儀器測(cè)量土壤中的理化性狀（全氮、全磷、有機(jī)質(zhì)、pH、物理粘粒含量、密度等）或光譜特征（反射光譜數(shù)據(jù)、近紅外光譜數(shù)據(jù)等），通過(guò)分析測(cè)量信息來(lái)進(jìn)行土壤分類(lèi)，其檢測(cè)行為需在實(shí)驗(yàn)室進(jìn)行且操作繁瑣耗時(shí)。

這些傳統(tǒng)的土壤分類(lèi)方法不適合在田間工作的農(nóng)業(yè)人員使用。在田間工作的農(nóng)業(yè)人員需要的是一個(gè)易操作、實(shí)時(shí)性高的土壤分類(lèi)解決方案。因此，學(xué)者們提出了運(yùn)用圖像處理技術(shù)來(lái)處理土壤圖像，提取出土壤圖像有效特征來(lái)對(duì)土壤進(jìn)行分類(lèi)。K.Srunitha等人利用HSV顏色直方圖、低通濾波器和Gabor濾波器來(lái)提取土壤圖像的顏色特征和紋理特征，并用SVM對(duì)土壤圖像進(jìn)行分類(lèi)[1]；Hement Kumar Sharma等人先通過(guò)濾波、銳化、去噪等操作增強(qiáng)圖像，然后利用小波變換、自相關(guān)性和HSV顏色直方圖提取圖像特征，用SVM對(duì)紅壤、黑土等大類(lèi)土壤進(jìn)行分類(lèi)[2]?；谌斯ぴO(shè)計(jì)的紫色土圖像特征的描述能力有限，易導(dǎo)致紫色土圖像分類(lèi)效果不佳。而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）不需要人工設(shè)計(jì)紫色土圖像特征，是自主地從訓(xùn)練樣本中學(xué)習(xí)特征，并且特征學(xué)習(xí)與分類(lèi)器聯(lián)系緊密，很好地解決了特征提取和分類(lèi)器選擇的難題，在圖像分類(lèi)任務(wù)中，能取得很好的效果[3]。

針對(duì)現(xiàn)有的 AlexNet[4]、VGG[5]、GoogleNet[6]、ResNet[7]等卷積神經(jīng)網(wǎng)絡(luò)對(duì)紫色土圖像細(xì)粒度分類(lèi)性能不夠好的問(wèn)題，對(duì)ResNet50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，在最后一層卷積層后連接3層全連接層，加強(qiáng)模型的特征表達(dá)能力，用SeLU激活函數(shù)[8]替換ReLU激活函數(shù)，解決模型的零梯度問(wèn)題，增加有效負(fù)值特征信息的學(xué)習(xí)，同時(shí)引入Dropout[9]，避免過(guò)擬合現(xiàn)象；再引入遷移學(xué)習(xí)[10]方法，用ImageNet數(shù)據(jù)集訓(xùn)練好的ResNet50網(wǎng)絡(luò)參數(shù)初始化優(yōu)化后的ResNet50網(wǎng)絡(luò)的卷積層參數(shù)，然后用紫色土圖像數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，微調(diào)網(wǎng)絡(luò)參數(shù)，從而提高紫色土圖像小樣本數(shù)據(jù)集細(xì)粒度分類(lèi)準(zhǔn)確率。

1 基于ResNet50的紫色土圖像分類(lèi)

為了得到更好的紫色土圖像細(xì)粒度分類(lèi)效果，對(duì)ResNet50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，在ResNet50網(wǎng)絡(luò)結(jié)構(gòu)的最后一層卷積層后連接3層全連接層，引入Dropout，并用SeLU激活函數(shù)替換ReLU激活函數(shù)，同時(shí)引入遷移學(xué)習(xí)方法。

1.1 全連接層

（1）激勵(lì)函數(shù)

全連接層里的激活函數(shù)通常運(yùn)用ReLU激活函數(shù)，公式如下所示。

其中，當(dāng)輸入特征大于零時(shí),輸出等于輸入；當(dāng)輸入特征小于零時(shí),輸出為零。當(dāng)用ReLU激活函數(shù)進(jìn)行訓(xùn)練時(shí),將會(huì)丟棄對(duì)分類(lèi)有用的負(fù)值特征。

針對(duì)上述ReLU的不足，SeLU激活函數(shù)[8]被用來(lái)解決有效負(fù)特征信息丟棄問(wèn)題，公式如下所示。

其中，當(dāng)輸入特征小于零時(shí),得到一個(gè)較小斜率的函數(shù)。所以，SeLU激活函數(shù)保留了特征負(fù)值信息，增加了有效特征信息的學(xué)習(xí)。

（2）Dropout

當(dāng)網(wǎng)絡(luò)較深而訓(xùn)練樣本少時(shí)，訓(xùn)練所得的網(wǎng)絡(luò)易產(chǎn)生過(guò)擬合現(xiàn)象。

Dropout是Hintion等人[9]提出的，將神經(jīng)網(wǎng)絡(luò)單元依照一定的概率暫時(shí)從網(wǎng)絡(luò)中丟棄，其連接權(quán)重為0，如圖1所示。

圖1 Dropout

在CNN的每次訓(xùn)練中，Dropout是隨機(jī)丟棄神經(jīng)網(wǎng)絡(luò)單元的，即隨機(jī)忽略的隱含層節(jié)點(diǎn)都不相同，所以每次訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)都是不相同的，避免了僅在特殊條件下的某些特征，有效地防止過(guò)擬合現(xiàn)象。

1.2 遷移學(xué)習(xí)

在沒(méi)有足夠多訓(xùn)練樣本的情況下，可能出現(xiàn)訓(xùn)練困難、易過(guò)擬合的問(wèn)題。遷移學(xué)習(xí)可解決小樣本分類(lèi)問(wèn)題[11]，ImageNet數(shù)據(jù)集上訓(xùn)練好的模型，在小樣本分類(lèi)任務(wù)中共享模型結(jié)構(gòu)和參數(shù)，在提高準(zhǔn)確率的同時(shí)降低配置要求并減少了訓(xùn)練時(shí)間。

為了解決紫色土圖像數(shù)據(jù)集小、網(wǎng)絡(luò)優(yōu)化困難的問(wèn)題，基于遷移學(xué)習(xí)理論，使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的 AlexNet、VGG16、Inception-v3、ResNet50 模型，將模型參數(shù)遷移至紫色土圖像分類(lèi)模型中，即用ImageNet預(yù)訓(xùn)練好的模型參數(shù)初始化紫色土圖像分類(lèi)模型的卷積層參數(shù)，然后用紫色土圖像數(shù)據(jù)集訓(xùn)練紫色土圖像分類(lèi)模型，微調(diào)紫色土圖像分類(lèi)模型參數(shù)，得到最終的紫色土圖像分類(lèi)模型。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 紫色土圖像數(shù)據(jù)集

重慶市數(shù)字農(nóng)業(yè)服務(wù)工程中心提供了在重慶市璧山區(qū)自然場(chǎng)景下拍攝的紫色土心土圖像數(shù)據(jù)集，包含了暗紫泥、棕紫泥、灰棕紫泥、紅棕紫泥4種土屬類(lèi)別，部分樣本如圖2所示。

（a）暗紫泥土屬

（b）紅棕紫泥土屬

圖2 紫色土圖像

2.2 數(shù)據(jù)集預(yù)處理

針對(duì)紫色土圖像數(shù)據(jù)集小的問(wèn)題，對(duì)紫色土圖像數(shù)據(jù)集進(jìn)行擴(kuò)充。紫色土圖像數(shù)據(jù)集中的圖像大多為4608×3456像素。表土受苔蘚、雜草等因素影響，顏色不穩(wěn)定，所以采用紫色土心土圖像來(lái)辨識(shí)紫色土土屬類(lèi)別。在每張?jiān)甲仙翀D像中截取出2-10張224×224像素的僅包含心土部分的圖像，截取圖像不重疊，如圖3所示。紫色土圖像數(shù)據(jù)集擴(kuò)充為970張。

圖3 截取心土部分

2.3 實(shí)驗(yàn)環(huán)境

仿真實(shí)驗(yàn)硬件環(huán)境為Intel Core i7-6700HQ CPU，Windows 10（64bit）操作系統(tǒng)，軟件環(huán)境為 Python 3.6，開(kāi)源深度學(xué)習(xí)框架TensorFlow 1.11。

2.4 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)為紫色土圖像測(cè)試集分類(lèi)準(zhǔn)確率（Accuracy），表示如下。

其中，M為測(cè)試集樣本總數(shù)，N為測(cè)試集中正確分類(lèi)樣本數(shù)。

2.5 實(shí)驗(yàn)結(jié)果與分析

（1）基于人工設(shè)計(jì)特征的實(shí)驗(yàn)

為了減少拍攝紫色土圖像時(shí)光照、遮擋等因素的差異對(duì)紫色土圖像分類(lèi)的影響，選擇適合的顏色空間來(lái)描述顏色特征是必要的。

圖4 RGB顏色空間

圖5 HSV顏色空間

圖4為RGB顏色空間下的紫色土圖像，圖5為HSV顏色空間下的同一幅紫色土圖像。圖4（b）-（g）為在RGB顏色空間中，紫色土圖像的R、G、B分量圖及各分量對(duì)應(yīng)直方圖。圖5（b）-（g）為在HSV顏色空間中，紫色土圖像的H、S、V分量圖及各分量對(duì)應(yīng)直方圖。

從圖4（e）中可以看出，在RGB顏色空間中，紫色土圖像的R分量直方圖有兩個(gè)波峰，說(shuō)明紫色土圖像的R分量的像素值明顯地分為了受遮擋和不受遮擋兩個(gè)部分；如圖4（b）所示，從紫色土圖像的R分量圖中也可以直觀地看出紫色土圖像的R分量受光照和遮擋影響大。同理，紫色土圖像的G分量和B分量受光照和遮擋的影響大。因此，不在RGB顏色空間下提取紫色土圖像的顏色特征。然而，在HSV顏色空間中，紫色土圖像的H分量直方圖只有一個(gè)波峰，說(shuō)明紫色土圖像的H分量的像素值匯聚在一定范圍內(nèi)，并沒(méi)有明顯地分為受遮擋和不受遮擋兩部分；如圖5（b）所示，從紫色土圖像的H分量圖中也可以直觀地看出紫色土圖像的H分量受光照和遮擋影響小。同理，紫色土圖像的S分量也受光照和遮擋影響小。因此，在HSV顏色空間中提取紫色土圖像的顏色特征。

實(shí)驗(yàn)對(duì)不同的基于人工設(shè)計(jì)的圖像特征，分別用SVM分類(lèi)器（rbf核函數(shù)），調(diào)節(jié)最佳參數(shù)，分類(lèi)準(zhǔn)確率見(jiàn)表1。

表1 人工設(shè)計(jì)特征分類(lèi)準(zhǔn)確率

由表1可知，基于H分量直方圖的分類(lèi)效果較好，準(zhǔn)確率為70.8%；基于HS分量直方圖的分類(lèi)效果最好，準(zhǔn)確率為74.2%，提高了3.4%。分類(lèi)效果的好壞很大程度上取決于人工設(shè)計(jì)特征的有效性。而基于人工設(shè)計(jì)的紫色土圖像特征存在一定的局限性，易導(dǎo)致紫色土圖像分類(lèi)效果不佳。

（2）基于CNN的實(shí)驗(yàn)

在 AlexNet、VGG16、Inception-v3、ResNet50 網(wǎng)絡(luò)的最后一層卷積層后連接3層全連接神經(jīng)網(wǎng)絡(luò)。為了避免模型過(guò)擬合，在全連接層加入選取閾值為0.5的Dropout層。然后使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的 AlexNet、VGG16、Inception-v3、ResNet50 網(wǎng)絡(luò)參數(shù)初始化紫色土圖像分類(lèi)模型的卷積層參數(shù)，然后訓(xùn)練模型，微調(diào)模型參數(shù)，對(duì)紫色土圖像分類(lèi)的準(zhǔn)確率如表2所示。

表2 CNN分類(lèi)準(zhǔn)確率

結(jié)果表明，ResNet50網(wǎng)絡(luò)對(duì)紫色土圖像分類(lèi)效果最好。ResNet用殘差連接結(jié)構(gòu)解決了深層網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題，增加網(wǎng)絡(luò)的深度和性能，能夠獲得包含更豐富且表達(dá)力更強(qiáng)的特征。

（3）基于ResNet50的實(shí)驗(yàn)

在上述的ResNet50網(wǎng)絡(luò)的基礎(chǔ)上，用SeLU激活函數(shù)替換ReLU激活函數(shù)，對(duì)紫色土圖像分類(lèi)的準(zhǔn)確率如表3所示。

表3 ResNet50分類(lèi)準(zhǔn)確率

實(shí)驗(yàn)結(jié)果表明，SeLU激活函數(shù)學(xué)習(xí)了特征中的有效負(fù)值信息，提高了ResNet50網(wǎng)絡(luò)對(duì)紫色土圖像分類(lèi)的準(zhǔn)確率。

3 結(jié)語(yǔ)

基于ResNet50的紫色土圖像分類(lèi)研究，對(duì)ResNet50模型結(jié)構(gòu)進(jìn)行優(yōu)化，在最后一層卷積層后連接3層全連接層，增強(qiáng)模型的特征表達(dá)能力，用SeLU激活函數(shù)替換ReLU激活函數(shù)，增加有效負(fù)值特征信息的學(xué)習(xí)，并加入Dropout層，避免過(guò)擬合現(xiàn)象；引入遷移學(xué)習(xí)方法，用ImageNet數(shù)據(jù)集訓(xùn)練好的ResNet50網(wǎng)絡(luò)參數(shù)初始化優(yōu)化后的ResNet50網(wǎng)絡(luò)的卷積層參數(shù)，然后用紫色土圖像數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，微調(diào)網(wǎng)絡(luò)參數(shù)，得到最終的紫色土圖像分類(lèi)模型，提高了紫色土圖像分類(lèi)的準(zhǔn)確率和效率。通過(guò)實(shí)驗(yàn)與分析，基于ResNet50的紫色土圖像分類(lèi)效果要優(yōu)于基于人工設(shè)計(jì)特征進(jìn)行紫色土圖像分類(lèi)的效果，提出的基于ResNet50的紫色土圖像分類(lèi)模型為開(kāi)發(fā)基于移動(dòng)終端的紫色土土屬類(lèi)別識(shí)別系統(tǒng)提供模型支持。