基于卷積神經(jīng)網(wǎng)絡(luò)的檳榔分級方法研究*

李志臣，凌秀軍，李鴻秋

(金陵科技學(xué)院機(jī)電工程學(xué)院,南京市,211169)

0 引言

檳榔在我國是一種常見食品,產(chǎn)值已達(dá)到了700多億元。檳榔加工品的人工分級存在一些問題,如工作強(qiáng)度大、勞動效率低,人工的主觀意識、經(jīng)驗(yàn)和身心狀況等因素會影響分級的準(zhǔn)確性,因此探索機(jī)械化分級對于檳榔加工企業(yè)來說是一個重要的課題。檳榔加工品在上市前需要進(jìn)行分級,以保證產(chǎn)品的質(zhì)量和市場競爭力。采用機(jī)器分級可大幅提高分級的準(zhǔn)確度和效率,增加檳榔加工企業(yè)的生產(chǎn)效益和競爭力,提高企業(yè)的自動化水平和技術(shù)先進(jìn)性,促進(jìn)檳榔產(chǎn)業(yè)的發(fā)展。機(jī)器視覺通過光學(xué)設(shè)備獲取圖像,對圖像進(jìn)行處理并提取特征信息,實(shí)現(xiàn)對檳榔的自動檢測分級,是檳榔機(jī)械化分級的前提。

近年來,機(jī)器視覺廣泛應(yīng)用于農(nóng)產(chǎn)品分級和病蟲害檢測領(lǐng)域,并取得較好的研究進(jìn)展。王珊等[1]將葉片按照病斑面積的占比,通過對病斑縱向擴(kuò)展長度的測量,將其與健康葉片的縱向長度進(jìn)行比較,得到有效的健康葉片和病害葉片的分類結(jié)果。孫俊等[2]設(shè)計(jì)一種新的CNN模型檢測植物葉片病害,該模型特點(diǎn)是批歸一化和全局池化。Przybyo等[3]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)提取橡子的局部特征與全局特征,用來檢測橡子,達(dá)到將健康與變質(zhì)橡子分類的目標(biāo)。張思雨等[4]在卷積神經(jīng)網(wǎng)絡(luò)損失中加入二次函數(shù)與正態(tài)分布模型,結(jié)合自適應(yīng)學(xué)習(xí)率,混合使用梯度下降與梯度上升更新網(wǎng)絡(luò),花生檢測的正確識別率達(dá)99%以上。王璨等[5]將卷積神經(jīng)網(wǎng)絡(luò)引入了多尺度分層特征提取的機(jī)制,該方法可以準(zhǔn)確地識別田間圖像中的玉米苗和雜草,能夠有效地提高農(nóng)業(yè)生產(chǎn)的效率。石洪康等[6]采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行家蠶病害圖像的識別研究,準(zhǔn)確率達(dá)到94%以上。何欣等[7]通過引入多尺度卷積核組合的方式改進(jìn)CNN的底層響應(yīng),提出的多尺度的殘差神經(jīng)網(wǎng)絡(luò)模型算法應(yīng)用于葡萄葉片病害的識別,正確識別率超過90%。趙騰飛等[8]優(yōu)化設(shè)計(jì)CNN的參數(shù)增強(qiáng)了模型的泛化性和魯棒性,針對核桃仁的分類正確率接近100%。許月明等[9]利用主成分分析法對獲取的檳榔圖像的顏色、形狀和紋理特征進(jìn)行分析,利用支持向量機(jī)(SVM)進(jìn)行檳榔分類,達(dá)到了較好的效果。李振亞[10]將檳榔圖像送入CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)檳榔圖像的內(nèi)外輪廓特征并對圖像進(jìn)行分割,對分割后的圖像進(jìn)行檳榔片的長、寬等參數(shù)測量并判斷是否去核,以此來判斷檳榔的品質(zhì)等級,有效地提高了檳榔分級準(zhǔn)確率。這些對檳榔的分類研究需要計(jì)算顏色、形狀、輪廓等物理參數(shù),增加了分類時圖像處理在時間和內(nèi)存上的消耗。

卷積神經(jīng)網(wǎng)絡(luò)可對農(nóng)產(chǎn)品準(zhǔn)確分類和實(shí)現(xiàn)農(nóng)作物病蟲害的有效識別。通過把圖像全像素作為輸入數(shù)據(jù),設(shè)計(jì)合適的卷積神經(jīng)網(wǎng)絡(luò)和調(diào)整網(wǎng)絡(luò)的參數(shù),最終達(dá)到可靠的檳榔分級結(jié)果,為以機(jī)器視覺技術(shù)檢測檳榔的機(jī)器分揀打下良好的基礎(chǔ)。在研究中利用自然光源獲取檳榔圖像,經(jīng)過圖像預(yù)處理后分為訓(xùn)練、驗(yàn)證和測試三組數(shù)據(jù)集,設(shè)計(jì)一個基于Adam優(yōu)化的淺層卷積神經(jīng)網(wǎng)絡(luò)模型(SCNN)進(jìn)行檳榔的分級,通過調(diào)整學(xué)習(xí)率參數(shù)獲得最佳的卷積神經(jīng)網(wǎng)絡(luò)模型并開展對檳榔分級的試驗(yàn)。

1 圖像獲取與處理

1.1 圖像獲取與預(yù)處理

不同地區(qū)對檳榔的分級標(biāo)準(zhǔn)可能略有不同,但大體上都會根據(jù)檳榔的大小、形狀以及表面紋路等特征進(jìn)行分類,檳榔分級的從業(yè)人員一般按照以下傳統(tǒng)為檳榔分級:表面有明顯的究頭,縱向和橫向紋路很深,長度一般大于55 mm的是檳榔特級果(極品);表面紋路深且比例相對均勻,長度一般大于50 mm的是檳榔一級果(金條);檳榔表面紋路相對較淺、較光滑且肚子的直徑比較大,長度一般大于25 mm的是檳榔二級果(泡果);長度小于25 mm的是檳榔三級果(小果)[9]。

從檳榔加工企業(yè)選擇分級后的檳榔成品1 698粒,在檳榔分級的數(shù)據(jù)采集方面,采用了小米Note9手機(jī)拍照,為保證圖像清晰度和背景一致性,固定手機(jī)的位置,檳榔背景為白紙,共拍得1 698幅分辨率為像素1 200(寬)×1 600(高)的板栗圖像,采集的圖像信息以RGB形式儲存。特級、一級、二級和三級檳榔的原始圖像如圖1所示。為能夠使網(wǎng)絡(luò)模型具備更好的適應(yīng)性,圖像拍攝時對拍攝環(huán)境無嚴(yán)格要求,有的圖像有陰影并且背景并不完全一致,原始圖像的分辨率比較高。如果把全部像素的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入,可能導(dǎo)致計(jì)算機(jī)內(nèi)存崩潰,所以先將圖像裁剪,裁剪后的檳榔圖像如圖2所示。為防止網(wǎng)絡(luò)模型在訓(xùn)練時過擬合現(xiàn)象,通過增強(qiáng)的方式擴(kuò)大訓(xùn)練與驗(yàn)證圖像數(shù)據(jù)集,增強(qiáng)的參數(shù)設(shè)置主要有3個,隨機(jī)旋轉(zhuǎn)的角度范圍:rotation_range=10;圖片水平偏移的幅度:width_shift_range=0.1;圖片豎直偏移的幅度:height_shift_range=0.05。原始檳榔和增強(qiáng)圖像共有3 396幅。

(a) 特級

(a) 特級

1.2 圖像分組

將3 396幅圖像分成三組,一組為訓(xùn)練數(shù)據(jù)圖像,共2 380幅;第二組為驗(yàn)證數(shù)據(jù)組,共760幅圖像;第三組為測試數(shù)據(jù)組,共256幅圖像。每一組的圖像分布如表1所示,將三組圖像分別保存在train、val和test文件夾,為了自動獲取標(biāo)簽值,將特級、一級、二級和三級檳榔圖像分別保存在名稱為0、1、2和3的文件夾。

表1 圖像數(shù)量分布

2 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的能力能夠自動提取海量數(shù)據(jù)的特征[11],為檳榔的分類提供方便。相對于BP神經(jīng)網(wǎng)絡(luò)需要海量圖像數(shù)據(jù)訓(xùn)練才能獲得高準(zhǔn)確率的網(wǎng)絡(luò)模型,基于深度學(xué)習(xí)的CNN可以在小樣本圖像數(shù)據(jù)的前提下獲得較高的準(zhǔn)確率[12]。

設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和多層感知器(MLP)鏈接而成,網(wǎng)絡(luò)中的卷積層和池化層有多個。圖像的卷積運(yùn)算就是對圖像矩陣與濾波器(卷積核)矩陣進(jìn)行對應(yīng)相乘再求和運(yùn)算得到的新矩陣,卷積的作用可以快速提取圖像的邊緣,圖像的邊緣有橫線、豎線、斜線、曲線以及形狀特征。

檳榔圖像卷積運(yùn)算如式(1)所示。

B=A×F

(1)

式中:B——圖像卷積運(yùn)算后的特征圖小塊區(qū)域像素值;

A——檳榔圖像某個小塊區(qū)域的像素值;

F——卷積濾波器。

卷積計(jì)算過程如圖3所示,首先將濾波器中心點(diǎn)對準(zhǔn)A的像素點(diǎn)A11,將卷積濾波器每個格的值與對應(yīng)像素值相乘,最后求和并取整得到B的像素點(diǎn)B00的值133,計(jì)算過程如式(2)所示。依次向右、向下平移卷積濾波器,就能計(jì)算出A卷積后的值B。將濾波器應(yīng)用計(jì)算于整幅檳榔圖像,最后輸出的是檳榔特征圖。

圖3 卷積運(yùn)算過程

B00=int[(129×(-1)+115×0+145×1+117×(-2)+115×0+151×2+113×(-1)+122×0+162×1)/9]=133

(2)

卷積核可以有多個,n個卷積核卷積后的通道數(shù)為n,也就是有n個特征圖。在檳榔圖像的訓(xùn)練過程中,卷積核的數(shù)值通過在檳榔圖像數(shù)據(jù)中學(xué)習(xí)得到。

檳榔卷積運(yùn)算后要加入激活函數(shù)。為更好地提高模型的非線性功能,在SCNN中選擇ReLu函數(shù)為激活函數(shù),如式(3)所示。檳榔特征圖的激活運(yùn)算如圖4所示,左側(cè)矩陣的-31對應(yīng)右側(cè)矩陣的值0。

圖4 激活運(yùn)算過程

f(x)=max(x,0)

(3)

直接用n個特征圖給檳榔分類容易造成過擬合,需要對不同位置的特征進(jìn)行聚合統(tǒng)計(jì),這種聚合的操作就叫做池化,但前提是圖像的核心信息不能丟失?？蓱?yīng)用的法則主要有兩個,一個是最大池化法,即取滑動窗口像素值的最大值;一個是平均池化法,即取滑動窗口像素值的平均值,(2,2)平均池化就是將相鄰的四個像素的像素值取平均值。如圖5所示,矩陣D是由矩陣C經(jīng)池化計(jì)算得到的,計(jì)算過程如下。

圖5 池化運(yùn)算過程

D00=int[(133+225+177+200)/4]=183

D01=int[(225+76+200+20)/4]=130

D10=int[(177+200+168+148)/4]=173

D11=int[(200+20+148+0)/4]=92

檳榔圖像相對簡單,在特征的理解上也不復(fù)雜,綜合考慮檳榔分類準(zhǔn)確率、分類速度以及網(wǎng)絡(luò)模型所占物理存儲的大小,設(shè)計(jì)了一個淺層卷積神經(jīng)網(wǎng)絡(luò)(SCNN),網(wǎng)絡(luò)由兩個卷積模塊和一個多層感知器(MLP)構(gòu)成,每個卷積模塊有兩個卷積層和一個池化層,卷積核的大小為3×3,第一個卷積模塊中卷積核的個數(shù)是32,第二個卷積模塊中有64個卷積核,池化層大小為2×2,池化方法為平均池化法。為了防止網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象的發(fā)生,每次迭代每個神經(jīng)元都有20%的概率被殺死,所以增加一個Dropout層,Dropout層也有利于刪除低相關(guān)的特征數(shù)據(jù)。

MLP包括一個全連接層(又叫扁平層)、一個隱藏層和一個輸出層,隱藏層神經(jīng)元個數(shù)計(jì)算如式(4)所示。

(4)

式中:l——隱含層的神經(jīng)元個數(shù);

n——輸入層神經(jīng)元個數(shù);

m——輸出層神經(jīng)元個數(shù);

a——常數(shù),本文中a=2。

檳榔共有特級、一級、二級和三級四類,所以輸出層有4個神經(jīng)元。因此隱藏層神經(jīng)元個數(shù)為256?？傮w的淺層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示,圖6中輸入的是檳榔圖像,終端out輸出的是檳榔的分類等級,SCNN的各層輸入輸出以及參數(shù)等數(shù)據(jù)如表2所示,卷積層Conv1和Conv2各有32個卷積核,池化層Pool1和Pool2都是(2×2)的池化層,池化后數(shù)據(jù)維度降低,卷積層Conv3和Conv4各有64個卷積核。

表2 網(wǎng)絡(luò)各層的數(shù)據(jù)

圖6 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與驗(yàn)證

3.1 數(shù)據(jù)導(dǎo)入與處理

程序設(shè)計(jì)采用python語言,用到的主要模塊是Keras。運(yùn)用image_dataset_from_directory函數(shù)導(dǎo)入訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)并在數(shù)據(jù)加載的同時打亂數(shù)據(jù)。導(dǎo)入時要精確設(shè)置函數(shù)的參數(shù),將label_mode參數(shù)設(shè)置為categorical,從而使得圖像數(shù)據(jù)導(dǎo)入自動生成標(biāo)簽向量,每批處理的數(shù)據(jù)為64幅圖像。為了簡化網(wǎng)絡(luò)結(jié)構(gòu),數(shù)據(jù)導(dǎo)入時減小圖像的size為128像素×128像素,同時為了保證數(shù)據(jù)打亂的隨機(jī)性,將seed參數(shù)設(shè)置為123。對導(dǎo)入的圖像數(shù)據(jù)作歸一化處理。

3.2 網(wǎng)絡(luò)訓(xùn)練

3.2.1 迭代次數(shù)選擇

取訓(xùn)練與驗(yàn)證組檳榔圖像作為輸入數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,在檳榔分級的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,需要對每一幅圖像添加一個類標(biāo)簽。由于檳榔總共有4類,因此不同等級的檳榔分別對應(yīng)為一個4維的向量。具體來說,特級檳榔的類標(biāo)簽是[1,0,0,0];一級檳榔的類標(biāo)簽是[0,1,0,0];二級檳榔的類標(biāo)簽是[0,0,1,0];三級檳榔的類標(biāo)簽是[0,0,0,1]。加了類標(biāo)簽后,神經(jīng)網(wǎng)絡(luò)就可以學(xué)習(xí)到不同等級檳榔的特征,并輸出對應(yīng)的分類結(jié)果。

訓(xùn)練迭代次數(shù)的確定通常需要通過驗(yàn)證集上準(zhǔn)確率的變化來進(jìn)行確定,先取一定次數(shù)的迭代次數(shù),例如40次,然后觀察訓(xùn)練和驗(yàn)證集上的準(zhǔn)確率變化。如果準(zhǔn)確率隨著迭代次數(shù)的增加而不斷提升,需要增加迭代次數(shù),反之,如果準(zhǔn)確率已經(jīng)趨于穩(wěn)定或降低,說明網(wǎng)絡(luò)已經(jīng)趨于收斂,可以停止訓(xùn)練。針對設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練發(fā)現(xiàn),當(dāng)?shù)螖?shù)超過20以后,無論是訓(xùn)練還是驗(yàn)證的準(zhǔn)確率都不再上升,因此選擇網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證的迭代次數(shù)是20。

3.2.2 優(yōu)化函數(shù)的選擇

在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程,共選擇6中優(yōu)化函數(shù)進(jìn)行對比,分別是:

1) 隨機(jī)梯度下降的SGD優(yōu)化器。

2)自適應(yīng)矩估計(jì)(Adaptive moment estimation,Adam)優(yōu)化器[12-13]。

3)自適應(yīng)地確定參數(shù)的學(xué)習(xí)速度、對更新頻率低的參數(shù)做較大的更新、對更新頻率高的參數(shù)做較小的更新的Adagrad優(yōu)化器。

4) 針對Adagrad優(yōu)化器的改進(jìn),采用指數(shù)衰減平均的計(jì)算方法的Adadelt優(yōu)化器。

5) 梯度下降優(yōu)化算法的擴(kuò)展,是Adam和NAG(Nesterov Accelerated Gradient)兩種算法相結(jié)合的Nadam優(yōu)化器。

6) Adam的變體、對梯度平方的處理由指數(shù)衰減平均改為指數(shù)衰減求最大值的Adamax優(yōu)化器。

訓(xùn)練結(jié)束后建立的模型對檳榔分類的正確識別率如表3所示。

表3 不同優(yōu)化器的識別準(zhǔn)確率

其中Adamax、Adadelta和Adam三種優(yōu)化器的正確識別率都是96.1%,但從識別率上不能判斷哪種優(yōu)化器是最優(yōu)的,以三種優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失曲線如圖7和圖8所示。以Adadelta優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失曲線波動較大;Adam、Adamax兩種優(yōu)化器在迭代10次以后曲線平滑。

(a) Adadelta

通過受試者工作特征曲線(Receiver Operating Characteristic,ROC)選擇最佳的優(yōu)化器,ROC曲線上各點(diǎn)反映著相同的感受性,是對同一信號刺激的反應(yīng),是在幾種不同的判定標(biāo)準(zhǔn)(閾值)下所得的結(jié)果[14-15],ROC曲線以混淆矩陣為基礎(chǔ)計(jì)算得出,橫坐標(biāo)、縱坐標(biāo)分別是假陽率(False Positive Rate,FPR)和真陽率(True Positive Rate,TPR),計(jì)算公式如式(5)、式(6)所示。

(5)

式中:TP——正確預(yù)測為正樣本的數(shù)量;

FN——錯誤地預(yù)測為負(fù)樣本的數(shù)量。

(6)

式中:TN——正確預(yù)測為負(fù)樣本的數(shù)量;

FP——錯誤地預(yù)測為正樣本的數(shù)量。

基于Adamax、Adadelta和Adam三種優(yōu)化器建立的卷積神經(jīng)網(wǎng)絡(luò)模型的ROC曲線如圖9所示,ROC曲線下的面積(Area Under Curve,AUC)越接近于1,該曲線對應(yīng)的分類器的效果越好。Adam優(yōu)化器的ROC曲線下的面積最大,并且AUC值等于1,對檳榔的分級是最優(yōu)的。

圖9 ROC曲線

3.2.3 Adam優(yōu)化SCNN

假設(shè)SCNN對檳榔分級的預(yù)測函數(shù)為Y=WX+B,Y是檳榔分類的輸出值,X是圖像數(shù)據(jù),W是輸入到神經(jīng)元的權(quán)值,B是常數(shù)。在訓(xùn)練迭代中Adam算法引入了二次梯度調(diào)整,可高效地計(jì)算,具有所需內(nèi)存少的優(yōu)點(diǎn)。SCNN對檳榔分級的Adam算法步驟如下。

2)t=t+1,利用式(7)計(jì)算mt和vt。

(7)

其中β1=0.9,β2=0.999。

式中:mt——第t步的一階矩向量;

vt——第t步的二階矩向量;

gt-1——第t步的梯度。

3) 為防止波動,利用式(8)對mt和vt糾偏。

(8)

4) 更新權(quán)重W和偏置B。

(9)

式中:θt-1——第t步的θ;

lr——學(xué)習(xí)率,可人為調(diào)整;

ε——常數(shù),ε=10-10,保證了除數(shù)不為0。

5) if損失函數(shù)值滿足要求,停止循環(huán),返回θ,else重復(fù)步驟(3)～步驟(5)。

3.2.4 學(xué)習(xí)率的選擇

學(xué)習(xí)率是神經(jīng)網(wǎng)絡(luò)模型最重要的超參數(shù)之一,它決定了網(wǎng)絡(luò)在每輪迭代中權(quán)重更新的速度,合適的學(xué)習(xí)率可以使得網(wǎng)絡(luò)能夠快速收斂到全局最優(yōu)解,同時避免了過快收斂導(dǎo)致陷入局部最優(yōu)解的問題。通常來說,較大的學(xué)習(xí)率可以加快網(wǎng)絡(luò)的學(xué)習(xí)速度,但容易導(dǎo)致權(quán)重震蕩和發(fā)散;較小的學(xué)習(xí)率可以使得網(wǎng)絡(luò)權(quán)重更新相對穩(wěn)定,避免權(quán)重跳躍或發(fā)散,但會使得訓(xùn)練過程變得緩慢。在檳榔分級的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,采用了手動人工調(diào)整學(xué)習(xí)率的方法,通過實(shí)驗(yàn)觀察訓(xùn)練和驗(yàn)證的損失函數(shù)和準(zhǔn)確率的變化,確定使得網(wǎng)絡(luò)性能最好的學(xué)習(xí)率。不同學(xué)習(xí)率下的訓(xùn)練和驗(yàn)證損失與準(zhǔn)確率如表4所示,雖然表4中學(xué)習(xí)率為0.000 1時的各項(xiàng)指標(biāo)是最佳的,但訓(xùn)練速度也是最低的,綜合考慮訓(xùn)練和測試準(zhǔn)確率,SCNN網(wǎng)絡(luò)選擇的學(xué)習(xí)率為0.001。

表4 不同學(xué)習(xí)率下的訓(xùn)練和驗(yàn)證損失與準(zhǔn)確率

3.2.5 評價指標(biāo)

準(zhǔn)確率是分類器分類準(zhǔn)確的樣本比例,其計(jì)算公式如式(10)所示,該指標(biāo)只考慮正確分類的樣本數(shù)量,而不考慮分類錯誤的情況。當(dāng)樣本不均衡時,即某個類別的樣本數(shù)量明顯大于其他類別的樣本數(shù)量時,準(zhǔn)確率并不能有效地評估模型的預(yù)測性能。

ACC=(TP+TN)/(TP+FP+FN+TN)

(10)

精確率是指將真正屬于第i類別的樣本數(shù)量占所有被分類為第i類別的樣本數(shù)量的比例,其計(jì)算公式如式(11)所示。

P=TP/(TP+FP)

(11)

召回率表示的是將檳榔分級為正確第i類的檳榔數(shù)量占真正是第i類檳榔數(shù)量的比例,其計(jì)算公式如式(12)所示。

R=TP/(TP+FN)

(12)

F1值是精確率和召回率的調(diào)和平均值,可綜合衡量分類器的分類精度和召回率,其計(jì)算公式如式(13)所示。

F1=2×[(P×R)/(P+R)]

(13)

特異度是指將真正不屬于第i類別的樣本正確排除的比例,其計(jì)算公式如式(14)所示,特異度指標(biāo)更適用于一些嚴(yán)格要求不能漏檢異常樣本的任務(wù)中。在實(shí)踐中,需要根據(jù)具體的任務(wù)需求和數(shù)據(jù)特點(diǎn)選擇合適的評估指標(biāo),在不同的評估指標(biāo)之間進(jìn)行權(quán)衡,綜合考慮模型的性能。

TNR=TN/(FP+TN)

(14)

4 測試與分析

4.1 混淆矩陣

將訓(xùn)練好的SCNN模型用于檳榔的分級測試,測試檳榔圖像為測試數(shù)據(jù)組的256幅圖像,256幅檳榔圖像的分級的混淆矩陣如表5所示,混淆矩陣可以很好地展示SCNN模型的檳榔分級效果。74粒特級檳榔和62粒一級檳榔全都被正確分級;二級檳榔有6幅被錯誤的分為特級,有2幅被錯誤的分為三級,這個分級錯誤跨度較大,少量相鄰級檳榔被錯誤分級尚能容忍,但是跨級分級錯誤就需要進(jìn)一步改進(jìn)神經(jīng)網(wǎng)絡(luò)模型以更好地提取檳榔圖像特征;三級檳榔有2幅被錯誤的分為二級。

表5 檳榔分級的混淆矩陣

4.2 結(jié)果分析

從表6可以看出,特級檳榔的分級準(zhǔn)確率是100%,一級檳榔的分級準(zhǔn)確率為100%,二級檳榔的分級準(zhǔn)確率為96.09%,二級檳榔分級準(zhǔn)確率較低,尤其是有6幅二級檳榔圖像被錯分成特級檳榔,這種低等級檳榔跨級錯分為高等級檳榔在實(shí)際生產(chǎn)中是不被允許的。這6幅被錯分的檳榔,有三幅是另外三幅的增強(qiáng)圖像,在今后的研究中要減少這種跨級的低等級檳榔被錯分為高等級檳榔的比例。三級檳榔的分級識別準(zhǔn)確率為98.44%,SCNN模型測試的整體分類平均識別準(zhǔn)確率為98.05%。

表6 SCNN評估指標(biāo)

用準(zhǔn)確率衡量SCNN模型不能反映細(xì)節(jié),如錯誤分級的類型和實(shí)際分級的分布情況,通過混淆矩陣計(jì)算SCNN模型的相關(guān)評估指標(biāo)如準(zhǔn)確率、精確率、召回率、特異度和F1如表6所示。特級和一級檳榔分級的各項(xiàng)指標(biāo)都是100%,雖然二級檳榔的召回率只有85.19%,F1的得分僅僅90.2%,但是SCNN模型對所有檳榔分級的整體準(zhǔn)確率、精確率、召回率、特異度和F1的值都超過95%,所以基于Adam優(yōu)化的SCNN模型對檳榔分級的效果很好。

5 結(jié)論

1) 本文結(jié)合機(jī)器視覺技術(shù)與卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)檳榔成品的分級檢測。通過ROC曲線的對比分析,探索出最佳的優(yōu)化方法,再通過自適應(yīng)學(xué)習(xí)率的調(diào)整,縮短深層網(wǎng)絡(luò)的訓(xùn)練時間,提高識別精度。建立以Adam算法優(yōu)化的SCNN模型實(shí)現(xiàn)了自動提取檳榔特征并以此特征進(jìn)行分類檢測,解決了人工憑經(jīng)驗(yàn)判斷檳榔特征分類的準(zhǔn)確率和效率都不高的難題。

2) 測試試驗(yàn)結(jié)果表明,SCNN模型對檳榔分級檢測的準(zhǔn)確識別率高達(dá)98.05%,準(zhǔn)確率遠(yuǎn)高于人工分級,為實(shí)現(xiàn)檳榔分級檢測的自動化控制提供了基礎(chǔ),具有一定的商業(yè)與工業(yè)價值。

3) 在今后的工作中,可進(jìn)一步增強(qiáng)模型的適用性,進(jìn)一步研究卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)的自適應(yīng)調(diào)節(jié),在進(jìn)一步的研究中增加更多數(shù)量的各級原始檳榔圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型,拍攝圖像時位置、光照等的自然環(huán)境條件要一致,減少噪聲污染,提高檳榔圖像的質(zhì)量。針對采集到的檳榔數(shù)據(jù)集規(guī)模小的問題,結(jié)合遷移學(xué)習(xí)方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),提高模型的泛化能力,可以嘗試選擇VGG-19(Visual Geometry Group 19)為遷移學(xué)習(xí)分類算法主模型,還可以嘗試運(yùn)用殘差卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檳榔的分級。