基于幀間路徑搜索和E-CNN的紅棗定位與缺陷檢測

曾窕俊 吳俊杭 馬本學(xué) 汪傳建 羅秀芝 王文霞

(1.石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院， 石河子 832003； 2.石河子大學(xué)機(jī)械電氣工程學(xué)院， 石河子 832003；3.石河子大學(xué)圖像處理與光譜分析實(shí)驗(yàn)室， 石河子 832003)

0 引言

新疆紅棗具有極高的營養(yǎng)及藥用價(jià)值，被稱為“黃金壽棗”，受到消費(fèi)者青睞，社會需求量不斷加大，促進(jìn)了棗樹的產(chǎn)業(yè)化經(jīng)營[1]。但同時(shí)，霉?fàn)€、蟲害、裂紋等缺陷嚴(yán)重影響了紅棗的品質(zhì)和價(jià)值，紅棗分揀勢在必行。

計(jì)算機(jī)視覺技術(shù)具有效率高、精度高、檢測信息豐富、非接觸等優(yōu)點(diǎn)，在農(nóng)產(chǎn)品缺陷檢測和品質(zhì)分級領(lǐng)域獲得了廣泛應(yīng)用。目前，國內(nèi)外對于一些流通性好、普及性高的水果，計(jì)算機(jī)視覺分級或分揀技術(shù)已有很多研究，如蘋果[2-3]、橙子[4-5]、桃子[6-7]等分級。而對紅棗等一些有地域特色的水果涉及相對較少。趙杰文等[8]以河北省滄州市金絲小棗為研究對象，提取HSI模型的H分量均值和均方差，利用支持向量機(jī)識別缺陷棗。張萌等[9]基于紅棗近紅外圖像，提出一種亮度快速校正算法，實(shí)現(xiàn)紅棗表面缺陷分割。李功燕等[10]針對紅棗表面飽滿度不同的情況，利用不同的梯度算子作為對比，采用歸一化梯度直方圖作為紅棗表面紋理特征實(shí)現(xiàn)對干癟紅棗的識別，進(jìn)一步實(shí)現(xiàn)了對紅棗品質(zhì)的評價(jià)。然而，通過提取紅棗圖像特定特征結(jié)合傳統(tǒng)分類方法對缺陷紅棗進(jìn)行識別，雖然取得了較好的識別效果，但是由于這些特征規(guī)則都是人為指定，仍不足以表征圖像深層特征。同時(shí)，干制紅棗表面復(fù)雜的紋理特征和圖像采集時(shí)的不均勻光照，將對基于顏色、紋理等特征的提取產(chǎn)生不利影響。

卷積神經(jīng)網(wǎng)絡(luò)[11]是一種目標(biāo)分類方法，可以自主學(xué)習(xí)事物間的差異，通過網(wǎng)絡(luò)訓(xùn)練將原始圖像數(shù)據(jù)變?yōu)楦邔哟魏透映橄蟮谋磉_(dá)，強(qiáng)化表征能力強(qiáng)的特征，弱化不相關(guān)因素，在目標(biāo)檢測[12-13]、識別[14-15]上得到了廣泛研究和應(yīng)用。本文設(shè)計(jì)一套基于計(jì)算機(jī)視覺，融合CNN學(xué)習(xí)算法的缺陷紅棗智能檢測系統(tǒng)。提出基于幀間最短路徑搜索的目標(biāo)定位算法，實(shí)現(xiàn)檢測場景中每個(gè)紅棗目標(biāo)定位，并使得每個(gè)目標(biāo)的位置信息隨視頻時(shí)間序列進(jìn)行傳遞，避免復(fù)雜的傳感器電路設(shè)計(jì)，并運(yùn)用該算法結(jié)合視頻數(shù)據(jù)，快速、有效地構(gòu)建樣本數(shù)據(jù)集?；陔S機(jī)森林的“Bagging”集成學(xué)習(xí)方式，構(gòu)建集成卷積神經(jīng)網(wǎng)絡(luò)模型(E-CNN)，以提高模型泛化性，避免復(fù)雜的深層網(wǎng)絡(luò)模型訓(xùn)練收斂時(shí)間長、模型參數(shù)龐大的問題。

1 試驗(yàn)材料與預(yù)處理

1.1 數(shù)據(jù)采集

根據(jù)GB/T 5835—2009[16]規(guī)定，干制紅棗缺陷是指紅棗在生長發(fā)育和采摘過程中受病蟲危害、機(jī)械損傷和化學(xué)藥品作用造成損傷的果實(shí)。本文以常見的裂紋、蟲蛀和霉變?nèi)毕轂檠芯繉ο笥懻撊毕葑R別方法。試驗(yàn)采用如圖1所示計(jì)算機(jī)視覺視頻、圖像采集系統(tǒng)，該裝置包括在線傳輸單元和圖像采集單元。其中，圖像采集單元主要由CV-M7+CL型彩色CCD攝像機(jī)、亮度可控的5×2陣列 LED光源、光電傳感器、Matrox Solios圖像采集卡和計(jì)算機(jī)組成。在線傳輸單元由傳送帶和基于PLC控制系統(tǒng)的可調(diào)速傳送裝置組成。開啟光源并調(diào)節(jié)傳送帶傳送速率，約3 min后，光源和傳送速率趨于穩(wěn)定，利用Matrox MIL9.0軟件實(shí)現(xiàn)在線視頻數(shù)據(jù)采集。

圖1 視頻、圖像采集系統(tǒng)示意圖Fig.1 Schematic for video acquisition system1.傳送帶 2.并排狀光源 3.攝像機(jī) 4.樣本 5.調(diào)節(jié)閥 6.傳動輪 7.圖像采集卡 8.計(jì)算機(jī)

1.2 圖像預(yù)處理

二值化是一種簡單的圖像分割方法，對圖像進(jìn)行二值化操作可以有效地將圖像中的紅棗目標(biāo)和背景進(jìn)行分割。在基于視頻流實(shí)現(xiàn)每個(gè)目標(biāo)定位的過程中，首先需要對幀圖像中的紅棗目標(biāo)進(jìn)行分割。如圖2a為視頻序列中隨機(jī)抽取的一幀圖像，通過對比其R、G、B等各分量灰度分布直方圖，發(fā)現(xiàn)B分量的灰度直方圖(圖2c)中，背景和紅棗目標(biāo)分別形成2個(gè)明顯波峰，同時(shí)波谷呈現(xiàn)的形態(tài)代表背景和目標(biāo)在B分量灰度上存在著較大差異。因此，根據(jù)波谷的位置，選取100作為圖像分割閾值得到二值圖像。再對得到的二值圖像進(jìn)行腐蝕、膨脹等操作濾除噪點(diǎn)，結(jié)合設(shè)定的連通域內(nèi)最小面積閾值，搜索得到滿足要求的連通域集合，進(jìn)而獲得集合中每個(gè)連通域?qū)?yīng)紅棗目標(biāo)的正外接矩形(圖2b)。

圖2 圖像預(yù)處理Fig.2 Image preprocessing

2 基于自適應(yīng)幀間最短路徑搜索的紅棗定位

2.1 構(gòu)建圖像坐標(biāo)系與紅棗正外接矩形特征向量

圖4 基于幀間最短路徑搜索的目標(biāo)定位示意圖Fig.4 Schematic of target location based on the shortest path search between frames

檢測場景中紅棗目標(biāo)定位是實(shí)現(xiàn)對其缺陷檢測的重要前提。視頻圖像中目標(biāo)的定位一直是圖像處理領(lǐng)域的研究熱點(diǎn)。相比于YOLO系列[17]、R-CNN[18]和Fast R-CNN[19-20]等復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，基于圖像背景與目標(biāo)的顯著差異性，利用分割閾值以及形態(tài)學(xué)等操作的圖像處理方法，是實(shí)現(xiàn)圖像中目標(biāo)定位的常用手段。而對于視頻流數(shù)據(jù)，每一幀圖像之間相互獨(dú)立。因此，要實(shí)現(xiàn)視頻中紅棗目標(biāo)的定位，需要在單幀圖像處理基礎(chǔ)上，使得圖像中每個(gè)目標(biāo)的位置信息能夠隨視頻時(shí)間序列進(jìn)行傳遞。

圖3 圖像坐標(biāo)系與外接矩形Fig.3 Image coordinates system and circumscribed rectangle

圖像都是由像素組成，圖像中目標(biāo)的位置信息由像素坐標(biāo)確定。要確定像素坐標(biāo)，首先需要確定圖像的坐標(biāo)系，常見的坐標(biāo)系有圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系等。由于試驗(yàn)只需要確定檢測目標(biāo)在二維平面的位置即可，因此選擇圖像坐標(biāo)系。如圖3a所示，該坐標(biāo)系以圖像左上角為原點(diǎn)建立以像素為單位的直角坐標(biāo)系X-Y，橫、縱坐標(biāo)分別是其在圖像數(shù)組中所在的列號和行號。試驗(yàn)以紅棗最小正外接矩形左頂點(diǎn)(x,y)作為該目標(biāo)的位置坐標(biāo)，同時(shí)結(jié)合水平方向長度w和豎直方向長度h，構(gòu)成單個(gè)目標(biāo)外接矩形的4維特征向量

f=(x,y,w,h)

(1)

針對一幅圖像中出現(xiàn)的多個(gè)目標(biāo)，從而建立第n幀圖像的目標(biāo)最小正外接矩形特征向量集合

Fn={f1,f2,…,fk，…，fm|fk=(xk,yk,wk,hk)}

(2)

如圖3b所示，圖像中存在目標(biāo)A、B和C，在對圖像中的紅棗進(jìn)行基于最小正外接矩形框提取ROI時(shí)，發(fā)現(xiàn)目標(biāo)A沒有完全進(jìn)入場景。因此，為了保證場景中紅棗目標(biāo)的完整性，利用外接矩形和圖像邊界關(guān)系，得出特征向量約束條件

(3)

式中l(wèi)cols、lrows——輸入圖像數(shù)組中的列號和行號

2.2 基于幀間最短路徑搜索的紅棗定位

圖4為基于幀間最短路徑搜索方法實(shí)現(xiàn)目標(biāo)定位的流程示意圖。如圖4所示，第n-1幀中目標(biāo)A的位置坐標(biāo)被映射到空間坐標(biāo)內(nèi)，記作目標(biāo)A0。進(jìn)入第n幀后，圖像中出現(xiàn)2個(gè)目標(biāo)，同理，將其位置坐標(biāo)映射到坐標(biāo)系內(nèi)，分別記作A1、B0，通過距離公式計(jì)算得到距離lA0A1和lA0B0，根據(jù)lA0A1

此算法的核心是提取第n幀中所有紅棗目標(biāo)的正外接矩形參數(shù)，得到當(dāng)前幀特征向量集合Fn，根據(jù)得到圖像中每個(gè)紅棗目標(biāo)的位置信息(x,y)，將其坐標(biāo)映射到空間坐標(biāo)系中。再基于一定的間隔選擇合適的圖像幀，計(jì)算當(dāng)前幀中目標(biāo)i與某一歷史幀中所有目標(biāo)的距離得到距離集合

Di={D(i,j)|j∈1,2，…,m}

(4)

式中m——?dú)v史幀中所有目標(biāo)數(shù)目

為減少計(jì)算，距離D(i,j)定義為“D4”距離(城市距離)

D(i,j)=|xi-xj|+|yi-yj|

(5)

在距離集合Di中選擇最小距離的目標(biāo)

(6)

根據(jù)得到的最小距離D(i,k)，表明歷史幀中的目標(biāo)“k”和當(dāng)前幀中目標(biāo)“i”為同一目標(biāo)，從而實(shí)現(xiàn)目標(biāo)定位和位置坐標(biāo)信息隨視頻序列傳遞。

其中，對于剛進(jìn)入檢測場景的完整紅棗目標(biāo)，在進(jìn)行幀間最短路徑搜索匹配的過程中，必然會有一個(gè)最短距離。顯然，檢測場景中新出現(xiàn)的目標(biāo)不能與歷史幀中任何一個(gè)目標(biāo)建立匹配關(guān)系進(jìn)行位置坐標(biāo)傳遞，因此在距離集合Di中選擇代表最小距離的位置坐標(biāo)時(shí)，需要添加約束條件

(7)

圖5 基于集成學(xué)習(xí)方式的卷積神經(jīng)網(wǎng)絡(luò)模型Fig.5 Convolution neural network model based on ensemble learning

式中TH為判斷條件成立的最大距離閾值，該值的選取需要同時(shí)考慮傳送帶轉(zhuǎn)速和傳送帶上紅棗目標(biāo)放置的疏密程度。因此只有同時(shí)滿足最小距離要求和約束條件γ時(shí)，才能進(jìn)行對應(yīng)位置坐標(biāo)的更新與傳遞，否則將被作為新目標(biāo)傳遞到下一輪判定中。

3 基于卷積神經(jīng)網(wǎng)絡(luò)的缺陷紅棗識別

3.1 網(wǎng)絡(luò)模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括卷積層C、激活層ReLU和池化層P。在卷積層中，每個(gè)神經(jīng)元的輸入與前一層的局部感知區(qū)域相連，提取局部特征；在激活層中，根據(jù)得到的每個(gè)神經(jīng)元輸入，結(jié)合偏置項(xiàng)，通過激活函數(shù)實(shí)現(xiàn)對結(jié)果的非線性映射，使得網(wǎng)絡(luò)不再是輸入的線性組合，從而能夠逼近任意函數(shù)；在池化層中，網(wǎng)絡(luò)中每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值共享。卷積神經(jīng)網(wǎng)絡(luò)具有局部感知和權(quán)值共享的特點(diǎn)，從而使之更類似于生物神經(jīng)網(wǎng)絡(luò)，能有效減少需要學(xué)習(xí)的參數(shù)數(shù)量，降低網(wǎng)絡(luò)模型的復(fù)雜度，從而提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能。

根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，結(jié)合待測樣本的特征，建立了如圖5所示的基于集成學(xué)習(xí)方式的卷積神經(jīng)網(wǎng)絡(luò)模型。考慮到所需分類任務(wù)相對簡單，且規(guī)定的輸入圖像分辨率較低，同時(shí)為了減少需要學(xué)習(xí)參數(shù)的數(shù)量，降低模型訓(xùn)練的復(fù)雜度和時(shí)間，所以摒棄了類似Alexnet、Googlenet、Resnet等復(fù)雜的特征提取、分類模型或其對應(yīng)的遷移學(xué)習(xí)模型。同時(shí)，基于隨機(jī)森林“Bagging”集成學(xué)習(xí)方式利用各個(gè)學(xué)習(xí)器之間沒有依賴關(guān)系，可以并行擬合的特點(diǎn)，將若干個(gè)較“淺”的卷積網(wǎng)絡(luò)模型分別作為樹模型。在同一樣本空間下，每個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型在“有放回”的訓(xùn)練模式下，隨機(jī)從樣本空間中選取80%的樣本進(jìn)行特征學(xué)習(xí)、分類。最后利用得到的若干個(gè)神經(jīng)網(wǎng)絡(luò)樹模型結(jié)果進(jìn)行“投票”，選出票數(shù)最多的類別作為最終分類結(jié)果。同時(shí)，規(guī)定每一棵樹模型具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，其結(jié)構(gòu)如表1所示，具體描述如下：

(1)輸入層

基于幀間最短路徑搜索實(shí)現(xiàn)檢測場景中的紅棗目標(biāo)定位，再根據(jù)獲得的目標(biāo)最小正外接矩形參數(shù)，對紅棗目標(biāo)進(jìn)行提取ROI操作，得到每個(gè)目標(biāo)對應(yīng)的完整圖像。最后進(jìn)行尺寸歸一化操作，得到分辨率為64像素×64像素的輸入圖像。

(2)卷積層和激活層

C1、C2為卷積層，分別由25、30個(gè)3×3的卷積核與輸入圖像進(jìn)行卷積運(yùn)算，實(shí)現(xiàn)對高維向量的低維特征提取，從而使原信號特征增強(qiáng)并降低噪聲影響，其操作運(yùn)算如圖6a所示。其中對于C1層，設(shè)定“Padding”為1，存在公式

表1 卷積神經(jīng)網(wǎng)絡(luò)樹模型結(jié)構(gòu)Tab.1 Details of tree models of proposed CNN architecture

(8)

式中i——輸入圖像的尺寸

p——填充系數(shù)

k——卷積核尺寸S——步長

o——C1層特征圖像邊長

經(jīng)過計(jì)算，得到o=(64+2×1-3)/1+1=64，特征圖和輸入圖像尺寸一樣，但個(gè)數(shù)由3變?yōu)?5。試驗(yàn)發(fā)現(xiàn)，在網(wǎng)絡(luò)深度一致的情況下，使用尺寸更小、數(shù)量更多的卷積核能更有效地進(jìn)行特征表達(dá)，實(shí)現(xiàn)準(zhǔn)確分類。同理，由于C2沒有設(shè)置填充，經(jīng)過相應(yīng)卷積核運(yùn)算后，輸出尺寸相應(yīng)減小。然而，經(jīng)過卷積運(yùn)算后得到的輸出，本質(zhì)上仍然是上層輸入的線性函數(shù)，因此需要通過激活函數(shù)向模型中加入非線性因素，從而實(shí)現(xiàn)向任意函數(shù)逼近。其中，ReLU激活函數(shù)(圖6b)相對于傳統(tǒng)的Sigmoid激活函數(shù)計(jì)算量更少，收斂速度更快。同時(shí)，ReLU函數(shù)會使一部分神經(jīng)元的輸出為0，使得網(wǎng)絡(luò)具有稀疏性特點(diǎn)，從而能更好地挖掘相關(guān)特征并減小參數(shù)的相互依存關(guān)系，緩解過擬合問題發(fā)生。最終，卷積層特征圖計(jì)算過程表示為

圖6 卷積神經(jīng)網(wǎng)絡(luò)的操作運(yùn)算和函數(shù)Fig.6 Major operations and function in CNN

(9)

(3)池化層

作為特征映射，池化層通常同卷積層、激活層級聯(lián)出現(xiàn)。通過對得到的卷積圖進(jìn)行下采樣得到池化特征圖，能在有效降低特征維度的同時(shí)，盡可能地保留原始信息。同時(shí)，池化運(yùn)算也能實(shí)現(xiàn)平移不變性、旋轉(zhuǎn)不變性及尺度不變性，并擴(kuò)大感知野。池化層特征圖計(jì)算過程表示為

(10)

式中s——下采樣模板尺寸

根據(jù)模板權(quán)值不同，池化方式包括最大池化、平均池化和隨機(jī)池化等，本文選用最大池化方式。

(4)dropout

dropout是指深度學(xué)習(xí)網(wǎng)絡(luò)在訓(xùn)練過程中，對于網(wǎng)絡(luò)神經(jīng)元，按照一定的概率將其暫時(shí)從網(wǎng)絡(luò)中丟棄。因此，對于隨機(jī)梯度下降來說，由于是隨機(jī)丟棄，所以每個(gè)mini-batch其實(shí)都在訓(xùn)練不同的網(wǎng)絡(luò)。同時(shí)，其強(qiáng)迫一個(gè)神經(jīng)單元和隨機(jī)挑選出來的其他神經(jīng)單元共同工作，減弱了神經(jīng)元節(jié)點(diǎn)間的聯(lián)合適應(yīng)性，增強(qiáng)了泛化能力，是一種簡單而有效的正則化方式。

3.2 訓(xùn)練集制作

卷積神經(jīng)網(wǎng)絡(luò)相對傳統(tǒng)機(jī)器學(xué)習(xí)，需要更多的訓(xùn)練數(shù)據(jù)。而傳統(tǒng)的基于靜態(tài)圖像的數(shù)據(jù)采集方式存在效率低、耗時(shí)長等缺點(diǎn)，而對得到的圖像，通常采用旋轉(zhuǎn)、映射變換的方式來擴(kuò)大數(shù)據(jù)集。然而，由于卷積神經(jīng)網(wǎng)絡(luò)具有平移不變性、旋轉(zhuǎn)不變性及尺度不變性等特點(diǎn)，因此可能對模型的泛化能力存在一定影響。本文在基于幀間最短路徑搜索實(shí)現(xiàn)圖像中紅棗定位的基礎(chǔ)上，結(jié)合紅棗的最小正外接矩形參數(shù)，選取合適的幀間隔，對圖像中的目標(biāo)分別提取ROI，實(shí)現(xiàn)目標(biāo)從進(jìn)入場景到離開檢測場景的圖像采集，從而提高采集效率。圖7為某一紅棗目標(biāo)從“進(jìn)入”到“離開”之間，采集到的不同時(shí)間序列的圖像。

圖7 基于幀間最短路徑搜索的目標(biāo)時(shí)間序列圖像采集Fig.7 Image acquisition of targets based on the shortest path search of inter frames

3.3 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

模型引入“sgdm”的梯度下降方式，不同于傳統(tǒng)隨機(jī)梯度下降方式使得參數(shù)更新方向完全依賴當(dāng)前的batch，導(dǎo)致更新不穩(wěn)定?！癕omentum”，即權(quán)值動量因子，通過模擬物體運(yùn)動時(shí)的慣性，即在更新時(shí)在一定程度上保留之前的更新方向，同時(shí)利用當(dāng)前batch的梯度進(jìn)行微調(diào)，可以在一定程度上增加穩(wěn)定性，加快學(xué)習(xí)速率，并具有一定擺脫局部最優(yōu)的能力。模型設(shè)定保留原始更新方向比例參數(shù)為0.8。同時(shí)設(shè)定學(xué)習(xí)率為0.000 1，迭代次數(shù)為50次，梯度更新的最小隨機(jī)樣本數(shù)為128，正則化懲罰系數(shù)為0.000 1。同時(shí)，為了隨機(jī)生成更多的網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)定隱含節(jié)點(diǎn)dropout率為0.5。

4 試驗(yàn)與結(jié)果分析

4.1 基于幀間最短路徑搜索實(shí)現(xiàn)目標(biāo)定位效果

經(jīng)過預(yù)處理操作后，根據(jù)2.1節(jié)和2.2節(jié)的原理概述，進(jìn)而建立圖像坐標(biāo)系、提取目標(biāo)正外接矩形

參數(shù)、設(shè)置邊界判斷條件、位置坐標(biāo)映射、最短路徑搜索判斷、坐標(biāo)更新傳遞，使得紅棗目標(biāo)能夠隨視頻時(shí)間序列實(shí)現(xiàn)定位。同時(shí)，為了能夠更好地顯示算法對場景中每個(gè)紅棗目標(biāo)的定位效果，根據(jù)目標(biāo)在場景中出現(xiàn)的順序，用相應(yīng)的序列數(shù)字作為每個(gè)紅棗目標(biāo)獨(dú)有的標(biāo)簽。試驗(yàn)選取10段實(shí)時(shí)檢測視頻，且每段視頻都包含10顆紅棗，累計(jì)100顆紅棗目標(biāo)。運(yùn)行算法，100顆紅棗目標(biāo)被識別和標(biāo)記，試驗(yàn)表明，對紅棗目標(biāo)的定位、標(biāo)記正確率為100%。如圖8所示，10顆紅棗被正確定位，且根據(jù)進(jìn)入場景的順序，被賦予正確的標(biāo)簽。

圖8 基于幀間最短路徑搜索的目標(biāo)定位效果Fig.8 Location of targets based on the shortest path search of inter frames

4.2 基于集成卷積神經(jīng)網(wǎng)絡(luò)模型的缺陷紅棗識別

分別采集有蟲蝕、霉變、裂痕和黑頭的140顆缺陷紅棗和156顆正常紅棗的圖像，基于3.2節(jié)所述的樣本集制作方法，結(jié)合視頻圖像數(shù)據(jù)，對紅棗目標(biāo)進(jìn)行定位及提取ROI，將提取ROI得到的圖像作為網(wǎng)絡(luò)模型輸入，并最終制得871個(gè)試驗(yàn)樣本。試驗(yàn)按照4∶1比例隨機(jī)分配訓(xùn)練集和測試集，進(jìn)行10次模型訓(xùn)練和檢測識別，取平均識別率。同時(shí)，為了直觀反映模型試驗(yàn)效果，規(guī)定缺陷紅棗為正樣本P，正常紅棗為負(fù)樣本N，TP表示結(jié)果正確預(yù)測為正樣本數(shù)，F(xiàn)P表示結(jié)果錯(cuò)誤預(yù)測為正樣本數(shù)，TN表示正確預(yù)測為負(fù)樣本數(shù)，F(xiàn)N表示錯(cuò)誤預(yù)測為負(fù)樣本數(shù)，進(jìn)而得出

(11)

(12)

式中FAccuracy——識別正確率，體現(xiàn)算法的整體識別效果

FRecall——召回率或查全率，表示模型對缺陷紅棗的識別精度

在進(jìn)行集成卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)，每次同樣隨機(jī)選擇訓(xùn)練集中的80%作為訓(xùn)練樣本來構(gòu)建基礎(chǔ)樹模型。試驗(yàn)發(fā)現(xiàn)，經(jīng)過50次迭代訓(xùn)練后，可以實(shí)現(xiàn)對訓(xùn)練集的識別正確率達(dá)到99%以上，網(wǎng)絡(luò)得到了較好的收斂，達(dá)到了預(yù)期的訓(xùn)練效果。按照圖5所示的模型架構(gòu)，使用訓(xùn)練好的模型對訓(xùn)練集進(jìn)行檢測，識別結(jié)果如表2所示。

表2 模型缺陷識別結(jié)果Tab.2 Identification results of training and test set with different models

如表2所示，試驗(yàn)使用了5種不同的識別模型，基于傳統(tǒng)的顏色、紋理識別模型，試驗(yàn)提取圖像R、G、B和H、S、V分量的均值、方差作為顏色特征，采用常用的灰度共生矩陣(GLCM)進(jìn)行紋理特征提取，再分別使用支持向量機(jī)(SVM)分類器得到識別結(jié)果。通過對比發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)的識別正確率和召回率都在95%以上。因此，相比傳統(tǒng)的顏色、紋理分類模型，卷積神經(jīng)網(wǎng)絡(luò)在特征表達(dá)和分類識別上具有明顯的優(yōu)勢。同時(shí)，相比基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)模型，基于集成學(xué)習(xí)方式的卷積神經(jīng)網(wǎng)絡(luò)模型(E-CNN)集合隨機(jī)森林算法特點(diǎn)，通過構(gòu)建基礎(chǔ)樹模型，根據(jù)每棵樹的輸出結(jié)果通過“投票”得到模型最終結(jié)果，能有效提高模型的泛化能力和識別正確率。文中試驗(yàn)了E-CNN(3棵樹)和E-CNN(5棵樹) 2種E-CNN模型，相比基礎(chǔ)CNN模型，識別正確率和召回率都提高2個(gè)百分點(diǎn)以上，證明了E-CNN模型的有效性。同時(shí)對于本次試驗(yàn)，3棵基礎(chǔ)樹和5棵基礎(chǔ)樹構(gòu)建的分類模型輸出結(jié)果近似，因此在實(shí)際使用中需要不斷試驗(yàn)得到最佳樹模型數(shù)。

5 結(jié)論

(1)基于幀間最短路徑搜索實(shí)現(xiàn)目標(biāo)定位的方法，使得待測目標(biāo)的位置信息能夠隨視頻序列進(jìn)行傳遞，避免了傳統(tǒng)的復(fù)雜傳感器電路設(shè)計(jì)。試驗(yàn)表明，檢測場景中目標(biāo)定位正確率達(dá)到100%。

(2)基于幀間路徑搜索的目標(biāo)定位方法，結(jié)合視頻數(shù)據(jù)，能快速、有效地制作數(shù)據(jù)集。同時(shí)，由于傳統(tǒng)的數(shù)據(jù)集擴(kuò)充方法受卷積神經(jīng)網(wǎng)絡(luò)平移不變性、旋轉(zhuǎn)不變性及尺度不變性特點(diǎn)影響，本文提出的數(shù)據(jù)集制作方法能從數(shù)據(jù)上提高模型的泛化能力。

(3)基于“Bagging”學(xué)習(xí)方式，集成卷積神經(jīng)網(wǎng)絡(luò)模型(E-CNN)。通過構(gòu)建較“淺”的基礎(chǔ)樹模型，結(jié)合“投票”機(jī)制提高了模型的泛化能力和學(xué)習(xí)能力。試驗(yàn)表明，模型的識別正確率和缺陷紅棗的召回率都達(dá)到98%以上，該模型在相機(jī)像素普遍較低、計(jì)算能力有限的生產(chǎn)背景中，有著較大的研究價(jià)值和應(yīng)用潛力。