基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法

周云成，許童羽，鄭 偉，鄧寒冰

基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法

周云成，許童羽，鄭 偉，鄧寒冰

（沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 100866）

為實現(xiàn)番茄不同器官的快速、準(zhǔn)確檢測，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法。在VGGNet基礎(chǔ)上，通過結(jié)構(gòu)優(yōu)化調(diào)整，構(gòu)建了10種番茄器官分類網(wǎng)絡(luò)模型，在番茄器官圖像數(shù)據(jù)集上，應(yīng)用多種數(shù)據(jù)增廣技術(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，測試結(jié)果表明各網(wǎng)絡(luò)的分類錯誤率均低于6.392%。綜合考慮分類性能和速度，優(yōu)選出一種8層網(wǎng)絡(luò)用于番茄主要器官特征提取與表達(dá)。用篩選出的8層網(wǎng)絡(luò)作為基本結(jié)構(gòu)，設(shè)計了一種番茄主要器官檢測器，結(jié)合Selective Search算法生成番茄器官候選檢測區(qū)域。通過對番茄植株圖像進(jìn)行檢測識別，試驗結(jié)果表明，該檢測器對果、花、莖的檢測平均精度分別為81.64%、84.48%和53.94%，能夠同時對不同成熟度的果和不同花齡的花進(jìn)行有效識別，且在檢測速度和精度上優(yōu)于R-CNN和Fast R-CNN。

目標(biāo)識別；圖像處理；像素；番茄器官；深度卷積神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)增廣；深度學(xué)習(xí)

周云成，許童羽，鄭 偉，鄧寒冰. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(15)：219－226. doi：10.11975/j.issn.1002-6819.2017.15.028 http://www.tcsae.org

Zhou Yuncheng, Xu Tongyu, Zhen Wei, Deng Hanbing. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219－226. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.15.028 http://www.tcsae.org

0 引 言

從植株圖像中檢測出番茄的主要器官（花、果、莖、葉）是典型的目標(biāo)識別問題，其對病蟲害檢測、靶向施藥、日光溫室場景理解，以及智能農(nóng)機(jī)的發(fā)展都具有重要意義。利用顏色空間的差異進(jìn)行圖像分割是常采用的傳統(tǒng)目標(biāo)識別方法之一。文獻(xiàn)[1-2]利用成熟番茄與背景顏色特征的差異，通過閾值分割的方法識別紅色成熟番茄，但這種方法無法識別未成熟果。文獻(xiàn)[3]通過分析番茄植株圖像的HIS顏色空間分布特性，用Otsu分割算法突出紅色吊蔓繩區(qū)域來間接識別番茄的主莖桿，該方法需要借助于紅色吊蔓繩，有一定的制約性。用過濾器算子提取圖像低等級特征后再用分類器分類是另一種傳統(tǒng)目標(biāo)識別方法。Haar[4]、HOG[5]、Sift[6]等是一些常用的過濾器算子。文獻(xiàn)[7]用Haar-like提取成熟番茄的非顏色編碼特征，結(jié)合AdaBoost算法構(gòu)建識別成熟番茄的分類器。文獻(xiàn)[8]提出一種融合Harris和Sift算法的荔枝采摘點計算與立體匹配方案。過濾器結(jié)合分類器的目標(biāo)識別方法需要人工選擇過濾器算子，算子類型和數(shù)量的選擇需要結(jié)合大量的試驗測試，適用性往往受到抑制。番茄器官，特別是果和花，其形態(tài)多樣、顏色變化豐富、重疊遮擋嚴(yán)重、環(huán)境背景復(fù)雜，用傳統(tǒng)方法識別的技術(shù)難度較大，且很難用一種方法同時識別所有類型的器官。

近年來發(fā)展起來的深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network, Deep CNN, DCNN）是一種新的目標(biāo)分類識別方法。該方法能夠?qū)崿F(xiàn)自動化的圖像特征提取，與分類識別過程融為一體，并通過數(shù)據(jù)實現(xiàn)自我學(xué)習(xí)。國內(nèi)外學(xué)者在DCNN的基本理論[9]、分類網(wǎng)絡(luò)[10-15]與識別網(wǎng)絡(luò)[16-20]設(shè)計，以及大規(guī)模圖像處理的應(yīng)用[21]上開展了相關(guān)研究，取得了長足進(jìn)展。DCNN在圖像處理領(lǐng)域正得到越來越廣泛的應(yīng)用[22]。文獻(xiàn)[23]用視頻分析方法提取奶牛軀干圖像作為DCNN的輸入來識別奶牛的個體身份。Ouyang等設(shè)計了具有多分辨率圖像輸入的DCNN來分類浮游生物[24]。文獻(xiàn)[25]用約簡的AlexNet[10]識別茶園主要害蟲。文獻(xiàn)[26]設(shè)計了一個7層結(jié)構(gòu)的CNN網(wǎng)絡(luò)，用于鮮茶葉智能分選系統(tǒng)的茶葉等級篩選。文獻(xiàn)[27]結(jié)合CNN和支持向量機(jī)（support vector machine, SVM）提出一種適用于空心村高分影像的建筑物自動化檢測方法。這些研究表明CNN在圖像多類型目標(biāo)的分類識別中具有很好的適用性，克服了傳統(tǒng)方法的不足。

為同時實現(xiàn)番茄不同器官的快速、準(zhǔn)確檢測，本文借鑒Fast R-CNN[18]，提出1種基于DCNN的番茄器官分類識別方法?？紤]番茄器官形態(tài)多樣性，在不同環(huán)境光條件下采集番茄主要器官和植株圖像，構(gòu)建訓(xùn)練樣本?；赩GGNet[13]，以top-1錯誤率為判據(jù)，通過優(yōu)化調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)及輸入圖像維度，同時利用避免網(wǎng)絡(luò)過擬合的數(shù)據(jù)增廣（data augmentation）技術(shù)，設(shè)計、訓(xùn)練、篩選高性能分類網(wǎng)絡(luò)。以篩選出的分類網(wǎng)絡(luò)為基礎(chǔ)，將其卷積部分用于番茄植株圖像的特征提取與表達(dá)，建立番茄器官檢測器，并通過檢測試驗檢驗本文方法的有效性。

1 番茄圖像采集

圖像數(shù)據(jù)采集自沈陽農(nóng)業(yè)大學(xué)實驗基地日光溫室，主要采集番茄的花、果、莖、葉4類圖像。為了將番茄植株和器官同環(huán)境背景區(qū)別開，采集溫室背景環(huán)境（溫室建筑、土壤等）作為第5類圖像。使用高清攝像機(jī)和本文開發(fā)的快速圖像獲取程序采集圖像，共采集30 000幅5種類型的RGB圖像，用于網(wǎng)絡(luò)的訓(xùn)練和測試。為降低訓(xùn)練樣本的多樣性不足導(dǎo)致的網(wǎng)絡(luò)過擬合的概率，圖像采集過程中采取了一些措施：考慮溫室環(huán)境光條件的不同造成的成像結(jié)果的差異，分別在晴朗天氣和陰天分時段采樣；采樣時考慮番茄器官的不同形態(tài)、遮擋情況，以果實部分為例，分別對不同果形、不同成熟度的果，從多個角度進(jìn)行成像，以增加樣本的多樣性。同時采集了1 000幅番茄植株圖像，用于識別網(wǎng)絡(luò)的訓(xùn)練和測試。

2 基于VGGNet的番茄器官分類網(wǎng)絡(luò)

網(wǎng)絡(luò)變得更深是深度學(xué)習(xí)的本質(zhì)[24]，理論上，增加網(wǎng)絡(luò)的寬度和深度，可提高網(wǎng)絡(luò)的學(xué)習(xí)能力。盡管加深網(wǎng)絡(luò)層次已成為通用的方法，但隨著深度的增加，網(wǎng)絡(luò)的訓(xùn)練成本也大幅增加，且有研究表明當(dāng)網(wǎng)絡(luò)增加到一定層數(shù)后，再增加深度，性能反而降低[14]。因此，為設(shè)計1個實用的番茄器官分類網(wǎng)絡(luò)，需要結(jié)合理論分析和大量的試驗驗證。

2.1 VGGNet網(wǎng)絡(luò)架構(gòu)

VGGNet是DCNN的典型代表，其3×3小卷積核的設(shè)計思想使得網(wǎng)絡(luò)的參數(shù)更少，且在具有1 000個分類的大規(guī)模圖像數(shù)據(jù)集ImageNet[21]的分類和定位上的適用性已得到了充分的驗證，因此許多網(wǎng)絡(luò)均以此為基礎(chǔ)進(jìn)行設(shè)計。圖1是含16個權(quán)重層的VGGNet網(wǎng)絡(luò)結(jié)構(gòu)（VGG-16）。

圖1 16個權(quán)重層的VGGNet網(wǎng)絡(luò)架構(gòu)Fig.1 16 weight layers VGGNet architecture

VGGNet的輸入為224×224 pixel的RGB圖像，圖像經(jīng)過網(wǎng)絡(luò)的處理，輸出其屬于每個類別的概率。VGGNet架構(gòu)總體上由5個用于特征映射和降維的池化層分隔成6部分（6組），其中前5組分別由多個卷積核大小為3×3的卷積層構(gòu)成，第6組為3個全連接（fully-connected, FC）層。VGGNet的每個卷積層卷積操作的滑動步長（stride）固定為1 pixel，并通過邊界填充（padding）來保持輸入/輸出數(shù)據(jù)維數(shù)（寬高）不變。5組卷積層的通道數(shù)從64開始，后一組的數(shù)量是上一組的2倍，直至擴(kuò)大到512。VGGNet的池化層均采用最大池化（max-pool），池化窗口大小為2×2。3個FC層的通道數(shù)分別為4 096、4 096和1 000，第3個FC層的1 000個出口（way）分別表示1幅圖像屬于每個類別的得分。VGGNet的最后一層為soft-max層，用于將得分轉(zhuǎn)化為圖像屬于每個類別的概率。在VGGNet中，除池化層外，每個隱層后都設(shè)置1個修正線性單元（ReLU）做非線性變換，以加快網(wǎng)絡(luò)收斂速度。

2.2 基于VGGNet的番茄器官分類網(wǎng)絡(luò)配置

將VGG-16直接用于番茄器官特征提取與分類有許多不適用的地方。首先番茄的果、花在植株圖像上的成像通常較小，因此選擇128×128 pixel和64×64 pixel兩種規(guī)格的RGB圖像作為網(wǎng)絡(luò)輸入，并通過后續(xù)試驗選擇適宜大小。針對番茄花、果、莖、葉及背景圖像的5分類問題，將VGGNet的第3個FC層的神經(jīng)元數(shù)量（通道數(shù)）調(diào)整為5個。VGG-16的權(quán)重參數(shù)達(dá)65 M[13]，是為解決類似ImageNet這種大規(guī)模圖像任務(wù)而設(shè)計的DCNN，其訓(xùn)練和應(yīng)用過程中的計算量龐大。番茄器官的分類識別在類型和樣本數(shù)量上都遠(yuǎn)小于ImageNet。為提高計算效率，在保持VGGNet基本架構(gòu)不變的前提下，本文通過調(diào)整VGG-16的網(wǎng)絡(luò)深度和寬度，配置了10種類型的番茄器官分類網(wǎng)絡(luò)（表1），通過后續(xù)試驗選擇高性能的網(wǎng)絡(luò)，每種網(wǎng)絡(luò)需訓(xùn)練的參數(shù)數(shù)量如表2。

VGGNet的權(quán)重參數(shù)主要集中在FC層。表2說明，隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)參數(shù)的數(shù)量逐漸增加，但增加的幅度要遠(yuǎn)小于通過增加網(wǎng)絡(luò)的寬度帶來的參數(shù)增加量。

3 番茄器官分類網(wǎng)絡(luò)的訓(xùn)練與分析

3.1 圖像數(shù)據(jù)增廣與預(yù)處理

表1中網(wǎng)絡(luò)需要128×128或64×64 pixel大小的輸入圖像，由于番茄器官樣本圖像大小不同，在輸入前，要對讀入的每幅圖像進(jìn)行預(yù)處理。在預(yù)處理中，除了將圖像縮放/裁剪為合適的大小，還需要利用數(shù)據(jù)增廣技術(shù)來降低網(wǎng)絡(luò)過擬合的風(fēng)險。數(shù)據(jù)增廣是指在保持圖像數(shù)據(jù)類型（標(biāo)簽）不變的前提下，對原圖像進(jìn)行各種變換，以增加樣本的多樣性。

表1 基于VGGNet的10種分類網(wǎng)絡(luò)配置Table 1 10 kinds of network configurations based on VGGNet

表2 網(wǎng)絡(luò)參數(shù)的數(shù)量Table 2 Number of network parameters

本文首先采用的數(shù)據(jù)增廣方法是對原圖像隨機(jī)旋轉(zhuǎn)一定角度（0～180°）形成新的圖像。番茄器官圖像采集過程中雖然考慮了樣本形態(tài)、角度等的多樣性，但番茄的花、果、葉生長以及成像的角度具有隨機(jī)性。通過對原圖像進(jìn)行隨機(jī)角度旋轉(zhuǎn)，可部分消除樣本多樣性不足的問題。

采用的第2種數(shù)據(jù)增廣方法是平移和水平翻轉(zhuǎn)圖像。針對輸入尺寸為128×128 pixel的網(wǎng)絡(luò)，將矩形圖像進(jìn)行等比例縮放，使其短邊長為150 pixel，然后從縮放后的圖像中隨機(jī)裁剪128×128 pixel的塊作為結(jié)果，同時對裁剪結(jié)果做隨機(jī)水平翻轉(zhuǎn)。經(jīng)過這種處理，會使訓(xùn)練樣本數(shù)量進(jìn)一步增加。對輸入尺寸為64×64 pixel的網(wǎng)絡(luò)，首先將圖像等比例縮放到短邊長為75 pixel，其余處理方法相同。

采用的另一種數(shù)據(jù)增廣方法是改變圖像RGB通道的強(qiáng)度[10]。由于光照強(qiáng)度和顏色的變化對成像結(jié)果有很大影響，采用這種方法，可在一定程度上消除光環(huán)境的影響。具體做法是通過對圖像的RGB像素值做主成分分析（PCA），然后對圖像中的每個像素添加一個隨機(jī)倍數(shù)的主成分。

式中pi和λi分別為圖像RGB像素值的3×3協(xié)方差矩陣的特征向量和特征值，αi是一個隨機(jī)變量，αi的隨機(jī)性符合平均值為0，標(biāo)準(zhǔn)偏差為0.1的高斯隨機(jī)分布[10]。

由于成像傳感器噪聲、通道傳輸誤差等，圖像噪聲難以避免，一定程度上影響了圖像的特征提取。因此，除數(shù)據(jù)增廣外，圖像在輸入網(wǎng)絡(luò)之前還需要進(jìn)行去噪處理，本文采用的圖像去噪方法為中值濾波。

3.2 網(wǎng)絡(luò)訓(xùn)練方法

采用帶動量因子（momentum）的小批量（mini-batch）隨機(jī)梯度下降法（stochastic gradient descent, SGD）對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。每一小批量樣本的數(shù)量為128，動量因子設(shè)置為固定值0.9[15]。權(quán)重的初始化影響網(wǎng)絡(luò)的收斂速度，本文采用均值為0、標(biāo)準(zhǔn)偏差為0.01的高斯分布為網(wǎng)絡(luò)所有層的權(quán)重進(jìn)行隨機(jī)初始化[13]，所有卷積層和全連接層的偏置（bias）均初始化為0。對網(wǎng)絡(luò)中的所有層采用相同的學(xué)習(xí)速率，初始學(xué)習(xí)速率設(shè)置為10-2，訓(xùn)練過程中，當(dāng)驗證集的分類精度停止增加的時候，則降低學(xué)習(xí)速率，降低的方式是將學(xué)習(xí)速率變?yōu)楫?dāng)前速率的1/10，直至通過調(diào)整學(xué)習(xí)速率不再提高分類精度為止。

在微軟開源的深度學(xué)習(xí)計算框架CNTK2.0[28]基礎(chǔ)上，利用BrainScript編寫了針對表1不同網(wǎng)絡(luò)配置的程序腳本，在一臺配有4個Intel Xeon E7-4820 CPU、1個Tesla K40 GPU和128 GB內(nèi)存的計算機(jī)上開展相關(guān)試驗研究。

3.3 試驗結(jié)果與分析

用采集的5分類30 000幅番茄器官圖像數(shù)據(jù)作為樣本，其中訓(xùn)練集20 000幅，驗證集5 000幅，測試集5 000幅，針對表1中10種網(wǎng)絡(luò)的2種輸入規(guī)格，開展相關(guān)試驗。借鑒ILSVRC的評判標(biāo)準(zhǔn)，使用top-1錯誤率（top-1 error rate，指沒有被網(wǎng)絡(luò)正確分類的圖像的比例）評價各個網(wǎng)絡(luò)的性能，結(jié)果如表3。

表3 2種輸入規(guī)格下10種網(wǎng)絡(luò)的分類性能Table 3 Classification performance of 10 networks under 2 input image size

由表3可知，10種網(wǎng)絡(luò)都具有較高的分類性能，對輸入尺寸為128×128 pixel的圖像，網(wǎng)絡(luò)II具有最高的分類精度，網(wǎng)絡(luò)X的性能最差。針對番茄器官樣本，在網(wǎng)絡(luò)寬度相同的前提下，當(dāng)CNN網(wǎng)絡(luò)層數(shù)較少時，適當(dāng)增加網(wǎng)絡(luò)的層數(shù)，可提高網(wǎng)絡(luò)的分類性能，如網(wǎng)絡(luò)II的精度要高于網(wǎng)絡(luò)I。但當(dāng)繼續(xù)增加深度時，網(wǎng)絡(luò)的性能反而有所下降。這可能是由于隨著網(wǎng)絡(luò)深度的增加，前面卷積層的輸出特征在向后傳遞過程中，部分特征被抑制[15]，影響了全連接層的分類效果。

在網(wǎng)絡(luò)深度相同（網(wǎng)絡(luò)II、VII、VIII、IX、X）的前提下，當(dāng)增加網(wǎng)絡(luò)的寬度時，其分類性能有所提高。當(dāng)寬度增加時，每個卷積層的卷積核數(shù)量也會增加，使其可以從輸入圖像中提取更多的特征，即特征提取更加充分，進(jìn)而提高網(wǎng)絡(luò)的分類性能。

從表3可以看出，針對2種網(wǎng)絡(luò)輸入尺寸，當(dāng)網(wǎng)絡(luò)的層數(shù)較多（網(wǎng)絡(luò)IV、V、VI）時，64×64 pixel的圖像輸入比128×128 pixel的輸入具有較高的分類性能。這可能是由于在圖像縮放過程中，小尺寸的圖像抑制了更多的圖像噪聲，盡管圖像在輸入網(wǎng)絡(luò)之前進(jìn)行了中值濾波，但這種方法并不能濾掉所有圖像噪聲。當(dāng)網(wǎng)絡(luò)較淺或網(wǎng)絡(luò)的寬度較小（網(wǎng)絡(luò)II、VII、VIII、IX、X）時，128×128 pixel的輸入具有更高的分類性能。這是因為輸入為128× 128 pixel的網(wǎng)絡(luò)經(jīng)最后一個池化層輸出的特征數(shù)量是輸入為64×64 pixel網(wǎng)絡(luò)的4倍。據(jù)此推測，對于CNN來說，深度網(wǎng)絡(luò)可能對輸入圖像的噪聲敏感，而淺層網(wǎng)絡(luò)對輸入圖像的尺寸敏感。

4 番茄器官的檢測識別

番茄器官的識別可通過在一幅植株圖像中定位并分割出器官（待檢測目標(biāo)）的矩形邊界（候選區(qū)域），然后用檢測器（識別網(wǎng)絡(luò)）對候選區(qū)域內(nèi)的圖像進(jìn)行特征提取和分類（檢測）的方法實現(xiàn)。

4.1 候選區(qū)域選擇方法

候選區(qū)域選擇方法是在整幅番茄植株圖像中確定待檢測目標(biāo)邊界的方法。候選區(qū)域的選擇方法和選擇數(shù)量與目標(biāo)檢測過程中的特征提取的計算量相關(guān)，是影響目標(biāo)檢測性能的關(guān)鍵因素之一。本文采用Selective Search (SS)[29]作為番茄主要器官候選檢測區(qū)域的生成方法。SS采用層次算法對圖像進(jìn)行像素級分割，形成小的區(qū)域，然后基于圖像低等級特征（顏色、紋理、大小等）對小區(qū)域進(jìn)行合并，生成高質(zhì)量的、指定數(shù)量的目標(biāo)候選矩形區(qū)域，該方法在PASCAL目標(biāo)檢測中取得了良好的效果[29]，能夠克服傳統(tǒng)滑動窗技術(shù)生成大量候選區(qū)域、檢測過程計算量巨大的問題。

4.2 番茄器官識別網(wǎng)絡(luò)的設(shè)計與訓(xùn)練

4.2.1 識別網(wǎng)絡(luò)設(shè)計

如果直接將前文的番茄器官分類網(wǎng)絡(luò)用于從植株圖像中識別番茄主要器官，需要根據(jù)Selective Search算法生成的目標(biāo)候選區(qū)域，從植株圖像中裁剪出每個區(qū)域圖像，然后縮放為分類網(wǎng)絡(luò)所需大小，送入分類網(wǎng)絡(luò)進(jìn)行分類識別，這也是R-CNN[17]的實現(xiàn)方式。這種方式需要對每個區(qū)域圖像分別進(jìn)行單獨的卷積操作，存在大量冗余計算，檢測速度慢。本文參考Fast R-CNN，用RoI（Region of Interesting）pooling取代分類網(wǎng)絡(luò)的最后一個池化層，設(shè)計出番茄主要器官識別網(wǎng)絡(luò)（檢測器），命名為TD-Net（圖2所示）。這種改進(jìn)使得檢測器只需對整幅植株圖像進(jìn)行一次連續(xù)卷積操作，可實現(xiàn)端到端的訓(xùn)練與測試。

圖2 基于Fast R-CNN的番茄主要器官檢測器（TD-Net）架構(gòu)Fig.2 Tomato main organs detector (TD-Net) architecture based on Fast R-CNN

TD-Net通過卷積-池化層對輸入的整幅圖像進(jìn)行特征提取，生成特征圖（feature map, fm），并用Selective Search算法生成大量候選區(qū)域，如圖2中的1個矩形候選區(qū)域覆蓋了植株圖像中的花。RoI pooling層根據(jù)候選區(qū)域到fm的坐標(biāo)投影，從fm上提取各個候選區(qū)域特征，并歸一化為H×W大小固定的輸出特征，經(jīng)由FC層和soft-max構(gòu)成的分類器分類，實現(xiàn)每個候選區(qū)域的分類識別。

分類性能高的CNN網(wǎng)絡(luò)，說明其具有強(qiáng)的特征提取和表達(dá)能力。表3數(shù)據(jù)表明輸入大小為128×128 pixel的具有8層權(quán)重參數(shù)的網(wǎng)絡(luò)II具有最高的分類性能，且與權(quán)重層數(shù)較多的網(wǎng)絡(luò)III、IV、V、VI比較，權(quán)重參數(shù)相對較少、計算量較小，因此TD-Net選擇網(wǎng)絡(luò)II作為其基本結(jié)構(gòu)，用RoI pooling替換網(wǎng)絡(luò)II的最后一個池化層，并將輸出維度H×W設(shè)置為4×4。

由于植株形態(tài)的原因，在番茄植株圖像中，相互簇?fù)淼娜~片是圖像中的主要部分，為了有效檢測出果、花、莖主要器官，將葉片和植株生長環(huán)境背景作為果、花、莖檢測的背景，即TD-Net需要識別4個分類（背景、果、花、莖）。據(jù)此將TD-Net網(wǎng)絡(luò)的第3個全連接層FC3的神經(jīng)元數(shù)量設(shè)置為4，其余2個全連接層保持不變，這種處理方法也可以降低人工標(biāo)注訓(xùn)練和測試樣本的工作量。

4.2.2 TD-Net的訓(xùn)練

隨機(jī)選擇800幅番茄植株圖像作為訓(xùn)練集。通過人工對每幅圖像進(jìn)行標(biāo)注，圈選出果、花、莖的真實區(qū)域（ground truth regions, GTRs），并標(biāo)注區(qū)域類別。利用Selective Search方法為每幅圖像生成1500個左右的目標(biāo)候選區(qū)域（object region proposals, ORPs）。利用IoU（intersection over union）指標(biāo)衡量ORP和GTR的吻合程度。

式中IoU表示ORP和GTR的交集面積比上其并集面積。

如果某個ORP和所有GTRs的最大IoU≥0.5，則該ORP被標(biāo)記為對應(yīng)GTR內(nèi)的對象類別（正例）。如果ORP和GTRs的最大IoU＜0.2，則該ORP被標(biāo)記為背景（負(fù)例）。為每幅圖像選擇256個ORPs，其中正例占比不少于25%，其余為負(fù)例。由植株圖像、圖像對應(yīng)的256個ORPs及其類別標(biāo)記構(gòu)成訓(xùn)練樣本，用于訓(xùn)練TD-Net檢測器。

由于TD-Net繼承了網(wǎng)絡(luò)II的基本結(jié)構(gòu)，對TD-Net的訓(xùn)練相對簡單。已完成訓(xùn)練的網(wǎng)絡(luò)II的卷積層能夠提取圖像特征，因此TD-Net的卷積部分共享網(wǎng)絡(luò)II的卷積層的權(quán)重參數(shù)，全連接層FC1和FC2利用網(wǎng)絡(luò)II的對應(yīng)全連接層進(jìn)行初始化，F(xiàn)C3利用均值為0標(biāo)準(zhǔn)偏差為0.01的高斯隨機(jī)分布進(jìn)行初始化，偏置初始化為0，并在訓(xùn)練中對各層參數(shù)進(jìn)行微調(diào)。本文采用2種方案微調(diào)TD-Net：A方案直接將已訓(xùn)練的網(wǎng)絡(luò)II用于TD-Net的初始化；B方案將植株圖像的ORPs的正、負(fù)例區(qū)域圖像截取出來混入網(wǎng)絡(luò)II的訓(xùn)練樣本，繼續(xù)對網(wǎng)絡(luò)II進(jìn)行訓(xùn)練，利用再訓(xùn)練的網(wǎng)絡(luò)II初始化TD-Net。TD-Net的訓(xùn)練超參數(shù)采用與3.2節(jié)相同的配置。經(jīng)過20代（epochs）迭代，A、B方案訓(xùn)練的TD-Net的訓(xùn)練損失均收斂到穩(wěn)定值。為比對本文方法的有效性，同時利用相同樣本，按文獻(xiàn)[16]、[18]方法分別訓(xùn)練R-CNN和Fast R-CNN兩種檢測網(wǎng)絡(luò)，其中Fast R-CNN采用VGG-16作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。訓(xùn)練與測試環(huán)境與3.2相同。

4.3 識別測試與分析

同樣用手工方式對由200幅番茄植株圖像構(gòu)成的測試樣本進(jìn)行標(biāo)注，圈出GTRs并標(biāo)注對應(yīng)類別，采用Selective Search為每張圖像生成1 500個左右的ORPs。將圖像及ORPs作為TD-Net的輸入，TD-Net通過soft-max層輸出該圖像的每個ORP分別屬于背景、花、果、莖的概率，其中花、果、莖概率高的ORPs即為目標(biāo)所在區(qū)域。

圖像中的同一個目標(biāo)可能被ORPs中的一個或多個區(qū)域完全或部分覆蓋，需要對ORPs進(jìn)行合并，以獲得檢測目標(biāo)的數(shù)量和精確位置。采用非最大值抑制（non-maximum suppression，NMS）[30]算法對ORPs進(jìn)行合并。NMS的基本思想是：如果多個ORPs相交，則選擇得分最高的ORP作為最后結(jié)果，其他ORPs與該ORP的IoU如果高于一定閾值（本文為0.5），則被抑制；如候選區(qū)域與其他區(qū)域不相交，則直接將該區(qū)域作為最終結(jié)果。經(jīng)NMS算法合并后的ORPs是本文方法的最終檢測結(jié)果，記為LRs。

利用文獻(xiàn)[31]的平均精度（average precision, AP）和mAP（mean AP）指標(biāo)來評價番茄器官的檢測效果。在計算AP時，需要獲取LRs的真實類別?；跍y試集的GTRs獲得LRs的真實類別，當(dāng)LR與GTRs的最大IoU≥0.5時，LR的真實類別與對應(yīng)GTR相同。用Selective Search方法在測試集上生成相同的候選區(qū)域后，分別用TD-Net和上文訓(xùn)練的R-CNN、Fast R-CNN對測試樣本進(jìn)行檢測，結(jié)果如表4。

表4 番茄器官檢測速度及平均精度Table 4 Tomato organ test detection average precision and test rate

表4數(shù)據(jù)表明，與R-CNN和Fast R-CNN相比，TD-Net在果、花、莖器官的檢測上具有更高的精度和速度，對果、花、莖的檢測平均精度分別為81.64%、84.48%和53.94%。TD-Net參考Fast R-CNN，都使用了RoI pooling層，不同尺寸和縱橫比的候選區(qū)域被其池化為統(tǒng)一尺度的特征，且全連接層經(jīng)大量樣本微調(diào)后，對不同尺度的候選區(qū)域具有一定的魯棒性，而R-CNN的訓(xùn)練樣本為番茄器官圖像，圖像尺度多樣性相對較小，因此TD-Net和Fast R-CNN的識別精度均高于R-CNN。TD-Net使用分類精度更高的網(wǎng)絡(luò)II作為基礎(chǔ)網(wǎng)絡(luò)，F(xiàn)ast R-CNN使用VGG-16（表1中網(wǎng)絡(luò)V）作為基礎(chǔ)網(wǎng)絡(luò)，分類精度低于網(wǎng)絡(luò)II，因此TD-Net的檢測精度優(yōu)于Fast R-CNN。R-CNN需要對每個候選區(qū)域分別執(zhí)行卷積操作，因此R-CNN的檢測速度遠(yuǎn)低于TD-Net和Fast R-CNN。同時TD-Net的卷積層數(shù)少于Fast R-CNN，因此TD-Net的檢測速度也要高于Fast R-CNN。

試驗結(jié)果同時說明，用B方案訓(xùn)練的TD-Net比A方案的類別平均精度（mAP）提高2.41%，說明增大樣本量可進(jìn)一步提高CNN的特征提取能力，進(jìn)而提高TD-Net的檢測性能。TD-Net對花的檢測效果最好，莖的檢測效果最差。由于花的顏色、紋理較單一，易于提取特征。不同成熟度的果顏色差異較大，對果的特征的提取主要以形態(tài)輪廓為主。莖的生長形態(tài)具有隨機(jī)性，Selective Search生成的莖的ORPs和人工標(biāo)注的GTRs吻合程度要小于果和花，因此在計算莖的AP時，一些被檢出的莖的ORPs被誤認(rèn)為背景，導(dǎo)致莖的AP較低，但從TD-Net檢測結(jié)果（圖3）來看，本文方法生成的番茄器官候選檢測區(qū)域（圖3中紫色方框）能較好的覆蓋植株圖像中的主要器官，檢測出方框內(nèi)器官的類型及概率（圖3中的flower: 0.96等），由檢測結(jié)果可知，器官的檢測概率均大于0.86，說明TD-Net可有效分類識別出候選區(qū)域內(nèi)的器官類型。該檢測器能夠?qū)Σ煌墒於鹊墓筒煌g的花進(jìn)行有效檢測。

圖3 TD-Net檢測結(jié)果示例Fig.3 Examples of TD-Net test results

4.4 葉子的檢測

訓(xùn)練TD-Net時，葉和植株生長環(huán)境被合并為背景，因此用TD-Net無法直接識別葉子?？赏ㄟ^對TD-Net的輸出中被識別為背景的ORPs做進(jìn)一步處理來檢測出葉片區(qū)域。如需檢測葉子，可將被識別為背景的ORPs的區(qū)域圖像從植株圖像中裁剪出來，并縮放為128×128 pixel，輸入到網(wǎng)絡(luò)II，由網(wǎng)絡(luò)II給出每個ORP屬于葉片和環(huán)境背景的概率。

5 結(jié) 論

本文對DCNN在番茄主要器官的分類識別應(yīng)用方面進(jìn)行了試驗研究和分析。在VGGNet基礎(chǔ)上，設(shè)計了10種番茄器官CNN分類網(wǎng)絡(luò)，在番茄器官訓(xùn)練樣本上，通過利用多種數(shù)據(jù)增廣技術(shù)，對每種網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，試驗結(jié)果表明，10種網(wǎng)絡(luò)都具有較高的分類性能，說明CNN網(wǎng)絡(luò)能夠有效地用于番茄器官的分類檢測。參考Fast R-CNN，設(shè)計了番茄器官檢測器TD-Net，用Selective Search算法生成目標(biāo)候選區(qū)域，綜合考慮計算時間和分類性能，選擇8層CNN網(wǎng)絡(luò)作為TD-Net基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，并用植株圖像對其進(jìn)行微調(diào)。對比試驗結(jié)果表明，相較與R-CNN和Fast R-CNN，TD-Net具有更高的識別精度和速度，對果、花、莖的檢測精度分別達(dá)到了81.64%、84.48%和53.94%，能夠有效檢測不同成熟度果和不同花齡的花。

[1] 鄭小東，趙杰文，劉木華. 基于雙目立體視覺的番茄識別與定位技術(shù)[J]. 計算機(jī)工程，2004，30(22)：155－156，171.

Zheng Xiaodong, Zhao Jiewen, Liu Muhua. Tomatoes recognition and location from nature background based on binocular stereo vision[J]. Computer Engineering, 2004, 30(22): 155－156. (in Chinese with English abstract).

[2] 蔣煥煜，彭永石，申川，應(yīng)義斌. 基于雙目立體視覺技術(shù)的成熟番茄識別與定位[J]. 農(nóng)業(yè)工程學(xué)報，2008，24(8)：279－283.

Jiang Huanyu, Peng Yongshi, Shen Chuan, et al. Recognizing and locating ripe tomatoes based on binocular stereo visiontechnology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(8): 279－283. (in Chinese with English abstract).

[3] 王新忠，韓旭，毛罕平. 基于吊蔓繩的溫室番茄主莖稈視覺識別[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(21)：135－141.

Wang Xinzhong, Han Xu, Mao Hanping. Vision-based detection of tomato main stem in greenhouse with red rope[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 135－141. (in Chinese with English abstract)

[4] Papageorgiou C P, Oren M, Poggio T. A general framework for object detection[C]// International Conference on Computer Vision. IEEE Xplore, 1998: 555－562.

[5] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91－110.

[6] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE, 2005(1): 886－893.

[7] 趙源深，貢亮，周斌，等. 番茄采摘機(jī)器人非顏色編碼化目標(biāo)識別算法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2016，47(7)：1－7.

Zhao Yuanshen, Gong Liang, Zhou Bin, et al. Object recognition algorithm of tomato harvesting robot using non-color coding approach[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 1－7. (in Chinese with English abstract).

[8] 郭艾俠，熊俊濤，肖德琴，等. 融合Harris與SIFT算法的荔枝采摘點計算與立體匹配[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2015，46(12)：11－17.

Guo Aixia, Xiong Juntao, Xiao Deqin, et al. Computation of picking point of litchi and its binocular stereo matching based on combined algorithms of Harris and SIFT[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(12): 11－17. (in Chinese with English abstract)

[9] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541－551.

[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc, 2012: 1097－1105.

[11] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// Computer Vision and Pattern Recognition. IEEE, 2015: 1－9.

[12] Srivastava R K, Greff K, Schmidhuber J. Highway networks [EB/OL]. https://arxiv.org/abs/1505.00387

[13] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]// International Conference on Learning Representations (ICLR), 2015.

[14] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE Computer Society, Las Vegas, NV, United states, 2016.

[15] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE Computer Society, Honolulu, Hawaii, United states, 2017.

[16] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 142－158.

[17] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(9): 1904－1916.

[18] Girshick R. Fast R-CNN[C]// Proceedings of IEEE International Conference on Computer Vision. IEEE Computer Society, Santiago, Chile, 2015: 1440－1448.

[19] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]// Proceedings of European Conference on Computer Vision. Springer International Publishing, Amsterdam, The Netherlands, 2016: 21－37.

[20] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, Las Vegas, NV, United states, 2016: 770－778.

[21] Deng J, Berg A, Satheesh S, Su H, et al. ImageNet Large Scale Visual Recognition Competition 2012(ILSVRC2012) [EB/OL]. http://www.image-net.org/challeges/ISVRC/2012/.

[22] Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484－489.

[23] 趙凱旋，何東健. 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(5)：181－187.

Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract).

[24] Ouyang P, Hu H, Shi Z. Plankton classification with deep convolutional neural networks[C]//IEEE Information Technology, Networking, Electronic and Automation Control Conference. IEEE, 2016: 132－136.

[25] 楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識別[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(6)：156－162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[26] 高震宇，王安，劉勇，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)設(shè)計[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2017，48(7)：53－58.

Gao Zhenyu, Wang An, Liu Yong, et, al. Intelligent fresh-tea-leaves sorting system based on convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(7): 53－58 (in Chinesewith English abstract)

[27] 李政，李永樹，吳璽，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的空心村高分影像建筑物檢測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2017，48(6)：132－137.

Li Zheng, Li Yongshu, Wu Xi, et, al. Hollow village building detection using high resolution remote sensing image based on CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(6): 132－137. (in Chinese with English abstract)

[28] Agarwal A, Akchurin E, Basoglu C, et al. An introduction to computational networks and the computational network toolkit[EB/OL]. https://www.microsoft.com/en-us/research/ wp-content/uploads/2014/08/CNTKBook-20160217.pdf.

[29] Uijlings J R R, Sande K E A V D, Gevers T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154－171.

[30] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//International Conference on Pattern Recognition, IEEE, 2006: 850－855.

[31] Everingham M, Gool L V, Williams C K I, et al. The pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303－338.

Classification and recognition approaches of tomato main organs based on DCNN

Zhou Yuncheng, Xu Tongyu, Zheng Wei, Deng Hanbing
(College of Information and Electrical Engineering, Shenyang Agricultural University, Shenyang 100866 China)

Recognition of the main organs of tomato from plant images has important significance for the detection of plant diseases and insect pests, the application of targeted pesticides, and the development of intelligent agricultural machinery. The traditional object recognition methods which are limited by hand-engineered features extraction process and the selection of filter operator types, have poor generality and low recognition accuracy. The convolutional layers of convolutional neural network (CNN) can achieve automatic extraction of image features. In view of this, we propose a tomato main organs recognition method which relies on deep convolutional neural network (DCNN) in this paper. Under different illumination conditions, and considering the morphological diversity of tomato organs, 5 kinds of images including flower, fruit, stem, leaf, and environment background and the plant images are collected, which are used as training and testing samples. Under the premise of maintaining the basic structure of VGGNet, by adjusting the number of convolutional kernels and the depth of convolutional layers, 10 kinds of tomato organs classification networks are constructed. To reduce overfitting on tomato organ image dataset, before using the dataset to train the individual network, we use many data augmentation techniques to enlarge the dataset such as label-preserving transformations, specifically image rotation at random angles, extracting random patches of one image, image flip horizontal, and altering the intensities of the RGB (red, green, blue) channels of training images. At the same time, the median filter is used to denoise image samples. We train our models end to end using stochastic gradient descent with input image size of 64×64 or 128×128 pixels, mini-batch size of 128 examples, and momentum of 0.9. The classification test results show that the 10 kinds of networks all have very good classification performance by top-1 error rate. Among the 10 kinds of networks, the 8-layer structure network’s top-1 error rate is 0.297%, which has the best classification performance. The results reveal that 8-layer structure network can satisfy the features extraction and classification requirements of tomato image dataset with fewer categories. Considering the classification performance and computing speed, referencing Fast R-CNN, with the 8-layer structure network as the basic architecture, and using the region of interest pooling (RoI pooling) layer to replace the last maximum pooling (max-pool) layer, a tomato main organ detector is designed, and named as TD-Net. The detector can output the category probabilities for each object proposal through the soft-max layer. The selective search algorithm is adopted for generating a large number of proposal regions for each tomato plant image, and the non-maximum suppression algorithm is used to suppress the outputs of the TD-Net. Using plant images and proposal regions as input, the detector is trained iteratively. The detection experiment results show that the detection average precisions (AP) of the DCNN-based tomato organ detector for the fruit, flower and stem are 81.64%, 84.48% and 53.94% correspondingly, and the detector can effectively identify the fruits of different maturity degree and the flowers of different flower age. On the same tomato plant image dataset, compared with R-CNN and Fast R-CNN, TD-Net has a better detection performance and detection speed, which illustrates that the method of this paper is effective.

object recognition; image processing; pixels; tomato organs; deep convolutional neural network; data augmentation; deep learning

10.11975/j.issn.1002-6819.2017.15.028

TP183

A

1002-6819(2017)-15-0219-08

2017-03-06

2017-07-25

遼寧省科學(xué)事業(yè)公益研究基金（2016004001）；國家自然科學(xué)基金（31601218）

周云成，男，安徽阜陽人，副教授，博士，主要從事機(jī)器學(xué)習(xí)在農(nóng)業(yè)信息處理中的應(yīng)用研究。沈陽 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，100866。Email：zhouyc2002@163.com