基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識別方法

畢 松 高 峰 陳俊文 張 潞

(北方工業(yè)大學(xué)電氣與控制工程學(xué)院， 北京 100041)

0 引言

我國為世界上重要的水果生產(chǎn)國之一，自2012年以來，我國柑橘、蘋果等主要水果品種的種植面積和產(chǎn)量已居世界第一。2017年，我國柑橘產(chǎn)量為3 816.78萬t[1]，占世界柑橘產(chǎn)量的四分之一。采摘是水果生產(chǎn)過程中勞動力投入最大的作業(yè)環(huán)節(jié)，柑橘采摘勞動量為整個(gè)生產(chǎn)過程工作量的50%～70%，所處環(huán)境的復(fù)雜性導(dǎo)致水果采摘仍然以人工作業(yè)為主[2]。水果自動化采摘對于解決勞動力不足、保證水果適時(shí)采摘、提高采摘品質(zhì)和市場競爭力等具有重要意義。因此，研究水果自動化采摘技術(shù)迫在眉睫[3]。

柑橘目標(biāo)識別是自動采摘的基礎(chǔ)，眾多研究者主要從顏色、紋理、邊緣等多個(gè)特征綜合角度出發(fā)，研究了限定環(huán)境下或自然環(huán)境下果實(shí)目標(biāo)識別方法[4-17]。利用多種分類和聚類算法設(shè)計(jì)目標(biāo)識別模型，獲得了較好的目標(biāo)檢測效果。但上述方法的基礎(chǔ)是從果實(shí)自身特征出發(fā)獲得圖像特征，當(dāng)存在光線變化、陰影覆蓋、著色不均、枝葉遮擋和果實(shí)重疊等多種自然采摘環(huán)境下常見干擾因素時(shí)，果實(shí)特征發(fā)生明顯變化，使得用于描述果實(shí)的特征也出現(xiàn)明顯的不同，因此基于圖像特征的柑橘識別方法在自然環(huán)境下檢測效果不理想。

自然環(huán)境下柑橘圖像的特征在不同干擾因素下具有明顯的差異。自然環(huán)境下干擾因素較多且變化較大，難以獲得涵蓋上述所有干擾情形的柑橘目標(biāo)特征，因此基于圖像分析的柑橘目標(biāo)識別方法難以應(yīng)對自然環(huán)境下多種干擾因素同時(shí)存在的情況。

針對戶外柑橘采摘機(jī)器人的目標(biāo)識別定位問題，本文設(shè)計(jì)基于深度卷積神經(jīng)網(wǎng)絡(luò)的自然環(huán)境下柑橘目標(biāo)識別模型。對實(shí)際采收環(huán)境下的柑橘目標(biāo)進(jìn)行數(shù)據(jù)測試。

1 柑橘目標(biāo)識別方法

基于圖像的柑橘目標(biāo)識別的基礎(chǔ)在于獲得可穩(wěn)定描述自然環(huán)境下柑橘目標(biāo)的圖像特征，而大部分傳統(tǒng)的目標(biāo)特征提取方法都是在提取目標(biāo)物體的淺層特征，如HOG特征、SIFT特征、顏色特征、局部二值特征等。這些人工設(shè)計(jì)的特征只適用于某些特定場景，復(fù)雜場景中表現(xiàn)的并不盡如人意，致使構(gòu)建的目標(biāo)識別模型難以滿足復(fù)雜田間場景的需求，檢測效果很不穩(wěn)定。深度學(xué)習(xí)模型具有模型層次深、特征表達(dá)能力強(qiáng)的特點(diǎn)，能自適應(yīng)地從大規(guī)模數(shù)據(jù)集中學(xué)習(xí)當(dāng)前任務(wù)所需要的特征表達(dá)[18]，在目標(biāo)識別領(lǐng)域，盧宏濤等[19]認(rèn)為使用深度學(xué)習(xí)方法提取到的特征具有傳統(tǒng)手工特征所不具備的重要特性，其通過逐層訓(xùn)練學(xué)習(xí)，最終得到蘊(yùn)涵清晰語義信息的特征表示，從而大大提高識別率。自然采摘環(huán)境的干擾因素多是典型的復(fù)雜場景，目標(biāo)隨環(huán)境干擾因素變化而難以獲得完備的目標(biāo)特征集，基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的柑橘目標(biāo)視覺識別方法，可以克服自然環(huán)境下的多種干擾條件影響，獲得較高的識別準(zhǔn)確性和穩(wěn)定性。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘識別模型主要分為圖像預(yù)處理模塊、深度特征提取模塊、特征處理模塊。柑橘識別模型結(jié)構(gòu)如圖1所示。

圖1 自然環(huán)境下的柑橘識別模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram of citrus recognition system in natural environment

圖像預(yù)處理模塊對圖像進(jìn)行降噪和數(shù)據(jù)擴(kuò)展等操作，調(diào)節(jié)圖像的色調(diào)、飽和度和亮度后，圖像在輸入網(wǎng)絡(luò)之前進(jìn)行預(yù)處理，尺寸縮放到416像素×416像素。深度特征提取模塊實(shí)現(xiàn)了基于DARKNET19網(wǎng)絡(luò)[20]的卷積池化構(gòu)建方法，提取完整圖像的高階特征，經(jīng)過卷積池化層后得到13×13特征圖。

特征處理模塊分為區(qū)域生成網(wǎng)絡(luò)模塊(Region proposal network，RPN)和預(yù)測框特征提取分類模塊。特征處理模塊通過多個(gè)交叉的卷積層對特征降維，并利用池化操作提取柑橘圖像的高階特征，進(jìn)而對特征進(jìn)行分類。區(qū)域生成網(wǎng)絡(luò)模塊利用錨框(Anchor boxes)方法在獲得的特征圖上預(yù)測初始預(yù)選框。利于K均值聚類(K-means clustering)算法求取錨框參數(shù)并預(yù)測出錨框尺寸和比例，K是聚類算法將樣本集劃分成簇的數(shù)量，實(shí)驗(yàn)測得K=5時(shí)錨框預(yù)測的正確率最高。深度特征提取模塊中，圖像經(jīng)過卷積池化層后，特征圖維數(shù)為13×13。對特征圖的每個(gè)網(wǎng)格按照預(yù)測出的比例劃出5個(gè)錨框(以圖1中13×13特征圖的第1行第1列網(wǎng)格為例，網(wǎng)格(1,1)表示該網(wǎng)格)并將這5個(gè)錨框映射回原圖得到初始預(yù)選框。預(yù)測框特征提取分類模塊的結(jié)構(gòu)基于DARKNET19網(wǎng)絡(luò)，在網(wǎng)絡(luò)訓(xùn)練階段移除DARKNET19網(wǎng)絡(luò)最后一個(gè)卷積層，增加3個(gè)3×3×1 024的卷積層，并且在后面與1個(gè)1×1×512的卷積層和2個(gè)1×1×30的卷積層交叉，從而提高模型的特征抽取能力。由于經(jīng)過多層卷積后特征向量的維度大幅增高，不利于數(shù)據(jù)分類與訓(xùn)練收斂，加大了網(wǎng)絡(luò)的訓(xùn)練和預(yù)測時(shí)間，因此設(shè)計(jì)3層3×3卷積層和3層1×1卷積層交叉結(jié)構(gòu)對特征降維，從而降低其深度以提高系統(tǒng)的訓(xùn)練效率與實(shí)時(shí)性。

將提取到的圖像特征全局平均池化，并將其輸入到Softmax層進(jìn)行分類得出預(yù)測結(jié)果。預(yù)測結(jié)果包含6個(gè)元素：對應(yīng)網(wǎng)格的偏移量x和y、預(yù)測出的柑橘目標(biāo)邊界框的寬度w和高度h、有無目標(biāo)置信度(Box confidence score)和柑橘目標(biāo)置信度。有無目標(biāo)置信度表示該目標(biāo)框包含柑橘目標(biāo)的可能性，柑橘目標(biāo)置信度表示如果包含柑橘目標(biāo)，則該目標(biāo)是柑橘的可能性，因此預(yù)測結(jié)果維度為(13,13,5×(4+1+C))，其中C是目標(biāo)類別。由于只需檢測柑橘，因此C=1，預(yù)測結(jié)果的維度即為(13,13,30)。本文在訓(xùn)練階段利用Softmax分類器將輸出數(shù)值與標(biāo)簽數(shù)據(jù)比較得到其總損失，進(jìn)而使用隨機(jī)梯度下降(Stochastic gradient descent, SGD)優(yōu)化損失函數(shù)使其收斂。在檢測階段，每個(gè)組合的結(jié)果分別是預(yù)選框位置相對于標(biāo)簽位置偏移量，有目標(biāo)的置信度、以及有某個(gè)指定目標(biāo)的置信度，柑橘識別模型只需要柑橘置信度，因此只有一類。

2 基于遷移學(xué)習(xí)的網(wǎng)絡(luò)初始化

遷移學(xué)習(xí)利用預(yù)先訓(xùn)練好的具有良好學(xué)習(xí)能力的網(wǎng)絡(luò)模型參數(shù)初始化某個(gè)小型訓(xùn)練集模型參數(shù)，這種參數(shù)初始化方法可以將已學(xué)習(xí)的知識能力遷移到另一個(gè)網(wǎng)絡(luò)中，使得新網(wǎng)絡(luò)具有快速學(xué)習(xí)能力[21]，從而顯著改善因訓(xùn)練數(shù)據(jù)集不足帶來的網(wǎng)絡(luò)過擬合問題，增加識別模型在復(fù)雜自然條件下柑橘目標(biāo)識別的泛化能力。

ImageNet數(shù)據(jù)集是目前圖像深度學(xué)習(xí)領(lǐng)域應(yīng)用較廣的數(shù)據(jù)集，與圖像分類、定位、檢測相關(guān)的工作大多基于此數(shù)據(jù)集展開，成為目前深度學(xué)習(xí)圖像領(lǐng)域算法性能檢驗(yàn)的“標(biāo)準(zhǔn)”數(shù)據(jù)集。本文使用標(biāo)準(zhǔn)ImageNet1000類數(shù)據(jù)集預(yù)訓(xùn)練柑橘識別模型。對于每個(gè)網(wǎng)格5個(gè)預(yù)選框給出的30個(gè)數(shù)值，每個(gè)目標(biāo)只需要一個(gè)預(yù)選框預(yù)測器，根據(jù)預(yù)測區(qū)域與標(biāo)簽區(qū)域之間的重疊比例(IOU)最高值確定預(yù)測目標(biāo)，從而使預(yù)測器更好地適應(yīng)柑橘識別任務(wù)，從而改善整體召回率。訓(xùn)練期間的損失函數(shù)(Loss function)包含位置誤差和分類誤差。

若目標(biāo)存在于該網(wǎng)格單元中，則損失函數(shù)僅懲罰分類錯誤；若預(yù)測器負(fù)責(zé)實(shí)際邊界框，則也懲罰邊界框坐標(biāo)錯誤。網(wǎng)絡(luò)更加重視預(yù)測到目標(biāo)的預(yù)測框，加入預(yù)測到目標(biāo)的預(yù)測框系數(shù)λcoord來提高其數(shù)值占比。在VOC2007數(shù)據(jù)集下，這一數(shù)值為5，相應(yīng)的，對于沒有檢測到目標(biāo)的預(yù)測框，加入未預(yù)測到目標(biāo)的預(yù)測框系數(shù)λnoobj來降低其數(shù)值占比，本文取0.5。在訓(xùn)練過程中，通過優(yōu)化算法使得Loss函數(shù)收斂到最小。在預(yù)測階段，由于網(wǎng)格設(shè)計(jì)強(qiáng)化了邊界框預(yù)測中的空間多樣性，一些較大或靠近多個(gè)網(wǎng)格單元邊界的目標(biāo)可能會被多個(gè)網(wǎng)格單元定位，因此本文使用非極大值抑制算法[22]來修正多重檢測，從而獲得準(zhǔn)確的識別結(jié)果。

3 遷移學(xué)習(xí)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為保證數(shù)據(jù)集能夠較好地反映自然環(huán)境下柑橘目標(biāo)的真實(shí)特點(diǎn)，在廣西合浦柑橘種植園拍攝了1 200幅柑橘樣本圖像，拍攝時(shí)間包括晴天正午、晴天傍晚以及陰天正午3個(gè)時(shí)段。選用Basler acA2440-20gc型工業(yè)相機(jī)采集圖像數(shù)據(jù)，采用焦距為8 mm的定焦鏡頭。經(jīng)過人工挑選后制作了包括1 000幅柑橘圖像的VOC2007格式的數(shù)據(jù)集。為保證訓(xùn)練集的有效性，訓(xùn)練集中包含光照不均圖像241幅、前背景相似圖像134幅、果實(shí)以及枝葉相互遮擋圖像246幅、陰影覆蓋圖像211幅、過曝圖像168幅。將1 000幅圖像按照訓(xùn)練集、測試集、驗(yàn)證集7∶2∶1的比例配置。以端到端訓(xùn)練方式對上述訓(xùn)練集進(jìn)行訓(xùn)練，并計(jì)算平均損失率和在全體測試集和驗(yàn)證集上的平均準(zhǔn)確率(Mean average precision，MAP)。

同時(shí)為了驗(yàn)證本文方法的有效性，將可變性部件模型[23](Deformable part model，DPM)與本文模型進(jìn)行對比測試。DPM算法提取目標(biāo)的HOG特征，并使用支持向量機(jī)分類器，源碼版本選擇voc-release 4.01，訓(xùn)練50 000次，數(shù)據(jù)集依然采用VOC2007格式，按照訓(xùn)練集、測試集7∶3的配置分配訓(xùn)練。

3.2 實(shí)驗(yàn)數(shù)據(jù)性能指標(biāo)計(jì)算方法

本文方法和DPM算法均使用VOC2007格式數(shù)據(jù)集和P-R曲線測試網(wǎng)絡(luò)性能。P-R曲線的數(shù)據(jù)插值方法使用VOC2007規(guī)范，即11點(diǎn)插值法(Eleven-point interpolation)。對于網(wǎng)絡(luò)檢測出來的目標(biāo)，定為Positive樣本，未檢測出來的目標(biāo)定為Negative樣本。采用0.5為IOU閾值，大于0.5的認(rèn)定為檢測正確，檢測結(jié)果為T；反之，則為檢測錯誤，檢測結(jié)果為F。故實(shí)驗(yàn)結(jié)果有4種，分別為檢測出來的IOU值小于等于0.5的目標(biāo)FP、檢測出來的IOU值大于0.5的目標(biāo)TP、未檢測出來的真值目標(biāo)FN、TN。本文不統(tǒng)計(jì)TN類樣本。準(zhǔn)確率(Precision)的計(jì)算方法為

(1)

式中TP——檢測出來的IOU值大于0.5的目標(biāo)數(shù)量

FP——檢測出來的IOU值小于等于0.5的目標(biāo)數(shù)量

召回率(Recall)為識別出的柑橘數(shù)占圖像中總目標(biāo)數(shù)的比例，其計(jì)算方法為

(2)

式中FN——未檢測出來的真值目標(biāo)數(shù)量

3.3 結(jié)果分析

遷移學(xué)習(xí)具有良好的泛化能力且具有良好的抑制過擬合能力，本文利用遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練柑橘目標(biāo)識別模型，訓(xùn)練損失如圖2所示。

圖2 遷移學(xué)習(xí)與非遷移學(xué)習(xí)方法訓(xùn)練損失Fig.2 Training loss of transfer learning and non-transfer learning methods

從圖2可知，遷移學(xué)習(xí)可以使得訓(xùn)練過程更加平滑，在相同訓(xùn)練輪數(shù)下，其平均損失遠(yuǎn)低于未使用遷移學(xué)習(xí)。訓(xùn)練結(jié)束后，遷移學(xué)習(xí)在召回率大于后者的情況下，依然可以取得更好的平均準(zhǔn)確率。兩種訓(xùn)練方法的參數(shù)如表1所示。

表1 遷移學(xué)習(xí)與非遷移學(xué)習(xí)訓(xùn)練參數(shù)Tab.1 Training parameters of transfer learning and non-transfer learning methods

遷移學(xué)習(xí)與非遷移學(xué)習(xí)方法的基本訓(xùn)練參數(shù)相同，初始學(xué)習(xí)率取0.01，動量為0.9，學(xué)習(xí)衰減率為0.000 5，每輪訓(xùn)練圖像數(shù)量為8。2 000輪訓(xùn)練后，遷移學(xué)習(xí)的學(xué)習(xí)率固定，陷入局部最優(yōu)。未使用遷移學(xué)習(xí)的網(wǎng)絡(luò)在達(dá)到局部最優(yōu)后，即使降低學(xué)習(xí)率也并不能使得網(wǎng)絡(luò)平均損失率明顯下降。遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練方法的平均損失、最大召回率和平均準(zhǔn)確率如表2所示。

表2 遷移學(xué)習(xí)與非遷移學(xué)習(xí)訓(xùn)練結(jié)果Tab.2 Training results of transfer learning and non-transfer learning methods

由表2可知，非遷移學(xué)習(xí)訓(xùn)練的柑橘目標(biāo)識別模型獲得的平均損失為20.5，本文通過降低學(xué)習(xí)率的方法使得平均損失下降了12.8，最終平均損失達(dá)到了7.7。訓(xùn)練結(jié)束后，在驗(yàn)證、測試數(shù)據(jù)集上計(jì)算平均準(zhǔn)確率，分別為86.9%和78.3%?；谶w移學(xué)習(xí)方法訓(xùn)練的模型平均損失較低，平均準(zhǔn)確率較高，有效提高了模型的性能。

使用遷移學(xué)習(xí)和未使用遷移學(xué)習(xí)訓(xùn)練模型的柑橘目標(biāo)檢測結(jié)果如圖3所示。

圖3 遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練模型檢測結(jié)果Fig.3 Test results of transfer learning and non-transfer learning methods

圖3a中標(biāo)號1的結(jié)果將兩個(gè)識別條件良好的柑橘識別成了一個(gè)，而且還存在目標(biāo)框重疊問題，標(biāo)號2結(jié)果將兩個(gè)相互重疊的柑橘識別成一個(gè)目標(biāo)。作為對比，圖3b中標(biāo)號1、2的檢測結(jié)果都能正確區(qū)分并識別柑橘，并且圖3b識別出了更多的柑橘，可以看出遷移學(xué)習(xí)的檢測系統(tǒng)具有更高的召回率。由圖3可知，兩種訓(xùn)練方法都識別出柑橘目標(biāo)，但常規(guī)訓(xùn)練下的網(wǎng)絡(luò)識別出的柑橘目標(biāo)框存在較大的誤差與較低的召回率。由此可知遷移學(xué)習(xí)可以提高網(wǎng)絡(luò)的目標(biāo)檢測性能。

DPM算法是目前常用目標(biāo)檢測算法之一。DPM算法與本文方法在自然采摘環(huán)境下柑橘目標(biāo)識別的P-R曲線如圖4所示。測試集和驗(yàn)證集共包含300幅圖像，包括光照不均、前背景相似、果實(shí)以及枝葉相互遮擋、陰影覆蓋、過曝。

圖4 兩種方法的P-R曲線Fig.4 P-R curves of two methods

圖4a中DPM算法的P-R曲線平均準(zhǔn)確率為67.56%，遠(yuǎn)低于本文方法的86.91%。本文方法較DPM算法具有更高的召回率，且P-R曲線較DPM算法曲線更加平滑穩(wěn)定，在較高召回率情況下，依舊可以保持較高的準(zhǔn)確率。以人工進(jìn)行柑橘目標(biāo)識別標(biāo)注的結(jié)果為標(biāo)準(zhǔn)，在不同干擾因素下，DPM算法與本文方法的識別平均準(zhǔn)確率對比如表3所示。

表3 DPM算法與本文方法識別平均準(zhǔn)確率對比Tab.3 Experimental result of citrus using DPM and proposed method %

從表3可知，DPM算法的準(zhǔn)確率遠(yuǎn)低于本文方法。針對果實(shí)與枝葉遮擋條件，評估所用數(shù)據(jù)集包含67幅存在果實(shí)與枝葉遮擋的圖像，遮擋率的計(jì)算方法為67幅遮擋圖中被遮擋柑橘的遮擋面積占其總面積的比率均值，經(jīng)統(tǒng)計(jì)，平均遮擋率為48%，DPM算法檢測的準(zhǔn)確率只有60.8%，而本文方法準(zhǔn)確率為83.6%。同時(shí)，本文方法在表3的多個(gè)影響因素下的識別平均準(zhǔn)確率的均值為86.6%。

圖5 本文方法對自然條件下柑橘目標(biāo)識別結(jié)果Fig.5 Detecting results of citrus by proposed method under natural conditions

本文方法的目標(biāo)識別結(jié)果如圖5所示。圖5a中，枝葉遮擋面積小于50%(圖中標(biāo)號1、2、3)，其IOU值分別為0.8、0.95、0.9。但如果遮擋面積過大，則依舊無法成功識別(圖中藍(lán)框)。藍(lán)框中的柑橘具有標(biāo)簽值，但未被識別，相當(dāng)于IOU值為0，分類結(jié)果為FN。其他情形以此類推。圖5b中，標(biāo)號1、2、3的樣本存在陰影覆蓋和過曝，本文方法依然可以識別柑橘目標(biāo)。圖5c中，弱光條件下，柑橘紋理不明顯，同時(shí)顏色也有較大變化，個(gè)別位置甚至可能出現(xiàn)柑橘和枝葉顏色混合的現(xiàn)象，這時(shí)不管是SIFT特征還是HOG特征效果較差。但使用本文方法均可準(zhǔn)確識別柑橘。藍(lán)框標(biāo)出的柑橘由于光照條件太差，顏色信息損失太多并未成功識別。圖5d中，在前背景相似情況下，柑橘顏色幾乎和枝葉顏色融為一體，同時(shí)還伴有光照變化和陰影覆蓋等情況存在。本文所設(shè)計(jì)的模型取得了較好的效果，其中識別效果較差的2號柑橘的IOU仍可達(dá)到0.8，分類結(jié)果為TP。由圖5識別結(jié)果可知，本文方法能夠有效地應(yīng)對多種戶外采摘條件下的干擾因素。

實(shí)地拍攝的圖像尺寸為2 448像素×2 448像素，由于圖像像素較大，柑橘較小，因此將圖像分成4幅有重疊的子圖進(jìn)行識別，子圖尺寸為1 000像素×1 000像素。識別模型將子圖縮放到416像素×416像素，識別完成后將識別結(jié)果聚合，以此實(shí)現(xiàn)多尺度圖像的識別。本文所設(shè)計(jì)的柑橘目標(biāo)識別模型的運(yùn)算平臺為i7-6850K CPU，Nvidia GTX 1080Ti GPU，內(nèi)存32 GB。識別時(shí)間為從將圖像分割成4幅子圖到將4幅子圖識別結(jié)果聚合在一起輸出最后識別結(jié)果的總時(shí)間。經(jīng)測試，1 000幅圖像的平均識別速度為12.5幀/s，因此該模型具有良好的實(shí)時(shí)性，能夠滿足實(shí)際自動化采摘的目標(biāo)識別速度要求。

4 結(jié)論

(1)設(shè)計(jì)的基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識別模型對光照變化、亮度不勻、前背景相似、果實(shí)及枝葉相互遮擋、陰影覆蓋等實(shí)際采摘環(huán)境下常見干擾因素及其疊加情形具有良好的魯棒性，可為柑橘采摘機(jī)器人設(shè)計(jì)提供參考。

(2)本文方法對柑橘識別的平均準(zhǔn)確率均值達(dá)到了86.6%，平均損失為7.7，最大召回率為93%，實(shí)驗(yàn)結(jié)果表明，該模型能夠在自然采摘環(huán)境下進(jìn)行準(zhǔn)確和快速的柑橘目標(biāo)識別及定位。