基于混合深度學(xué)習(xí)的蔗糖原料蔗頂芽雜質(zhì)探測技術(shù)*

陳峰練，白 琳,2**，張揚(yáng)虎，張 茜，李陶深,2

(1.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，廣西南寧 530004；2.廣西高校并行與分布式計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣西南寧 530004；3.廣西醫(yī)科大學(xué)第一附屬醫(yī)院，廣西南寧 530021)

0 引言

甘蔗作為我國重要的經(jīng)濟(jì)作物，是制糖企業(yè)用于制糖的主要原料，甘蔗的質(zhì)量決定著制糖企業(yè)的制糖量。甘蔗頂芽雜質(zhì)存在于甘蔗的尾部，長度較長，呈黃色、淡黃色或黃綠色，糖分含量少，對(duì)于制糖企業(yè)而言是一段廢渣，沒有經(jīng)濟(jì)價(jià)值。以往蔗糖原料蔗頂芽雜質(zhì)的識(shí)別工作是由有相關(guān)經(jīng)驗(yàn)的工作人員以肉眼判定完成。但制糖廠收購的原料蔗總量巨大，采用人力進(jìn)行識(shí)別判斷存在著效率低下、識(shí)別環(huán)節(jié)主觀性大、企業(yè)用工成本高等缺點(diǎn)。

深度學(xué)習(xí)自誕生以來不斷發(fā)展，從圖像分類[1]問題開始取得多次突破，在分類識(shí)別領(lǐng)域中已超越人工識(shí)別，在識(shí)別精確度和識(shí)別速度上取得了一次次的新高。目前有很多學(xué)者將深度學(xué)習(xí)用于農(nóng)業(yè)，例如張帥[2]研究了深度學(xué)習(xí)對(duì)葉片的識(shí)別；王前程[3]將深度學(xué)習(xí)用于水果的識(shí)別；黃小杭等[4]完成了蓮蓬快速識(shí)別的研究；譚龍?zhí)颷5]使用深度卷積網(wǎng)絡(luò)對(duì)玉米籽粒的完整性進(jìn)行識(shí)別。石昌友[6]使用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)圖像進(jìn)行多角度旋轉(zhuǎn)，擴(kuò)大紫皮甘蔗圖像數(shù)據(jù)集，并且基于模型輸出的邊緣概率的卷積[7]神經(jīng)網(wǎng)絡(luò)，訓(xùn)練出用于紫皮甘蔗圖像邊緣檢測的識(shí)別模型，并對(duì)紫皮甘蔗莖節(jié)進(jìn)行識(shí)別，模型最終達(dá)到94%的精確度，為紫皮甘蔗蔗種自動(dòng)化切割機(jī)器的識(shí)別定位模塊提供切實(shí)可行的模型和理論基礎(chǔ)；李尚平等[8]基于改進(jìn)的YOLOv3[9]模型對(duì)輸入識(shí)別模塊的整根紫皮甘蔗的圖像進(jìn)行識(shí)別，并提取出紫皮甘蔗莖節(jié)的特征，識(shí)別、標(biāo)記出整根紫皮甘蔗上不同莖節(jié)位置，再將各個(gè)莖節(jié)的坐標(biāo)傳遞到多刀數(shù)控切割臺(tái)對(duì)紫皮甘蔗莖節(jié)進(jìn)行實(shí)時(shí)切割，其識(shí)別的準(zhǔn)確率為96.89%，召回率為90.64%，平均識(shí)別時(shí)間為28.7 ms，達(dá)到實(shí)時(shí)且連續(xù)識(shí)別紫皮甘蔗莖節(jié)的效果，為紫皮甘蔗預(yù)切種式智能橫向切種機(jī)的開發(fā)提供模型與數(shù)據(jù)基礎(chǔ)。盡管智能化農(nóng)業(yè)技術(shù)的研究不斷深入，但甘蔗雜質(zhì)的智能探測技術(shù)的研究仍不充分。本研究將農(nóng)業(yè)生產(chǎn)實(shí)踐與深度學(xué)習(xí)結(jié)合，基于混合深度學(xué)習(xí)模型在復(fù)雜生產(chǎn)環(huán)境條件下對(duì)于大規(guī)模不同光照下、不規(guī)則方向的蔗糖原料蔗頂芽雜質(zhì)進(jìn)行識(shí)別，這對(duì)原料蔗雜化程度判定、提高企業(yè)效益和促進(jìn)農(nóng)業(yè)機(jī)械化生產(chǎn)有重要意義。

1 材料與方法

1.1 原料蔗頂芽雜質(zhì)特征提取模型結(jié)構(gòu)

1.1.1 混合深度學(xué)習(xí)模型

基于混合深度學(xué)習(xí)模型的原理，在第一部分使用基于Faster R-CNN[10]的原料蔗頂芽雜質(zhì)特征提取網(wǎng)絡(luò)(以下簡稱模型Ⅰ)和基于Cascade R-CNN[11]的原料蔗頂芽雜質(zhì)特征提取網(wǎng)絡(luò)(以下簡稱模型Ⅱ)，第二部分借鑒使用Cascade R-CNN的級(jí)聯(lián)預(yù)測部分?；旌夏Ｐ徒Y(jié)構(gòu)如圖1所示，識(shí)別過程如下：首先B0、B1、B2、B3為預(yù)測框輸出部分，C0、C1、C2、C3為類別判斷；模型Ⅰ和模型Ⅱ分別給出對(duì)應(yīng)的預(yù)測框和預(yù)測框所對(duì)應(yīng)的特征圖；接著在BBox Feature處保留兩個(gè)模型所輸出的特征圖，而后將特征圖輸入Cascade預(yù)測部分，對(duì)特征圖進(jìn)行多重回歸修正與分類；Cascade輸出層最終對(duì)類別輸出C1、C2、C3求平均值，獲得類別輸出的置信度。最終，Cascade輸出層的B3輸出原料蔗頂芽雜質(zhì)的預(yù)測框。

在RoIAlign[12]中，RoIAlign的反向傳播公式如式(1)所示，xi代表池化前特征圖上的像素點(diǎn)，yrj代表池化后的第r個(gè)候選區(qū)域的第j個(gè)點(diǎn)，i*(r，j)是一個(gè)浮點(diǎn)數(shù)的坐標(biāo)位置，即前向傳播時(shí)計(jì)算出來的采樣點(diǎn)，在池化前的頂芽雜質(zhì)特征圖中，每一個(gè)與i*(r，j)橫縱坐標(biāo)均小于1的點(diǎn)都應(yīng)該接受與此對(duì)應(yīng)的點(diǎn)yrj回傳的梯度。d(,)表示兩點(diǎn)之間的距離，Δh和Δw表示i與i*(r，j)橫縱坐標(biāo)的差值，這里作為雙線性內(nèi)插的系數(shù)乘在原始的梯度上。

圖1 混合深度學(xué)習(xí)模型架構(gòu)

(1)

1.1.2 基于Faster R-CNN的原料蔗頂芽雜質(zhì)特征提取模型(模型Ⅰ)

為了提升模型的識(shí)別準(zhǔn)確性，本研究選擇使用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)[13]和RoIAlign。一方面，卷積神經(jīng)網(wǎng)絡(luò)提取的低層特征蘊(yùn)含的語義信息比較少，但目標(biāo)位置準(zhǔn)確，而高層特征蘊(yùn)含的語義信息比較豐富，但目標(biāo)位置比較粗略。FPN可以將圖像目標(biāo)的低層特征圖和高層特征圖的語義信息相融合，在得到目標(biāo)圖像豐富的語義信息的同時(shí)，也保留更多的位置信息，這使得圖像中的小目標(biāo)識(shí)別的精度得到有效提升。另一方面，因?yàn)镽oIAlign不使用量化操作，使用雙線性內(nèi)插的方法獲得坐標(biāo)為浮點(diǎn)數(shù)的像素點(diǎn)上的圖像數(shù)值，從而將整個(gè)特征聚集過程轉(zhuǎn)化為一個(gè)連續(xù)的操作。

本研究的檢測目標(biāo)——原料蔗頂芽雜質(zhì)，屬于輸入圖像中的小目標(biāo)。FPN和RoIAlign可以很好地解決原料蔗頂芽雜質(zhì)這一圖像小目標(biāo)在定位與識(shí)別任務(wù)出現(xiàn)的兩個(gè)主要問題：第一，在原料蔗頂芽雜質(zhì)特征提取階段，圖像經(jīng)過多級(jí)特征抽取之后，識(shí)別目標(biāo)的圖像像素在特征圖上發(fā)生偏移，產(chǎn)生偏移的像素會(huì)對(duì)識(shí)別結(jié)果造成較大影響；第二，在選擇檢測目標(biāo)候選區(qū)域過程中，經(jīng)過特征提取工作的圖像被縮放、量化后，檢測目標(biāo)候選區(qū)域會(huì)出現(xiàn)明顯的偏差，而這個(gè)偏差映射到原圖后會(huì)更加明顯，直接影響識(shí)別的準(zhǔn)確率。因此，本研究將FPN和RoIAlign整合到Faster R-CNN的架構(gòu)中，完成模型Ⅰ的設(shè)計(jì)。

圖2 基于Faster R-CNN的原料蔗頂芽雜質(zhì)特征提取模型(模型Ⅰ)結(jié)構(gòu)

1.1.3 基于Cascade R-CNN的原料蔗頂芽雜質(zhì)特征提取模型(模型Ⅱ)

在訓(xùn)練和推理階段，Cascade R-CNN的級(jí)聯(lián)結(jié)構(gòu)能夠?qū)D像目標(biāo)預(yù)測框進(jìn)行多重的預(yù)測框回歸修正，循序漸進(jìn)地提高預(yù)測框的交并比(Intersection over Unio，IoU)，解決IoU閾值設(shè)定的問題，使得圖像目標(biāo)檢測識(shí)別模型的性能得到提高。

通過分析原料蔗頂芽雜質(zhì)圖像的長寬比例特點(diǎn)，發(fā)現(xiàn)原料蔗頂芽雜質(zhì)呈現(xiàn)細(xì)長形狀的居多，在原料蔗頂芽雜質(zhì)識(shí)別任務(wù)的數(shù)據(jù)中，出現(xiàn)較多寬高比例較大和寬或高像素較低的原料蔗頂芽雜質(zhì)圖像，這些因素導(dǎo)致原料蔗頂芽雜質(zhì)檢測模型產(chǎn)生的檢測目標(biāo)預(yù)測框略微偏移，從而進(jìn)一步造成IoU值極大降低，即容易出現(xiàn)IoU閾值設(shè)置偏高的問題。IoU閾值設(shè)置過低，會(huì)引起模型預(yù)測結(jié)果欠擬合，而IoU閾值設(shè)置過高，會(huì)造成過擬合。本研究采用Cascade R-CNN來解決這一問題。此外，將1.1.2節(jié)中提及的FPN和RoIAlign也整合到模型Ⅱ中。

圖3是模型Ⅱ的結(jié)構(gòu)，輸入圖片經(jīng)過ResNet50和FPN的特征提取后得到輸入圖像的特征圖，RPN在這些特征圖上生成原料蔗頂芽雜質(zhì)候選區(qū)域，RoIAlign使用無像素偏移的方式對(duì)不規(guī)則候選區(qū)域的特征進(jìn)行池化操作，使得不同候選區(qū)域的特征尺度大小統(tǒng)一，兩層全連接網(wǎng)絡(luò)對(duì)特征進(jìn)行初步的處理，接著輸出分支C1對(duì)候選區(qū)域進(jìn)行分類及置信度輸出，而輸出分支B1產(chǎn)生的候選框作為下一級(jí)聯(lián)結(jié)構(gòu)(S2級(jí)聯(lián)結(jié)構(gòu))的輸入，進(jìn)入FPN得到多尺度特征圖，并經(jīng)過RoIAlign、兩個(gè)全連接網(wǎng)絡(luò)后，又得到兩個(gè)輸出分支C2和B2。至此，B1輸出候選框得到第一次回歸修正，產(chǎn)生B2輸出候選框，此候選區(qū)域更接近真實(shí)原料蔗頂芽雜質(zhì)邊界框(Bounding Box，Bbox)。最后，B2輸出候選框繼續(xù)作為最后一級(jí)聯(lián)結(jié)構(gòu)(S3級(jí)聯(lián)結(jié)構(gòu))的輸入，經(jīng)過與上一級(jí)聯(lián)結(jié)構(gòu)同樣的處理步驟后，得到輸出分支C3的分類和置信度輸出,輸出分支B3的原料蔗頂芽雜質(zhì)候選框。最后匯總C1、C2、C3的結(jié)果平均值為最終的分類準(zhǔn)確度，從B1、B2、B3中分別得到不同IoU值的原料蔗頂芽雜質(zhì)預(yù)測框。

圖3 基于Cascade R-CNN的原料蔗頂芽雜質(zhì)特征提取模型(模型Ⅱ)結(jié)構(gòu)

1.2 數(shù)據(jù)來源及處理

本研究的實(shí)驗(yàn)數(shù)據(jù)均來自廣西南寧某糖廠制糖生產(chǎn)流程中的實(shí)地拍攝。在實(shí)驗(yàn)開始前，先對(duì)實(shí)驗(yàn)數(shù)據(jù)——蔗糖原料蔗頂芽雜質(zhì)進(jìn)行簡單分析。原料蔗頂芽雜質(zhì)存在于原料蔗的末端，一般呈現(xiàn)幾種不同的單一顏色或者混雜顏色態(tài)，這幾種色態(tài)的部位含糖量極少，屬于制糖廠無益制糖生產(chǎn)的一部分。甘蔗生長初期末端部分呈現(xiàn)較深的青綠色，甘蔗尾部直至被切割部分呈現(xiàn)的都是青綠色，且甘蔗與背景圖像有明顯的邊緣分界線，這十分有利于將甘蔗與背景區(qū)分出來。甘蔗經(jīng)過一段時(shí)間的生長之后會(huì)產(chǎn)生一點(diǎn)青綠色、黃綠色，并在甘蔗尾部的表皮上混雜到一起，且甘蔗邊緣與背景區(qū)分十分明顯。甘蔗再經(jīng)過一段時(shí)間的生長之后，會(huì)出現(xiàn)末端表皮上呈現(xiàn)黃綠色與淡紫色相互交雜的情況，也會(huì)呈現(xiàn)淡紫色與青綠色混雜的情況，但從整體上看甘蔗依舊呈現(xiàn)出青綠色。甘蔗繼續(xù)經(jīng)過一段時(shí)間的生長，淺紫色與淺黃色出現(xiàn)混雜現(xiàn)象，甘蔗的末端大部分為淺紫色，但是依舊留存有淡黃色。因此，對(duì)原料蔗頂芽雜質(zhì)作出以下定義：原料蔗頂芽雜質(zhì)存在于原料蔗的末端上，有明顯的顏色特征，其顏色特征呈現(xiàn)為青綠色、黃綠色、淡紫色與青綠色混雜、紫色與黃綠色混雜以及淡紫色與淺黃色混雜(圖4)。

圖4 蔗糖原料蔗頂芽雜質(zhì)

1.3 實(shí)驗(yàn)設(shè)置

將實(shí)驗(yàn)數(shù)據(jù)——原料蔗頂芽雜質(zhì)圖像分成原料蔗垂直(大部分原料蔗以垂直朝向在圖像中出現(xiàn))、水平(大部分原料蔗以水平朝向在圖像中出現(xiàn))和整體數(shù)據(jù)(包含水平和垂直型數(shù)據(jù))3種類型。在此實(shí)驗(yàn)數(shù)據(jù)上對(duì)模型Ⅰ、模型Ⅱ、Faster R-CNN和混合深度學(xué)習(xí)模型這4個(gè)模型進(jìn)行對(duì)比試驗(yàn)，探究本研究提出的混合深度學(xué)習(xí)模型的性能。

少先隊(duì)員是一種兒童的群眾性組織，十九大的勝利召開，對(duì)培養(yǎng)少先隊(duì)員提出了新的要求和目標(biāo)。在培養(yǎng)少先隊(duì)員的過程中，要進(jìn)行組織教育和實(shí)踐活動(dòng)相結(jié)合的方式。引導(dǎo)廣大少先隊(duì)員聽黨的話，跟著黨走，讓他們從小學(xué)習(xí)怎樣做人，樹立正確的世界觀和價(jià)值觀，形成良好的行為習(xí)慣和學(xué)習(xí)習(xí)慣，有自己的目標(biāo)，從小立志，做一個(gè)正直的人，不斷努力提高自身思想道德修養(yǎng)和文化水平，為實(shí)現(xiàn)中華民族的偉大復(fù)興而奮斗。

為了更系統(tǒng)地評(píng)估本研究提出的模型，實(shí)驗(yàn)將統(tǒng)計(jì)兩項(xiàng)指標(biāo)數(shù)據(jù)：平均精度(Average Precision，AP)和馬修斯相關(guān)系數(shù)(MCC)[16]。AP值是對(duì)n個(gè)樣本的數(shù)據(jù)集，對(duì)每個(gè)樣本的真實(shí)標(biāo)簽和預(yù)測概率進(jìn)行計(jì)算；馬修斯相關(guān)系數(shù)是應(yīng)用在機(jī)器學(xué)習(xí)中，用來測量二分類的分類效果的指標(biāo)，計(jì)算公式分別為公式(2)、(3)。

(2)

MCC=

(3)

其中，TP (True Positives)表示真正例，表示被標(biāo)注的原料蔗頂芽雜質(zhì)被正確的檢測出來；TN (True Negatives)表示真負(fù)例，為正確地識(shí)別出的非原料蔗頂芽雜質(zhì)候選框；FP (False Positives)表示假正例，即被標(biāo)注的頂芽雜質(zhì)未被正確地檢測出來；FN(False Negatives)表示假負(fù)例，是沒有被檢測識(shí)別出來的非原料蔗頂芽雜質(zhì)。

2 結(jié)果與分析

2.1 整體數(shù)據(jù)的預(yù)測結(jié)果

由圖5可以看出，對(duì)于整體數(shù)據(jù)，模型Ⅰ和模型Ⅱ的AP與MCC分別至少比Faster R-CNN高0.35和0.4，說明FPN和RoIAlign可有效定位和識(shí)別圖像中的原料蔗頂芽雜質(zhì)。

圖5 對(duì)于整體數(shù)據(jù)，模型Ⅰ、模型Ⅱ和Faster R-CNN的AP與MCC

2.2 垂直和水平型數(shù)據(jù)的預(yù)測結(jié)果

對(duì)于垂直型數(shù)據(jù)，模型Ⅰ比模型Ⅱ得到的AP和MCC略高，分別高出0.05和0.06(圖6a)；對(duì)于水平型數(shù)據(jù)，模型Ⅱ的表現(xiàn)優(yōu)于改進(jìn)模型Ⅰ(圖6b)。也就是說，在兩種不同類型的數(shù)據(jù)下，兩個(gè)原料蔗頂芽雜質(zhì)特征提取模型的表現(xiàn)各有不同，兩個(gè)模型有各自的適用場景和優(yōu)勢(shì)。

圖6 對(duì)于垂直型和水平型數(shù)據(jù)，模型Ⅰ和模型Ⅱ的AP與MCC

2.3 混合深度學(xué)習(xí)模型對(duì)整體數(shù)據(jù)預(yù)測結(jié)果

由圖7可以看出，混合深度學(xué)習(xí)模型的表現(xiàn)優(yōu)于模型Ⅰ和模型Ⅱ。因?yàn)槟Ｐ廷窈湍Ｐ廷蛟诓煌愋蛿?shù)據(jù)下的表現(xiàn)不同，這兩個(gè)模型有各自的適用場景，所以在整體數(shù)據(jù)下，兩個(gè)模型的表現(xiàn)并不一樣。

圖7 對(duì)于整體數(shù)據(jù)，模型Ⅰ、模型Ⅱ和混合深度學(xué)習(xí)模型的AP和MCC

從對(duì)4個(gè)模型的探測識(shí)別性能分析中可以看出，本研究提出的混合深度學(xué)習(xí)模型在整體數(shù)據(jù)下的表現(xiàn)優(yōu)于兩個(gè)特征提取模型，說明此混合深度學(xué)習(xí)模型融合兩個(gè)特征提取模型各自的優(yōu)勢(shì)，使模型對(duì)整體數(shù)據(jù)的預(yù)測準(zhǔn)確率得到提高，對(duì)不同形狀原料蔗頂芽雜質(zhì)均具有適用性,可以拓展應(yīng)用場景。

3 討論

制糖廠使用小型貨車一次性運(yùn)輸大批量的原料蔗，當(dāng)原料蔗運(yùn)輸?shù)街铺菑S進(jìn)行卸載時(shí)，原料蔗處于高密集堆積狀態(tài)下，幾百根長度、大小不同的原料蔗朝向不一，相互堆疊，并且原料蔗還會(huì)攜帶著蔗葉、泥土等混雜物，在堆疊原料蔗所形成的空間上形成遮擋、掩蓋。這些綜合的因素造成原料蔗圖像空間背景的復(fù)雜性，因此原料蔗頂芽雜質(zhì)識(shí)別模型需要有很強(qiáng)空間魯棒性，能對(duì)不同方向、角度的同一原料蔗進(jìn)行精準(zhǔn)的頂芽雜質(zhì)識(shí)別。

原料蔗抵達(dá)制糖廠的時(shí)間各有不同，在早晨、中午、傍晚等時(shí)間到達(dá)的原料蔗，其光照條件有所不同，比如過亮、過暗等，進(jìn)而導(dǎo)致輸入設(shè)備拍攝到的原料蔗圖片呈現(xiàn)的效果不同，獲取到的圖片像素值也不同。如果模型對(duì)光照的魯棒性不好，對(duì)于不同光照情況下的原料蔗頂芽雜質(zhì)特征就會(huì)出現(xiàn)誤識(shí)別或者漏識(shí)別的情況，因此原料蔗頂芽雜質(zhì)識(shí)別模型需要對(duì)不同光照條件下的同一原料蔗進(jìn)行頂芽雜質(zhì)的識(shí)別。

因此，構(gòu)建原料蔗頂芽雜質(zhì)識(shí)別模型的困難點(diǎn)在于識(shí)別模型需要有極強(qiáng)的空間魯棒性和光照環(huán)境適應(yīng)性，能在復(fù)雜圖像空間與外界環(huán)境下對(duì)不同方向、角度與不同色調(diào)、飽和度、亮度的同一原料蔗的頂芽雜質(zhì)做出準(zhǔn)確的識(shí)別。

本研究首先對(duì)蔗糖原料蔗頂芽雜質(zhì)圖像進(jìn)行篩選、切分、標(biāo)注、圖像數(shù)據(jù)增強(qiáng)等工作，將其作為實(shí)驗(yàn)的數(shù)據(jù)集。對(duì)原料蔗頂芽雜質(zhì)圖像進(jìn)行初步研究后發(fā)現(xiàn)，實(shí)驗(yàn)數(shù)據(jù)引起的像素偏移問題對(duì)頂芽雜質(zhì)識(shí)別影響較大，提出使用FPN多尺度特征融合、RoIAlign池化，將其整合進(jìn)Faster R-CNN網(wǎng)絡(luò)中。其次，本研究針對(duì)原料蔗頂芽雜質(zhì)標(biāo)注框的幾何特性所導(dǎo)致的預(yù)測框與真實(shí)框的IoU不高的問題，提出使用級(jí)聯(lián)回歸修正[16]預(yù)測框以提升IoU值。最后，基于混合深度模型的設(shè)計(jì)理念，本研究嘗試結(jié)合基于Faster R-CNN的原料蔗頂芽雜質(zhì)特征提取和基于Cascade R-CNN的原料蔗頂芽雜質(zhì)特征提取兩種模型，構(gòu)建一個(gè)混合深度學(xué)習(xí)模型，融入兩個(gè)模型的優(yōu)點(diǎn),以提升模型的性能。

本研究最終得到有標(biāo)注的數(shù)據(jù)集達(dá)到1 600張，并且使用Labelme對(duì)圖像進(jìn)行標(biāo)注，得到原料蔗頂芽雜質(zhì)的標(biāo)注實(shí)例11 200個(gè)。由于原料蔗頂芽雜質(zhì)的數(shù)據(jù)特征比較明顯，其表現(xiàn)多為垂直型與水平型兩種。因此本實(shí)驗(yàn)除對(duì)整體數(shù)據(jù)進(jìn)行測試分析外，還對(duì)垂直型和水平型兩種數(shù)據(jù)分別進(jìn)行測試。

4 結(jié)論

本研究以混合模型思想和深度學(xué)習(xí)方法作為指導(dǎo)理念，在分析圖像目標(biāo)檢測的國內(nèi)外研究現(xiàn)狀與發(fā)展歷程的基礎(chǔ)上，實(shí)現(xiàn)蔗糖原料蔗頂芽雜質(zhì)的精準(zhǔn)檢測識(shí)別。

本研究詳細(xì)分析了原料蔗頂芽雜質(zhì)圖像的特點(diǎn)，提出使用級(jí)聯(lián)回歸修正預(yù)測框，解決原料蔗頂芽雜質(zhì)標(biāo)注框的幾何特性所導(dǎo)致的IoU值不高的問題，以提升IoU值。通過實(shí)驗(yàn)驗(yàn)證了這種做法的可行性，模型得到巨大的性能提升。此外，通過研究發(fā)現(xiàn)基于Faster R-CNN的原料蔗頂芽雜質(zhì)特征提取模型對(duì)垂直型數(shù)據(jù)識(shí)別效果較好，而基于Cascade R-CNN的原料蔗頂芽雜質(zhì)特征提取模型對(duì)水平型數(shù)據(jù)表現(xiàn)較好，兩個(gè)模型都有各自的優(yōu)勢(shì)，借此設(shè)計(jì)并實(shí)現(xiàn)了基于以上兩種模型而構(gòu)建成的混合深度學(xué)習(xí)模型，該模型結(jié)合上述兩個(gè)模型的優(yōu)點(diǎn)，豐富了其應(yīng)用場景，使其具有很強(qiáng)的適應(yīng)性與良好地?cái)U(kuò)展性，對(duì)整體數(shù)據(jù)的識(shí)別準(zhǔn)確率得到提升，更準(zhǔn)確地進(jìn)行原料蔗頂芽雜質(zhì)識(shí)別。