基于機(jī)器視覺(jué)葡萄葉片還原糖含量的檢測(cè)系統(tǒng)

賈尚云，高曉陽(yáng)，李紅嶺，邵世祿，楊梅，武季玲(甘肅農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，甘肅 蘭州 730070)

在傳統(tǒng)農(nóng)業(yè)生產(chǎn)中，人們研究作物內(nèi)在營(yíng)養(yǎng)成分大都采用化學(xué)方法或光譜分析法，這些方法雖然簡(jiǎn)單，但成本較高，測(cè)試復(fù)雜，在大批量的農(nóng)業(yè)生產(chǎn)中很難實(shí)現(xiàn)。在現(xiàn)代農(nóng)業(yè)自動(dòng)化生產(chǎn)過(guò)程中，機(jī)器視覺(jué)技術(shù)廣泛地應(yīng)用于農(nóng)產(chǎn)品營(yíng)養(yǎng)元素檢測(cè)中。張彥娥等[1]通過(guò)對(duì)黃瓜葉片顏色各分量特征的提取完成了對(duì)黃瓜葉片氮元素的識(shí)別測(cè)定，結(jié)果顯示葉片綠色分量G和色度H分量與氮含量線性相關(guān)，其他分量沒(méi)有明顯相關(guān)性；費(fèi)麗君等[2]提取了大豆葉片圖像的顏色特征，對(duì)葉片中葉綠素的含量進(jìn)行了測(cè)算，結(jié)果表征，大豆葉綠素信息指標(biāo)與圖像顏色參數(shù)極具相關(guān)性，可用來(lái)快速測(cè)定葉片葉綠素含量；徐騰飛[3]等通過(guò)對(duì)玉米葉片的特征識(shí)別完成了對(duì)葉片含水率的診斷，得出利用作物葉片灰度直方圖均值參數(shù)可以對(duì)玉米的葉片含水率進(jìn)行預(yù)測(cè)；雷靜[4]利用機(jī)器視覺(jué)對(duì)番茄中的花青素含量進(jìn)行了快速無(wú)損的測(cè)定，測(cè)定結(jié)果顯示以顏色分量V和R/(G+B)為特征參數(shù)建立的模型擬合度最好，對(duì)檢驗(yàn)集的預(yù)測(cè)表現(xiàn)出很高的精確度，可以用于花青素含量快速無(wú)損的檢測(cè)。但是目前利用機(jī)器視覺(jué)對(duì)植物葉片營(yíng)養(yǎng)含量的檢測(cè)主要集中在大豆、番茄、棉花、玉米等一年生作物，側(cè)重點(diǎn)為葉片的含水率、葉綠素、氮磷鉀含量等，對(duì)多年生藤蔓植株如葡萄葉片營(yíng)養(yǎng)含量測(cè)定的報(bào)道甚少。本研究以葡萄葉片為對(duì)象，利用機(jī)器視覺(jué)技術(shù)，分別提取葉片圖像顏色特征和紋理特征參數(shù)，并構(gòu)建基于支持向量機(jī)的分類模型，得出特征參數(shù)與含糖量之間的關(guān)系。

1 材料與設(shè)備

1.1 材料

試驗(yàn)于2017年5-10月在甘肅農(nóng)業(yè)大學(xué)甘肅省葡萄與葡萄酒工程研究中心的葡萄試驗(yàn)基地進(jìn)行(36°03′ N，103°53′ E)，試驗(yàn)園地處內(nèi)陸干旱地區(qū)，海拔1 520 m，年平均氣溫10.38 ℃，年降水量320 mm，光照充分，水肥同常規(guī)處理。供試葡萄品種為六年生“紅地球”葡萄，4月上旬出芽，4月下旬上架，5月下旬開(kāi)花，漿果8月中下旬著色，9月下旬至10月上旬成熟。為降低光照和室外其他因素的影響，每4 d 20:00～20:30采摘樣本，每次采摘10片，裝入密封袋中盡快帶回室內(nèi)，在室內(nèi)人工光源下利用CCD數(shù)碼相機(jī)拍攝，拍攝時(shí)光源穩(wěn)定，鏡頭距離樣本20 cm，鏡頭平行于樣本。共采集葉片圖像480幅，其中320幅作為訓(xùn)練樣本，剩余160幅作為測(cè)試樣本，同時(shí)將采集完成的樣本立即做光譜化學(xué)實(shí)驗(yàn)處理，得出每組樣本的準(zhǔn)確含糖量。

1.2 設(shè)備

本系統(tǒng)由采集裝備、終端處理系統(tǒng)和支架等硬件構(gòu)成。采集系統(tǒng)是索尼公司生產(chǎn)的型號(hào)為 DSC-W 320 的CCD數(shù)碼相機(jī)，其分辨率為 640 × 480，白自動(dòng)平衡，手動(dòng)調(diào)節(jié)光距；處理系統(tǒng)為聯(lián)想Think server TD 340 服務(wù)器；支架用來(lái)放置葉片，以便采集時(shí)樣本處于同一水平面。系統(tǒng)圖像處理是基于美國(guó)國(guó)家儀器公司(NI)開(kāi)發(fā)的虛擬儀器 LabVIEW[5～7]軟件和配套的圖像處理模塊 Vision Development Module (視覺(jué)開(kāi)發(fā)模塊)下進(jìn)行；顏色紋理特征提取和SVM分類識(shí)別則利用 MATLAB 2015b 軟件平臺(tái)完成。

2 系統(tǒng)設(shè)計(jì)

首先利用相機(jī)采集葉片圖像，保存于計(jì)算機(jī)后進(jìn)行圖像預(yù)處理，然后利用MTLAB軟件提取圖像的顏色和紋理特征，顏色特征為H、S、V三通道的顏色一階矩和二階矩，紋理特征主要是基于灰度共生矩陣的葉片圖像的0°、45°、90°和135°方向上角二階矩、熵、慣性矩、相關(guān)性。最后構(gòu)建基于徑向基核函數(shù)的SVM分類模型，將提取的特征向量作為參數(shù)輸入，完成葉片糖分含量的分類識(shí)別試驗(yàn)。系統(tǒng)設(shè)計(jì)流程如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)流程圖Fig.1 System design flow chart

2.1 圖像預(yù)處理

圖像預(yù)處理可消除圖像中的無(wú)關(guān)信息，增強(qiáng)真實(shí)信息的可檢測(cè)性，提高處理效率，改進(jìn)圖像識(shí)別、分類和特征提取的可靠性，提高糖分測(cè)試的正確率。本研究圖像預(yù)處理工作借助于labVIEW軟件平臺(tái)下Vision Development Module模塊中的Vision Assistant(視覺(jué)助手)來(lái)完成，對(duì)葉片圖像進(jìn)行了彩色圖像灰度化、圖像去噪、背景分割等處理。首先在Extract Color plane(抽取彩色平面)模式下將RGB圖像轉(zhuǎn)換為HSV模式，從HSV圖像中抽取值平面，得以將彩色圖像灰度化；Filters(傅里葉濾波器)模式中的Low pass(低通濾波)是對(duì)圖像進(jìn)行去噪，在一些條件下低通濾波既可去除圖片噪聲又可以保持圖片邊緣清晰；背景分割工作是基于Threshold(閾值)模式，選取圖像合適的閾值，將葉片與背景分割。本研究的程序設(shè)計(jì)如圖2所示。

圖2 圖像處理程序框圖Fig.2 Image processing program

2.2 葡萄葉片顏色特征的提取

本研究采用顏色矩法[8,9]研究葉片圖像表面特征。由于顏色信息主要集中在低階矩中，故選擇提取圖像一階矩和二階矩作為顏色分布特征。顏色系統(tǒng)對(duì)提取顏色特征也有影響，在常用的RGB、HSV和HIS顏色系統(tǒng)中，HSV系統(tǒng)最符合人眼對(duì)顏色的描述習(xí)慣，顏色信息丟失較少，并去除了亮度對(duì)圖像的影響。因此本研究選用HSV顏色系統(tǒng)。

首先將預(yù)處理后的圖片色彩空間轉(zhuǎn)換為HSV，對(duì)葉片圖像分別求其顏色矩特征參數(shù)，每個(gè)樣本圖像有均值和方差2個(gè)顏色分量，每個(gè)顏色分量包括3個(gè)顏色矩，得到6個(gè)特征分量。提取到的葉片圖像HSV一階矩和二階矩如表1所示。由表1可以看出，不同糖分含量區(qū)間葉片HSV,3個(gè)通道的顏色特征參數(shù)呈現(xiàn)出明顯的線性相關(guān)性，其中H和S兩通道的參數(shù)值隨還原糖含量的上升而上升，而V分量的參數(shù)值隨之下降。色調(diào)H的差異性說(shuō)明，隨著糖分含量的上升，葉片顏色逐漸從紅色調(diào)向綠色調(diào)轉(zhuǎn)化；飽和度S的數(shù)值區(qū)間為[0～1]，顏色越飽和，數(shù)值越趨近于1，說(shuō)明隨著還原糖含量的增加，葉片的飽和度也隨之增加；而亮度V取值范圍為0～255，說(shuō)明還原糖含量越多，葉片顏色越深。

2.3 葡萄葉片紋理特征提取

采用基于灰度共生矩陣紋理特征提取法提取圖像的表面特性[10～11]?；叶裙采仃嚳梢员硎緸椋篜d,θ(i,j)(i,j=0,1,2,3…L-1)，其中L表示圖像的灰度級(jí)別數(shù)；i,j分別表示兩個(gè)不同位置的像素的灰度；d表示兩個(gè)像素間的空間位置關(guān)系；θ 為灰度共生矩陣的生成方向，通常取0°，45°，90°和135°四個(gè)方向。采用角二階矩、熵、慣性矩和相關(guān)性4個(gè)特征參數(shù)來(lái)提取圖像紋理信息，算法公式分別為：

角二階矩：

(1)

熵：

(2)

慣性矩：

(3)

相關(guān)性：

(4)

式中：

表1 葡萄葉片的顏色特征參數(shù)Table 1 Color characteristics parameters of grape leaves

(5)

(6)

(7)

(8)

通過(guò)編程對(duì)灰度圖像參數(shù)進(jìn)行紋理特征提取，提取到部分葉片的特征參數(shù)如表2所示。這些參數(shù)之間的線性相關(guān)性相較于顏色空間參數(shù)來(lái)說(shuō)偏弱，一些數(shù)據(jù)無(wú)相關(guān)性規(guī)律，但總體而言隨著還原糖含量增加熵均值、慣性矩均值、慣性矩方差、相關(guān)性方差和角二階矩方差的特征參數(shù)值也呈增加趨勢(shì)，而熵方差、角二階距均值以及相關(guān)性均值則減小。

2.4 基于SVM分類模型建立

支持向量機(jī)(Support vector machine，SVM)在預(yù)報(bào)、分類回歸、診斷和決策中應(yīng)用較為廣泛[12～13]。選取在全部參數(shù)空間中都滿足Mercer條件的RBF(徑向基)為核函數(shù)，其數(shù)學(xué)表達(dá)式為：

K(φ,φi)=exp[-σ|φ-φi|2]

(9)

式中，φ為輸入特征值，φi為該特征值；σ為徑向基核函數(shù)參數(shù)，σ一般大于0?；趶较蚧撕瘮?shù)的SVM圖像分類流程圖如圖3所示。從采集的480幅葡萄葉片圖像中選取320幅作為訓(xùn)練樣本，采用前述方法提取葡萄葉片的顏色和紋理特征。首先通過(guò)最近鄰插值法將圖像大小調(diào)整為50×50；然后分別提取H、S、V三通道顏色的一階矩、二階矩共6個(gè)特征參數(shù)和通過(guò)灰度共生矩陣算法得到葉片圖像0°、45°、90°和135°四個(gè)方向的角二階矩、熵、慣性矩、相關(guān)性的8個(gè)參數(shù)；最后將這14個(gè)特征值參數(shù)構(gòu)成的輸入向量輸入SVM分類系統(tǒng)，利用Libsvm工具箱得到分類回歸模型。輸出采用十六進(jìn)制編碼輸出，其中0代表糖分區(qū)間在[2.11～2.20]，1代表糖分區(qū)間在[2.21～2.30]，2代表糖分區(qū)間在[2.31～2.40]。以此類推，15代表糖分區(qū)間在[3.61～3.70]，共16個(gè)輸出。

表2 葡萄葉片的紋理特征參數(shù)Table 2 Texture featur echaracteristics parameters of grape leaves

圖3 基于SVM的圖像分類流程圖Fig.3 Image classification flow chart based on SVM

3 結(jié)果與分析

3.1 葉片糖分含量測(cè)定結(jié)果

采用光化學(xué)方法對(duì)葡萄葉片糖分進(jìn)行測(cè)定，得到的糖分含量作為訓(xùn)練樣本和測(cè)試樣本的參數(shù)基礎(chǔ)。測(cè)定是基于3，5-二硝基水楊酸(DNS)比色法來(lái)完成。采用721型紫外分光光度計(jì)、精度為0.001的電子天平、超級(jí)恒溫水浴器和101-A型烘干箱。將采集完圖像信息的樣本立即放入烘干箱中殺青，殺青時(shí)間為45 min，溫度為105 ℃。經(jīng)多次試驗(yàn)確定還原糖測(cè)定波長(zhǎng)580 mm。每次采摘10片葉片，分10組測(cè)試，取平均值，結(jié)果如表3所示。葉片還原糖含量的變化趨勢(shì)如圖4所示。由表3和圖4可以看出，葉片還原糖的含量在葡萄萌芽期幾乎為0，隨著時(shí)間的推移含量慢慢增加，在7月下旬～8月上旬漿果膨大期達(dá)到最高值，此時(shí)漿果中的還原糖含量會(huì)大幅增加，葉片糖分下降，9月份漿果中還原糖含量達(dá)到頂點(diǎn)后葉片糖分變化也逐漸趨于穩(wěn)定。

圖4 葉片還原糖含量變化趨勢(shì)Fig.4 Varation of reducing sugar content in leaves

3.2 系統(tǒng)測(cè)試結(jié)果

選取160幅葡萄葉片圖像作為測(cè)試樣本，每個(gè)糖分含量區(qū)間的圖像均為10幅，其識(shí)別分類結(jié)果如表4所示。由表4可知，葡萄葉片的錯(cuò)分總數(shù)n為19，測(cè)試樣本總數(shù)N為160，分類識(shí)別正確率為：

表3 葉片還原糖測(cè)試結(jié)果Table 3 Results of reducing sugar in leaves

表4 識(shí)別分類結(jié)果Table 4 Results of identification and classification

(10)

其中糖分含量區(qū)間[2.21～2.30]、[2.31～2.40]、[2.51～2.60]、[2.71～2.80]、[3.01～3.10]和[3.51～3.60]識(shí)別率達(dá)到100%；糖分區(qū)間[2.41～2.50]、[3.21～3.30]和[3.61～3.70]識(shí)別率為90%；糖分區(qū)間[2.11～2.20]、[2.61～2.70]、[2.91～3.00]、[3.11～3.20]和[3.41～3.50]識(shí)別率為80%；其他區(qū)間識(shí)別率最低為70%。結(jié)合圖4可以看出，由于葡萄葉片還原糖含量的變化趨勢(shì)近似于拋物線，數(shù)據(jù)呈對(duì)稱分布，在不同的時(shí)間，葉片所表現(xiàn)的特征不盡相同，造成識(shí)別精度的差異性，所以在拋物線頂點(diǎn)(糖分含量較高)識(shí)別率相對(duì)較高，反之離頂點(diǎn)越遠(yuǎn)(糖分含量越小)，誤差會(huì)變大。其次本設(shè)計(jì)雖然定于每天夜間8:00—8:30在室內(nèi)白熾燈光下采集圖像，最大限度的降低光照等外界因素的影響，但試驗(yàn)時(shí)間跨度較長(zhǎng)，日落時(shí)間等因素難免會(huì)對(duì)試驗(yàn)結(jié)果造成影響。但測(cè)試系統(tǒng)總體分類良好，可用于葡萄葉片糖分含量的識(shí)別。

3.3 分析與討論

圖5為葡萄葉片還原糖含量與葉片圖像顏色、紋理特征參數(shù)之間的共線性關(guān)系，由圖5看出，通過(guò)對(duì)顏色、紋理參數(shù)和糖分之間的相關(guān)性分析，顏色參數(shù)的6個(gè)特征值與糖分含量之間均具有非常高的相關(guān)性，決定系數(shù)分別為0.941 1、0.967 5、0.990 4、0.992、0.980 3、0.884 3，而紋理分量的相關(guān)性則相對(duì)較小，其中熵的均值和方差決定系數(shù)為0.769和0.685 9，慣性矩的均值與方差決定系數(shù)為0.280 7和0.525 5，角二階距均值的決定系數(shù)為0.448 3，其它3個(gè)特征與還原糖含量沒(méi)有相關(guān)性，決定系數(shù)非常低。本研究旨在利用機(jī)器視覺(jué)技術(shù)找出葉片圖像顏色和紋理特征參數(shù)與葉片還原糖含量之間的關(guān)系，從而給葉片還原糖的測(cè)定提供技術(shù)支持。

圖5 各分量與含糖量之間的關(guān)系Fig.5 The relationship between the components and the sugar content

4 結(jié)論

(1)利用機(jī)器視覺(jué)技術(shù)測(cè)試葡萄葉片還原糖含量，測(cè)試效率高，測(cè)試精度和穩(wěn)定性好；

(2)葉片圖像特征參數(shù)與還原糖含量有高相關(guān)性，測(cè)試準(zhǔn)確率達(dá)88%；

(3)得到葡萄生長(zhǎng)周期和葉片還原糖含量的變化趨勢(shì)，對(duì)葡萄糖分含量的研究有一定的借鑒和參考價(jià)值。

本試驗(yàn)僅對(duì)葉片的單一糖分進(jìn)行測(cè)試，葉片的特征參數(shù)對(duì)不同糖分如總糖蔗糖等的測(cè)定是否更有優(yōu)勢(shì)和價(jià)值還需要進(jìn)一步研究。

參 考 文 獻(xiàn)

[1]張彥娥，李民贊，張喜杰. 基于計(jì)算機(jī)視覺(jué)技術(shù)的溫室黃瓜葉片營(yíng)養(yǎng)信息檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2005，21(8): 102-105.

[2]費(fèi)麗君，譚峰.機(jī)器視覺(jué)技術(shù)在大豆葉片葉綠素含量測(cè)算上的應(yīng)用[J].農(nóng)機(jī)化研究， 2010，32(3): 199-201.

[3]徐騰飛，韓文霆，孫瑜.基于圖像處理的玉米葉片含水率診斷方法研究[J].干旱地區(qū)農(nóng)業(yè)研究，2013，31(1): 95-100.

[4]雷靜.基于計(jì)算機(jī)視覺(jué)技術(shù)的番茄花青素含量檢測(cè)[J].農(nóng)機(jī)化研究，2018，40(3): 193-197.

[5]楊文祥，杜昭平，莊肖波.基于LabVIEW平臺(tái)的實(shí)時(shí)圖像采集與處理系統(tǒng)的應(yīng)用[J]. 電子設(shè)計(jì)工程，2016，24(12): 159-161.

[6]鄭對(duì)元.精通LabVIEW虛擬儀器程序設(shè)計(jì)[M].北京:清華大學(xué)出版社，2012，60-67.

[7]丁晟，蔣曉瑜，汪熙.基于LabVIEW 的圖像處理技術(shù)研究[J].微計(jì)算機(jī)信息，2010，26(29): 204-205.

[8]Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern recognition, 1996, 29(1):51-59.

[9]徐貴力，毛罕平，李萍萍.缺素葉片彩色圖像顏色特征提取的研究[J].農(nóng)業(yè)工程學(xué)報(bào)，2002，18(4): 150-154.

[10]楊倩，高曉陽(yáng)，武季玲，等.基于顏色和紋理特征的大麥主要病害識(shí)別研究[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2013，18(5): 129-135.

[11]Latha Y L M, Prasad M V N K. GLCM Based Texture Features for Palmprint Identification System[M]. Computational Intelligence in Data Mining-Volume l.New Delhi:Springer India，2015:155-163.

[12]何東健，喬永亮，李攀，等.基于SVM-DS多特征融合的雜草識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(2):182-187.

[13]張淑雅，趙一鳴，李均利.基于SVM的圖像分類算法與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2007，43(25): 40-42.