基于機(jī)器視覺(jué)的花生種子外觀品質(zhì)檢測(cè)與分類方法研究

馬佳佳 王克強(qiáng) 鄭奕雄 蔡肯 林欽永

摘要 [目的] 花生種子的有效分類是花生產(chǎn)業(yè)中選育良種的重要環(huán)節(jié)，為降低花生產(chǎn)業(yè)對(duì)人工的依賴程度，簡(jiǎn)化選種過(guò)程，提出了一種基于機(jī)器視覺(jué)的花生種子外觀品質(zhì)檢測(cè)與分類方法。[方法]在相同環(huán)境下采集單?；ㄉN子圖像，建立花生種子對(duì)象在圖像中像素?cái)?shù)與其實(shí)際質(zhì)量的回歸模型，以花生種子尺寸和外觀顏色作為主要特征，采用支持向量機(jī)分類模型完成分類任務(wù)。[結(jié)果]使用該方法完成12個(gè)類別的分類，對(duì)批量花生種子的分類準(zhǔn)確率達(dá)86%，符合實(shí)際生產(chǎn)中花生種子初步分類要求。[結(jié)論]該方法對(duì)花生種子圖像代表性特征的選擇和識(shí)別樣本的簡(jiǎn)化使得分類系統(tǒng)更符合實(shí)際生產(chǎn)需要，對(duì)同品種花生種子的不同品質(zhì)分類以及不同品種花生種子的直接分類有著積極意義。

關(guān)鍵詞 花生種子;機(jī)器視覺(jué);圖像識(shí)別;支持向量機(jī)

中圖分類號(hào) S126文獻(xiàn)標(biāo)識(shí)碼 A

文章編號(hào) 0517-6611（2021）10-0225-03

doi：10.3969/j.issn.0517-6611.2021.10.057

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Research on the Appearance Quality Detection and Classification of Peanut Seeds Based on Machine Vision

MA Jia-jia， WANG Ke-qiang， ZHENG Yi-xiong et al （Zhongkai University of Agriculture and Engineering， Guangzhou， Guangdong 510225）

Abstract [Objective]The effective classification of peanut seeds was an important link in peanut breeding. In order to reduce the dependence of peanut industry on labor and simplify the seed selection process， a method of peanut seed appearance quality detection and classification based on machine vision was proposed. [Method] The image of single peanut seed was collected in the same environment， and the regression model between the image prime number and the actual quality of peanut seed object was established. The classification task was completed by using support vector machine （SVM） classification model with the main characteristics of peanut seed size and appearance color. [Result]The classification accuracy of 12 categories was 86%， which met the preliminary classification requirements of peanut seeds in actual production. [Conclusion]The selection of representative features of peanut seed image and the simplification of recognition samples make the classification system more in line with the actual production needs. It has positive significance for different quality classification of the same peanut seed and direct classification of different peanut seeds.

Key words Peanut seeds;Machine vision;Image recognition;Support vector machine

花生是中國(guó)產(chǎn)量豐富、食用廣泛的一種堅(jiān)果，同時(shí)也是中國(guó)為數(shù)不多的具有強(qiáng)勁國(guó)際競(jìng)爭(zhēng)力的出口創(chuàng)匯農(nóng)產(chǎn)品[1]?；ㄉ挤N的選擇與培育是花生種植的關(guān)鍵，因此花生種子的精選分類也是我國(guó)花生高產(chǎn)穩(wěn)產(chǎn)的首要保證。分類是對(duì)農(nóng)作物果實(shí)的大小、形狀、顏色、營(yíng)養(yǎng)物質(zhì)含量、表面缺陷等性狀進(jìn)行檢測(cè)和識(shí)別后，根據(jù)行業(yè)標(biāo)準(zhǔn)劃分類別的操作過(guò)程[2]。通過(guò)機(jī)器視覺(jué)對(duì)花生種子進(jìn)行有效分類有利于花生種植中選育良種，降低產(chǎn)業(yè)對(duì)人工的依賴程度，提高相關(guān)產(chǎn)業(yè)競(jìng)爭(zhēng)力，對(duì)我國(guó)花生產(chǎn)業(yè)升級(jí)也具有重要意義。機(jī)器視覺(jué)技術(shù)可以無(wú)損、快速地獲取樣本表面特征信息，隨著計(jì)算機(jī)技術(shù)和信息科學(xué)的不斷發(fā)展，國(guó)內(nèi)外機(jī)器視覺(jué)水平也不斷到達(dá)新的高度。目前機(jī)器視覺(jué)已廣泛應(yīng)用于多個(gè)領(lǐng)域，在農(nóng)業(yè)中可用于路徑導(dǎo)航、雜草識(shí)別以及各種瓜果蔬菜的檢測(cè)分級(jí)等[3-8]?；跈C(jī)器視覺(jué)的分類方法具有檢測(cè)精度高、效率快、能實(shí)現(xiàn)無(wú)損操作等優(yōu)勢(shì)，同時(shí)排除了人工主觀因素的干擾?；跈C(jī)器視覺(jué)技術(shù)，筆者研究了一種花生種子外觀品質(zhì)檢測(cè)與分類方法，以花生種子圖像的對(duì)象像素個(gè)數(shù)和顏色作為主要特征實(shí)現(xiàn)對(duì)花生種子的初步分類。需要說(shuō)明的是，利用機(jī)器視覺(jué)進(jìn)行初步分類只是花生種子選育過(guò)程中的第一步，后續(xù)還有許多問(wèn)題需要通過(guò)其他技術(shù)方法來(lái)研究、解決，目前相關(guān)工作正逐步開(kāi)展。筆者在相同環(huán)境下采集單粒花生種子圖像，建立花生種子對(duì)象在圖像中像素?cái)?shù)與其實(shí)際質(zhì)量的回歸模型，以花生種子尺寸和外觀顏色作為主要特征，采用支持向量機(jī)分類模型完成分類任務(wù)。

1 圖像采集與預(yù)處理

1.1 試驗(yàn)準(zhǔn)備

選擇賀油133X品種花生作為試驗(yàn)材料。在同一雜交后代中隨機(jī)選取脫殼后花生種子共400顆作為試驗(yàn)對(duì)象，使用電子天平精確測(cè)量得每顆花生種子的質(zhì)量，同時(shí)經(jīng)過(guò)專家辨別得到花生種子顏色，以質(zhì)量與顏色作為分類標(biāo)準(zhǔn)先確定該花生種子的實(shí)際分類類別。

隨后進(jìn)行圖像采集工作，在自制簡(jiǎn)易暗箱內(nèi)放置固定光源，選用HUAWEI TNY-AL00攝像頭（2 400萬(wàn)像素）作為圖像采集設(shè)備，拍攝時(shí)將攝像頭固定在水平云臺(tái)上，使用微距模式（焦距4 mm）進(jìn)行拍攝，共采集400副花生種子原始圖像。采集到的花生種子圖像為大小3 456×3 456（單位：像素）的JPG彩色圖像，用MATLAB軟件編程實(shí)現(xiàn)圖像處理，采用SPSS軟件進(jìn)行數(shù)據(jù)回歸處理。

1.2 圖像預(yù)處理

采集到的圖片分辨率過(guò)大，后續(xù)處理可能花費(fèi)很多時(shí)間。在預(yù)處理中，首先選擇截取花生目標(biāo)部分，將圖片分辨率降低到864×864（單位：像素）。由于識(shí)別目標(biāo)大部分為粉、紫（紫黑）、紅等顏色，需要通過(guò)轉(zhuǎn)換公式將RGB顏色空間3個(gè)通道加權(quán)對(duì)圖像進(jìn)行灰度化處理，使得圖像中前后景差異更為明顯，同時(shí)消除圖像中小塊的陰影面積和各種噪音點(diǎn)，實(shí)現(xiàn)后續(xù)穩(wěn)定的特征識(shí)別效果。采用轉(zhuǎn)換公式（1）將預(yù)處理后的圖像轉(zhuǎn)為灰度圖像[9]：

Gray=0.3r+0.59g+0.11b（1）

式中，r、g、b分別表示預(yù)處理后彩色圖像的R、G、B 3個(gè)通道灰度值;Gray為生成灰度圖像對(duì)應(yīng)灰度值。采集到的原始圖像如圖1a所示，灰度化處理后的圖像如圖1b所示。

接著對(duì)灰度圖像進(jìn)行濾波操作，分別選用5×5的中值濾波模板和高斯濾波模板消除圖像中的隨機(jī)噪聲，得到質(zhì)量相對(duì)增強(qiáng)的圖像，濾波后圖像如圖1c所示。經(jīng)過(guò)濾波操作后，圖像中的噪點(diǎn)減少，同時(shí)能夠較好保留對(duì)象邊緣信息。采用OTSU大津閾值分割算法實(shí)現(xiàn)圖像二值化，取1個(gè)最優(yōu)閾值把圖像分為前景與背景，2部分的類間方差越大，說(shuō)明差別越大，從而能有效分割圖像，具有實(shí)時(shí)性好、計(jì)算量小的特點(diǎn)[10]。再根據(jù)誤分割區(qū)域面積小于花生種子區(qū)域的特性，采用面積閾值剔除誤分割區(qū)域，結(jié)合孔洞填充算法，完成花生種子對(duì)象與背景的分割，形成的二值圖像如圖1d所示。

2 特征提取

2.1 尺寸特征提取

2.1.1 邊緣檢測(cè)。

花生種子外觀特征中的幾何特征數(shù)據(jù)均與其圖像邊界有關(guān)[7]，采用Sobel邊緣檢測(cè)算法對(duì)預(yù)處理后的花生種子圖像進(jìn)行邊界提取，可以快速得到花生種子光滑、連續(xù)的邊緣特征，結(jié)果如圖2所示。Sobel算子公式如式（2）、（3）所示：

Gx=[f（x+1，y-1）+2×f（x+1，y）+f（x+1，y+1）]-[f（x-1，y-1]+2×f（x-1，y）+f（x-1，y+1）]（2）

Gy=[f（x-1，y-1）+2×f（x，y-1）+f（x+1，y-1）]+[f（x-1，y+1]+2×f（x，y+1）+f（x+1，y+1）]（3）

式中，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測(cè)的圖像灰度值，f（a，b）表示圖像（a，b）點(diǎn)的灰度值。

2.1.2 花生質(zhì)量與圖像中像素個(gè)數(shù)的關(guān)系。

花生種子的質(zhì)量和尺寸都是其重要的品質(zhì)特征，要利用機(jī)器視覺(jué)的方法對(duì)花生種子樣本的質(zhì)量有一個(gè)粗略的估計(jì)，需要建立單顆花生種子質(zhì)量與其采集圖像中表現(xiàn)為對(duì)象像素個(gè)數(shù)，即樣本尺寸大小的相關(guān)性模型，實(shí)現(xiàn)在檢測(cè)過(guò)程中可以直接通過(guò)圖像處理得到花生種子質(zhì)量的相關(guān)數(shù)據(jù)以完成分類任務(wù)。

以此思路設(shè)計(jì)預(yù)試驗(yàn)：另隨機(jī)選取400顆同一品種花生種子進(jìn)行編號(hào)，用電子天平精確測(cè)量單顆質(zhì)量并記錄為數(shù)據(jù)1;然后通過(guò)圖像處理計(jì)算得每幅圖像中花生種子對(duì)象的像素個(gè)數(shù)，并記錄為數(shù)據(jù)2;以數(shù)據(jù)1、2作為數(shù)據(jù)基礎(chǔ)，用SPSS軟件建立單顆花生種子質(zhì)量（因變量）與圖像中對(duì)象尺寸（自變量）之間的二次回歸方程，記為

y=-0.046+4.614×10-6×x+2.554×10-11×x2（4）

式中，y為單顆花生種子的質(zhì)量，單位為g;x為花生種子圖像中花生對(duì)象所占的像素個(gè)數(shù)，單位為個(gè)。模型參數(shù)中R方值為0.936，表示該模型能較好擬合數(shù)據(jù)，模型曲線擬合圖如圖3所示。

在相關(guān)標(biāo)準(zhǔn)中已明確說(shuō)明在花生的生產(chǎn)與銷售中通常以種子百仁重表示花生種子大小，大體可分為大粒種、中粒種、小粒種3個(gè)類別：百仁重在80 g以上為大粒種，50～80 g為中粒種，50 g以下為小粒種[11]。結(jié)合上述回歸模型可以計(jì)算得出，花生種子圖像中花生對(duì)象像素個(gè)數(shù)大于112 879記該花生種子對(duì)象為大粒種，在81 669～112 879內(nèi)記為中粒種，小于81 669個(gè)像素單位記為小粒種。以此，基本實(shí)現(xiàn)從圖像中提取得花生種子質(zhì)量特征。

2.2 顏色特征提取

為了實(shí)現(xiàn)花生種子外觀顏色分類，對(duì)降低了分辨率的原始圖像（分辨率為864×864，單位為像素）進(jìn)行顏色特征提取，選取圖像的中心部分像素，這里選擇由（450，450）與（500，500）2點(diǎn)圍成的正方形像素區(qū)域進(jìn)行顏色識(shí)別，識(shí)別結(jié)果為粉色（pink）、紫色（purple）、紅色（red）和其他（others）。

在相同的圖像采集條件下，同一顏色類別的花生種子圖像RGB值較穩(wěn)定，可對(duì)不同顏色的花生種子進(jìn)行大數(shù)量的抽樣，以確定每類顏色的具體RGB值取值范圍，根據(jù)這一取值范圍確定3個(gè)通道的灰度值閾值，示例圖像的RGB 3通道灰度直方圖結(jié)果如圖4所示。處理待分類的花生種子圖像時(shí)，提取其RGB 3通道的灰度值與閾值比較大小即可快速提取樣本顏色特征，在保證準(zhǔn)確率的同時(shí)通過(guò)自定義函數(shù)的方式進(jìn)行顏色識(shí)別也便于后續(xù)對(duì)試驗(yàn)再做改進(jìn)。

3 分類模型及性能測(cè)試

該研究所用的分類模型是支持向量機(jī)（Support Vector Machine，SVM）模型。該模型是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的分類方法，通過(guò)監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面，具有相對(duì)優(yōu)良的性能指標(biāo)。由于待分樣本集中的大部分樣本不是支持向量，移去或者減少這些樣本對(duì)分類結(jié)果沒(méi)有很大影響， SVM模型在小樣本、非線性模式識(shí)別中具有一定的優(yōu)勢(shì)[12]。采用徑向基函數(shù)核（radial basis function kernel，RBF kernel）作為SVM分類模型的核函數(shù)，其對(duì)應(yīng)的映射函數(shù)將樣本空間映射至無(wú)限維空間，是常用的1種核函數(shù)，其解析式如式（5）所示，其中核函數(shù)的懲罰參數(shù)c默認(rèn)為1，參數(shù)gamma（g）默認(rèn)為特征數(shù)的倒數(shù)。

k（X1，X2）=esp（-‖X1-X2‖22σ2）（5）

將從圖像中提取到的花生種子質(zhì)量特征用a1、a2、a3分別代表大粒種、中粒種、小粒種3類，顏色特征用b1、b2、b3、b4分別代表粉色、紫色、紅色及其他顏色共4類，同時(shí)用每顆花生種子實(shí)際分類類別作為該樣本的標(biāo)簽，以此進(jìn)行模型訓(xùn)練，分類類別總數(shù)為12。

采用交叉驗(yàn)證法進(jìn)行驗(yàn)證試驗(yàn)，400個(gè)樣本按照比例3∶1隨機(jī)劃分為訓(xùn)練集和測(cè)試集，在隨機(jī)選擇的條件下，每次測(cè)試的結(jié)果不同，可達(dá)到驗(yàn)證目的。多次試驗(yàn)得到該模型對(duì)測(cè)試集的分類準(zhǔn)確率達(dá)86%，能較好完成花生種子批量初步分類，繪制試驗(yàn)結(jié)果圖像如圖5所示，坐標(biāo)系中橫坐標(biāo)表示隨機(jī)劃分為測(cè)試集的100個(gè)樣本，縱坐標(biāo)表示花生種子分類類別代碼;星號(hào)代表樣本的實(shí)際類別即樣本標(biāo)簽，圓圈代表模型預(yù)測(cè)得到的結(jié)果，2點(diǎn)重合則表示模型預(yù)測(cè)準(zhǔn)確，表1說(shuō)明了樣本分類類別代碼含義。

4 結(jié)論

植物器官外觀表現(xiàn)是個(gè)體細(xì)胞分裂、生長(zhǎng)、分化與代謝相互作用的最終形態(tài)體現(xiàn)，花生種子外觀特征與其內(nèi)部品質(zhì)之間密不可分，尋求其中的聯(lián)系有利于花生種子選育良種。

該研究建立了一個(gè)基于機(jī)器視覺(jué)的花生種子外觀品質(zhì)檢測(cè)與分類系統(tǒng)，通過(guò)圖像處理提取單?；ㄉN子圖像中2個(gè)代表性的特征參數(shù)，采用SVM分類模型完成12個(gè)類別的分類，試驗(yàn)分類準(zhǔn)確率達(dá)86%。該研究對(duì)代表性特征的選擇和識(shí)別樣本的簡(jiǎn)化使得分類系統(tǒng)更符合實(shí)際生產(chǎn)需要，對(duì)同品種花生種子的不同品質(zhì)分類以及不同品種花生種子的直接分類有積極意義。但需要說(shuō)明的是，該研究?jī)H用單一花生品種對(duì)分類方法進(jìn)行驗(yàn)證，若應(yīng)用于其他品種花生種子的分類上，則需對(duì)算法中的必要參數(shù)及計(jì)算質(zhì)量與圖像像素個(gè)數(shù)的回歸方程參數(shù)進(jìn)行優(yōu)化，才能保證較高的分級(jí)準(zhǔn)確率。

參考文獻(xiàn)

[1]

陳迪，呂杰.中國(guó)花生產(chǎn)業(yè)國(guó)際競(jìng)爭(zhēng)力評(píng)價(jià)研究[J].財(cái)經(jīng)問(wèn)題研究，2013（1）：35-39.

[2] 劉妍，周新奇，俞曉峰，等.無(wú)損檢測(cè)技術(shù)在果蔬品質(zhì)檢測(cè)中的應(yīng)用研究進(jìn)展[J].浙江大學(xué)學(xué)報(bào)（農(nóng)業(yè)與生命科學(xué)版），2020，46（1）：27-37.

[3] 顏秉忠，王曉玲.基于計(jì)算機(jī)視覺(jué)技術(shù)大棗品質(zhì)檢測(cè)分級(jí)的研究[J].農(nóng)機(jī)化研究，2018，40（8）：232-235，268.

[4] 關(guān)卓懷，陳科尹，丁幼春，等.水稻收獲作業(yè)視覺(jué)導(dǎo)航路徑提取方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（1）：19-28.

[5] 何東健，張庭鋒，李邦國(guó)，等.除草機(jī)器人機(jī)器械視覺(jué)自動(dòng)導(dǎo)航技術(shù)研究[J].安徽農(nóng)業(yè)科學(xué)，2020，48（18）：201-205.

[6] 彭明霞，夏俊芳，彭輝.融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（20）：202-209.

[7] 顏秉忠.機(jī)器視覺(jué)技術(shù)在玉米苗期雜草識(shí)別中的應(yīng)用[J].農(nóng)機(jī)化研究，2018，40（3）：212-216.

[8] 王紅軍，熊俊濤，黎鄒鄒，等.基于機(jī)器視覺(jué)圖像特征參數(shù)的馬鈴薯質(zhì)量和形狀分級(jí)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（8）：272-277.

[9] 杜云，曹世佳，賈科進(jìn)，等.基于圖像處理的大蒜蒜種品質(zhì)無(wú)損分級(jí)方法研究[J].河北工業(yè)科技，2018，35（5）：317-321.

[10] 張婧茹，莫錦秋，曹家勇，等.一種魯棒的室外金屬標(biāo)記物圖像分割算法[J].機(jī)械設(shè)計(jì)與研究，2016，32（3）：31-37.

[11] 國(guó)家糧食儲(chǔ)備局無(wú)錫科學(xué)研究院.花生：GB/T 1532—2008[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2009.

[12] 秦豐，劉東霞，孫炳達(dá)，等.基于深度學(xué)習(xí)和支持向量機(jī)的4種苜蓿葉部病害圖像識(shí)別[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2017，22（7）：123-133.