基于圖像處理與SVM的核桃仁多特征融合分級方法

顏旭 王應(yīng)彪 張兆順 李帥奇 張超宇

(西南林業(yè)大學(xué)機(jī)械與交通學(xué)院，云南 昆明 650224)

云南省是深紋核桃[1]的起源地和分布中心，也是全球最大的核桃生產(chǎn)基地。市場上不同等級的核桃仁，對應(yīng)的銷售價格與用途存在差異，因此對核桃仁分級方法的研究有重要意義。已知核桃仁是油脂很多的堅(jiān)果，長時間高溫潮濕環(huán)境就會發(fā)生霉變，發(fā)生霉變的核桃仁主要在顏色上呈現(xiàn)深綠色斑點(diǎn)或者白色粉狀，在形狀上與正常核桃仁無異。目前，相關(guān)國家的標(biāo)準(zhǔn)與生產(chǎn)研究主要針對北方普通核桃，云南主栽深紋核桃與北方普通核桃相比，內(nèi)在品質(zhì)、加工利用等方面均有顯著差異[2]，所以本文針對云南核桃仁分級進(jìn)行研究。

劉星星等[3]在HSV空間下提取各通道均值，確定色調(diào)通道H值23，亮度通道80為閾值進(jìn)行葡萄干色澤識別，紅、黃、褐色葡萄干的正確識別率分別為89.33%、92.00%和96.67%。李秀昊等[4]提取稻谷圖像的顏色特征和形狀特征，基于特征融合和SVM的稻谷識別獲得較高的準(zhǔn)確率99.50%。林海波等[5]提取蘋果的大小、顏色、紋理、缺陷、形狀5個特征，利用交叉驗(yàn)證法優(yōu)化SVM中的懲罰系數(shù)，該分級方法準(zhǔn)確率達(dá)96.72%。馬佳佳等[6]以花生種子和外觀顏色為主要特征，采用支持向量機(jī)模型完成分類任務(wù)，準(zhǔn)確率達(dá)86%。蔡建等[7]提取色調(diào)色調(diào)、飽和度、核桃仁輪廓面積與最小外接圓面積之比等特征，建立決策樹模型對核桃仁樣本進(jìn)行預(yù)測，正確率達(dá)92%。韓巧玲等[8]采用HSV閾值法實(shí)現(xiàn)核桃種核圖像的精準(zhǔn)分割，對形態(tài)、紋理、顏色3類表型定量描述，對核桃種核的自動分割達(dá)到99.7%。張保華等[9]計(jì)算馬鈴薯圖像的偏心度、矩形度、圓形度等共計(jì)13個形狀特征輸入到I-RELIEF模塊中，用支持向量機(jī)訓(xùn)練，對畸形馬鈴薯的識別率達(dá)98.1%。雪合拉提·木塔力甫等[10]分析色調(diào)灰度直方圖和顏色矩均值直方圖，建立BP神經(jīng)網(wǎng)絡(luò)色澤識別模型，分辨準(zhǔn)確率達(dá)96.42%。

1 材料與方法

1.1 試驗(yàn)材料與分級標(biāo)準(zhǔn)

試驗(yàn)核桃購于昆明市白龍菜市場，選擇市面上常見的云南三臺核桃為試驗(yàn)對象，核桃仁樣本總量232個。

硬件上，圖像采集系統(tǒng)由相機(jī)、計(jì)算機(jī)、光源及暗箱等組成。大恒MER-051-120GC工業(yè)相機(jī)，白平衡自動曝光，圖像拍攝分辨率為808(H)×608(V),鏡頭為8MM-2/3-5m-C-MOUNT,焦距為8mm?？紤]到核桃仁表面溝壑的存在，采用分體式LED環(huán)形燈源，進(jìn)行光線補(bǔ)償，色溫指數(shù)為6000～6500K，選用固定位置拍攝，以控制變量減少后期圖像處理的難度。

軟件上，Anaconda是一個安裝、管理Python相關(guān)包的平臺。在圖像處理方面，OpenCV是一個開源的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫。本研究采用Python 3.9，OpenCV 4.5.4，完成圖像處理、特征提取、分級等工作。

云南核桃仁顏色以黃白色為主，有少數(shù)品種的種仁顏色為黃色和白色，還出現(xiàn)少數(shù)淡紫色和黃褐色[11]。核桃堅(jiān)果種仁有飽滿、較飽滿和干癟，為適應(yīng)多數(shù)核桃仁實(shí)際狀況，并結(jié)合云南省林學(xué)會[12]發(fā)布的核桃仁質(zhì)量標(biāo)準(zhǔn)，從顏色和完整度上確定本次研究對核桃仁等級的劃分，見表1。

表1 核桃仁等級劃分情況

1.2 圖像預(yù)處理

1.2.1 原始RGB核桃仁圖像灰度化

將原始圖像調(diào)整為統(tǒng)一大小(330，330)，灰度圖像指八位灰度圖，其具有256個灰度級，像素值的范圍是[0,255]?；叶然椒ㄒ话阌?種，分別是最大值法、平均值法、加權(quán)平均法。最大平均法是直接取R、G、B 3個分量中數(shù)值最大的分量的數(shù)值(0視為最小，255視為最大)；平均法是取R、G、B通道的平均值作為灰度值；加權(quán)平均法是對3個通道賦予不同的權(quán)重實(shí)現(xiàn)灰度化，當(dāng)圖像由RGB色彩空間轉(zhuǎn)換成GRAY色彩空間時，其映射關(guān)系為：

Gray=00.299×R+0.587×G+0.114×B

(1)

此公式為標(biāo)準(zhǔn)的轉(zhuǎn)換形式，也是在OpenCV中使用的轉(zhuǎn)換形式。霉變核桃仁灰度直方圖與正常核桃仁灰度直方圖如圖1所示。

圖1 核桃仁灰度直方圖

1.2.2 閾值分割

為了有效實(shí)現(xiàn)前景和背景分離，常用的閾值函數(shù)有普通閾值函數(shù)和自適應(yīng)閾值函數(shù)，經(jīng)多次試驗(yàn)發(fā)現(xiàn)，用固定閾值函數(shù)分割圖像，如圖2a所示，核桃仁內(nèi)部出現(xiàn)較大的孔洞，所以，根據(jù)1.2.1采集到的單峰灰度圖判斷，本文采用自適應(yīng)閾值函數(shù)，采用三角法對核桃仁圖像進(jìn)行閾值分割，如圖2b所示，孔洞明顯減小。

圖2 二值化閾值分割圖

1.2.3 形態(tài)學(xué)處理

獲得二值圖像后，圖像中核桃仁內(nèi)部有比較多的小孔，本文采用形態(tài)學(xué)閉運(yùn)算處理方法，對圖像先進(jìn)行膨脹操作，再進(jìn)行腐蝕操作的過程。經(jīng)試驗(yàn)可知，閉運(yùn)算時采用矩形、內(nèi)核尺寸為3×3的卷積核，再進(jìn)行2次迭代，可以填充二值圖像中核桃仁內(nèi)部部分孔洞，觀察輪廓也更加平滑。

1.2.4 提取繪制圖像輪廓

通過對圖像輪廓的提取繪制，可以獲得圖像的大小、位置、方向等信息。輸入經(jīng)過形態(tài)學(xué)處理后的圖像，提取輪廓的方式為建立一個等級樹結(jié)構(gòu)的輪廓，這樣獲得所有輪廓并建立層級關(guān)系。為解決核桃仁內(nèi)部出現(xiàn)小的輪廓問題，采用設(shè)置最小面積的方式來剔除中間孔洞輪廓，經(jīng)多次試驗(yàn)，閾值1000可以很好地篩選完成得到最外圖像輪廓，如圖3所示。

圖3 提取輪廓圖

1.3 特征的提取與識別

1.3.1 核桃仁顏色特征識別

顏色特征是基于像素點(diǎn)的全局特征，可以描述試驗(yàn)圖像的表面性質(zhì)，是區(qū)分霉變、異色核桃仁和正常核桃仁重要參數(shù)。顏色特征可分為顏色直方圖、顏色矩、顏色聚合向量和顏色相關(guān)圖。本文所采用的方法是顏色直方圖，提取B、G、R 3個通道的顏色特征，將256個像素區(qū)間設(shè)置成128個像素區(qū)間，減少了數(shù)據(jù)量，提升了運(yùn)算速度。

1.3.2 核桃仁形狀特征識別

形狀特征主要包含輪廓特征和區(qū)域特征2類，圖像的輪廓特征主要描述外邊界的復(fù)雜情況，圖像的區(qū)域特征著重描述整個形狀區(qū)域，是區(qū)分特等、一等、二等核桃仁的重要參數(shù)。本文主要以提取外輪廓和最小外接矩形的方式計(jì)算核桃仁面積、核桃仁周長、核桃仁寬長比、核桃仁矩形度、核桃仁圓形度5個特征參數(shù)。這里相較于其他核桃仁質(zhì)量等級研究(引用)，加入圓形度的概念，通過多次試驗(yàn)測量，特等、一等、二等核桃仁的圓形度有較大差別。圓形度用來刻畫物體邊緣的復(fù)雜程度，圓形度公式：

(2)

式中，L代表核桃仁二值圖像的周長；A0表示核桃仁的像素面積。核桃仁作為不規(guī)則物體，本身邊緣較為彎曲特等核桃仁外形比較復(fù)雜，圓形度較??；二等核桃仁外形比較簡單，圓形度較大。

1.4 SVM

支持向量機(jī)就的中心思想是找到距分類樣本點(diǎn)間隔最大的分類超平面，判別函數(shù)：

(3)

式中，αi為Lagrange乘子；yi為類別標(biāo)簽；k(xi,x)為核函數(shù)；b為閾值。

2 試驗(yàn)結(jié)果與分析

2.1 識別流程

試驗(yàn)有特等核桃仁樣本80個，一等核桃仁樣本40個，二等核桃仁樣本72個，等外核桃仁樣本40個。具體流程如下。

設(shè)置測試集、訓(xùn)練集比例7∶3；提取樣本圖像的B、G、R 3個通道顏色特征和面積、周長、矩形度、圓形度、長寬比形狀特征；判斷5個形狀特征在不同等級核桃仁數(shù)值上的差異，挑選特征參數(shù)，再結(jié)合3個通道顏色特征組合；訓(xùn)練SVM模型，選用徑向基核函數(shù)，懲罰系數(shù)c=1000；記錄各個組合的正確率，根據(jù)結(jié)果分析試驗(yàn)。

2.2 結(jié)果與分析

2.2.1 基于多重比較的形狀特征參數(shù)選擇

本文提取了核桃仁樣本的面積、周長、矩形度、圓形度、長寬比5個形狀特征參數(shù)，運(yùn)用多重比較的方法，選擇作用分類效果比較大的特征參數(shù)。由于等外核桃仁在形狀上包含了二分仁、四分仁、米仁、碎仁，所以這里針對特等、一等、二等核桃仁進(jìn)行比較，結(jié)果見表2。

表2 基于多重比較的形狀特征差異性檢驗(yàn)

通過表2可知，3個等級的核桃仁在形狀特征的具體數(shù)值上有所區(qū)別，說明形狀特征對不同等級核桃仁的判斷可以提供幫助。由多重比較可知，3個等級核桃仁分類中，面積、周長、圓形度3個形狀特征參數(shù)相互之間差異比較明顯。面積方面，從特等到一等像素點(diǎn)數(shù)遞減；周長方面，從特等到二等數(shù)值遞減；圓形度方面，特等0.38，一等0.51，二等0.63，數(shù)值大小上遞增。而矩形度特征各等級之間十分接近，不存在顯著差異，長寬比兩兩之間雖然存在較大差異，但沒有明顯的規(guī)律。因此，本文采取3個特征為一個組合的方式進(jìn)行核桃仁等級識別的建模分析。

2.2.2 基于不同特征的SVM核桃仁分級

根據(jù)核桃仁等級劃分要求，通過提取核桃仁特征參數(shù)，建立7個不同組合的顏色特征加形狀特征模型，對特等、一等、二等、等核桃仁區(qū)分，并進(jìn)行了模型比較，結(jié)果見表3。

表3 基于不同特征的SVM核桃仁分級結(jié)果

由表3可知，顏色特征加形狀特征整體分類效果比較好，特別是R通道顏色特征與圓形度、周長、面積的結(jié)合，分類正確率達(dá)到94%，比G通道顏色特征與圓形度、周長、面積的組合高7%。形狀特征與R通道的組合相較于與B、G、R 3通道分類正確率更高，而且在試驗(yàn)中發(fā)現(xiàn)，提取3通道的時間更長，而表現(xiàn)出來的效果并不是最好。因此，本文基于R通道顏色特征與圓形度、面積周長3個形狀特征建立SVM模型。

3 結(jié)論

本試驗(yàn)的研究對象是云南三臺核桃仁，提取了5個形狀特征參數(shù)，通過觀察不同等級核桃仁在該特征具體數(shù)值的差異，判斷該特征對區(qū)分等級的影響力。試驗(yàn)結(jié)果表明，面積、周長、圓形度，可以作為有效區(qū)分核桃仁等級的形狀特征參數(shù)。

根據(jù)核桃仁圖像特點(diǎn)，建立7個顏色加形狀特征組合，分別構(gòu)建SVM核桃仁分級模型。結(jié)果表明，圓形度、面積、周長3個形狀特征與R通道顏色特征的組合模型表現(xiàn)最好，分類正確率達(dá)94%。