汪天宇 曹成茂 謝承健 李 正
(安徽農(nóng)業(yè)大學(xué)工學(xué)院,安徽 合肥 230036)
山核桃屬胡桃科植物,呈橢球狀,其果殼為淡褐色,果仁表皮為深褐或暗紅色,內(nèi)有多個(gè)分隔,屬于含隔堅(jiān)果類(lèi)。山核桃仁富含營(yíng)養(yǎng)且口感風(fēng)味獨(dú)特,深受消費(fèi)者的喜愛(ài)[1-3]。由于山核桃果殼硬且厚,食用不便,因此有進(jìn)一步深加工的必要性。其深加工需要將破殼后的混合物料進(jìn)行殼仁分選。破殼后的山核桃有各種不同形態(tài)的分離物,包括破碎的外殼、內(nèi)隔、核桃仁等,且殼仁形狀差別不規(guī)律、質(zhì)量不均勻,很難通過(guò)風(fēng)選機(jī)等除雜篩選機(jī)械進(jìn)行正確的篩分[2]。
國(guó)內(nèi)外專(zhuān)家在物料的分選和色選方面進(jìn)行了大量的研究[4-6],如Justus[7]曾使用機(jī)器視覺(jué)同時(shí)識(shí)別榛子和杏仁等堅(jiān)果在紫外線(xiàn)范圍內(nèi)發(fā)霉的顆粒,并識(shí)別果仁表面的顏色缺陷以獲取品質(zhì)較高的果仁,此類(lèi)研究中多是應(yīng)用于研究對(duì)象的分級(jí),而將研究色選與圖像處理技術(shù)應(yīng)用于堅(jiān)果殼仁的分選中則非常少見(jiàn)。采用圖像特征識(shí)別技術(shù)分選堅(jiān)果的殼與仁的主要技術(shù)難點(diǎn)在于:果仁的表皮和外殼顏色特征差異性較小,尤其是山核桃等含隔堅(jiān)果類(lèi),其內(nèi)部分隔顏色與果仁表皮相近,難以通過(guò)僅選定某種色彩模型并設(shè)定色彩閾值的方式進(jìn)行分類(lèi)識(shí)別。
本試驗(yàn)擬在研究山核桃殼仁分選的過(guò)程中同時(shí)利用顏色和紋理特征作為分選的物理指標(biāo),基于Labview虛擬儀器技術(shù)并結(jié)合應(yīng)用模糊C-均值聚類(lèi)算法,設(shè)計(jì)一種用于從山核桃殼仁混合物料中篩選出核桃仁的分選系統(tǒng)。該研究用于驗(yàn)證計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用于含隔堅(jiān)果分選的可行性,對(duì)提高山核桃等堅(jiān)果深加工生產(chǎn)的效率具有重要的意義。
在分析山核桃顏色特征后,發(fā)現(xiàn)山核桃外殼與內(nèi)隔、核桃仁的顏色區(qū)別較大,分離物表面紋理排布具有一定的規(guī)律且差異性較大。各分離物形態(tài)如圖1所示,核桃仁種皮的顏色與內(nèi)隔(包括殼的內(nèi)壁部分)的顏色具有相似性,色域存在一定區(qū)域的重疊,很難通過(guò)傳統(tǒng)的閾值分割對(duì)目標(biāo)進(jìn)行正確的識(shí)別,因此有必要結(jié)合其紋理特征應(yīng)用模糊聚類(lèi)算法對(duì)其進(jìn)行有效分類(lèi)[8-10]。初步選用計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用較廣的HSV顏色模式下的色調(diào)(H)、飽和度(S)、明度(V)和表面紋理的灰度共生矩陣的特征量能量(A)、熵(E)、慣性矩(M)、相關(guān)度(R)[11-12]共同描述目標(biāo)的視覺(jué)特征,其中H/S/V特征值的論域范圍為[0,255],預(yù)選的7種特征能夠表達(dá)物體顏色和紋理的基本信息。
圖1 山核桃各分離物
考慮到山核桃破殼后各分離物的顏色特征具有復(fù)雜性,提取山核桃的顏色特征需要復(fù)雜的流程處理,具體工作流程見(jiàn)圖2[13]。由于各顏色分量中偶爾會(huì)有小波段的高頻噪聲出現(xiàn),預(yù)先對(duì)圖像的各像素通道進(jìn)行均值濾波處理以有效消除噪聲影響。針對(duì)核桃仁的顏色特征,必須考慮到核桃仁形態(tài)的不完整性,即大概率出現(xiàn)局部裸仁的現(xiàn)象。裸仁的顏色接近乳白色,與目標(biāo)分類(lèi)對(duì)象特征具有很大的區(qū)別,在圖像處理中可以同化為背景處理,降低研究對(duì)象的復(fù)雜性[14],系統(tǒng)設(shè)計(jì)中采用閾值分割分離背景以消除其對(duì)目標(biāo)特征的影響。預(yù)處理后的圖像包含了較為完整的對(duì)象特征信息,此時(shí)提取顏色特征信息輸出參數(shù)數(shù)值,完成基本處理步驟。
圖2 圖像的預(yù)處理流程
基于Labview虛擬儀器技術(shù)編寫(xiě)山核桃顏色特征的提取和分類(lèi)程序,設(shè)計(jì)符合交互的用戶(hù)界面,用戶(hù)界面與部分特征提取程序見(jiàn)圖3。創(chuàng)建IMAQ Getimage.vi,用于初始化攝像頭及將獲取的圖像存儲(chǔ)在圖像緩存區(qū)內(nèi)[13]。在主程序中創(chuàng)建參數(shù)矩陣,局部變量交由MATLAB Script進(jìn)行模糊聚類(lèi)處理。
對(duì)獲取圖像進(jìn)行預(yù)處理后,利用NI Vision Assistant分離出H/S/V的基色平面并數(shù)值化,創(chuàng)建獨(dú)立的子程序Image Getcolor.vi,提取相應(yīng)基色平面下的灰度值,即HSV顏色模式下的各分量數(shù)值。紋理特征反映了提取圖像中相鄰像素點(diǎn)之間的關(guān)系,創(chuàng)建子程序Image Gettexture.vi,通過(guò)Vision工具包提取目標(biāo)圖像灰度圖下的灰度值,由腳本程序生成灰度共生矩陣。計(jì)算表征灰度共生矩陣特征的標(biāo)量,分別為[15]:
能量A:
(1)
圖3 上位機(jī)程序設(shè)計(jì)
熵E:
(2)
慣性矩M:
(3)
相關(guān)性R:
(4)
式中:
G(x,y)——灰度共生矩陣,其中(x,y)為像素空間坐標(biāo)轉(zhuǎn)換成的灰度對(duì);
將模糊聚類(lèi)計(jì)算應(yīng)用于山核桃殼仁分離物的顏色判斷,首先需要先建立一個(gè)包裹這2種顏色模型的7維特征數(shù)據(jù)[hj,sj,vj,aj,ej,mj,rj],相關(guān)特征參數(shù)見(jiàn)表1。多維特征數(shù)據(jù)的集合常存在若干問(wèn)題,特征相互之間往往會(huì)存在強(qiáng)烈的相關(guān)度和冗余特征[16]。多維數(shù)據(jù)不僅存在一些無(wú)關(guān)的變量,復(fù)雜的計(jì)算還會(huì)對(duì)程序的運(yùn)行造成負(fù)擔(dān),擬選取的H、S、V、A、E、M、R7個(gè)特征之間數(shù)據(jù)維數(shù)相對(duì)較大,可能存在著冗余特征,為降低數(shù)據(jù)的維數(shù)有必要運(yùn)用特征降維。主分量分析(PCA)是一種將高維數(shù)據(jù)簡(jiǎn)化到低維空間以便于分析和顯示的方法。利用主分量分析法對(duì)擬選用的7維特征數(shù)據(jù)的集合進(jìn)行降維處理,篩選出包含信息較多的特征,處理過(guò)程中除去其冗余或是貢獻(xiàn)較小的特征成分向量列,評(píng)估出最優(yōu)的特征子集。
表1 山核桃破殼分離物特征參數(shù)
通過(guò)對(duì)獲取特征數(shù)據(jù)集的因子分析,獲得數(shù)據(jù)集的總方差解釋。如表2所示,以某個(gè)成分的方差占全部方差的比重,即對(duì)應(yīng)特征值占全部特征值總和的比重來(lái)衡量某列成分對(duì)整個(gè)數(shù)據(jù)集合的綜合貢獻(xiàn)程度。表2中,前3種主成分的累積對(duì)圖像顏色信息的累積貢獻(xiàn)率達(dá)到了96.433%,幾乎能夠完整地表達(dá)出山核桃各破殼物的顏色差異性信息,故選取前3種作為模糊聚類(lèi)計(jì)算的最優(yōu)特征成分子集。前3種主要成分的特征向量為7×3的向量矩陣,在Matlab Script中編寫(xiě)將原始的j×7維數(shù)據(jù)集與主要成分的特征向量矩陣相乘,數(shù)據(jù)維度則變換為成分特征向量的維度,實(shí)現(xiàn)降維目的,以此獲得變換后的數(shù)據(jù)集。
表2 數(shù)據(jù)集的總方差解釋
模糊聚類(lèi)(FCM)算法由硬聚類(lèi)(HCM)算法發(fā)展而來(lái),是一種無(wú)監(jiān)督的聚類(lèi)分析方法[17]。模糊聚類(lèi)在聚類(lèi)分析的基礎(chǔ)上進(jìn)一步探究樣本對(duì)各類(lèi)歸屬的可能性,表達(dá)了樣本是介于類(lèi)之間的特性,算法中引入隸屬度這個(gè)概念來(lái)表征這種不確定程度[18]。山核桃的破殼分離物由于在顏色特征上存在一定的相似性,顏色分量的波動(dòng)范圍存在重疊區(qū),無(wú)法直接通過(guò)閾值劃分實(shí)現(xiàn)分類(lèi),有必要運(yùn)用模糊聚類(lèi)算法進(jìn)行聚類(lèi)計(jì)算。
(5)
式中:
xj——樣本X中的第j個(gè)樣本;
ci——類(lèi)i的聚類(lèi)中心;
uij——樣品j屬于某一類(lèi)i的隸屬度;
m——隸屬度因子[19]。
首先采用拉格朗日乘數(shù)法將約束條件代入目標(biāo)函數(shù)中,并按所有j展開(kāi),得
(6)
求式(6)目標(biāo)函數(shù)的極值,分別對(duì)其中的變量uij、ci求導(dǎo)數(shù),首先對(duì)uij求導(dǎo)。讓求導(dǎo)結(jié)果等于0的方程式見(jiàn)式(7)。
(7)
重新利用式(1)的約束條件,解出λj,并代入式(6)中,得到最終的迭代公式:
uij=
(8)
式(8)得到山核桃樣品屬于某一類(lèi)的隸屬度函數(shù),按照同樣的計(jì)算方式,求目標(biāo)函數(shù)J對(duì)ci的導(dǎo)數(shù)式見(jiàn)式(9),解出聚類(lèi)中心ci的迭代式見(jiàn)式(10)。
(9)
(10)
上述推導(dǎo)式中采用的數(shù)據(jù)集X的樣本xj是7維特征數(shù)據(jù)經(jīng)由特征降維處理后的3維數(shù)據(jù)樣本v1,v2,v3,提取大量樣本的顏色和紋理特征數(shù)據(jù),生成數(shù)據(jù)的向量空間并寫(xiě)入測(cè)量文件,保存為dat文件格式。在Matlab中完成對(duì)模糊聚類(lèi)程序的編寫(xiě)[22],并導(dǎo)入Labview平臺(tái)下的Matlab腳本中,Matlab腳本對(duì)選擇的樣本空間進(jìn)行特征降維和迭代計(jì)算,導(dǎo)出計(jì)算得出的樣本隸屬度矩陣和各聚類(lèi)中心的位置。模糊聚類(lèi)應(yīng)用于數(shù)據(jù)的分類(lèi)計(jì)算時(shí)具有無(wú)監(jiān)督性,需要具有相當(dāng)數(shù)量的樣本才能進(jìn)行聚類(lèi),為能使設(shè)計(jì)出的最終程序能夠?qū)蝹€(gè)樣品進(jìn)行正確的識(shí)別判斷,則需要保留樣本空間的數(shù)據(jù)。以最后一次采集到的樣本為目標(biāo)樣本,經(jīng)過(guò)圖像的采集和分析,對(duì)顏色和紋理的特征提取,目標(biāo)樣本特征數(shù)據(jù)的值是確定的,樣本空間X經(jīng)過(guò)模糊C-均值聚類(lèi)計(jì)算后得出的3個(gè)聚類(lèi)中心的位置也是一定的,依據(jù)聚類(lèi)中心ci與隸屬度ui的關(guān)系式,可以分別輸出目標(biāo)樣本對(duì)已知?jiǎng)澐值暮颂胰?、外殼、?nèi)隔這3個(gè)類(lèi)的隸屬度值,其中迭代終止誤差限為10-5,模糊加權(quán)指數(shù)m為2。
按照上述步驟,通過(guò)圖像采集與特征分析程序獲取選擇試驗(yàn)樣品的特征數(shù)據(jù),將所有特征數(shù)據(jù)寫(xiě)入測(cè)量文件fcmdata.dat中,選取數(shù)量為300個(gè)的山核桃破殼分離物樣本作聚類(lèi)計(jì)算,最大迭代計(jì)算次數(shù)為30次,經(jīng)過(guò)23次左右的迭代計(jì)算獲得較為穩(wěn)定的目標(biāo)函數(shù)值。
停止迭代后,結(jié)果得出各分類(lèi)的聚類(lèi)中心位置和相應(yīng)數(shù)據(jù)樣本的隸屬度值,上述選取的分離物樣本的聚類(lèi)中心分布位置見(jiàn)表3。
表3 聚類(lèi)中心計(jì)算結(jié)果
由標(biāo)準(zhǔn)試驗(yàn)樣品經(jīng)程序計(jì)算得到的聚類(lèi)中心及隸屬度矩陣分布見(jiàn)圖4,圖4(a)中可以看出經(jīng)過(guò)降維處理后樣本數(shù)據(jù)及聚類(lèi)中心在三維空間中的分布情況,圖4(b)中的橫坐標(biāo)為試驗(yàn)樣本,縱坐標(biāo)為樣本對(duì)應(yīng)類(lèi)的隸屬度值,其中:第1類(lèi)為山核桃內(nèi)隔的隸屬度向量,第2類(lèi)為山核桃外殼的隸屬度向量,第3類(lèi)為山核桃仁的隸屬度向量。從圖4可以看出,程序?qū)ψ鳛槟繕?biāo)識(shí)別的樣本庫(kù)的分類(lèi)具有合理性。
圖4 仿真效果圖
本試驗(yàn)設(shè)計(jì)了針對(duì)山核桃殼仁分離物識(shí)別的靜態(tài)試驗(yàn)方案,試驗(yàn)樣品選自主產(chǎn)地安徽省皖南山區(qū)天目山脈寧國(guó)市萬(wàn)家鄉(xiāng),采摘時(shí)間為2017年9月底。以沿山核桃縫合線(xiàn)直徑大小分為兩類(lèi)樣本,個(gè)頭較小的樣本直徑為10~20 mm,個(gè)頭較大的樣本直徑為20~30 mm,個(gè)頭較小的山核桃內(nèi)部紋路較密集,顏色較深,個(gè)頭較大的山核桃內(nèi)部紋路較疏松,顏色較淺,將山核桃籽料直徑較大的試驗(yàn)材料命名為1號(hào)樣本,直徑較小的命名為2號(hào)樣本。1號(hào)樣本和2號(hào)樣本中各遴選50個(gè)山核桃,分別通過(guò)本課題組已經(jīng)研制出的仿生敲擊式山核桃破殼機(jī)[2]和基于低損傷離心力的二次破殼機(jī)進(jìn)行破殼,獲得核桃仁和破碎殼體的混合物料,通過(guò)風(fēng)選機(jī)吹除粉狀和粒狀小顆粒個(gè)體,篩選出破殼后體積相對(duì)較大的分離物。
搭建靜態(tài)圖像采集與測(cè)試試驗(yàn)臺(tái),如圖5所示,采用美國(guó)國(guó)家儀器公司的Basler ace型彩色面掃描相機(jī)(含ICX618 CCD傳感器),采集圖像格式為32位色彩色圖像,解析度為659×494。試驗(yàn)中采用暖白色的環(huán)形聚光光源,光線(xiàn)柔和,聚光效果良好,能夠有效消除圖像陰影。為獲取較為準(zhǔn)確的顏色特征,事先對(duì)攝像頭進(jìn)行校色處理,圖像的傳輸格式為bmp,保證對(duì)色彩的還原度。
經(jīng)CCD攝像頭對(duì)測(cè)試樣品進(jìn)行圖像采集與特征分析程序提取特征數(shù)據(jù)后,Labview中的Matlab腳本工具對(duì)測(cè)試樣品的特征數(shù)據(jù)進(jìn)行隸屬度計(jì)算,獲得測(cè)試的山核桃破殼分離物對(duì)各聚類(lèi)中心的隸屬度值。依據(jù)設(shè)定的隸屬度值的范圍,由分選系統(tǒng)對(duì)各測(cè)試的樣本數(shù)據(jù)實(shí)現(xiàn)自動(dòng)歸類(lèi)并與期望結(jié)果進(jìn)行比對(duì),由此判斷識(shí)別的正確率。2組測(cè)試樣品的歸類(lèi)識(shí)別與分選測(cè)試最終效果見(jiàn)表4。
1. 微型LED聚光光源 2. CCD攝像機(jī) 3. 光學(xué)支架 4. 工控機(jī) 5. 顯示器
圖5 靜態(tài)圖像采集測(cè)試裝置
Figure 5 The image acquisition and test device of static image
表4 分選試驗(yàn)結(jié)果
試驗(yàn)結(jié)果表明,采用顏色和紋理特征并應(yīng)用模糊C-均值聚類(lèi)算法對(duì)山核桃破殼混合物實(shí)現(xiàn)分類(lèi)并篩選出核桃仁的方法是具有可行性和較高正確率的,且對(duì)核桃仁的識(shí)別正確率高于83%。誤選為外殼和內(nèi)隔分別占7.0%和4.7%,是因?yàn)橛行┖颂胰时砥ゎ伾拈撝稻哂卸鄻有裕渲胁环τ辛淤|(zhì)的核桃仁。考慮到識(shí)別物體的不可分離性,預(yù)估擴(kuò)大樣本容量后,識(shí)別的正確率仍有進(jìn)一步提升的可能性。
(1) 本試驗(yàn)的研究對(duì)象是屬含隔堅(jiān)果類(lèi)的山核桃,根據(jù)山核桃破殼分離物的顏色和紋理特征,預(yù)先對(duì)圖像進(jìn)行處理和特征提取,并運(yùn)用模糊聚類(lèi)算法對(duì)破殼物料合理分類(lèi),通過(guò)分類(lèi)結(jié)果把核桃仁從破殼混合物料中分選出來(lái)。設(shè)計(jì)了對(duì)應(yīng)的靜態(tài)試驗(yàn)方案,試驗(yàn)結(jié)果驗(yàn)證了整體系統(tǒng)設(shè)計(jì)的可行性。系統(tǒng)對(duì)核桃仁的識(shí)別率達(dá)到了83%以上。
(2) 受到試驗(yàn)條件限制,研究中采用單面拍攝的方法,可能對(duì)研究對(duì)象無(wú)法進(jìn)行立體的評(píng)估,仍需進(jìn)一步思考優(yōu)化評(píng)估的方法和標(biāo)準(zhǔn)。研究中為盡可能地簡(jiǎn)化研究對(duì)象,可能受到研究樣本不充分的影響,使實(shí)際研究對(duì)象的樣本劃分不足,導(dǎo)致選取類(lèi)以外的對(duì)象無(wú)法在色選系統(tǒng)中被識(shí)別,如殼仁未完全分離體需要對(duì)圖像區(qū)域進(jìn)行分割識(shí)別。
(3) 本試驗(yàn)提出了將模糊聚類(lèi)算法應(yīng)用到山核桃殼仁的分選,從其顏色特征的選取到分析提供了較為完整的理論依據(jù),并設(shè)計(jì)了具體的試驗(yàn)方案作論證,對(duì)堅(jiān)果類(lèi)及相似性質(zhì)的物料分選及色選具有很好的參考價(jià)值。