基于機器視覺的蟲蝕葵花籽識別與分選系統(tǒng)

王衛(wèi)翼 張秋菊

WANG Wei－yi 1，2 ZH ANG Qiu－ju 1，2

（1.江南大學機械工程學院，江蘇 無錫 214122；2.江蘇省食品先進制造裝備技術重點實驗室，江蘇 無錫 214122）

（1.Jiangsu Key Laboratory of Advanced Food Manufacturing Equipment and Technology，Wuxi，Jiangsu 214122，China；2.School of Mechanical Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China）

葵花籽俗稱瓜子，是向日葵的籽實，同時也是中國最具傳統(tǒng)特色、歷史最為悠久的炒貨食品。根據(jù)對瓜子所做的消費者需求市場調(diào)研，消費者認為現(xiàn)有瓜子產(chǎn)品的主要不足排在首位的是“有壞的”，可見，對葵花籽的分選，尤其蟲蝕葵花籽的精選，直接影響產(chǎn)品的品質(zhì)和市場銷售。迄今為止，蟲蝕葵花籽的識別和分選仍需要依靠人工完成。人工分選不可避免地存在著人工視覺疲勞、誤判漏判，分選效率低，出錯率高，已成為嚴重影響產(chǎn)品質(zhì)量和生產(chǎn)效率的瓶頸問題。

隨著機器視覺技術的快速發(fā)展和逐步成熟，視覺檢測技術被廣泛應用于各個領域。近年來，由于具有處理速度快、信息豐富、非接觸性等優(yōu)點，利用機器視覺技術對水果、谷物、禽蛋等農(nóng)產(chǎn)品進行自動檢測盒分級是學術界研究的熱點之一［1］。中國農(nóng)業(yè)大學和北京大學成功研制了谷物品質(zhì)檢測系統(tǒng)，用圖像技術代替人工進行大米分選［2］。周一紅［3］通過分析西瓜子表面特征和形狀特征，利用機器視覺和圖像處理技術，實現(xiàn)了西瓜子表面紋理特征的提取和描述。黎移新［4］應用機器視覺技術實現(xiàn)了柑橘病蟲害疤痕的識別。施健等［5］應用機器視覺技術，實現(xiàn)了鮮棗的大小分級，并設計了鮮棗分級系統(tǒng)。但是針對葵花籽的視覺分選，尤其是針對有蟲蝕的葵花籽視覺精選技術的研究，目前尚未見有相關研究報道。

本研究擬選用市場占有率最高的美葵5009作為研究對象，首先分析葵花籽的蟲蝕特征，針對蟲蝕葵花籽的識別設計專用的蟲蝕葵花籽識別分選系統(tǒng)。采用機器視覺和圖像處理技術，實現(xiàn)對葵花籽蟲蝕特征的有效提取，為實現(xiàn)蟲蝕葵花籽的自動化識別和分選提供有效手段。

1 蟲蝕葵花籽的識別原理

在實際應用中，為保證蟲蝕葵花籽的識別效率，每次采集的圖像中將包含多個葵花籽個體，其中包括正?？ㄗ押拖x蝕葵花籽。① 采集多個葵花籽的圖像，包括在合適的正面光照亮度下的特征面蟲蝕圖像和僅有背光光照下的葵花籽所有個體圖像；② 采用圖像閾值分割方法對采集到的葵花籽所有個體圖像進行處理，分割出每個葵花籽的單獨個體；③ 對所有葵花籽個體逐個進行識別，判斷其是否為蟲蝕葵花籽，同時根據(jù)個體形心進行個體定位，以便于隨后的分揀。蟲蝕葵花籽識別流程見圖1。

圖1 蟲蝕葵花籽識別流程圖Figure 1 The flow chart of wormhole sunflower seeds sort

2 蟲蝕葵花籽的識別與分選系統(tǒng)

2.1 系統(tǒng)總體構成

針對葵花籽雙側弧面的特點，必須對葵花籽進行雙面識別才能保證不發(fā)生蟲蝕葵花籽漏檢。因此，設計蟲蝕葵花籽的識別與分選系統(tǒng)時，必須考慮葵花籽的翻面裝置，以及分別針對葵花籽兩個弧面的葵花籽輸送、識別和分選機構。針對葵花籽的蟲蝕特征，采用機器視覺系統(tǒng)進行葵花籽特征的采集和蟲蝕特征的識別。經(jīng)過分選后的葵花籽可通過輸送機構用于后續(xù)加工處理。

根據(jù)以上分析，基于機器視覺的蟲蝕葵花籽識別與分選系統(tǒng)主要由以下部分組成：

（1）葵花籽輸送部分。該部分主要有傳送帶、動力滾筒、交流電機、變頻器、同步帶等組成，主要是實現(xiàn)識別過程中對葵花籽運輸?shù)墓δ埽箍ㄗ涯軌蝽樌鲿车慕?jīng)過整個系統(tǒng)的每個功能部分；

（2）蟲蝕葵花籽視覺識別部分。該部分主要由機器視覺相關組件構成，包括光源系統(tǒng)、工業(yè)相機、光照箱等，是整個分揀系統(tǒng)的關鍵部分之一。視覺識別部分的主要功能是實現(xiàn)蟲蝕葵花籽的識別和定位，其通過對傳送帶上多個葵花籽進行圖像采集，并對采集到的圖像進行分析和處理，識別出蟲蝕葵花籽個體，并對每個個體進行標記和定位。

（3）蟲蝕葵花籽分揀部分。該部分采用兩自由度SCARA機械手作為分揀裝置。機械手末端為真空吸嘴。通過機械手運動，將末端的真空吸嘴快速定位至位于傳送帶上的蟲蝕葵花籽的上方，利用真空負壓將蟲蝕葵花籽吸走，通過氣管輸送至分類容器，實現(xiàn)蟲蝕葵花籽的分揀和儲存。

（4）葵花籽翻面機構。針對葵花籽兩個特征弧面的特點，該部分通過兩條傳送帶同步工作，利用翻面滾筒，實現(xiàn)對葵花籽的翻面。在蟲蝕葵花籽經(jīng)過第一套視覺識別系統(tǒng)的識別和第一套分揀系統(tǒng)的分揀后，剩余的葵花籽經(jīng)過翻面機構，將自身未經(jīng)過檢測的特征弧面朝向上方，以便第二套視覺識別系統(tǒng)進行識別和定位。

（5）控制系統(tǒng)。控制系統(tǒng)包括總體控制系統(tǒng)、視覺控制系統(tǒng)、運輸控制系統(tǒng)、分揀控制系統(tǒng)。其中，總體控制系統(tǒng)的功能是完成各個分控制系統(tǒng)的總體邏輯與順序控制和相關輔助功能；視覺控制系統(tǒng)實現(xiàn)視覺識別部分的控制，包括光源的亮度、開關狀態(tài)、相機采集圖像等；運輸控制系統(tǒng)主要實現(xiàn)傳送帶的運動控制；分選控制系統(tǒng)主要實現(xiàn)SCARA機械手的運動控制和其末端吸嘴的控制。

綜上所述，基于機器視覺的蟲蝕葵花籽識別分揀系統(tǒng)組成框圖和功能示意圖見圖2、3。由圖3可知，未經(jīng)分選的葵花籽通過上料端進入系統(tǒng)，首先經(jīng)過第一次視覺識別后，識別出一個特征弧面具有蟲蝕特征的蟲蝕葵花籽，并進行定位。然后進入分揀系統(tǒng)，由分揀機械手1進行分揀。剩余的葵花籽經(jīng)由翻面機構實現(xiàn)翻面處理，并進入傳送帶2，進行第二次視覺識別，識別出蟲蝕葵花籽并進行定位，并由分揀機械手2進行分揀。至此，一批葵花籽兩個特征弧面均進行了檢測，識別完成，剩余的優(yōu)良葵花籽經(jīng)出料端進入下一加工環(huán)節(jié)。

2.2 機器視覺光源系統(tǒng)設計

根據(jù)對葵花籽蟲蝕特征的分析，在蟲蝕葵花籽的識別過程中，需要對兩類蟲蝕特征進行提取。為得到清晰有效的葵花籽圖像信息，同時保證圖像中葵花籽的蟲蝕特征便于分析和提取，本研究設計了一套適用于蟲蝕葵花籽視覺識別的圖像采集系統(tǒng)，包括光源系統(tǒng)和相機。

在蟲蝕葵花籽視覺檢測系統(tǒng)中，首先需要正面照射光源為葵花籽表面提供光線。同時，由于葵花籽個體獨特的雙弧面形狀，在正面光源的照射下，會產(chǎn)生陰影，故需要背光光源以消除陰影，并凸顯葵花籽個體的輪廓特征。同時，為保證較大視野中多個葵花籽個體光照均勻，采用環(huán)繞正面光源的方式。

因此，葵花籽視覺檢測系統(tǒng)中的光源系統(tǒng)采用“環(huán)繞正面光源與背光光源”的組合方式。同時將4個相同的正面照射光源分別放置在背光光源的四周，軸線與背光光源平面呈一定的角度，并均指向被測葵花籽。光源系統(tǒng)示意圖見圖4。

這種光源系統(tǒng)的每個光源均可獨立控制亮度和開關狀態(tài)，可根據(jù)不同的葵花籽圖像采集要求設置不同的亮度和開關狀態(tài)組合。針對蟲蝕特征圖像的采集，則根據(jù)預先設置的光源亮度，同時開啟正面光源和背光光源來完成圖像采集；針對蟲蝕葵花籽的邊緣輪廓特征圖像的采集，則單獨開啟背光光源來凸顯其輪廓特征，完成圖像采集。采用該光源系統(tǒng)，能夠很好的完成葵花籽蟲蝕特征和輪廓特征的采集，獲取完整清晰、特征明顯的目標圖像，為后續(xù)蟲蝕特征的提取和識別工作奠定基礎。

圖2 系統(tǒng)組成框圖Figure 2 Components of the system

圖3 系統(tǒng)功能示意圖Figure 3 Schematic diagram of the system function

圖4 蟲蝕葵花籽圖像采集專用光源系統(tǒng)Figure 4 The light source system for wormhole sunflower seeds image acquisition

3 葵花籽蟲蝕特征分析

正?？ㄗ褑蝹€個體小，輪廓外形為長水滴形，兩側面隆起形成弧面，成為兩個特征面。兩個特征面上分布著紋理與斑塊，顏色主要以黑色和白色為主。根據(jù)《中華人民共和國國家標準 GB／T 11764—2008》［6］，蟲蝕葵花籽指的是被蟲蛀蝕、傷及籽仁的顆粒。蟲蝕葵花籽表面具有明顯的蟲蝕特征，即蟲洞。本研究所用的蟲蝕葵花籽均為具有蟲蝕特征的黑葵花籽，見圖5。

圖5 蟲蝕葵花籽Figure 5 Wormhole sunflower seeds

根據(jù)分布位置不同，可將蟲蝕特征（蟲洞）分為兩類：特征面蟲蝕和邊緣蟲蝕，如圖5所示。若蟲蝕位于葵花籽的特征面上，則在葵花籽的特征弧面上將出現(xiàn)蟲蝕造成的蟲洞，蟲洞穿透葵花籽的外殼通入葵花籽內(nèi)部；若蟲蝕位于葵花籽的邊緣輪廓上，則葵花籽的輪廓邊緣將出現(xiàn)殘缺，使其失去長水滴形邊緣的完整性。同時，根據(jù)對葵花籽蟲蝕分布情況的抽樣統(tǒng)計可以發(fā)現(xiàn)，蟲蝕位于特征面上的蟲蝕葵花籽數(shù)量遠大于蟲蝕位于邊緣輪廓的蟲蝕葵花籽，特征面蟲蝕的出現(xiàn)概率約為邊緣蟲蝕的數(shù)十倍。

4 葵花籽蟲蝕特征的提取

4.1 特征面蟲蝕特征的提取

4.1.1 孔洞的“吸光效應” 物體表面存在孔洞且其他表面較平滑時，若采用合適角度的光線照射其表面，部分光線照射進入孔洞中，由于漫反射導致這部分光線的反射光線被孔壁阻擋，從而出現(xiàn)孔洞部分亮度低于周圍平滑表面亮度的現(xiàn)象，將這種現(xiàn)象稱為孔洞的“吸光效應”?！拔庑痹硎疽鈭D見圖6。散射光線從不同角度照射到物體表面時，由于表面較為平滑，形成類似鏡面反射或漫反射，光線能量損失小，反射光線亮度強；而光線若照射至表面的孔洞中，光線由于在孔洞內(nèi)部進行漫反射而導致大部分光線無法反射出孔洞，反射光線能量低，從而導致表面孔洞部分亮度低。試驗表明，對于平面孔洞和弧面孔洞，在設置合理的光線角度和光源亮度后，均可出現(xiàn)較為明顯的孔洞“吸光效應”。

4.1.2 葵花籽特征面蟲蝕圖像的采集 本研究針對葵花籽的特征面蟲蝕的孔洞特征，根據(jù)孔洞“吸光效應”原理，采用圖4所示的光源系統(tǒng)，為正面光源設置合適的照射角度和亮度，利用工業(yè)相機對葵花籽（包括正?？ㄗ押拖x蝕葵花籽）進行拍攝，采集葵花籽特征面蟲蝕特征?？ㄗ烟卣髅嫦x蝕特征采集圖片見圖7。其中圖7（b）為設置了合適的正面光源亮度后采集到的葵花籽特征面蟲蝕圖像，圖7（a）為設置正面光源為低亮度后采集的葵花籽原圖（包括正?？ㄗ押拖x蝕葵花籽），以便觀察對比，實際識別中無需采集。由圖7可知，圖中包含蟲蝕葵花籽和正?？ㄗ?，應用本研究設計的葵花籽特征面蟲蝕特征提取方法，能夠凸顯葵花籽的特征面蟲蝕，采集清晰有效的特征圖像，同時自動屏蔽正?？ㄗ褕D像的相關特征，為蟲蝕特征的進一步識別奠定基礎。

圖6 “吸光效應”原理圖Figure 6 The light absorbing effect

圖7 葵花籽特征面蟲蝕Figure 7 The wormhole feature in the face

4.1.3 特征面蟲蝕特征的提取 針對圖7（b）圖像，采用圖像閾值分割［7］的方法進行處理，從原圖像中分割出特征面蟲蝕特征，其分割閾值采用Otsu法［8］確定。

Otsu法的基本思想是使用閾值T將圖像像素點的灰度值分為兩類，當這兩類的類間方差最大時即為閾值T的確定值。具體實現(xiàn)過程：設待處理圖像的灰度范圍為［0，L－1］，根據(jù)閾值T將圖像的像素點分為兩類C0和C1，即類C0中的像素點的灰度值均分布在［0，T］的區(qū)間上，類C1中的像素點的灰度值均分布在［T＋1，L－1］的區(qū)間上。計算得出整幅圖像灰度均值uT，類C0的灰度均值u0和類C1的灰度均值u1，C0和C1兩類的出現(xiàn)概率w0和w1，則類C0和類C1的類間方差為

令T在區(qū)間［0，L－1］中依次取值，當σ2最大時，此時的T即為選取的閾值。

根據(jù)Otsu法確定的閾值，對特征面蟲蝕特征圖像進行閾值分割，得到分割后僅包含特征面蟲蝕特征的圖像，如圖8所示，其中黑色斑塊即為分割得到的葵花籽特征面蟲蝕特征。

4.2 邊緣蟲蝕特征的提取

葵花籽蟲蝕特征中的邊緣蟲蝕可能不會造成葵花籽表面蟲洞，但是其會破壞葵花籽的完整輪廓，使葵花籽邊緣出現(xiàn)明顯的內(nèi)凹，如圖5（c）所示。通過分析包含邊緣蟲蝕的葵花籽的真實輪廓，利用多邊形擬合與圖像運算提取邊緣蟲蝕特征。

4.2.1 葵花籽邊緣輪廓的生成 為提取邊緣蟲蝕特征，需分析葵花籽的輪廓信息。采用圖4所示的光源系統(tǒng)，關閉正面光源而僅開啟背光光源。由于無正面光線，葵花籽表面亮度低，表面紋理和斑塊暗淡、不清晰，而背光光線充足，使葵花籽所在的背景亮度高，與葵花籽表面的低亮度形成鮮明的對比，使得葵花籽的輪廓信息清晰、完整，特征明顯。

針對特征清晰完整的葵花籽輪廓圖像，首先采用本文介紹的圖像閾值分割方法對葵花籽輪廓圖像進行分割，獲得葵花籽個體。其次對葵花籽個體圖像進行處理，提取其輪廓信息。

采用Canny算法對分割后的葵花籽個體進行處理，得到葵花籽的真實邊緣輪廓。Canny算法具有既能濾去噪聲又能保持邊緣特性的邊緣檢測最優(yōu)濾波器，采用一階微分濾波器。此算法采用二維高斯函數(shù)的任意方向上的一階方向?qū)?shù)為噪聲濾波器，通過與圖像卷積進行濾波；然后對濾波后的圖像尋找圖像梯度的局部最大值，以此來確定圖像邊緣。根據(jù)對信噪比與定位乘積進行測度，得到最優(yōu)化逼近算子［9］。應用以上過程生成的葵花籽邊緣輪廓見圖9。

4.2.2 葵花籽邊緣的多邊形擬合 針對提取得到的葵花籽邊緣輪廓，采用多邊形擬合的方法，對葵花籽的邊緣輪廓進行近似建模，得到葵花籽真實輪廓的多邊形模型?？ㄗ颜鎸嵾吘壿喞蛿M合多邊形見圖10。

多邊形擬合是一種常用的曲線形狀描述方法，它根據(jù)一定的規(guī)則，利用直線對目標曲線進行近似擬合，只保留曲線上關鍵點的信息，剔除冗余的無用點信息，實現(xiàn)曲線輪廓的簡化［10］。通過多邊形擬合可以大大減少表示數(shù)字曲線所需要的數(shù)據(jù)量，把不規(guī)則的數(shù)字曲線擬合成規(guī)則的多邊形，使得一些特征量的計算變得方便，同時極大限度地保留原始數(shù)字曲線的形狀特征［11，12］。

采用“最大距離法”對葵花籽邊緣輪廓進行多邊形擬合，該算法具體步驟如下：

圖9 葵花籽邊緣輪廓圖像Figure 9 The wormhole feature at the edge

圖10 葵花籽真實輪廓和擬合多邊形Figure 10 The real contour and the polygonal approximation of sunflower seeds

（1）設置算法迭代終止參數(shù)dmin。該參數(shù)指的是待擬合曲線上所有點到多邊形的最短距離。設pk（xk，yk）為待擬合曲線上的一點，pi（xi，yi）、pj（xj，yj）分別為多邊形某一條邊的兩個頂點，則pk點到多邊形的邊pipj的距離d的計算公式為

當曲線上各個點到多邊形的距離均小于終止參數(shù)dmin時，算法迭代終止。

（2）遍歷曲線上的所有點，尋找出曲線上兩個距離最遠的點，并繪制第一條線段，將這兩個點連接起來。

（3）在曲線上各個點中尋找到該線段距離最遠的點，分別連接第一條線段的兩個端點到該點間的線段，得到第二條和第三條線段，形成第一個多邊形。

（4）以此類推，不斷尋找曲線上各個點中到已知多邊形距離最遠的點，并將這些點作為多邊形新的端點，重新擬合多邊形。

（5）算法迭代，直到滿足迭代終止條件，即曲線上各個點到多邊形的距離均小于終止參數(shù)dmin時，算法停止，此時得到的多邊形即為曲線的擬合多邊形。

采用的多邊形擬合算法中的終止參數(shù)dmin是該算法的關鍵參數(shù)，該參數(shù)將直接決定擬合得到的多邊形的復雜程度。同時，合適的終止參數(shù)，可以保證擬合得到的多邊形既能描述葵花籽真實輪廓的關鍵信息，如邊緣蟲蝕，又能自動去除會造成干擾的冗余信息，如葵花籽邊緣自然形成的微小凹陷。本文通過試驗，確定該參數(shù)為葵花籽輪廓總長度的0.005倍，使用該值能夠獲得理想的多邊形擬合效果，為邊緣蟲蝕特征提取奠定良好的基礎。

4.2.3 邊緣蟲蝕特征的提取 通過對葵花籽真實邊緣輪廓進行擬合，能夠得到葵花籽邊緣輪廓擬合多邊形，并對該多邊形的凹凸性進行判斷［13］。若多邊形為凹多邊形，則說明葵花籽邊緣輪廓存在內(nèi)凹，有邊緣蟲蝕；若多邊形為凸多邊形，則說明葵花籽邊緣輪廓無內(nèi)凹，不存在邊緣蟲蝕。

5 結束語

蟲蝕葵花籽嚴重影響食用葵花籽的品質(zhì)質(zhì)量。采用蟲蝕葵花籽自動化識別分選技術取代人工分選，是食用葵花籽工業(yè)化加工的迫切需求和必然發(fā)展趨勢。本研究介紹了一種基于機器視覺的蟲蝕葵花籽識別分選方法，通過對兩類不同蟲蝕特征的分析和提取，實現(xiàn)了單個及多個葵花籽個體中蟲蝕葵花籽的識別，為實現(xiàn)蟲蝕葵花籽的自動化識別和分選提供了有效手段。本研究對于籽實類農(nóng)產(chǎn)品分類、識別等問題的解決與研究同樣具有一定的參考和借鑒意義。

1 田緒順，李景彬，坎雜，等.基于機器視覺的紅棗雙面檢測分級裝置設計［J］.食品與機械，2012，28（5）：138～140.

2 侯彩云，李慧園，尚艷芬.稻谷品質(zhì)的圖像識別與快速檢測［J］.中國糧油學報，2003（4）：80～83.

3 周一紅.西瓜子智能識別系統(tǒng)核心技術研究與實現(xiàn)［D］.蘇州：蘇州大學，2007.

4 黎移新.柑橘病蟲害疤痕的計算機視覺識別［J］.食品與機械，2009，25（3）：78～81.

5 施健，何建國，張冬，等.基于計算機視覺鮮棗大小分級系統(tǒng)研究［J］.食品與機械，2013，29（5）：134～137.

6 中國國家標準化管理委員會.GB／T 11764—2008葵花籽［S］.北京：國家標準出版社，2008.

7 劉金，金煒東.噪聲圖像的快速二維Otsu閾值分割［J］.計算機應用研究，2013（10）：3 169～3 171，3 200.

8 Otsu N.A threshold selection method from gray level histograms［J］.IEEE Transactions on Systems Man and Cybernetics，1979（1）：62～66.

9 馮珂，朱敏，鐘煜，等.一種改進的Canny邊緣檢測AGT算法［J］.計算機應用與軟件，2012，29（3）：265～300.

10 謝明鴻，張亞飛，付琨，等.一種基于矩和支配點檢測的多邊形擬合算法［J］.模式識別與人工智能，2007，20（2）：219～224.

11 Shen C T.Using cross－ratios to model curve data for aircraft recognition［J］.Pattern Recognition Letters，2003（24）：2 047～2 060.

12 Ediz Saykol，Gürcan Gülesir，Ugur Güdükbay，et al.KiMPA：A kinematics－based method for polygon approximation［J］.Lecture Notes in Computer Science，2002，2 457：186～194.

13 丁健，江南，芮挺.基于邊方向角長度表示的多邊形方向、凹凸性及點包含算法［J］.計算機輔助設計與圖形學學報，2005（6）：1 233～1 239.