機器視覺技術(shù)在農(nóng)產(chǎn)品色選機上的應用

宋 騁

（天杭辦公耗材（杭州）有限公司，浙江 杭州 311100）

近年來，隨著機器視覺理論的不斷完善和圖像識別技術(shù)的發(fā)展，基于機器視覺的農(nóng)作物分揀技術(shù)也得到了迅猛發(fā)展，已廣泛用于水稻、紅棗、辣椒、蘋果、西紅柿、西瓜、大蒜、玉米、花生、大豆、茶、堅果等農(nóng)作物的預加工分揀，這給人們的生產(chǎn)和生活帶來了極大的便利。隨著圖像處理算法的日益成熟，色選機在識別率及速度上的提高取得飛速進步，將機器視覺算法應用于農(nóng)產(chǎn)品的分揀工作已經(jīng)成為近幾年研究的熱門問題。色選機是集光、機、電等科學技術(shù)于一體的農(nóng)產(chǎn)品快速分選設備，是保證食品品質(zhì)及安全的重要設備。使用色選機代替手工勞作并消除人為因素的干擾，不僅可以提高生產(chǎn)效率，而且可以降低生產(chǎn)成本。色選機主要原理是基于農(nóng)/副產(chǎn)品各種光學特性來檢測材料中的異常顏色或表面缺陷和雜質(zhì)，并自動對其進行分類和挑選去除[1-2]。而在合格產(chǎn)品與殘次品品相相似的情況下，傳統(tǒng)的篩選則難以實現(xiàn)，色選機具備明顯優(yōu)勢[3-4]。

1 機器視覺算法在色選機上的應用

1.1 基于RGB數(shù)值變化

基于RGB的數(shù)值變化可對農(nóng)作物表皮的顏色進行評級，基于計算機視覺系統(tǒng)具備以下優(yōu)勢：提供一種自動、客觀的方式來實現(xiàn)更一致、更準確的顏色評級，改進當前果實的顏色與標準色表之間的手動比較，這既費力又主觀。該系統(tǒng)成功地使用了照相機時代的灰度來減少戶外色彩等級中的兩個主要障礙的影響：（1）環(huán)境光線不一致；（2）產(chǎn)品表皮（如櫻桃）有明顯的反光[5]。

為了有效地消除反光，該算法實施了兩步過程：（1）使用顏色評級區(qū)域的綠色通道（在RGB顏色模型中）檢測出反光的像素；（2）消除了圖像顏色等級區(qū)域中檢測到的像素。優(yōu)質(zhì)的櫻桃表面的皮膚顏色相對均勻。如果沒有明顯的反光，則額定區(qū)域的紅色、綠色和藍色的直方圖應接近對稱分布。從統(tǒng)計上講，對稱性可以描述為直方圖的平均值μ和中位數(shù)Md相等。當出現(xiàn)明顯的反光時，這些直方圖的分布將向右偏斜μ＞Md，因為這種反光通常比櫻桃皮的顏色要亮得多，該消除眩光的算法首先將搜索一個閾值以區(qū)分原始膚色和反光區(qū)域。該算法將計算并比較綠色通道中獲得的直方圖的μ和Md值。如果μ＞Md，則圖像中將出現(xiàn)明顯的反光。然后，該算法將通過以μ為增量嘗試從μ到255的值來啟動搜索循環(huán)以找到閾值T。在每個循環(huán)中，該算法將重新計算直方圖分布的均值μ’和中值Md’從0到T。將重復該過程，直到最終閾值Tf滿足關(guān)系μ’≤Md’。綠色值大于閾值Tf的所有像素都代表水果表面上的耀眼反光，并且圖像處理軟件會使用白色填充空間，從選定的評級區(qū)域中刪除那些反光像素。

1.2 基于RGB、HSV、CIELab3種顏色模式

常規(guī)的色選機被廣泛用于按顏色區(qū)分谷物[5-6]、堅果和其他產(chǎn)品，但它們不具有空間分辨率或圖像處理能力來檢測籽粒上的小斑點，即無法檢測出內(nèi)核上的單個斑點或多個斑點且準確度較低[7]?；赗GB、HSV、CIELab這3種顏色信息的視覺系統(tǒng)算法，使用顏色信息來幫助農(nóng)作物上的斑點與其他較暗區(qū)域分開從而可實現(xiàn)檢測和去除具有較小局部瑕疵或缺陷的單個谷粒?；诟呦袼貓D像傳感器使用色彩Bayer濾光片來感測不同像素上的紅色R，綠色G和藍色B三原色的值。像素數(shù)據(jù)在圖像傳感器芯片上被數(shù)字化，并在不插值色彩的情況下傳輸?shù)紽PGA[8]。當從圖像傳感器接收到每個像素時，它將進入緩沖區(qū)，并且當前像素位置正上方兩行的像素數(shù)據(jù)將由緩沖區(qū)輸出。這些緩沖器的輸出和當前像素數(shù)據(jù)隨后被輸入到三個旋轉(zhuǎn)存儲變量中，形成3×3像素陣列。顏色插值是使用相鄰像素的顏色為圖像中所有像素計算R，G和B像素值的三元組的過程。這個過程可能涉及大量的像素和數(shù)值運算。為了最大程度地減少計算量，3×3陣列的中心像素僅用作RGB的顏色之一，在G像素居中的情況下，兩個相鄰R像素的平均值和兩個相鄰B像素的平均值用于完成RGB三元組。通過將像素值相加并隨后右移1位以獲得平均值來計算平均值。

首先對爆米花仁的圖像進行彩色插值，并以BMP格式保存以進行離線（off-line）分析，從而開發(fā)出用于檢測受損內(nèi)核的圖像處理算法。進行的第一個離線分析是將藍眼受損區(qū)域與內(nèi)核的其他部分區(qū)分開，在Adobe Photoshop中打開每個保存的內(nèi)核圖像，并在藍眼區(qū)域（如果存在）中記錄10個像素的RGB值，在內(nèi)核的其他區(qū)域中記錄20個像素的RGB值，R值與藍眼區(qū)域相似。由于內(nèi)核表面起伏不定，其他區(qū)域通常位于內(nèi)核邊緣附近或有陰影的區(qū)域。在未損壞的內(nèi)核上，從散布在內(nèi)核周圍的30個像素記錄邊緣和陰影區(qū)域的RGB值。將所有像素的RGB值轉(zhuǎn)換為色相，飽和度和值（HSV）和CIELab顏色值。另外，計算每個像素的三個顏色值（R-G，R-B和G-B）中的兩個之間的差。所有計算出的顏色值和RGB值以及它們與藍眼受損區(qū)域，陰影或內(nèi)核其他部分的關(guān)聯(lián)均保存在電子表格中。使用逐步判別選擇單個最佳顏色值，以區(qū)分藍眼區(qū)域中的像素與內(nèi)核上的其他區(qū)域。逐步過程選擇飽和度作為區(qū)分內(nèi)核其他區(qū)域的藍眼睛像素的最佳功能，并選擇R-B區(qū)分陰影的藍眼睛區(qū)域。文獻[9]中列出了藍眼受損內(nèi)核的彩色圖像和僅顯示HSV圖像飽和度分量的圖像。接下來，處理飽和度圖像以提取指示藍眼損傷的斑點，細菌和頂蓋區(qū)域的飽和度較高，而藍眼區(qū)域的飽和度較低。靠近內(nèi)核邊緣的部分可以具有與藍眼區(qū)域相似的飽和度[9]。

1.3 基于色度和R-B分量

基于色度和R-B成分農(nóng)作物圖像識別原理[10]，對采集的圖像數(shù)據(jù)進行對比度自適應直方圖平均化，然后對處理后的圖像進行中值濾波。以灰度帶比例作為西瓜子分類特征值，用色選機進行特征量分類訓練，將非正常的西瓜子進行特征識別，實現(xiàn)分揀工作。預處理算法：首先用高斯濾波器對灰度圖像進行噪聲去除，去除污漬小的區(qū)域后，對噪聲去除后的灰度圖像進行對比度自適應直方圖平均化、二值化處理，中值濾波；設定灰度帶比例特征：提取正常瓜子的輪廓（例如canny算子法），定義單粒瓜子外輪區(qū)域為s，定義內(nèi)外輪的區(qū)域為S1，S-S1為中部灰質(zhì)區(qū)域為S2，比例值K=S2/S1；使用邊界跟蹤求出對象區(qū)域的輪廓點，并且根據(jù)各輪廓點的跟蹤方向信息，計算出輪廓內(nèi)畫像素總數(shù)的和以計算目標區(qū)域的面積。該方法的識別速度為1.2t/h，準確率為95%。

1.4 結(jié)合HSI空間的FCM算法

HSI（Hue，Saturation，Intensity）是以色度、飽和度、強度這三個特征來感知不同色彩的，最為直觀地反映了人類的對色覺感知。其中日常生活中見到的白、黃、青、綠、紅、藍、黑等宏觀顏色就是色度；而飽和度通常是指顏色的純度，用來表達顏色的鮮艷程度，顏色越鮮艷亮麗，則飽和度越高。

H、S分類可以用于識別彩色圖像，而強度與圖像的灰度相對應，反映了顏色的亮度。HSV顏色空間中的H、S分量與HSI中的H、S分量一致，V分量（Value）表示亮度。由于HSI和HSV更適合人類的直接視覺感官，它們并不特別適合機器對圖像的感知，所以一般將顏色從RGB空間域轉(zhuǎn)換為HSI和HSV空間域，進行圖像處理后，轉(zhuǎn)換為RGB空間域進行顯示。模糊聚類算法擴展了隸屬度的可能范圍，具有強大的圖像分割能力，目標函數(shù)的模糊聚類算法主要包括：模糊c均值聚類算法（即FCM、Fuzzy c means algorithm）和可能性c均值聚類算法。在實際的使用中，我們需要將圖像處理空間由RGB空間轉(zhuǎn)換到HSI空間中，此時需要處理的圖像就不再是灰度域的圖像，而特征空間也變成了三維，而此時結(jié)合了HSI空間后，聚類中心也變成了三個，在此為了算法的實現(xiàn)，本文中選取了歐氏距離，統(tǒng)一了三維空間中的聚類距離dij。

基于FCM的圖像識別算法具體流程：首先是讀取大米圖像的RGB信息，由RGB空間向HSI空間轉(zhuǎn)換，得到大米圖像在HSI空間下的H、S、I分量圖，并將其合成在HSI空間中大米圖像，通過FCM算法去除背景后，進行大米邊緣提取，最終可提取出大米圖像中的異色米粒信息，該方法的實現(xiàn)是將雜質(zhì)歸于異色米粒一類中，從而實現(xiàn)大米圖像中雜質(zhì)。

1.5 基于神經(jīng)網(wǎng)絡算法

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）已廣泛應用于圖像識別領域，相比于傳統(tǒng)的基于顏色值的圖像分類算法，是一種經(jīng)典的深度學習方法?；谏疃葘W習的圖像分類算法不僅準確率高、速度快，而且對于顏色豐富、形狀不一的復雜物料的篩選具有明顯的優(yōu)勢。一方面，通過選用L2范數(shù)正則化、指數(shù)衰減法和滑動平均模型的方法優(yōu)化卷積神經(jīng)網(wǎng)絡，以提高分類的準確性；另一方面，通過簡化神經(jīng)網(wǎng)絡的結(jié)構(gòu)，來降低計算量，從而實時性大為提高。在挑選出破損的農(nóng)作物的過程，基于卷積神經(jīng)網(wǎng)絡的圖像識別算法構(gòu)建基本流程為：數(shù)據(jù)采集及預處理，卷積神經(jīng)網(wǎng)絡的建立，評價指標。算法優(yōu)化過程為：L2范數(shù)正則化，指數(shù)衰減，滑動平均模型，神經(jīng)網(wǎng)絡的結(jié)構(gòu)簡化。

2 結(jié)束語

在圖像處理、深度學習等機器視覺算法的迅猛發(fā)展下，農(nóng)作物色選機也取得了飛速進展，在農(nóng)作物識別分類的準確度、實效性上均有顯著的提高。在算法應用上，從傳統(tǒng)的基于色彩空間算法到人工智能機器學習算法，不斷應用到農(nóng)作物的分揀加工中來，為提高糧食的加工效率和質(zhì)量提供了方便。