基于機器視覺的金絲皇菊智能分級系統(tǒng)研究

張銀萍，徐 燕，朱雙杰, ，周 宇

（1.滁州學院生物與食品工程學院，安徽滁州 239000；2.滁州市仙迪節(jié)能科技有限公司，安徽滁州 239000）

金絲皇菊花朵干制加工后可作為夏季飲品，其性微寒、味甘苦，有疏散風熱、清肝明目、清熱解毒等功效[1]。近年來，隨著人們對保健養(yǎng)生的需求提高，金絲皇菊的消費量呈快速增長的趨勢，金絲皇菊品質也逐漸受到重視[2?4]?，F(xiàn)階段，金絲皇菊的分級過程智能化程度還比較低，分級的過程主要還是依靠人工感官評價來完成[5]。人工分級方式不僅工作量巨大、強度高、重復大量相同工作容易疲勞導致效率低錯誤率高，使得金絲皇菊的生產(chǎn)成本也有所增加。因此，實現(xiàn)金絲皇菊的智能快速無損分級是非常必要的。

機器視覺技術是實現(xiàn)農(nóng)產(chǎn)品快速無損分級的重要手段[6?8]，機器視覺技術無損分級和人工分級相比，具有安全性高、標準程度高、工作效率高、對象選擇范圍廣等特點。目前，很多學者在基于機器視覺的農(nóng)產(chǎn)品分級技術方面有了深入的研究。國外在農(nóng)產(chǎn)品的分級檢測的研究開始較早，尤其是在蔬菜水果分級領域，Kuma等[9]運用圖像處理技術和機器學習技術完成對水果和蔬菜進行質量分級，解決了人工分級效率較慢的問題；Lal等[10]提出了一種基于顏色特征自動檢測和分類蘋果果實成熟度的方法，通過顏色特征的閾值分析對蘋果的成熟度進行了自動辨別；Mesa等[11]運用具有RGB和高光譜成像的多輸入深度學習模型完成對香蕉的分級；Behera等[12]使用圖像處理技術完成對西紅柿的分類和分級，提高了西紅柿的分級效率。國內也有學者在農(nóng)產(chǎn)品的分級檢測領域做了很多研究。李倩倩[13]設計了一套針對獼猴桃無損檢測和自動分級的視覺系統(tǒng)，對獼猴桃進行顏色分級時，提出用HSI模型描述其顏色特征并根據(jù)獼猴桃顏色特點在此基礎上建立了基于粒子群優(yōu)化的BP神經(jīng)網(wǎng)絡，試驗結果表明分級精度高，不僅分級速度快，而且正確率高達95.6%。獼猴桃表面缺陷采用了形態(tài)學處理方式，使用基于遺傳算法的BP神經(jīng)網(wǎng)絡算法對表面缺陷分級；實驗準確率高達91.3%；汪威等[14]設計了一種去柄鮮香菇視覺分級系統(tǒng)，結果表明，相比于傳統(tǒng)的人工分級方式,試驗設計的自動分級系統(tǒng)的可靠性、速度、穩(wěn)定性等指標具有非常明顯的優(yōu)勢；錢柏英等[15]通過機器視覺技術完成雙孢蘑菇在線自動分級，該系統(tǒng)通過ARM控制器自動完成圖像識別，具有識別準確率高、速度快的特點，提高雙孢菇分揀的工作效率。目前，基于機器視覺的分級技術在農(nóng)產(chǎn)品領域的研究主要集中在水果蔬菜方面，在花茶領域的研究較少，利用機器視覺技術對金絲皇菊品質分級的研究更缺乏，因此對基于機器視覺的金絲皇菊品質等級的快速無損分級研究具有重要意義。

結合上述學者的研究方法，本文應用機器視覺技術通過金絲皇菊的顏色、形狀、完整度、花徑等外部特征對金絲皇菊進行無損分級，通過機器智能分級代替人工分級，提高分級的準確性、客觀性和穩(wěn)定性，對花茶領域的分級技術研究具有重要的推廣價值。

1 材料與方法

1.1 材料與儀器

金絲皇菊 顏色、直徑（大?。?、形狀、完整度等參數(shù)不同的金絲皇菊干花3000朵，由滁州學院生物與食品工程學院實驗室提供。

分級系統(tǒng)機械設備、傳送帶 食品級，浙江米歐制帶股份有限公司；MV-EM120C攝像頭 維視智造集團；工控一體機 深圳華北工控股份有限公司。

1.2 實驗方法

1.2.1 系統(tǒng)整體研究方案 金絲皇菊智能分級系統(tǒng)主要分為四個部分。本系統(tǒng)包括：金絲皇菊傳送模塊、光照與圖像采集模塊、圖像處理模塊和分級模塊。本系統(tǒng)的工作原理為：傳送模塊把金絲皇菊傳送給光照與圖像采集模塊，完成對金絲皇菊圖像的采集；把包括金絲皇菊的花徑、完整度與色澤等的圖像數(shù)據(jù)傳送至圖像處理模塊；比較圖像識別結果及預設分級標準，得到金絲皇菊的等級，把金絲皇菊的分級結果與其位置信息傳送至分級模塊；分級機構中可旋轉傳送裝置將金絲皇菊旋轉至對應等級的分級通道內，完成分級過程。如圖1所示。

圖1 分級系統(tǒng)整體研究方案Fig.1 Overall system research scheme

1.2.2 分級系統(tǒng)機械結構與工作原理 金絲皇菊分級裝置通過振料盤將金絲皇菊有序地排列并傳送到傳送帶上，傳送帶利用差速原理拉開金絲皇菊的個體間距，使得它們能夠逐一地通過視覺檢測區(qū)域，并保證工業(yè)相機的視野范圍內只出現(xiàn)一個待檢對象。當金絲皇菊經(jīng)過視覺檢測工位后，進入分級區(qū)域，分級區(qū)域沿著傳送帶方向設置了特級、一級、二級、三級和等級外五個分級區(qū)域，實現(xiàn)金絲皇菊五級的劃分，分級結構主要采用的是圓形可旋轉分級裝置，通過視覺系統(tǒng)識別的等級結果對傳送帶的轉向進行控制，使其轉向，從而使得金絲皇菊被送到相應等級的分級通道。圓形可旋轉分級裝置可以達到每秒最高可旋轉10次的設計要求。金絲皇菊分級裝置機械結構如圖2所示。

圖2 金絲皇菊分級系統(tǒng)機械結構Fig.2 Mechanical structure of Imperial Chrysanthemum grading system

1.2.3 金絲皇菊等級判定依據(jù) 金絲皇菊的等級主要與花的顏色、直徑（大?。?、形狀、完整度等參數(shù)有關。本文將金絲皇菊分為五個等級（依據(jù)項目實際及金絲皇菊市場的品質需求），其判別依據(jù)如表1所示。

表1 金絲皇菊等級評判依據(jù)Table 1 Criteria for grade evaluation of Imperial Chrysanthemum

1.2.4 金絲皇菊圖像采集 金絲皇菊圖像的采集是基于一定的設備，采集金絲皇菊完整的圖像，并將其存儲在計算機中。為了得到更清晰的圖像，圖像采集系統(tǒng)主要由電腦、工業(yè)相機、工業(yè)鏡頭、光源等部分組成。如圖3所示。

圖3 金絲皇菊圖像采集系統(tǒng)Fig.3 Imperial Chrysanthemum image acquisition system

如上圖所示，在圖像采集的過程中，確保相機和傳送帶的相對高度保持不變，本研究根據(jù)項目的實際情況，相機和傳送帶之間的高度為18.5 cm，其他裝置的相對位置保持不變，傳送帶傳送金絲皇菊的速度（V=2.0 m/s）保持不變，確保圖像采集時的外部客觀條件的一致性。

1.2.5 金絲皇菊圖像的預處理 如前文所述，金絲皇菊分級過程是動態(tài)的，受外界環(huán)境影響，實時采集到的金絲皇菊圖像往往包含無用信息，因此需要預處理圖像消除無用信息來改善其成像效果，凸顯有價值信息，利于金絲皇菊圖像的深度處理。本文根據(jù)分級系統(tǒng)的實際需求，圖像的處理流程如圖4所示。

圖4 金絲皇菊圖像處理流程Fig.4 Imperial Chrysanthemum image processing flow

1.2.5.1 圖像的灰度化 圖像的灰度化指把彩色圖像變換成灰度圖像[16]。圖像灰度化可以提高計算的效率，減少計算的時間?；叶然髨D像僅保存其亮度信息，不會使圖像模糊化。經(jīng)過綜合比較，本文選擇加權平均值法的灰度化方法對彩色圖像進行灰度化，其數(shù)學模型如公式（1）所示[17]。

式中，f（i, j）是灰度化后圖像的像素值，范圍是[0,255]；R（i, j）、G（i, j）和B（i, j）分別表示紅色、綠色、藍色三原色分量，權值分量為0.299、0.587、0.114。加權平均法灰度化前后對比如圖5所示。

圖5 圖像灰度化前后對比圖Fig.5 Comparison before and after image grayscale

1.2.5.2 圖像的去噪 在金絲皇菊分級裝置傳送的過程中，采集到的金絲皇菊圖像往往易受到外界環(huán)境的干擾，圖像轉換和存儲過程中也容易受到處理過程的影響，產(chǎn)生大量噪聲，因此應該先對其去噪處理。根據(jù)分級系統(tǒng)的實際需求，綜合比較常見的去噪方式[18]。本文采用去噪效果較好的3×3中值濾波去噪模板對金絲皇菊圖像去噪處理。如圖6所示。

圖6 圖像去噪前后對比圖Fig.6 Comparison before and after image denoising

1.2.5.3 圖像增強 圖像的增強也是圖像預處理的重要方法[19]，圖像增強能夠讓金絲皇菊的圖像信息變得更加明顯，圖像經(jīng)過直方圖均衡化，灰度值像素變得更加明顯，圖像對比度增強能夠使得圖像的明亮程度得以提高，使得圖像輪廓的清晰度更高。綜合以上兩種圖像增強的優(yōu)勢，本文選擇直方圖均值化和對比度增強相結合的方式完成圖像的增強，即先對圖像進行直方圖均值化，再進行對比度增強。效果如圖7所示。

由圖7可知，對金絲皇菊圖像進行增強處理，能夠使得圖像像素點的動態(tài)范圍擴大，且金絲皇菊的局部特征得到細化，有利于金絲皇菊圖像的深度處理。

圖7 圖像增強效果圖Fig.7 Image enhancement rendering

1.2.6 顏色特征的提取 根據(jù)系統(tǒng)的實際需求，為了更加全面有效地對金絲皇菊圖像顏色特征進行提取和分析，本文選擇RGB模型[20]表達金絲皇菊的色澤信息。應用RGB模型對色度不同的金絲皇菊圖像進行分析，得到色度的直方圖，通過色度直方圖上像素點和有色區(qū)域像素點的比例，可以實現(xiàn)金絲皇菊顏色的準確識別。如圖8 所示，選取二級金絲皇菊和等級外金絲皇菊圖片各1張，對兩張不同等級的圖像作比較，實現(xiàn)金絲皇菊顏色等級的判定。

圖8 金絲皇菊圖像RGB分析Fig.8 RGB analysis of Imperial Chrysanthemum image

1.2.7 金絲皇菊直徑大小與完整度判定 若要準確判定金絲皇菊的等級，需要完成對直徑不同與完整度不同的金絲皇菊圖像做具體判定。本文運用圖像分割的方法對金絲皇菊的完整度進行判別，通過邊緣檢測的方法完成金絲皇菊直徑大小的判定和計算。

1.2.7.1 圖像分割 為了辨別金絲皇菊圖像的完整度，需要將金絲皇菊圖像的背景部分和金絲皇菊圖像進行分割。本文采用閾值分割的方式，將金絲皇菊圖像中灰度值高于閾值T的部分設置為1，低于T的部分設置為0，最后形成白色的金絲皇菊區(qū)域和黑色的背景區(qū)域[21]。表達式如公式（2）所示。

其中，f（x, y）是原始灰度圖像；T為閾值；g（x）閾值分割后的圖像。效果如圖9所示。

圖9 金絲皇菊圖像分割效果Fig.9 Image segmentation effect of Imperial Chrysanthemum

由于在圖像采集的過程中，相機、光源、相機與目標的距離等客觀因素均相同。因此，本文可直接通過圖像分割的方式，在分級系統(tǒng)中設定合適的閾值即可判定金絲皇菊的完整度。

1.2.7.2 圖像邊緣提取 對直徑不同的金絲皇菊做具體判定。根據(jù)系統(tǒng)的實際需求，本文采用Canny算子[22]以對金絲皇菊輪廓區(qū)域的邊緣進行檢測。主要通過以下步驟完成。

首先，通過高斯平滑濾波器處理原圖像f（x, y），得到圖像g（x, y），如公式（3）所示；

其中，σ為高斯函數(shù)分布的標準差。

其次，對圖像x,y方向上的偏導數(shù)進行計算，如公式（4）和（5）；

梯度幅值為：

公式（6）中，M（x,y）表示圖像邊緣強度；公式（7）中方向角θ (x,y)表示圖像的邊緣方向。

再次，對梯度幅值進行非極大值抑制操作；

最后，采用雙閾值法的原理對圖像的邊緣進行檢測與連接。圖10為分割后的圖像Canny邊緣檢測的效果圖。

圖10 金絲皇菊Canny邊緣檢測效果Fig.10 Canny edge detection effect of Imperial Chrysanthemum

通過Canny邊緣檢測提取出邊緣圖區(qū)，設定合適的閾值對金絲皇菊的平均直徑進行分析計算，確定金絲皇菊的等級。

2 結果與分析

2.1 金絲皇菊智能分級系統(tǒng)的搭建

根據(jù)金絲皇菊智能分級系統(tǒng)的實際功能需要和軟件部分設計需求，通過MATLAB[23?25]對采集到的圖像進行處理及算法編寫，在Microsoft Visual Studio 2017[26]平臺搭建軟件界面，完成金絲皇菊智能分級系統(tǒng)的搭建工作。其主要的工作界面情況如圖11所示。

圖11 金絲皇菊智能分級系統(tǒng)工作界面Fig.11 Working interface of Imperial Chrysanthemum intelligent grading system

如上圖所示，“初始化”按鈕的作用是清零，使系統(tǒng)恢復到全部為零的初始狀態(tài)；鼠標點擊“開始”按鈕，分級系統(tǒng)開始工作，對金絲皇菊在工業(yè)相機視野范圍內的圖像進行實時檢測；檢測結果一并顯示在“當前分級結果”區(qū)域，本區(qū)域可以根據(jù)系統(tǒng)的分級標準實時顯示當前金絲皇菊的分級；檢測已經(jīng)完成的結果顯示在“已完成”分級區(qū)域，此區(qū)域可以對檢測的結果進行實時計數(shù)；點擊“停止”按鈕可以實時結束檢測；點擊“退出”按鈕可以退出整個系統(tǒng)，返回到電腦桌面。

2.2 系統(tǒng)分級與人工分級對比

選取1500朵金絲皇菊進行分級測試，前文已經(jīng)將金絲皇菊劃分為特級、一級、二級、三級、等級外五個等級。同時，設定人工肉眼分級作為金絲皇菊對照組，整體的分級結果對比如表2所示。

表2 金絲皇菊系統(tǒng)分級與人工分級結果對比Table 2 Comparison of systematic classification and artificial classification of Imperial Chrysanthemum

由表2可知，金絲皇菊智能分級系統(tǒng)的整體分級準確率和人工相比達到了97.6%。同時對整個金絲皇菊分級速度進行了計時，金絲皇菊智能分級系統(tǒng)對1500朵金絲皇菊完成分級所花的時間為406 s，平均速度為3.7 朵/s；人工分級用了2124 s，平均速度為0.71 朵/s。由此可見，金絲皇菊智能分級系統(tǒng)的平均分級速度為人工分級平均速度的5倍多，而且由于人工容易產(chǎn)生勞累，后期的分級速度越來越慢。

2.3 圖像處理的穩(wěn)定性

為了能夠驗證不同金絲皇菊圖像的處理速度的穩(wěn)定性和不同等級金絲皇菊圖像處理速度的差異性，選取已經(jīng)分級完成的金絲皇菊圖像各30張，輸入到分級系統(tǒng)，計算金絲皇菊圖像處理時間，實驗結果如表3所示。

表3 金絲皇菊圖像處理時間統(tǒng)計Table 3 Statistics of image processing time of Imperial Chrysanthemum

由表3可知，處理不同等級的金絲皇菊圖像平均耗時基本相差不大，說明金絲皇菊智能分級系統(tǒng)圖像處理速度的穩(wěn)定性較高。

由表2和表3實驗數(shù)據(jù)可以得知，基于機器視覺的金絲皇菊智能分級系統(tǒng)具有分級速度快、分級準確率高的特點，并且相對于人工分級，金絲皇菊智能分級系統(tǒng)不僅速度快而且可以長時間工作，保持著較高的工作效率和較高的工作穩(wěn)定性，分級標準也與系統(tǒng)設置的標準保持一致，減少了主觀性。因此，此分級系統(tǒng)能夠滿足食品工業(yè)智能化生產(chǎn)的需求。

3 結論

研究了一種基于機器視覺的金絲皇菊智能分級系統(tǒng)。通過圖像灰度化、去噪、增強完成金絲皇菊圖像的預處理，通過RGB模型完成金絲皇菊的顏色特征的提取的識別，運用邊緣檢測完成金絲皇菊花徑的測量和輪廓的提取。結果表明：金絲皇菊智能分級系統(tǒng)的整體分級準確率和人工相比達到了97.6%。同時對整個金絲皇菊分級速度進行了計時，金絲皇菊智能分級系統(tǒng)對1500朵金絲皇菊完成分級所花的時間為406 s，平均速度為3.7 朵/s；人工分級用了2124 s，平均速度為0.71 朵/s，金絲皇菊智能分級系統(tǒng)的分級效率較高、分級結果準確，能夠有效替代人工分級，滿足食品工業(yè)智能化生產(chǎn)的需求。但是目前還存在一些不足，分級準確率和分級速度還需要提高，期望通過提高金絲皇菊生產(chǎn)線傳送帶傳送的速度、改進圖像處理算法，將其分級準確率提高到99%以上、分級速度達到每秒5朵以上。本分級系統(tǒng)只測試了金絲皇菊，為機器視覺技術在花茶分級領域提供了實際案例與技術參考，后續(xù)可以進行其他花茶領域的研究。