基于Halcon的蘋果品質(zhì)視覺檢測試驗(yàn)研究

項輝宇 薛 真 冷崇杰 胡 晶

(北京工商大學(xué)材料與機(jī)械工程學(xué)院，北京 100048)

?

基于Halcon的蘋果品質(zhì)視覺檢測試驗(yàn)研究

項輝宇 薛 真 冷崇杰 胡 晶

(北京工商大學(xué)材料與機(jī)械工程學(xué)院，北京 100048)

基于視覺檢測平臺和Halcon開發(fā)環(huán)境進(jìn)行蘋果典型品質(zhì)檢測試驗(yàn)，采集圖像并處理。提取感興趣區(qū)域，找出包含蘋果的區(qū)域，用動態(tài)閾值分割的方法提取蘋果的輪廓，并計算輪廓面積，以該面積來評定蘋果的大小。對蘋果的腐爛這一典型缺陷進(jìn)行試驗(yàn)，用閾值分割的方法完成圖像分割，不同灰度值顯示為不同的顏色，據(jù)此將缺陷部分顯示出來。顏色特征的檢測是依據(jù)RGB顏色模型，采用模板匹配的方法，選取好的區(qū)域創(chuàng)建匹配模板，進(jìn)行參數(shù)設(shè)置，并根據(jù)標(biāo)準(zhǔn)顏色的R分量設(shè)定合適的閾值作為合格蘋果的顏色。該試驗(yàn)完成了水果輪廓的提取及面積的計算，實(shí)現(xiàn)了蘋果部分區(qū)域的缺陷檢測以及蘋果顏色的檢測。采用Halcon和機(jī)器視覺的方法對蘋果品質(zhì)的大小、缺陷、顏色檢測能取得較好的效果。關(guān)鍵詞：蘋果品質(zhì)；大小檢測；缺陷檢測；顏色檢測；Halcon

水果的品質(zhì)指標(biāo)主要包括水果的大小、顏色、形狀、紋理、缺陷等外在品質(zhì)和水果的糖度、酸度、營養(yǎng)物質(zhì)等內(nèi)在品質(zhì)。近年來，機(jī)器視覺的方法在水果等農(nóng)產(chǎn)品檢測上的應(yīng)用越來越廣泛。胡發(fā)煥等[1]根據(jù)提取的臍橙的顏色、果面缺陷、大小等綜合特征建立了基于支持向量機(jī)的臍橙品質(zhì)綜合評價模型，提高了檢測系統(tǒng)的識別率和實(shí)時性。劉靜等[2]提出應(yīng)用視覺系統(tǒng)開發(fā)模塊，采用面積標(biāo)定法獲得芒果缺陷圖像，利用線性回歸分析確定測量值和真實(shí)值之間的相關(guān)性，算法準(zhǔn)確且穩(wěn)定。游家訓(xùn)等[3]研究水果分級中的顏色指標(biāo)，選用色調(diào)H來判別水果顏色，并將徑向基神經(jīng)網(wǎng)絡(luò)應(yīng)用于水果顏色分級中。在蘋果分級測試中，特等果的分級正確率約為91.7%，一等果的分級正確率約為89.5%，二等果91.2%，等外果為100%。張俊雄等[4]由顏色因子2G-R-B和G值識別出山竹的果柄、果蒂和果皮，由果柄、果蒂和果皮區(qū)域形心位置判斷水果的姿態(tài)，提取水果的最大橫徑作為大小分級指標(biāo)，果徑檢測精度達(dá)到±1.8 mm。J. Blasco等[5]在柑橘分級系統(tǒng)中，獲得柑橘的可見光圖像、近紅外圖像、熒光圖像和紫外線圖像對其進(jìn)行分選，結(jié)果表明用近紅外圖像對柑橘炭疽病檢測的識別率達(dá)到86%，用紫外線圖像對柑橘綠霉病檢測識別率達(dá)到94%，而用可見光圖像對綠霉病檢測的識別率僅為65%。黃星奕等[6]對動態(tài)情況下的蘋果進(jìn)行了研究，提出了一種適用于實(shí)時在線檢測的蘋果果形計算方法。對水果等農(nóng)產(chǎn)品內(nèi)部品質(zhì)的檢測，黎移新[7]提出了基于前饋神經(jīng)網(wǎng)絡(luò)的臍橙糖度有效酸度的檢測方法。不同的學(xué)者采用不同的方法對水果品質(zhì)檢測及分級進(jìn)行了研究，水果的視覺檢測成為計算機(jī)視覺領(lǐng)域的重要應(yīng)用內(nèi)容。本試驗(yàn)在維視視覺檢測平臺上，采用基于Halcon的圖像處理方法，以蘋果為研究對象，對蘋果的大小、顏色以及是否存在缺陷進(jìn)行試驗(yàn)，為水果的視覺檢測提供一種方法。

1 材料與方法

1.1 材料與儀器

維視視覺檢測平臺：MV-BDP200型，維視數(shù)字圖像技術(shù)有限公司；

蘋果：紅富士，市售。

1.2 方法

由于大多數(shù)的水果如李子、橘子、蘋果等均近似球形，為便于研究，本研究將試驗(yàn)對象蘋果理想化為球體。圖像的采集在圖1所示的試驗(yàn)平臺上完成。開啟試驗(yàn)平臺，打開光源，將圖像采集方式設(shè)置為外觸發(fā)采集，啟動傳送帶使其運(yùn)動，當(dāng)蘋果被傳送經(jīng)過傳感器時，觸發(fā)相機(jī)采集圖像。

圖1 視覺皮帶傳送平臺

2 基于Halcon的圖像處理

隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，圖像處理的算法也不斷完善和更新。開發(fā)環(huán)境Halcon提供了一個全面的視覺處理庫，包含了所有標(biāo)準(zhǔn)和高級的圖像處理方法，覆蓋了從不同的硬件采集圖像到高級的模式匹配算法；提供了機(jī)器視覺應(yīng)用程序中常用的一些工具，如文件處理、數(shù)據(jù)分析、算法操作或分類等[8]。本研究基于Halcon開發(fā)環(huán)境，編寫了圖像處理的程序，完成了水果的大小、顏色及缺陷檢測。

2.1 圖像平滑處理

采集的圖像往往會受到噪聲的干擾，為改善圖像質(zhì)量，需要進(jìn)行濾波平滑，一般可采用均值濾波和中值濾波的方法進(jìn)行噪聲的去除[9]。本試驗(yàn)采用均值濾波的方法進(jìn)行平滑處理。均值濾波是線性濾波的一種，選擇一個(2n+1)×(2m+1)的一個窗口，根據(jù)窗口中的像素的灰度值按式(1)計算真正的灰度值。

(1)

式中：

gr,c——真正的灰度值，像素；

nr,c——一個針對每一像素的平均值為0且方差是σ2的隨機(jī)變量，像素。

均值濾波在平滑噪聲方面比較理想。試驗(yàn)所采用的算法中利用Halcon的算子mean_image(Image, ImageMean, MaskWidth, MaskHeight)進(jìn)行均值平滑濾波，多次改變參數(shù)MaskWidth，MaskHeight進(jìn)行試驗(yàn)，確定濾波效果較好的參數(shù)。

2.2 圖像分割

基于灰度閾值的圖像分割算法是通過確定合適的灰度門限來將物體和背景區(qū)分開。閾值的確定是閾值化方法的關(guān)鍵內(nèi)容，主要有邊界灰度作為閾值、直方圖雙峰法、統(tǒng)計學(xué)法等方法，大多數(shù)進(jìn)行閾值分割時采用的是直方圖雙峰法實(shí)現(xiàn)閾值分割[10]。在大多數(shù)情況下使用基于直方圖計算可以得到最佳的閾值，但是在直方圖中不滿足存在雙峰的假設(shè)時，這種方法就不能達(dá)到預(yù)期的效果。實(shí)際應(yīng)用中的不均勻照明的出現(xiàn)會移動相關(guān)的峰值或?qū)⑦@些峰值移動到錯誤的位置上，使得無法進(jìn)行正確的閾值分割處理。本試驗(yàn)中先利用直方圖雙峰的方法檢測圖像中的前景圖像，然后利用動態(tài)的閾值分割處理再分離出前景圖像中的缺陷。

先分割出水果所在區(qū)域，再對水果區(qū)域進(jìn)行圖像處理操作，可以節(jié)省處理圖像背景的時間，從而縮短了整體試驗(yàn)所需的時間。本試驗(yàn)中，在進(jìn)行圖像處理尋找蘋果區(qū)域時，利用Halcon算子draw_circle (WindowHandle, Row, Column, Radius) 和gen_circle (Circle, Row, Column, Radius) 創(chuàng)建包含水果圖像的感興趣區(qū)域，再對感興趣區(qū)域進(jìn)行圖像處理、分析，獲取感興趣區(qū)域的灰度直方圖。

2.3 模板匹配

在進(jìn)行水果顏色檢測時，需要依據(jù)合適的顏色模型，常用的顏色模型有RGB模型和HIS模型[11]。本試驗(yàn)依據(jù)RGB模型，采用了模板匹配的方法，將待檢測圖像與標(biāo)準(zhǔn)模板進(jìn)行比對分析，從而得出結(jié)論。使用RGB中R的分量設(shè)定簡單的閾值，并在其一定范圍內(nèi)進(jìn)行匹配，根據(jù)獲得的圖像色度判斷蘋果是否合格。其操作流程見圖2。

圖2 系統(tǒng)設(shè)置流程

3 圖像處理結(jié)果

3.1 蘋果大小檢測試驗(yàn)

以市售蘋果為研究對象，在試驗(yàn)平臺采集圖像后，將圖像導(dǎo)入Halcon進(jìn)行處理。圖像平滑后，提取的感興趣區(qū)域見圖3。

圖3 濾波后感興趣區(qū)

其灰度直方圖見圖4。

圖4 灰度直方圖

根據(jù)灰度直方圖設(shè)定閾值，分割蘋果的輪廓。一個好的閾值應(yīng)該對應(yīng)著直方圖中兩個峰值之間的最小值，所以試驗(yàn)中選擇兩個波峰之間谷底的最小值作為算法中threshold (Image, Region, MinGray, MaxGray) 算子中的參數(shù)MinGray，MaxGray設(shè)為255。提取的蘋果圖像見圖5。

圖5 提取到的蘋果輪廓

水果的大小衡量指標(biāo)一般包括面積、周長、體積等[12]，以蘋果圖像的面積作為蘋果大小的衡量指標(biāo)，得到的蘋果區(qū)域的面積為159 998個像素，在Halcon中顯示結(jié)果見圖6。

3.2 蘋果缺陷及顏色檢測試驗(yàn)

水果不同部位的灰度值會存在差異，尤其在缺陷部位會與正常水果存在顯著不同[13]。本試驗(yàn)采用的缺陷檢測方法是基于顏色的模板匹配法。

圖7(a)為具有缺陷的蘋果原始圖，圖7(b)是蘋果前景的灰度直方圖，可以看出該直方圖沒有明顯的雙峰，所以采用的是動態(tài)閾值的分割方法，結(jié)果見圖7(c)。不同的灰度值處顯示不同的顏色，可以清楚地將缺陷部分顯示出來。

圖6 蘋果輪廓的面積

圖7 蘋果缺陷圖像及缺陷檢測結(jié)果

圖8(a)是選取的標(biāo)準(zhǔn)模板，選取蘋果圖像好的區(qū)域作為匹配的模板進(jìn)行參數(shù)設(shè)置見圖8(b)。設(shè)置顏色閾值為±26的范圍，在此范圍內(nèi)的顏色均認(rèn)為與模板在同一等級。在慢速的實(shí)時檢測時，圖8(c)和(d)均是檢測到的結(jié)果，圖中方框內(nèi)的區(qū)域是待檢測的區(qū)域，圖8(c)檢測到的區(qū)域是完好的部分，其顏色與模板的顏色在同一個等級，判定結(jié)果為合格的蘋果，圖8(d)檢測到的區(qū)域恰好是腐爛的部分，顏色與模板的顏色不同，判定結(jié)果為不合格的蘋果。

圖8 水果顏色的檢測結(jié)果

4 結(jié)論與展望

本試驗(yàn)實(shí)現(xiàn)了低速條件下對蘋果大小、缺陷以及顏色這3種典型特征的檢測，提出了基于Halcon的圖像處理算法。用動態(tài)閾值分割的方法實(shí)現(xiàn)了蘋果輪廓的提取，并計算出其面積。根據(jù)蘋果正常區(qū)域和腐爛區(qū)域的不同顏色對應(yīng)的灰度值不同，提取出來缺陷區(qū)域。基于模板匹配的方法，將蘋果不同區(qū)域的顏色與標(biāo)準(zhǔn)模板進(jìn)行對比，區(qū)分了合格蘋果和不合格蘋果。

由于試驗(yàn)條件的影響未能對水果進(jìn)行全面的圖像采集，如表面缺陷可能會出現(xiàn)在水果的任何位置，而類似于球體的水果在進(jìn)行圖像采集時可能會因?yàn)樾螤畹幕儙砣毕莸南?，給缺陷檢測技術(shù)帶來很大的困難。在實(shí)際的生產(chǎn)中，需要對滾動的水果進(jìn)行連續(xù)的圖像采集，保證水果的各個方位均能被檢測到，才能提高檢測準(zhǔn)確率。試驗(yàn)中的不足之處在于只完成了對蘋果部分區(qū)域的檢測，還不能保證蘋果的整體部分合格與否，下一步的研究需要針對蘋果的各個區(qū)域進(jìn)行圖像采集，由綜合的試驗(yàn)結(jié)果來判斷蘋果是否合格。

[1] 胡發(fā)煥, 董增文, 匡以順. 基于機(jī)器視覺的臍橙品質(zhì)在線分級檢測系統(tǒng)[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報, 2016, 21(3): 112-118.

[2] 劉靜, 黃勇平, 章程輝. 視覺系統(tǒng)開發(fā)模塊在芒果果面缺陷檢測中的應(yīng)用[J]. 食品與機(jī)械, 2009, 25(2): 82-85.

[3] 游家訓(xùn), 陳超, 郭創(chuàng)新. 徑向基神經(jīng)網(wǎng)絡(luò)在水果顏色分級機(jī)中的應(yīng)用[J]. 輕工機(jī)械, 2008, 26(3): 24-26.

[4] 張俊雄, 荀一, 李偉. 山竹的計算機(jī)視覺分級方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2009, 40(11): 176-179, 188.

[5] BLASCO J, ALEIXOS N, MOLTE. Machine vision system for automatic quality grading of fruit [J]. Biosystems Engineering, 2003, 85(4): 415-423.

[6] 黃星奕, 魏海麗, 趙杰文. 實(shí)時在線檢測蘋果果形的一種計算方法[J]. 食品與機(jī)械, 2006, 22(1): 27-29.

[7] 黎移新. 基于前饋神經(jīng)網(wǎng)絡(luò)的臍橙糖度及有效酸度檢測[J]. 食品與機(jī)械, 2009, 25(2): 78-81.

[8] 王宏麗, 趙不賄, 孫智權(quán), 等. 基于HALCON的醫(yī)療袋缺陷檢測[J]. 包裝工程, 2015, 36(13): 125-129.

[9] 劉娟娟. 基于紅外和可見光圖像融合的蘋果缺陷檢測[D]. 南昌: 華東交通大學(xué), 2012: 29-33.

[10] STEGER C. 機(jī)器視覺算法與應(yīng)用[M]. 楊少榮, 譯. 北京: 清華大學(xué)出版社, 2008: 144-149.

[11] 閆之燁. 基于計算機(jī)視覺的蘋果顏色分級系統(tǒng)的研究[D]. 南京: 南京農(nóng)業(yè)大學(xué), 2003: 8-10.

[12] 應(yīng)義斌, 王劍平, 蔣煥煜. 水果直徑和缺陷面積的機(jī)器視覺檢測(英文)[J]. 農(nóng)業(yè)工程學(xué)報, 2002, 18(5): 216-220.

[13] 劉佳男. 基于機(jī)器視覺的水果表面缺陷識別方法的研究[D]. 無錫: 江南大學(xué), 2012: 49-50.

Experimental study of apple quality vision detection based on Halcon

XIANGHui-yuXUEZhenLENGChong-jieHUJing

(MaterialsandMechanicalEngineeringCollege,BeijingTechnologyandBusinessUniversity,Beijing100048,China)

Apple’s typical quality detection experiment was conducted on visual detection platform and the development environment Halcon in this paper. After image acquisition and processing the region of interest was extracted to find out the specific area containing the apple. Moreover, its contour was extracted using dynamic threshold segmentation method, and the area of this contour was calculated and used to assess the size of the apple. Furthermore, the typical defect fruit rot was detected using threshold segmentation method, and then the different gray values were shown in different colors. Based on different region’s colors, the defects were detected based on the colors of different regions, and the color feature was valued using RGB color model and template matching method. A good region was selected to create a template and set parameters, and then the appropriate threshold was set as a qualified color according to the standard color of the R component. In this study, the extraction and the area of the fruit contour were calculated, and the defect and color detections of apples were realized. Finally, good results in the size, defect and color detections of apples were achieved by using Halcon and machine vision methods.

apple quality; size detection; defect detection; color detection; Halcon

項輝宇(1966—)，男，北京工商大學(xué)教授，博士。

E-mail：xianghy@th.btbu.edu.cn

2016—07—21

10.13652/j.issn.1003-5788.2016.10.029