柑橘全表面色澤在線檢測與分級系統(tǒng)

李 浪 文 韜 代興勇 王志宇

(中南林業(yè)科技大學(xué)機電工程學(xué)院，湖南 長沙 410004)

表面色澤均勻程度是消費者挑選柑橘的重要指標(biāo)。目前普遍采用機器視覺技術(shù)對柑橘進行色澤分選，該技術(shù)重點在于獲取柑橘表面的顏色信息，根據(jù)顏色等級完成分級。

為了有效獲取柑橘的全表面信息，許多學(xué)者對此做了大量研究。張俊雄等[1]搭建了雙通道柑橘計算機視覺分級系統(tǒng)，利用單個相機在柑橘傳輸時采集其在不同工位的圖像以減少盲區(qū)，但獲取的重復(fù)信息難以去除，且只能識別純色柑橘。王旭等[2]采用單個相機通過兩面呈一定角度的平面鏡獲取圖像，可以獲得柑橘完整且無重復(fù)的表面信息。然而圖像經(jīng)平面鏡成像后再被相機獲取存在較大的畸變,對后續(xù)的圖像處理會造成一定的影響[3]。王干等[4]采用3個攝像頭圖像采集裝置，每個果實采集3個工位的頂部和兩側(cè)3個方向共 9 幅圖像對柑橘的尺寸和缺陷進行檢測，可以保證信息不遺漏且不會產(chǎn)生畸變，但3個相機的信息難以同步，給數(shù)據(jù)傳輸和處理增加了難度。

為解決柑橘全表面信息獲取存在信息漏采、冗余，圖像畸變，分選精度低，正確率不高等問題，研究擬采集翻滾機上柑橘序列幀圖像，對每一幀圖像進行分割、除噪等處理，提取柑橘二維投影圖像黃色著色比并以二維著色比的平均值作為柑橘表面著色率，以此判斷柑橘等級，旨在實現(xiàn)柑橘色澤在線無損檢測與分級。

1 分選系統(tǒng)總體設(shè)計

1.1 總體結(jié)構(gòu)設(shè)計

柑橘在線分選系統(tǒng)整機結(jié)構(gòu)如圖1所示，其中，上料單元包括提升機和排序機構(gòu)，主要功能為將柑橘成單列投入鏈?zhǔn)捷斔蜋C構(gòu)中。鏈?zhǔn)捷斔蜋C構(gòu)由鏈條驅(qū)動，果杯被均勻地布置在鏈條上以承載柑橘。分果單元包括打果器和分果箱，該單元對柑橘進行分選、收集?？刂撇糠植捎糜嬎銠C作為上位機，完成圖像的采集和實時處理并對系統(tǒng)運行進行總體控制；可編程邏輯控制器(PLC)作為下位機，執(zhí)行上位機的命令對外部單元動作進行控制，兩者之間通過 TCP/IP 協(xié)議進行通信。

圖1 整機結(jié)構(gòu)示意圖

1.2 圖像采集系統(tǒng)

為了避免外部環(huán)境帶來的影響，在鏈?zhǔn)捷斔蜋C構(gòu)上搭建如圖2所示的全封閉圖像采集系統(tǒng)。系統(tǒng)主要功能為在可見光范圍內(nèi)對柑橘外部色澤進行檢測與分級，為滿足檢測需求在采集系統(tǒng)的側(cè)壁上布置4條長條形LED光源，安裝漫反射板，以漫反射的方式進行補光，保證良好照明條件的同時避免光源直射柑橘表面產(chǎn)生耀斑，影響成像質(zhì)量。

圖2 圖像采集系統(tǒng)

作業(yè)時，上料單元將柑橘逐個輸送到傳送鏈的果杯上，傳送鏈在電機帶動下勻速轉(zhuǎn)動使柑橘依次通過圖像采集系統(tǒng)。采集系統(tǒng)下方設(shè)計了皮帶翻滾模塊，果杯上的雙錐滾子和皮帶接觸，兩者之間速度差產(chǎn)生的摩擦力使得滾子繞其軸線旋轉(zhuǎn)，帶動柑橘前進的同時不斷翻滾，將各個面暴露在相機視野下，最后系統(tǒng)通過RJ45千兆以太網(wǎng)接口將采集到的動態(tài)幀圖像傳輸?shù)接嬎銠C進行處理。工業(yè)相機固定在圖像采集系統(tǒng)的正上方，鏡頭與柑橘物距為700 mm。為了獲取更全面的柑橘表面信息，將相機幀率設(shè)置為60幀/s，圖像像素設(shè)置為1 136像素×240像素以提高圖像處理速度，相機視野范圍為6個果杯區(qū)域。

1.3 控制系統(tǒng)

控制系統(tǒng)用于控制柑橘上果、運輸、檢測、分級、打果等過程，控制系統(tǒng)的工作原理如圖3所示。

圖3 控制系統(tǒng)原理圖

將柑橘放入上料單元后，PLC控制上果和排序，傳送鏈將柑橘運送至圖像采集系統(tǒng)。為了監(jiān)控果杯的實時位置并判別果杯上是否有柑橘，在系統(tǒng)上安裝對射式光電傳感器A、B，傳感器A位于圖像采集系統(tǒng)入口與傳送鏈等高處，當(dāng)傳送鏈每移動一個果杯長度時，傳感器A發(fā)送1次脈沖信號至計算機。傳感器B位于傳感器A正上方與柑橘樣品同一水平高度處，當(dāng)進入圖像采集系統(tǒng)的果杯上有柑橘時，傳感器B發(fā)送脈沖信號至計算機。系統(tǒng)運行時，在計算機軟件系統(tǒng)中創(chuàng)建一個果杯信息隊列以存儲圖像信息，當(dāng)系統(tǒng)僅接收到A信號時，表明新進入圖像采集系統(tǒng)的果杯為空，在果杯隊列尾部添加一個空果杯對象；當(dāng)系統(tǒng)同時接收到A、B信號時，表明進入圖像采集系統(tǒng)的果杯上有柑橘，在隊列尾部添加一個有果果杯對象，使得信息隊列中的成員與果杯同步移動，以此判斷果杯位置。

圖像處理完成后，控制系統(tǒng)將提取的信息儲存到柑橘對應(yīng)的果杯對象上，在柑橘離開視覺采集系統(tǒng)時，發(fā)出分選信號，PLC分析等級信號控制對應(yīng)打果器動作實現(xiàn)分選。

1.4 分選系統(tǒng)

柑橘色澤分選系統(tǒng)工作流程如圖4所示。調(diào)節(jié)光源控制器至合適亮度后，啟動所有電機，設(shè)定生產(chǎn)速度，并根據(jù)生產(chǎn)速度調(diào)整打果器提前或延遲動作的時間，待系統(tǒng)穩(wěn)定運行后開始上料，柑橘成單列進入鏈?zhǔn)捷斔蜋C構(gòu)向分選系統(tǒng)末端運動，當(dāng)其進入圖像采集區(qū)域時，工業(yè)相機對運動柑橘進行拍攝，傳送給計算機進行分析，判定分級結(jié)果后，將分選控制指令發(fā)送至PLC。當(dāng)柑橘到達對應(yīng)的類別所在位置時，PLC控制打果器擊打果杯將柑橘推送至對應(yīng)的分果箱，完成柑橘在線分級。

圖4 系統(tǒng)工作流程

2 柑橘全表面著色率在線計算算法設(shè)計

2.1 二維著色比特征信息提取

由于難以將柑橘原始RGB圖像的黃色和綠色區(qū)域較好地分割開[5-7]，因此將采集的原始樣本圖像從RGB顏色空間轉(zhuǎn)換為H、S、V顏色空間。獲得的H、S、V通道直方圖如圖5所示，其中V通道有明顯的雙峰結(jié)構(gòu)，適合對圖像進行分割。根據(jù)V通道直方圖的橫坐標(biāo)顯示，柑橘最佳分割閾值為18～30。由于綠色區(qū)域亮度較低，閾值過高對綠色信息耗損較多，經(jīng)過多次試驗得出閾值取20時[8]，圖像分割效果較好。柑橘果皮色澤的橙色、黃色在H通道中范圍為(11，34)，根據(jù)實際試驗劃分效果選取(16，21.5)。 最終確定H、S、V通道中：柑橘取值范圍為：H∈(0，180),S∈(0, 255)，V∈(20, 255)；黃色區(qū)域取值范圍為：H∈(16，21.5),S∈(0, 255)，V∈(20, 255)。

通過H、S、V通道范圍提取的柑橘二值圖像存在小區(qū)域噪聲[圖6(a)]。為去除噪聲，設(shè)定輪廓閾值(A)，將小于A的柑橘輪廓剔除[9]。通過對不同閾值結(jié)果進行比較得知，A=6 000時能保留完整的柑橘信息，且背景區(qū)域的噪聲不會影響柑橘輪廓信息，如圖6(b)所示。

圖5 柑橘H、S、V通道直方圖

圖6 去噪前、后的柑橘二值圖像

為了獲取柑橘對應(yīng)黃色區(qū)域面積，以柑橘的最小外接矩形[10]為界，對每個矩形框圖進行分割,提取柑橘黃色區(qū)域如圖7(a)所示。由于柑橘黃色區(qū)域比較零散，數(shù)目較多，對黃色面積求和耗時較長。因此對黃色區(qū)域進行開閉運算、中值濾波等操作從而連通或消除小輪廓區(qū)域，以減少處理時間，最終結(jié)果如圖7(b)所示。按式(1)計算柑橘的二維著色比。

(1)

式中：

H——二維著色比，%；

M——單個黃色區(qū)域的像素個數(shù)；

N——柑橘區(qū)域的像素總數(shù)量。

圖7 分割處理前、后得到的柑橘黃色區(qū)域

2.2 輪廓排序

柑橘從左往右以固定順序通過圖像采集系統(tǒng)，圖像處理算法輸出的柑橘輪廓根據(jù)輪廓上像素點Y坐標(biāo)從大到小排序，若存在Y坐標(biāo)相同的情況則根據(jù)X坐標(biāo)從大到小排序。而當(dāng)柑橘處于運動狀態(tài)時，Y坐標(biāo)難以固定，不同圖片提取的著色比順序混亂，給后續(xù)分選控制帶來一定的困難。因此在計算二維著色比之前，對輪廓以最小外接矩形中心點橫坐標(biāo)值按柑橘運動方向進行冒泡排序，使輪廓與柑橘順序一致。

2.3 幀圖像柑橘動態(tài)信息跟蹤

幀圖像的動態(tài)處理過程為對相機拍攝的連續(xù)幀圖像進行分割和排序處理[11]，得到柑橘運動狀態(tài)下的二維著色比，再將二維著色比儲存到果杯信息隊列中(見圖8)。圖8 中圓形代表提取的柑橘二維著色比信息，方框代表果杯，數(shù)字代表柑橘順序。每當(dāng)一個新果杯完全進入圖像采集系統(tǒng)時，計算機果杯信息隊列尾部添加一個新成員，當(dāng)果杯未完全進入圖像采集系統(tǒng)時，此柑橘對應(yīng)的果杯未添加到隊列信息中，圖像處理算法則會去除掉此柑橘輪廓，即圖8中a部分的第二幀。之后，從首個特征值開始依次從計算機信息隊列尾部向前輪詢，空果杯跳過，有果的果杯則進行儲存。對每一幀圖像都做上述處理，即可完成柑橘運動信息跟蹤，在柑橘離開圖像采集系統(tǒng)時，計算出表面著色率。圖8中b部分為動態(tài)幀圖像拍攝時對應(yīng)的計算機果杯隊列信息儲存方式。

圖8 柑橘動態(tài)信息跟蹤示意圖

2.4 表面著色率計算

饒秀勤[12]采用球帶法對二維投影圖像進行積分計算表面占比，但單幅圖像的處理時間達1 s以上，達不到在線檢測需求。而采用柑橘多工位圖像法計算著色率存在計算量大且重復(fù)計算的問題。因此，試驗所建系統(tǒng)通過工業(yè)相機配合翻滾機構(gòu)獲取多幀柑橘運動中的圖像，使各個面能多次、均勻地出現(xiàn)在相機視野中。取多幀圖像的二維著色比算術(shù)平均值記為表面著色率P，以降低圖像中重復(fù)區(qū)域?qū)Ω涕俦砻嬷视嬎愕挠绊懀词?2)計算P值。在柑橘離開工業(yè)相機視野范圍時，計算柑橘表面著色率并對其等級進行判斷，將等級信息發(fā)送至PLC驅(qū)動對應(yīng)執(zhí)行機構(gòu)完成分級。整體計算流程如圖9所示。

(2)

式中：

P——表面著色率，%；

H——二維著色比，%；

n——信息提取次數(shù)。

圖9 柑橘表面著色率計算算法

3 驗證實驗

3.1 試驗設(shè)計

為驗證系統(tǒng)能否獲取柑橘全表面信息，以及識別柑橘色澤的精度和準(zhǔn)確性，隨機挑選148個黃綠相間的柑橘樣本對搭建樣機進行試驗。① 柑橘表面暴露率試驗[13]：試驗隨機取5個樣本外柑橘用數(shù)字1～6分別標(biāo)記每個柑橘的果梗、果蒂以及赤道面呈90°分布的4個點(見圖10)，以檢測到的特征點數(shù)(不包括重復(fù)出現(xiàn)的特征點)與柑橘標(biāo)記的總特征點數(shù)的比值記為柑橘表面暴露率，重復(fù)5次取平均值記為最終結(jié)果；② 精度檢測試驗：隨機挑選6個柑橘樣品和3個標(biāo)準(zhǔn)球，柑橘樣本由人眼進行觀察，得到表面黃色著色率，標(biāo)準(zhǔn)球的黃色著色率分別為75%，50%，25%，每個樣本測量10次，取10次分選系統(tǒng)檢測值與人工觀察色澤之差絕對值最大的結(jié)果作為系統(tǒng)檢測精度；③ 柑橘在線色澤分選試驗：首先由人工對柑橘樣本按黃色面積占比：80%～100%，60%～80%，40%～60%，20%～40%，0%～20%分為一、二、三、四、五等果，并對其等級進行標(biāo)記，作為系統(tǒng)色澤評判標(biāo)準(zhǔn)。試驗速度均取6個/s。

圖10 柑橘特征點

3.2 結(jié)果與分析

3.2.1 柑橘表面暴露率 單個柑橘的檢測周期約為1 s，軟件系統(tǒng)拍攝了50幀翻滾狀態(tài)的柑橘圖像，特征點統(tǒng)計如表1所示。

表1 柑橘表面信息獲取結(jié)果

由表1可知，柑橘的每個面都能夠出現(xiàn)多次，且各個面出現(xiàn)的次數(shù)基本相同，計算得柑橘表面暴露率為100%，原因是輸送機構(gòu)前進時帶動柑橘翻滾，促使工業(yè)相機從單一方向獲取柑橘完整的表面信息。

3.2.2 精度 由表2可知，由于1、6號柑橘為純色，每幀圖片的著色比單一，所以結(jié)果較為準(zhǔn)確。其他樣本經(jīng)過10次檢測，檢測值與實際結(jié)果基本一致，最大誤差為5%，雖然單次檢測結(jié)果與標(biāo)準(zhǔn)值有所區(qū)別，但整體平均絕對誤差較小(為1.92%)，穩(wěn)定性較好。造成單次檢測誤差的原因是相機均勻拍攝柑橘表面信息時偶然出現(xiàn)柑橘部分面信息獲取次數(shù)過多，造成單次結(jié)果誤差較大。研究提出的柑橘表面色澤測量方法簡單、誤差較小，能夠滿足實際分選精度要求。

表2 柑橘精度檢測試驗

3.2.3 準(zhǔn)確率 由表3可知，以人工分選結(jié)果為標(biāo)準(zhǔn)，系統(tǒng)與人工的一致度為90.54%。其中一等果和五等果由于單一顏色占比較高使得分選正確率為94%以上。二、三、四等果中部分柑橘處在區(qū)間邊緣，肉眼難以精確判斷，導(dǎo)致與人工判別不一致，另有3個柑橘在離開視覺檢測區(qū)域時，由于摩擦帶的坡度落入前一個果杯的滾子上，執(zhí)行機構(gòu)動作時將柑橘帶入至其他等級果箱中。對比兩種分選方式，人工分選識別效率約0.5個/s，在線分選系統(tǒng)約6個/s。分選系統(tǒng)效率約為人工分選的12倍，且能連續(xù)穩(wěn)定工作，優(yōu)勢顯著。

表3 柑橘色澤特征檢測試驗

4 結(jié)論

為滿足柑橘色澤在線分選需求，研制了由上料單元、鏈?zhǔn)捷斔蜋C構(gòu)、圖像采集系統(tǒng)、控制系統(tǒng)和分果單元組成的分選系統(tǒng)。該系統(tǒng)通過均勻拍攝多幀柑橘表面圖像，將每幀圖像進行分割、排序、除噪、提取二維著色比信息取平均值作為表面著色率以降低圖像中重復(fù)區(qū)域的影響，能夠較好地對柑橘表面色澤進行分選，解決了傳統(tǒng)分類系統(tǒng)采集信息不全面、信息冗余等問題。選取148個柑橘樣品驗證系統(tǒng)精度和準(zhǔn)確率，結(jié)果表明柑橘色澤占比最大誤差為5%，分級準(zhǔn)確率為90.54%、分級速度6個/s。綜上，所建立的系統(tǒng)精度和準(zhǔn)確率較高，可用于柑橘的色澤識別和分級。后期將在此系統(tǒng)的基礎(chǔ)上采用其他方法對柑橘著色率進行直接計算，提高檢測精度。