基于圖像處理的蘋果大小分級研究

杜云 鄭羽綸 張效瑋

摘 要：為了實現蘋果的智能分揀，在GB/T 10651-2008《鮮蘋果》的標準下，采用圖像處理方法對分揀系統(tǒng)中的蘋果大小進行分級。首先，針對同一種類的蘋果，對攝取到的蘋果表面圖像進行圖像預處理，得到平滑且無噪聲影響的蘋果二值圖;然后，通過尋找每個蘋果5幅表面圖像中最小外接矩形長寬比最接近1的蘋果圖像，依此作為獲取蘋果最大橫截面直徑的重要依據;最后，通過尋找蘋果圖像質心，將質心與目標像素點的最大距離作為半徑，用最小外接圓的方法得到蘋果的最大橫截面直徑。實驗研究表明：選取的30個紅富士蘋果，最終得到系統(tǒng)分級正確率為93.3%，系統(tǒng)的平均分級時間在1.5 s以內，滿足實際蘋果分級的需要。所提出的方法可為按照行業(yè)標準對蘋果進行大小分級提供參考。

關鍵詞：圖像處理;最小外接矩形;最小外接圓;蘋果;分級

中圖分類號：TP391?文獻標志碼：A

doi： 10.7535/hbgykj.2019yx06007

文章編號：1008-1534（2019）06-0410-05

Abstract：In order to realize intelligent sorting of apples， under the Chinese standard GB/T10651-2008 Fresh Apples， image process method is used for apple size grading in sorting system. Firstly， the surface images of the same kind of apples are taken and preprocessed， and a smooth and noise-free binary is obtained. Then the image with the smallest circumscribed rectangle aspect ratio closest to 1 in the five images is searched， which serves as an important basis for obtaining the largest cross section of the apple. Finally， by searching apple image centroid， the maximum distance between the centroid and the target pixel is searched， which serves as a radius. The maximum diameter of the apple is obtained by the method of the smallest circumscribed circle. The experimental research shows that for the 30 Fuji apples selected in this experiment， the accuracy rate of system classification is 93.3%， the average grading time is less than 1.5 s， which meets the needs of actual apple grading. The study can provide reference for automatic sorting of apples by size under the industry standard.

Keywords：image processing; the minimum enclosing rectangle; the minimum circumscribed circle; apple; grading

中國蘋果產銷量居世界首位[1]，傳統(tǒng)的蘋果分級由人工完成，長期以來，其劣勢逐漸顯現[2]。因此，智能分揀是當今蘋果分級的主要任務，而大小又是蘋果分級的重要參考指標。國內外專家做了許多基于圖像處理的蘋果大小分級研究，其中PAULUS等[3]提出以表面積、直徑和體積作為蘋果大小分級的指標。應義斌等[4]通過尋找柑橘的最小外接矩形的最大橫徑數來求取柑橘的大小，隨之也被應用到了蘋果大小的檢測中。馮斌等[5]通過果梗側外形確定軸向，取垂直軸向的最大寬度作為水果大小。

陳艷軍等[6]通過比較3幅蘋果圖像的最大直徑來確定蘋果實際大小，還通過多元線性回歸原理找到3個最大直徑與蘋果實際大小的擬合關系。除此之外，蘋果大小檢測還有當量直徑法、投影面積法和平均半徑法等[7]。而根據鮮蘋果分級標準[8]，需選取蘋果最大橫截面直徑作為測量依據。因此，本文選取垂直拍攝果徑面的圖像作為獲取最大橫截面直徑的參考，再利用最小外接圓得到蘋果的直徑，最后依據分級標準判斷大小等級。

1?蘋果分揀系統(tǒng)

蘋果分揀系統(tǒng)主要由水果輸送裝置、圖像采集系統(tǒng)、圖像處理系統(tǒng)和分揀系統(tǒng)組成[9]。其中水果輸送裝置選用市場上廣泛應用的滾子式輸送結構，如圖1所示。其主要工作原理是：整個裝置由一條循環(huán)輸送鏈帶動，摩擦表面的滾子由于摩擦作用繞滾子軸轉動并前進，而相鄰的2個滾子之間有一“凹型槽”，蘋果正好處于“凹型槽”上，隨著滾子翻轉滾動并向前輸送[10]，蘋果的所有表面都會被相機獲取，這也保證了蘋果采集的完整性。水果輸送過程中的實際狀態(tài)如圖2所示。將相機采集到的圖像傳送到處理系統(tǒng)進行分析，獲得蘋果等級結果，然后控制模塊將指令傳遞到分級執(zhí)行機構，使蘋果在對應分類級別的位置落下，從而實現分級[11]。

2?蘋果圖像預處理

2.1?圖像采集

根據蘋果在輸送中的實際運動狀態(tài)以及相機攝取到的多姿態(tài)蘋果圖像，在實際操作中發(fā)現，5幅圖像就能包含蘋果的所有表面，因此將獲取到的每個蘋果的5幅圖像作為研究對象，如圖3所示。

2.2?圖像二值化

將采集到的蘋果彩色圖像進行二值化處理，得到像素值為0的黑色背景和像素值為1的目標圖像[12]。具體方法為先將彩色圖像進行灰度化處理，利用如下語句實現：

其次，利用Qtsu圖像分割將灰度圖轉換成二值圖，通過計算方差尋找最合適的灰度級作為閾值，使劃分區(qū)域的兩部分差別最大，Qtsu法的語句實現如下：

2.3?形態(tài)學去噪

圖像二值化后，目標區(qū)域可能會有小的孔洞出現，因此用圖像形態(tài)學進行去噪處理，填補小孔洞，細化邊緣[13]。使用圓形結構進行形態(tài)學閉操作處理，語句實現如下：

對于采集到果梗面或有缺陷的圖像，上述操作后還會有較大孔洞出現，因此使用imfill函數填充較大孔洞，語句實現如下。

圖像預處理結果如圖4所示。

3?最小外接圓分級

3.1?果徑面的確定

鮮蘋果分級標準規(guī)定，取蘋果最大橫截面直徑作為蘋果大小等級的判斷標準。通過觀察可以發(fā)現，由于蘋果是立體圖形，蘋果以正立形式（果梗上置）放置時，獲取到的蘋果主視圖圖像的最大直徑不一定是蘋果的最大橫截面直徑，而此時的俯視圖，也就是垂直于果徑拍攝的圖像，它的最大直徑可以作為大小等級劃分的重要依據。進一步觀察發(fā)現，對于大多數蘋果，尤其是形狀不規(guī)則的蘋果而言，垂直于果徑拍攝的圖像比其他姿態(tài)時的圖像更加接近于圓形[14]。因此，可以利用圖像最小外接矩形長寬比這一指標來尋找最接近圓形的圖像[15]。而且長寬比數值越接近于1，圖形越接近于圓，所以可用式（1）來求取圖像最小外接矩形長寬比與1的差值，差值最小的圖像即為所確定的果徑面的圖像。

3.2?最小外接圓圓心確定

確定好果徑面后，就要對果徑面求取它的最大直徑，將其作為蘋果的實際大小，本文用最小外接圓法求取直徑。首先就要確定最小外接圓的圓心，將蘋果圖像的質心作為最小外接圓的圓心，計算蘋果二值圖目標區(qū)域的總像素數，記作s，質心坐標可以通過求取二值圖目標像素的平均像素點獲得[16]，如式（2）和式（3）所示。

3.3?最小外接圓半徑確定

確定好最小外接圓圓心后，通過尋找圖像坐標與圓心坐標的距離，距離值最大的即為最小外接圓半徑。首先，設初始半徑為2個像素點，再遍歷各個像素點，利用兩點間距離公式，如式（4）所示，計算此時像素點與圓心的距離，如果大于當前半徑，則此距離作為新的半徑，最終迭代更新得到最小外接圓半徑。

最終在二值圖的基礎上，根據圓心和半徑畫出圖像的最小外接圓，如圖5所示。

3.4?圖像標定

系統(tǒng)通過最小外接圓法得到蘋果直徑的單位為像素，而蘋果實際直徑單位是毫米，因此需要進行單位轉換。具體方法：選取一標準形狀的球體，利用圖像采集系統(tǒng)進行球體的圖像采集，然后運用計算機繪圖軟件，如Photoshop進行球體直徑的測量，得到的球體直徑為d像素，而球體的實際直徑為D mm，則系統(tǒng)的標定系數k如式（5）所示：

用標定系數k與系統(tǒng)測量的蘋果直徑進行轉換，就可以得到實際的蘋果直徑。

4?蘋果分級結果分析

4.1?單一蘋果果徑面的選取與測量

將一個蘋果樣本在光箱中進行不同姿態(tài)拍攝，獲取5幅圖像（保證提取到所有表面圖像），經過圖像處理與分析后，選擇5幅圖像中最小外接矩形長寬比最接近于1的圖像，也就是垂直于果徑拍攝的圖像作為果徑面，如表1所示。由表1可知5幅圖像中最小外接矩形長寬比與1差值最小的是0.015，因此選擇圖像5作為果徑面。然后用最小外接圓方法測量圖像5的直徑大小，通過圖像標定，最終系統(tǒng)測量蘋果樣本的大小為79.05 mm，而用游標卡尺測量出實際大小為77.82 mm，兩尺寸相差不大，絕對誤差為1.23 mm。

4.2?蘋果大小分級結果

采用同樣的方法，隨機選取30個同一品種的紅富士蘋果作為研究對象，依次測量蘋果的直徑，參考《鮮蘋果》分級標準和實際選取的蘋果果徑大小，將各級之間的分割閾值確定為85，80，75 3個閾值，其中蘋果直徑大于85 mm的為一級果，80～85 mm的為二級果，75～<80 mm的為三級果，小于75 mm的為四級果。實驗中，首先用游標卡尺分別測量30個蘋果的實際果徑大小，并編號標記;其次，按照編號依次獲取每個蘋果的5幅圖像;最后，系統(tǒng)確定果徑面并測量直徑大小，與蘋果實際直徑進行對比，分出等級，如表2所示。

實驗結果顯示，在對30個蘋果進行大小分級后，有28個蘋果分級正確，2個蘋果分級錯誤。因此，使用本方法最終得到的蘋果大小分級準確率為93.3%。

5?結?語

本文對蘋果大小分級問題進行了研究，首先對獲取到的蘋果表面圖像進行預處理，得到二值化圖像，然后將垂直果徑的拍攝面圖像作為尋找蘋果最大橫截面直徑的重要依據，其中通過對相機獲取到的每個蘋果的5幅表面圖像進行最小外接矩形長寬比的比較，將比值最接近于1的圖像作為最終的果徑面。得到果徑面后，采用最小外接圓法得到蘋果的直徑，并將單位轉換成毫米，實驗選取30個紅富士蘋果進行實驗驗證，最終分級準確率為93.3%，系統(tǒng)平均分級時間在1.5 s以內，滿足實際蘋果分級的需要。但在蘋果每個表面都近似圓形的情況下，就會影響果徑面的選擇，進而導致蘋果大小分級錯誤。針對這種情況，如何選取果徑面是下一步研究的重點。

參考文獻/References：

[1]龐桂娟，張復宏，宋曉麗.我國蘋果產業(yè)轉型升級路徑與對策[J].合作經濟與科技，2018（23）：22-25.

[2]李彥峰，王春耀，王躍東，等.基于虛擬儀器視覺系統(tǒng)蘋果圖像采集裝置的研究[J].農機化研究，2014，36（4）：183-186.

LI Yanfeng， WANG Chunyao， WANG Yuedong， et al. Study of apple image acquisition device based on vision system of virtual instrument[J]. Journal of Agricultural Mechanization Research， 2014，36（4）：183-186.

[3]PAULUS I， de BUSSCHER R， SCHREVENS E. Use of image analysis to investigate human quality classification of apples[J]. Journal of Agricultural Engineering Research， 1997， 68（4）：341-353.

[4]應義斌，成芳，馬俊福.基于最小矩形法的柑桔橫徑實時檢測方法研究[J].生物數學學報，2004，19（3）：352-356.

YING Yibin， CHENG Fang， MA Junfu. Real-time size inspection of citrus with minimum enclosing rectangle method[J]. Journal of Biomathematics， 2004，19（3）： 352-356.

[5]馮斌，汪懋華.基于計算機視覺的水果大小檢測方法[J].農業(yè)機械學報，2003，34（1）： 73-75.

FENG Bin， WANG Maohua. Detecting method of fruit size based on computer vision[J]. Transactions of the Chinese Society of Agricultural Machinery， 2003，34（1）： 73-75.

[6]陳艷軍，張俊雄，李偉，等.基于機器視覺的蘋果最大橫切面直徑分級方法[J].農業(yè)工程學報，2012，28（2）：284-288.

CHEN Yanjun， ZHANG Junxiong， LI Wei， et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（2）： 284-288.

[7]楊習文.基于機器視覺的蘋果尺寸分級技術研究[D].武漢：武漢輕工大學，2015.

YANG Xiwen. Research of Apple Size Classification Technology Based on Machine Vision[D].?Wuhan： Wuhan Polytechnic University， 2015.

[8]GB/T 10651—2008，鮮蘋果[S].

[9]安愛琴，余澤通，王宏強.基于機器視覺的蘋果大小自動分級方法[J].農機化研究，2008（4）：163-166.

AN Aiqin， YU Zetong， WANG Hongqiang. The method of automatic apple hierarchy based on machine vision[J]. Journal of Agricultural Mechanization Research， 2008（4）： 163-166.

[10]魏新華，周杏鵬，李法德，等.水果機器視覺分選機滾子式輸送翻轉機構優(yōu)化設計[J].農業(yè)機械學報，2007，38（9）：98-102.

WEI Xinhua， ZHOU Xingpeng， LI Fade， et al. Optimum design of fruits roller conveyor of machine vision grader[J]. Transactions of the Chinese Society for Agricultural Machinery， 2007，38（9）：98-102.

[11]張方明，應義斌.水果分級機器人關鍵技術的研究和發(fā)展[J].機器人技術與應用，2004（1）：33-37.

[12]杜云，曹世佳，賈科進，等.基于圖像處理的大蒜蒜種品質無損分級方法研究[J].河北工業(yè)科技，2018，35（5）：317-321.

DU Yun， CAO Shijia， JIA Kejin， et al. Research on nondestructive classification of garlic seed quality based on image processing[J]. Hebei Journal of Industrial Science and Technology， 2018， 35（5）： 317-321.

[13]王一丁.數字圖像處理與實戰(zhàn)[M].北京：人民郵電出版社，2013.

[14]劉新庭，匡迎春，陳熵，等.基于最小外接?圓直徑的蘋果分級研究[J].中國農學通報，2015，31（20）：239-243.

LIU Xinting， KUANG Yingchun， CHEN Shang， et al. Research on apple grading based on the minimum circumscribed circle diameter[J]. Chinese Agricultural Science Bulletin， 2015， 31（20）： 239-243.

[15]黃星奕，魏海麗，趙杰文.實時在線檢測蘋果果形的一種計算方法[J].食品與機械，2006，22（1）：27-29.

HUANG Xingyi， WEI Haili， ZHAO Jiewen. A computation method of real time inspection of apple shape[J]. Food & Machinery， 2006，22（1）：27-29.

[16]郭輝.基于機器視覺的蜜柚品質檢測方法研究[D].北京：中國農業(yè)大學，2015.

GUO Hui. Research of?Pummelo Quality Detection Method Based on Machine Vision [D]. Beijing： China Agricultural University， 2015.