基于全局閾值迭代的蘋果圖像分割計(jì)數(shù)方法

劉峻 孫美艷 焦中元

摘要 針對(duì)蘋果分揀生產(chǎn)線檢測(cè)分級(jí)過(guò)程中面臨的多個(gè)蘋果堆疊而產(chǎn)生的計(jì)數(shù)精度不高的問(wèn)題，提出了一種全局閾值迭代算法，在RGB圖像空間利用抓取的彩色蘋果圖像R值矩陣生成灰度圖，通過(guò)多次迭代計(jì)算，提取了各連通域質(zhì)心的歐式距離特征，并針對(duì)堆疊蘋果的粘連連通域進(jìn)行了堆疊質(zhì)心的剔除，進(jìn)行了三次迭代計(jì)算之后，最終確定了圖像中蘋果的數(shù)量，計(jì)數(shù)精度達(dá)到90%，該研究可為蘋果分揀生產(chǎn)線的自動(dòng)化設(shè)計(jì)提供技術(shù)支持。

關(guān)鍵詞 機(jī)器視覺(jué)；蘋果生產(chǎn)線；圖像分割；全局閾值迭代；算法

中圖分類號(hào) S126 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 0517-6611（2018）29-0180-03

Abstract A global threshold iterative algorithm was proposed for multiple apple stacking in the process of detection and classification in apple production line.R value matrix of apple image in RGB image space was used to segment the adhesive apples.The Euclidean distance characteristics of the centroid of each connected domain were extracted by multiple iterative calculation and the repeated centroid was eliminated.After three iterations，the number of apples was determined and the precision of the algorithm was 90%.The research can provide technical support for automatic design of apple selection line .

Key words Machine vision； Apple production line；Image segmentation；Global threshold iterative；Algorithm

蘋果是中國(guó)市場(chǎng)上的主要水果之一，蘋果產(chǎn)業(yè)是水果產(chǎn)業(yè)的重要組成部分。為了滿足人們?nèi)找嬖鲩L(zhǎng)的生活水平需求，蘋果產(chǎn)業(yè)正向著量產(chǎn)化、智能化方向發(fā)展。蘋果采摘后需要經(jīng)過(guò)檢測(cè)、分級(jí)、清洗等工序，其中尤以檢測(cè)分級(jí)工序技術(shù)要求高，難度大，正因如此，蘋果自動(dòng)檢測(cè)分級(jí)技術(shù)成為提升蘋果產(chǎn)后處理水平的重要手段之一，成為增加蘋果產(chǎn)業(yè)附加值和降低其產(chǎn)業(yè)人工成本的重要工具。隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，計(jì)算機(jī)及視覺(jué)設(shè)備價(jià)格大幅下降而速度成倍提升，為計(jì)算機(jī)視覺(jué)技術(shù)的廣泛應(yīng)用創(chuàng)造了條件[1]。應(yīng)用機(jī)器視覺(jué)對(duì)蘋果生產(chǎn)線進(jìn)行智能化改造成為研究熱點(diǎn)，而蘋果圖像分割和識(shí)別技術(shù)是其中不可或缺的一環(huán)。

劉全良等[2]提出一種基于分形理論的蘋果屬性分類識(shí)別方法，通過(guò)機(jī)器視覺(jué)獲取蘋果彩色圖像并進(jìn)行處理，實(shí)現(xiàn)蘋果屬性的準(zhǔn)確檢測(cè)和分類。安愛(ài)琴等[3]介紹采用機(jī)器視覺(jué)的蘋果大小自動(dòng)分級(jí)方法，應(yīng)用MATLAB軟件編程實(shí)現(xiàn)了對(duì)樣本圖像的背景去除、二值化、圖像平滑、特征量提取和圖像標(biāo)定等處理，參照蘋果分級(jí)的國(guó)家標(biāo)準(zhǔn)完成蘋果自動(dòng)分級(jí)。李偉等[4]提出一種基于機(jī)器視覺(jué)技術(shù)的蘋果表面紋理檢測(cè)分級(jí)方法，提取蘋果目標(biāo)，使用不同算法灰度化圖像，根據(jù)紋理位于圖像中灰度突變處的特點(diǎn)，采用典型梯度算法，對(duì)目標(biāo)圖像進(jìn)行2次梯度銳化，對(duì)圖像進(jìn)行濾波去噪使紋理更加突出，利用絕對(duì)差分算法，計(jì)算圖像的平均梯度，選取閾值55，將蘋果分為紋理鮮明A級(jí)果和紋理不鮮明B級(jí)果。國(guó)內(nèi)學(xué)者在蘋果品質(zhì)檢測(cè)方面提出各具特點(diǎn)的解決方案，獲得不少研究成果[5]；但是，這些研究成果大多集中在單個(gè)蘋果品質(zhì)的分級(jí)技術(shù)中，在成堆蘋果方面的分割識(shí)別研究較少。

該研究針對(duì)蘋果檢測(cè)識(shí)別技術(shù)中面臨的多個(gè)蘋果分割識(shí)別現(xiàn)象，提出一種全局閾值迭代算法，在RGB 圖像空間利用蘋果圖像的R值矩陣對(duì)粘連蘋果進(jìn)行分割，提取各連通域質(zhì)心的歐式距離特征，進(jìn)行3次迭代之后，合并迭代圖像并進(jìn)行篩選，最終確定蘋果的分割數(shù)量。

1 全局閾值迭代分割算法

受光照強(qiáng)度影響，在不同的蘋果圖像區(qū)域存在明暗變化，給圖像的分割帶來(lái)很大干擾；同時(shí)，多個(gè)蘋果交疊，導(dǎo)致蘋果連通域粘連（圖1）。試驗(yàn)發(fā)現(xiàn)，傳統(tǒng)的二值化算子進(jìn)行分割計(jì)數(shù)的誤差較大。該研究提出的全局閾值迭代分割算法的基本思想是：利用R值灰度圖上單個(gè)蘋果的灰度值梯度變化規(guī)律，開(kāi)始時(shí)選擇一個(gè)閾值提取較亮部分，分割出蘋果連通域并識(shí)別質(zhì)心；第二步將剩余較暗連通區(qū)域的亮度提升，選擇新閾值提取較亮部分，分割出蘋果連通域并識(shí)別質(zhì)心；重復(fù)迭代第二步直到蘋果所在區(qū)域完全被提取；多次迭代獲得蘋果連通域質(zhì)心矩陣，對(duì)相鄰迭代質(zhì)心進(jìn)行歐氏距離計(jì)算，判斷2個(gè)連通域是否處于同一個(gè)蘋果上并進(jìn)行處理，計(jì)算蘋果數(shù)量并做標(biāo)記。步驟如下：

第一步：將背景和目標(biāo)分離，背景設(shè)置為黑色，目標(biāo)不變；第二步：將圖像在RGB空間分離為3個(gè)矩陣，選擇R矩陣形成灰度圖，并降低灰度級(jí)；第三步：第1次迭代，選擇全局閾值對(duì)圖像做二值化處理，提取連通域并做質(zhì)心標(biāo)記，形成第1次迭代質(zhì)心矩陣；第四步：去除前次迭代的連通域，將剩下的較暗連通域亮度提升，選擇全局閾值對(duì)圖像做二值化處理，提取連通域并做質(zhì)心標(biāo)記，形成第2次迭代質(zhì)心矩陣，計(jì)算每一個(gè)質(zhì)心和上一次迭代所有質(zhì)心的歐式距離，確定最小距離，并判斷是否屬于同一個(gè)蘋果；重復(fù)此步驟直到蘋果區(qū)域完全被覆蓋；第五步：將確定的質(zhì)心點(diǎn)繪制在蘋果原圖上，輸出蘋果數(shù)量和質(zhì)心矩陣。

2 基于迭代的蘋果圖像分割

2.1 圖像預(yù)處理 圖1所示蘋果圖片是RGB格式，白色背景對(duì)后續(xù)處理易產(chǎn)生干擾，在預(yù)處理階段首先將白色背景轉(zhuǎn)換為黑色，也就是RGB三通道的值都置為0，如圖2（a）所示。

通過(guò)比較RGB三通道對(duì)應(yīng)的灰度圖后發(fā)現(xiàn)，R通道的灰度圖目標(biāo)和背景區(qū)分度較大，圖像的灰度值分布較適合該研究的分割算法，選用R通道對(duì)應(yīng)的灰度圖作為目標(biāo)圖片，如圖2（b）所示。

2.2 閾值分割 一般圖像分割是指將圖像劃分為一系列相互不重疊的獨(dú)特性質(zhì)區(qū)域[6]。每一種圖像分割算法都有自身的局限性和應(yīng)用范圍，需根據(jù)具體問(wèn)題，選擇和研究其圖像分割算法[7]。在進(jìn)入第1次迭代之前，為了滿足圖像矩陣的計(jì)算需要，先對(duì)R矩陣做一次歸一化處理。進(jìn)入第1次迭代后，將圖像的灰度級(jí)設(shè)為8。觀察到蘋果上的灰度值明顯分布在3個(gè)灰度級(jí)上，且3個(gè)灰度級(jí)區(qū)域連接成片；蘋果表面較亮部分的灰度值大于0.86。因此，在二值化中將閾值設(shè)為固定值0.9，后面的多次迭代通過(guò)調(diào)整圖片亮度來(lái)適應(yīng)此固定值；另外一種方法是，將此閾值用表達(dá)式來(lái)定義，通過(guò)表達(dá)式來(lái)獲取每次迭代的閾值；該研究使用第1種方法，第一次迭代二值化結(jié)果如圖3（a）所示。

使用開(kāi)運(yùn)算和面積開(kāi)運(yùn)算去除二值化結(jié)果中的小面積亮區(qū)域[8]，使第1次迭代能夠處理每一個(gè)蘋果第一層高亮部分的區(qū)域，并將其他的小區(qū)域噪點(diǎn)剔除。該例中使用的開(kāi)運(yùn)算結(jié)構(gòu)元素為方形，大小為5×5；由最小蘋果表面像素?cái)?shù)的1/5確定剔除最小區(qū)域面積為600個(gè)像素效果最好，運(yùn)算結(jié)果如圖3（b）所示。可以看到，第1次迭代獲得7個(gè)像素?cái)?shù)量相當(dāng)?shù)膮^(qū)域，代表第1次迭代中成功提取7個(gè)蘋果出來(lái)。由于每個(gè)蘋果最多存在3個(gè)明顯的灰度級(jí)，所以最多再迭代2次即可獲得整顆蘋果的表面像素，3次迭代分割圖像如圖4所示。

2.3 質(zhì)心提取和識(shí)別 在3次迭代分割圖像中，還存在一些混淆區(qū)域，這些區(qū)域的像素?cái)?shù)是正常蘋果表面像素?cái)?shù)的一半左右，可以通過(guò)匹配度來(lái)區(qū)別。

首先查找分割圖像的邊界，繪出連通區(qū)域并計(jì)數(shù)，該例中，3次迭代的連通區(qū)域數(shù)量分別為49、21和25；然后設(shè)置匹配度的函數(shù)為metric =area/500，area為連通域的像素?cái)?shù)，該例中metric在[2，20] 范圍內(nèi)均認(rèn)為符合匹配度要求；最后在質(zhì)心的附近標(biāo)出匹配度。結(jié)果顯示，3次迭代分割出的大面積蘋果灰度區(qū)域數(shù)量分別為7、5和6個(gè)，結(jié)果如圖5所示。

3 基于歐氏距離的蘋果質(zhì)心識(shí)別

從第2次迭代開(kāi)始，就產(chǎn)生對(duì)同一蘋果的重復(fù)標(biāo)定，即產(chǎn)生多余的質(zhì)心；為了剔除這些多余的質(zhì)心，提高算法的識(shí)別精度，使用歐式距離進(jìn)行甄別。對(duì)于迭代計(jì)算出的每一個(gè)質(zhì)心，確定其坐標(biāo)，并將坐標(biāo)值放入一個(gè)2×n矩陣中，n可以無(wú)限拓展，第1次迭代質(zhì)心矩陣為2×7陣，第2次為2×5陣，第3次為2×6陣，合并成為一個(gè)2×18陣；計(jì)算第2次的每一個(gè)質(zhì)心和第1次所有質(zhì)心的歐式距離，計(jì)算第3次的每一個(gè)質(zhì)心和第2次所有質(zhì)心的歐式距離，得到距離最近的質(zhì)心，如果相鄰質(zhì)心距離小于閾值，那么判斷兩質(zhì)心處于同一個(gè)蘋果上，第2個(gè)質(zhì)心需做剔除處理，該例中，第1個(gè)閾值為60，第2個(gè)閾值為65；最終，確定10個(gè)有效質(zhì)心，即識(shí)別結(jié)果為10個(gè)蘋果。識(shí)別出的質(zhì)心矩陣如表1所示，蘋果數(shù)量識(shí)別如圖6所示。

4 結(jié)論

（1）針對(duì)蘋果生產(chǎn)線上的檢測(cè)分級(jí)過(guò)程中面臨的多個(gè)蘋果堆疊以及圖像采集中不可避免的光照不均勻情況，應(yīng)用多次迭代分割圖像，并處理出質(zhì)心；采用歐氏距離剔除重復(fù)質(zhì)心，最終成功獲取到蘋果數(shù)量。

（2）從處理的圖片看，該圖有兩層堆疊，在這個(gè)情況下處理出來(lái)的精度為90%；誤差來(lái)源于第3次迭代質(zhì)點(diǎn)并未和第1次迭代質(zhì)點(diǎn)進(jìn)行歐式距離處理，導(dǎo)致第3次迭代有1個(gè)質(zhì)點(diǎn)和第1次的質(zhì)點(diǎn)重復(fù)標(biāo)定了同一個(gè)蘋果。

（3）該算法使用蘋果的顏色和形態(tài)特征進(jìn)行識(shí)別，蘋果的顏色級(jí)別差異較大時(shí)，可以調(diào)整迭代次數(shù)來(lái)獲得更高的精度；該算法對(duì)于粘連物體，不僅是蘋果，其他顆粒物體或者微觀細(xì)小物質(zhì)，都具有一定精度的分割識(shí)別效果。

參考文獻(xiàn)

[1] 趙茂程，侯文軍.我國(guó)基于機(jī)器視覺(jué)的水果自動(dòng)分級(jí)技術(shù)及研究進(jìn)展[J].包裝與食品機(jī)械，2007，25（5）：5-8.

[2] 劉全良，王洪.蘋果分類識(shí)別中的分形問(wèn)題研究[J].計(jì)算機(jī)工程與應(yīng)用，2002，38（17）：244-247.

[3] 安愛(ài)琴，余澤通，王宏強(qiáng).基于機(jī)器視覺(jué)的蘋果大小自動(dòng)分級(jí)方法[J].農(nóng)機(jī)化研究，2008（4）：163-166.

[4] 李偉，康晴晴，張俊雄，等.基于機(jī)器視覺(jué)的蘋果表面紋理檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2008，38（5）：1110-1113.

[5] 石瑞瑤，田有文，賴興濤，等.基于機(jī)器視覺(jué)的蘋果品質(zhì)在線分級(jí)檢測(cè)[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2018，20（3）：80-86.

[6] 章毓晉.圖像工程：中冊(cè)[M].北京：清華大學(xué)出版社，2005：73-105.

[7] 陳科尹，鄒湘軍，熊俊濤，等.基于視覺(jué)顯著性改進(jìn)的水果圖像模糊聚類分割算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29（6）：157-165.

[8] 楊帆，王志陶，張華.精通圖像處理經(jīng)典算法[M].北京：北京航空航天大學(xué)出版社，2014.