基于模板匹配的核桃識(shí)別

劉坤，劉娜，王園園，張娜

基于模板匹配的核桃識(shí)別

劉坤1，劉娜2，王園園3，張娜3

（1. 商洛市丹鳳縣氣象局，陜西 商洛 726000；2. 商洛市氣象局，陜西 商洛 726000；3. 商洛學(xué)院 人工智能研究中心，陜西 商洛 726000）

核桃；模版匹配；閾值分割；重疊；識(shí)別

陜西省的核桃產(chǎn)量位居全國(guó)前三，是我國(guó)核桃的主產(chǎn)區(qū)，地理位置和氣候條件獨(dú)特使其成為核桃種植的優(yōu)生區(qū)[1]．在自然環(huán)境中利用機(jī)器采摘核桃時(shí)，能否快速、準(zhǔn)確地識(shí)別出核桃果實(shí)，并標(biāo)注其具體位置是衡量果實(shí)識(shí)別性能好壞的標(biāo)準(zhǔn)[2]．

果實(shí)的識(shí)別引起了較廣泛的研究，背景與果實(shí)顏色相差較大的被研究較多，也取得了較好的成果；背景與果實(shí)顏色相近如核桃，被研究較少，且效果不理想．因此，研究自然環(huán)境中核桃的識(shí)別對(duì)提高我國(guó)核桃采摘自動(dòng)化具有重要的作用，對(duì)提升我國(guó)農(nóng)業(yè)自動(dòng)化水平也有著重要的意義．實(shí)現(xiàn)自動(dòng)采摘的關(guān)鍵是對(duì)果實(shí)進(jìn)行精準(zhǔn)識(shí)別與定位[3]，而在自然環(huán)境中，由于光強(qiáng)不勻、果實(shí)遮擋、果實(shí)重疊、背景復(fù)雜等因素，采集的圖像中既有核桃又有枝葉和天空，存在噪聲、陰影等干擾[4]，給果實(shí)的識(shí)別帶來(lái)了較大的干擾．圖像匹配[5]是識(shí)別技術(shù)的重要研究?jī)?nèi)容之一，在目標(biāo)識(shí)別、精確定位、視頻跟蹤等領(lǐng)域中得到廣泛應(yīng)用．章云[6]等提出2RGB模型和最佳閾值函數(shù)的方法，分別在順光、逆光、遮擋等環(huán)境下對(duì)山核桃果實(shí)進(jìn)行識(shí)別．SENGUPTA[7]等提出采用形狀和紋理分析的方法，對(duì)自然環(huán)境中綠色柑橘進(jìn)行識(shí)別．項(xiàng)榮[8]等提出采用邊緣曲率的方法，對(duì)重疊番茄進(jìn)行識(shí)別．趙德安[9]等提出最大類間方差法和極大值法提取重疊蘋果的圓心和半徑．于慧杰[10]等提出基于先驗(yàn)?zāi)０逍畔⑦M(jìn)行模板匹配的方法，實(shí)現(xiàn)蘋果的識(shí)別．羅陸鋒[11]提出人工蜂群優(yōu)化模糊聚類改進(jìn)的分割方法，實(shí)現(xiàn)對(duì)葡萄的識(shí)別．夏雪[12]提出采用視覺顯著性檢測(cè)的GrabCut方法并結(jié)合關(guān)鍵角點(diǎn)檢測(cè)算法，提取出重疊蘋果的輪廓與定位．

由于核桃果實(shí)和其枝葉顏色相近，采集的核桃圖片有重疊和遮擋時(shí)核桃果實(shí)的識(shí)別率較低的問題，本文提出采用先驗(yàn)?zāi)０逍畔⒌姆椒?，尋求相似度最小、匹配度最大時(shí)的模板作為最佳模板，實(shí)現(xiàn)對(duì)有重疊和遮擋時(shí)核桃圖像的識(shí)別與定位．

1 基于模板匹配的核桃圖像識(shí)別

圖1 基于模板匹配的核桃識(shí)別總框圖

第1步：將RGB圖像轉(zhuǎn)換為HSI顏色空間再進(jìn)行閾值分割，包括灰度變換、去噪處理、二值化處理，再對(duì)圖像進(jìn)行形態(tài)學(xué)處理[13]；

第2步：得到填充后的圖像區(qū)域面積，統(tǒng)計(jì)填充后的圖形中各塊圖形所含像素個(gè)數(shù)的多少，獲取核桃圖像輪廓的周長(zhǎng)（記錄邊界點(diǎn)像素個(gè)數(shù)）與輪廓所圍區(qū)域面積計(jì)算出核桃的圓度，根據(jù)圓度的分布范圍確定是否為核桃，若滿足該范圍則被確定為“核桃”，否則確定為“枝葉”；

第3步：使用先驗(yàn)?zāi)０暹M(jìn)行圖像匹配，計(jì)算得出核桃最佳模板，對(duì)采集圖像中的核桃進(jìn)行定位，并用矩形框繪制出來(lái)．

1.1 HSI顏色空間

將采集的核桃RGB圖像轉(zhuǎn)化為HSI圖像（見圖2）．

1.2 閾值分割

圖3 HSI空間閾值分割圖像

1.3 形態(tài)學(xué)處理

圖像邊緣檢測(cè)的基本思想為：檢測(cè)圖像像素區(qū)域中哪些部分屬于邊緣點(diǎn)，然后將邊緣點(diǎn)連接成閉合形狀，以便提取分割區(qū)域，進(jìn)而將目標(biāo)與背景區(qū)域最大化分離[15]13．此處采用數(shù)學(xué)形態(tài)學(xué)算子進(jìn)行處理，如邊緣切割和圖像填充．形態(tài)學(xué)算子常用的為膨脹、腐蝕、開運(yùn)算、閉運(yùn)算（見圖4）．

圖4 形態(tài)學(xué)處理

對(duì)比圖4a～d分別為膨脹、腐蝕、開運(yùn)算、閉運(yùn)算．圖4a顯示了進(jìn)行膨脹的結(jié)果，膨脹時(shí)對(duì)小孔洞進(jìn)行填充[15]16；圖4d為閉運(yùn)算處理后結(jié)果，膨脹后再進(jìn)行腐蝕消除了邊界點(diǎn)，圖像輪廓變得更清晰，圖片中目標(biāo)區(qū)域更加明顯．

1.4 特征提取

由于核桃果實(shí)和其枝葉的顏色色度相近，所以不能用色度區(qū)分，以圓度為區(qū)分依據(jù)將特征提取出來(lái)．圓度計(jì)算利用公式為

采集100張核桃圖片并計(jì)算圓度，核桃圓度居于0.8～1.2，當(dāng)有圖形滿足以上條件時(shí)，被判斷為核桃；枝葉圓度小于0.8，被判斷為枝葉．

1.5 模板匹配

模板匹配是數(shù)字圖像處理的重要方法之一，通過模板匹配法可以在圖像中找到已知對(duì)象[16]．模板匹配就是把目標(biāo)數(shù)據(jù)作為模板，將已知的和未知的進(jìn)行匹配，使模板圖像在分割結(jié)果上進(jìn)行滑動(dòng)，計(jì)算二者之間的相似度，根據(jù)最終的匹配度來(lái)實(shí)現(xiàn)目標(biāo)區(qū)域的檢測(cè)與跟蹤[17]．

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)結(jié)果

將采集的核桃圖像根據(jù)模板匹配算法對(duì)核桃進(jìn)行定位識(shí)別，得到識(shí)別結(jié)果見圖5．

圖5中c，g為識(shí)別后的圖像，從識(shí)別出的結(jié)果可以得到結(jié)論：（1）模板匹配對(duì)于核桃邊界清晰，輪廓完整未被遮擋的目標(biāo)區(qū)域識(shí)別率較高（見圖5c）；（2）由于綠皮核桃與其枝葉、背景等顏色相近，因此不能用色度區(qū)分，以圓度為區(qū)分依據(jù)將特征提取出來(lái)；（3）對(duì)于有遮擋或重疊果實(shí)圖來(lái)說，經(jīng)過邊緣檢測(cè)及形態(tài)學(xué)處理后存在一條偽輪廓．為了更好地提取出目標(biāo)果實(shí)的真實(shí)輪廓，采用凸包算法對(duì)分離后的二值圖像進(jìn)行處理，可解決過分割問題，但會(huì)出現(xiàn)空洞，采用填充的方法將空洞去除（見圖5f），再采用模板匹配法進(jìn)行定位識(shí)別（見圖5g）．

圖5 模板匹配后圖像

2.2 實(shí)驗(yàn)分析

表1 核桃識(shí)別率

3 結(jié)語(yǔ)

自然環(huán)境下，所采集的綠皮核桃圖像易受樹葉、枝干、天空等背景因素干擾，采集的核桃圖片有重疊和遮擋時(shí)核桃果實(shí)的識(shí)別率較低．本文提出對(duì)采集的RGB圖像進(jìn)行顏色空間轉(zhuǎn)換、閾值分割、形態(tài)學(xué)處理、凸包算法及模版匹配的方法，對(duì)待測(cè)圖像中的核桃進(jìn)行識(shí)別、定位標(biāo)記．實(shí)驗(yàn)結(jié)果表明，該算法對(duì)有重疊、有遮擋的核桃能進(jìn)行識(shí)別，正確識(shí)別率達(dá)到了89.5%，具有一定的實(shí)用價(jià)值．

[1] 張毅．商洛市核桃產(chǎn)業(yè)發(fā)展的主要問題及對(duì)策[D]．咸陽(yáng)：西北農(nóng)林科技大學(xué)，2018．

[2] 沈明明．自然環(huán)境中綠蘋果目標(biāo)識(shí)別方法的研究[D]．天津：天津理工大學(xué)，2018．

[3] 王丹丹，宋懷波，何東健．蘋果采摘機(jī)器人視覺系統(tǒng)研究進(jìn)展[J]．農(nóng)業(yè)工程學(xué)報(bào)，2017，33（10）：59-69．

[4] 馬正華，呂小俊，徐黎明，等．近色背景果實(shí)識(shí)別的多源圖像配準(zhǔn)[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（11）：3494-3499．

[5] 章毓晉．圖像工程（中冊(cè)）：圖像分析[M]．北京：清華大學(xué)出版社，2005．

[6] 章云，周素茵，周竹．自然環(huán)境下山核桃果實(shí)的圖像識(shí)別提取方法[J]．湖北農(nóng)業(yè)科學(xué)，2016，55（21）：5643-5645．

[7] SENGUPTA S，LEE W S．Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions[J]．Biosystems Engineering，2014，117：51-61．

[8] 項(xiàng)榮，應(yīng)義斌，蔣煥煜，等．基于邊緣曲率分析的重疊番茄識(shí)別[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（3）：157-162．

[9] 趙德安，沈甜，陳玉，等．蘋果采摘機(jī)器人快速跟蹤識(shí)別重疊果實(shí)[J]．農(nóng)業(yè)工程學(xué)報(bào)，2015，31（2）：22-28．

[10] 于慧杰，李大華，高強(qiáng)，等．自然環(huán)境中重疊與遮擋綠蘋果圖像的識(shí)別[J]．激光雜志，2020，41（2）：20-24．

[11] 羅陸鋒．視覺感知的葡萄機(jī)器人采摘行為及虛擬試驗(yàn)[D]．廣州：華南農(nóng)業(yè)大學(xué)，2017．

[12] 夏雪．基于計(jì)算機(jī)視覺的蘋果樹果實(shí)探測(cè)與定位方法[D]．北京：中國(guó)農(nóng)業(yè)科學(xué)院，2018．

[13] 陳彥．基于圖像去噪方法的研究[J]．?dāng)?shù)字技術(shù)與應(yīng)用，2017（5）：131-132．

[14] 韓延彬，郭曉鵬，魏延文，等．RGB和HSI顏色空間的一種改進(jìn)的陰影消除算法[J]．智能系統(tǒng)學(xué)報(bào)，2015，10（5）：769-774．

[15] 雷浩鵬．?dāng)?shù)字圖像去噪算法研究及應(yīng)用[D]．長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2010．

[16] 鄧澤峰，熊有倫，黃小鵬．適應(yīng)不完整目標(biāo)的快速模板匹配[J]．光電工程，2010，37（5）：7-11．

[17] 沈明明．自然環(huán)境中綠蘋果目標(biāo)識(shí)別方法的研究[D]．天津：天津理工大學(xué)，2018．

Walnut recognition based on template matching

LIU Kun1，LIU Na2，WANG Yuanyuan3，ZHANG Na3

（1. Danfeng County Meteorological Bureau of Shangluo City，Shangluo 726000，China；2. Shangluo Meteorological Bureau，Shangluo 726000，China；3. Research Center of Artificial Intelligence，Shangluo University，Shangluo 726000，China）

walnut；template matching；threshold segmentation；overlap；identify

TP391.41

A

10.3969/j.issn.1007-9831.2022.02.006

1007-9831（2022）02-0031-06

2021-10-08

氣候適應(yīng)型城市重點(diǎn)實(shí)驗(yàn)室項(xiàng)目（SLSY2019031）；商洛市科技局項(xiàng)目（2021-Z-0049）；商洛學(xué)院科研項(xiàng)目（19SKY009）

劉坤（1987-），男，陜西商洛人，工程師，從事氣象觀測(cè)、生態(tài)監(jiān)測(cè)研究．E-mail：zhang.na.love@163.com