基于機(jī)器視覺的金銀花圖像識(shí)別處理算法研究*

鄭如新，孫青云，肖國棟

(1. 南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京市，210037； 2. 天津微深科技有限公司，天津市，300000)

0 引言

隨著科技水平的逐漸提高，不僅要求機(jī)器視覺能夠在工業(yè)上面有所應(yīng)用，而且還要應(yīng)用于農(nóng)林業(yè)領(lǐng)域，對(duì)復(fù)雜背景下機(jī)器視覺的應(yīng)用提出了更高的要求[1-3]。當(dāng)前，利用機(jī)器視覺識(shí)別一些植物和林果已成為研究熱點(diǎn)。由于金銀花屬清熱解毒藥中的重要藥物，且在面對(duì)2020年初突發(fā)的新冠肺炎疫情方面，金銀花在治療患者方面也發(fā)揮了其重要的作用[4]。因此，金銀花的需求量逐漸增加，但是，在金銀花生產(chǎn)產(chǎn)業(yè)化方面，金銀花的采摘工作一直是難以克服的問題，因?yàn)榻疸y花從花蕊到開花也就短短幾天的時(shí)間，而金銀花的花蕊才是可以采摘下來做成中藥的重要的成份，一旦開了花就失去了其意義，所以要在有限的時(shí)間內(nèi)采摘盡可能多的金銀花，不僅勞動(dòng)強(qiáng)度大，而且時(shí)間也緊迫，耗時(shí)費(fèi)力，將金銀花種植的成本抬高了。

在進(jìn)行植物采摘的過程中，首先要對(duì)圖像進(jìn)行預(yù)處理，提高圖像質(zhì)量。蘇博妮等[5]對(duì)草莓進(jìn)行了圖像處理，添加了0.02的椒鹽噪聲，分別利用中值濾波、維納濾波和均值濾波去降噪，最后發(fā)現(xiàn)中值濾波的效果最好。王麗麗[6]對(duì)番茄的識(shí)別定位進(jìn)行了研究，通過利用Otsu算法來從背景中分割出成熟番茄，再選擇番茄所在的特征區(qū)域，得到了匹配點(diǎn)的三維坐標(biāo)，識(shí)別番茄成功率達(dá)到99%。金理鉆[7]研究了黃瓜采摘機(jī)器人，對(duì)于黃瓜，采用了識(shí)別提取紋理的方法進(jìn)行了特征匹配并定位，最后灰度共生矩陣能夠算出14種紋理特征，由于計(jì)算量大，實(shí)際中不可取，因此也需要不斷改進(jìn)。張瑞華等[8]針對(duì)獼猴桃的識(shí)別，由于獼猴桃自身呈現(xiàn)橢圓狀，所以采用了Hough變換的方法來對(duì)獼猴桃進(jìn)行特征匹配。由于獼猴桃的種植背景復(fù)雜，非目標(biāo)物體太多，故采用最小外接矩形法來縮小目標(biāo)區(qū)域，運(yùn)用橢圓形擬合獼猴桃果實(shí)的處理面積，同時(shí)也提高運(yùn)行效率。然而在針對(duì)金銀花的識(shí)別采摘技術(shù)還停留在人工操作階段，缺少對(duì)金銀花識(shí)別的研究，無法達(dá)到自動(dòng)化程度[9]，因此本文將著手對(duì)金銀花的識(shí)別進(jìn)行研究。通過機(jī)器視覺的基礎(chǔ)，研究了金銀花的識(shí)別。首先利用了圖像預(yù)處理的方法對(duì)金銀花圖像金銀處理，再利用顏色空間模型的方法結(jié)合形態(tài)學(xué)運(yùn)算對(duì)金銀花進(jìn)行閾值分割操作，成功將金銀花從背景中分割出來。之后利用邊緣檢測(cè)Canny算法金銀花進(jìn)行檢測(cè)，再對(duì)傳統(tǒng)的Canny算法進(jìn)行改進(jìn)，將改進(jìn)后的Canny算法運(yùn)用到金銀花的檢測(cè)中，最后進(jìn)行試驗(yàn)對(duì)比。

1 試驗(yàn)條件

試驗(yàn)硬件設(shè)施：大恒水晶系列相機(jī)(型號(hào)為MER—500—7UC)，其分辨率為2 592 dpi×1 944 dpi，幀率為14 fps，像元尺寸為2.2 μm×2.2 μm，與鏡頭的接口為C接口。同時(shí)搭載了型號(hào)為gx—0816，焦距為8 mm的光學(xué)鏡頭，工作距離在300 mm左右，一臺(tái)內(nèi)存為8 G并且裝配有Windows操作系統(tǒng)與HALCON軟件的工業(yè)計(jì)算機(jī)，相機(jī)是通過USB2.0標(biāo)準(zhǔn)接口與計(jì)算機(jī)相連接并實(shí)時(shí)采集圖像。將采集到的圖像通過USB2.0傳輸?shù)接?jì)算機(jī)上面，開始對(duì)圖像進(jìn)行處理操作，圖像處理系統(tǒng)為HALCON，如圖1(a)所示，同時(shí)采集的金銀花實(shí)物圖如圖1(b)所示。由于試驗(yàn)條件有限，將金銀花移植在實(shí)驗(yàn)室中進(jìn)行試驗(yàn)，針對(duì)簡(jiǎn)單背景下的金銀花識(shí)別研究，流程圖如圖2所示。

(a) 金銀花圖片采集實(shí)際環(huán)境 (b) 金銀花采集圖片圖1 金銀花采集設(shè)備Fig. 1 Honeysuckle collection equipment

圖2 流程圖Fig. 2 Flow chart

2 圖像顏色分割方法

通過相機(jī)采集金銀花圖片，使用HALCON圖像處理軟件進(jìn)行讀取，在得到彩色圖片之后，將圖片轉(zhuǎn)到RGB模型空間中，之后再將圖片轉(zhuǎn)到HSV顏色空間中與RGB模型空間進(jìn)行對(duì)比，找出金銀花與背景分離效果最好的顏色分量，通過閾值分割將金銀花從背景中分割出來，再運(yùn)用形態(tài)學(xué)處理方法對(duì)金銀花進(jìn)一步處理。

2.1 圖像濾波算法

本文采用的是中值濾波算法來對(duì)圖像進(jìn)行雜點(diǎn)和噪音的消除。中值濾波算法是以像素為中心，取一個(gè)指定形狀的領(lǐng)域作為濾波器。然后將該區(qū)域內(nèi)的像素灰度值進(jìn)行排序，以排序結(jié)果的中間值作為灰度計(jì)算結(jié)果賦值給該區(qū)域內(nèi)的像素。具體數(shù)學(xué)表達(dá)式如式(1)所示。

Y(i,j)=median(X(i,j))

(1)

式中：X(i,j)——輸入圖像的灰度值；

Y(i,j)——輸出圖像的灰度值；

median函數(shù)——返回該窗口總像素值的平均值。

對(duì)原圖像進(jìn)行中值濾波處理，如圖3所示。

圖3 中值濾波處理Fig. 3 Median filtering processing

2.2 顏色空間模型

RGB[10]是最為熟悉的一種表示顏色的方式。彩色圖像的每個(gè)像素?fù)碛?個(gè)通道，各8位，分別表示紅色、綠色、藍(lán)色3個(gè)分量，各自的取值范圍都為0～255。因此，任意顏色F都可以由三種基本色不同程度的混合而成，即

F=r(R)+g(G)+b(B)

(2)

式中：R——紅色分量；

G——綠色分量；

B——藍(lán)色分量。

該顏色模型空間對(duì)顏色的表達(dá)較為準(zhǔn)確，因?yàn)闆]有進(jìn)過其他色彩空間的轉(zhuǎn)換，圖像信息幾乎沒有丟失。具體的模型圖如圖4所示。

圖片預(yù)處理過后再通過RGB顏色空間模型對(duì)圖像進(jìn)行處理，結(jié)果如圖5所示。

圖4 RGB顏色空間模型Fig. 4 RGB color space model

(a) R分量 (b) G分量

(c) B分量圖5 RGB分割圖Fig. 5 RGB partition diagram

HSV[11]顏色空間模型為六角錐體模型，其中模型參數(shù)：色調(diào)(H)、飽和度(S)、純度(V)。其中色調(diào)H為色彩信息，其取值范圍為0～360°。具體的模型圖如圖6所示。

圖6 HSV顏色空間模型Fig. 6 HSV color space model

該模型沿水平軸測(cè)量飽和度，100就代表顏色飽和。取值范圍為0.0～0.1，值越大越飽和。明度V表示顏色明亮的程度，通常取值范圍為0%(黑)～100%(白)，在模型中，V是從圓錐底部的0變化到頂部的1，表示的是所選色彩與該色彩最大明度的比率。其中H分量的計(jì)算公式如式(3)所示。

(3)

接著再對(duì)預(yù)處理后的圖片進(jìn)行HSV顏色空間處理，比較RGB空間模型與HSV中的分量，得出最容易從背景中分割出金銀花的分量，如圖7所示。

(a) H分量 (b) S分量

(c) V分量圖7 HSV分割圖Fig. 7 HSV segmentation diagram

通過比較可以看出，在6個(gè)分量中，可以看出分量B與背景和金銀花的枝葉、枝干區(qū)分較為明顯。

3 識(shí)別算法研究

通過第2節(jié)可以知道，B分量區(qū)分效果最佳。因此可以對(duì)B分量進(jìn)行閾值分割，通過閾值分割來將金銀花識(shí)別出來。閾值分割是一種按圖像像素灰度幅度進(jìn)行分割的方法，把圖像的灰度分成不同等級(jí)，然后設(shè)置灰度門限(閾值)的方法確定目標(biāo)區(qū)域或邊界，閾值法也是一種簡(jiǎn)單有效的圖像分割方法[12-14]。本文采用根據(jù)直方圖谷底確定閾值法來將圖像從背景中分割開來，達(dá)到提取目標(biāo)的目的。按下式進(jìn)行二值化，就可將目標(biāo)有效的提取出來，具體計(jì)算公式如式(4)所示。

(4)

式中：g(x)——閾值運(yùn)算后的二值圖像；

f(x,y)——原始灰度圖像的二元函數(shù)；

T——分割閾值。

按照上述閾值分割方法在拍攝的圖像中將工件與背景分割開來如圖8所示。

(a) 金銀花圖像分割圖

(b) 金銀花圖像灰度直方圖圖8 金銀花提取Fig. 8 Honeysuckle extract

在HALCON中調(diào)用算子threshold，并設(shè)定閾值在109～255，在這范圍之內(nèi)的像素都會(huì)被選中，這樣就可以將金銀花成功地從背景中分割開來。

4 形態(tài)學(xué)運(yùn)算

在對(duì)金銀花進(jìn)行閾值分割之后，往往其目標(biāo)的完整性不能達(dá)到理想狀態(tài)，因此需要利用形態(tài)學(xué)運(yùn)算，使目標(biāo)變得更為完整。

腐蝕與膨脹是形態(tài)學(xué)的基礎(chǔ)，在圖像處理過程之中，往往需要將腐蝕與膨脹相結(jié)合起來運(yùn)用對(duì)圖像進(jìn)行處理[15]。腐蝕與膨脹都是屬于一次運(yùn)算，而一次運(yùn)算往往不能達(dá)到令人滿意的圖像處理效果，所以就需要涉及開運(yùn)算和閉運(yùn)算的二次運(yùn)算，所謂的開運(yùn)算就是先腐蝕后膨脹，減少圖像像素，閉運(yùn)算就是先膨脹后腐蝕，增加圖像像素。

集合A被結(jié)構(gòu)元素B作開運(yùn)算，記為A°B，其定義如式(5)所示。

A°B=(AΘB)⊕B

(5)

集合A被結(jié)構(gòu)元素B作閉運(yùn)算，記為A?B，其定義如式(6)所示。

A?B=(A⊕B)ΘB

(6)

對(duì)金銀花圖像進(jìn)行閾值分割后，由于非目標(biāo)信息也被分割出一部分，因此只需對(duì)其進(jìn)行閉運(yùn)算將其去除即可，閉運(yùn)算結(jié)果如圖9所示。

圖9 金銀花閉運(yùn)算效果圖Fig. 9 Effect picture of honeysuckle closed operation

5 圖像邊緣分割方法

提取金銀花目標(biāo)，由于通過閾值分割法會(huì)識(shí)別連通區(qū)域，導(dǎo)致識(shí)別出的目標(biāo)物體誤差稍大。因此還可以通過提取邊緣的方式來獲得目標(biāo)。在圖像處理中，邊緣信息也是重要的圖像特征信息，一般是使用Canny算法對(duì)圖像的邊緣進(jìn)行提取。

5.1 Canny算法基本原理

Canny算法首先使用二維高斯平滑濾波對(duì)圖像進(jìn)行去噪處理，其表達(dá)式如式(7)所示。

(7)

式中：σ——高斯標(biāo)準(zhǔn)差，控制著平滑去噪的程度；

G(i,j)——像素點(diǎn)(i,j)的灰度值。

在通過平滑濾波處理后，需要計(jì)算圖像梯度值，往往是利用求偏導(dǎo)數(shù)的方法，采用2×2鄰域一階偏導(dǎo)的有限差分來計(jì)算數(shù)據(jù)陣列(x,y)平滑后的梯度幅值和梯度方向。點(diǎn)(i,j)處兩個(gè)方向的偏導(dǎo)數(shù)Gx(i,j)和Gy(i,j)分別表示如式(8)和式(9)所示。

Gx(i,j)=[I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j)]/2

(8)

式中：I(i,j)——卷積運(yùn)算濾波后的圖像。

Gy(i,j)=[I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1)]/2

(9)

其中，梯度方向和梯度值計(jì)算如式(10)和式(11)所示。

(10)

(11)

5.2 Canny算法的改進(jìn)

在Canny算法的高斯平滑濾波中，由于高斯標(biāo)準(zhǔn)差σ是隨機(jī)選取的，導(dǎo)致圖像平滑濾波效果不理想，噪點(diǎn)去除不充分，存在一些檢測(cè)上的缺陷。因此，針對(duì)此缺陷，提出了一種使用自適應(yīng)高斯—中值濾波算法代替?zhèn)鹘y(tǒng)的高斯平滑濾波算法，主要為了解決標(biāo)準(zhǔn)差σ隨機(jī)選取的問題[15-19]。具體算法步驟如下。

1) 首先定義G(x,y)為像素點(diǎn)(x,y)的圖像灰度值大小，并對(duì)圖像進(jìn)行中值濾波處理。

2) 在對(duì)圖像進(jìn)行中值濾波后，再進(jìn)行自適應(yīng)高斯濾波處理，先利用二維高斯濾波函數(shù)生成高斯核，公式如式(12)所示。

(12)

式中：k——高斯核半徑。

可根據(jù)方差大小求得高斯標(biāo)準(zhǔn)差σ，方差大小的計(jì)算如式(13)所示。

(13)

式中：Si，j——中心點(diǎn)(i，j)的卷積窗口。

由式(9)和式(10)可得到式(14)。由于方差是一個(gè)常數(shù)量，所以W(i,j)和G(i,j)是一個(gè)反比例關(guān)系。對(duì)W(i,j)取不同數(shù)值，反復(fù)迭代，從而形成一種自適應(yīng)高斯濾波。

(14)

通過HALCON軟件來實(shí)現(xiàn)目標(biāo)邊緣信息的提取，如圖10所示。

(a) 改進(jìn)的Canny算法 (b) 經(jīng)典Canny算法圖10 金銀花邊緣檢測(cè)結(jié)果Fig. 10 Edge detection results of honeysuckle

可以看出，經(jīng)典Canny算法在使用的過程中會(huì)標(biāo)記出對(duì)目標(biāo)物理無用的輪廓，而有用的輪廓中邊緣雜線較多，無法做到對(duì)目標(biāo)的正確識(shí)別。

6 試驗(yàn)驗(yàn)證

此次識(shí)別主要是針對(duì)金銀花而言，而非金銀花部分，如樹枝、樹葉、背景等等則需要過濾掉。因此本文通過試驗(yàn)來驗(yàn)證上述算法的實(shí)用性。試驗(yàn)結(jié)果圖如圖11所示，圖11(a)在閾值分割下智能識(shí)別出4朵金銀花；圖11(b)在傳統(tǒng)Canny算法程序下識(shí)別出4朵金銀花，存在許多雜亂線條，導(dǎo)致結(jié)果不理想；圖11(c)在改進(jìn)的Canny算法下，識(shí)別出了6朵金銀花，且效果較好。最后通過選取8株金銀花，每株上存在6朵金銀花，試驗(yàn)結(jié)果如表1所示。

(a) 閾值分割 (b) 傳統(tǒng)Canny算法

(c) 改進(jìn)的Canny算法圖11 試驗(yàn)結(jié)果Fig. 11 Experimental results

表1 算法識(shí)別結(jié)果Tab. 1 Algorithm recognition results

對(duì)于閾值分割法識(shí)別率為79.17%，傳統(tǒng)Canny算法識(shí)別率為66.67%，改進(jìn)Canny算法識(shí)別率為93.75%，對(duì)于閾值分割法，由于光線和顏色的原因所以導(dǎo)致識(shí)別率不高，而傳統(tǒng)的Canny算法會(huì)使得識(shí)別出的邊緣較多，線條砸亂，不能夠完全識(shí)別出目標(biāo)。對(duì)于改進(jìn)過后的Canny算法可以看出，識(shí)別率明顯增加。

7 結(jié)論

本文研究了基于圖像處理技術(shù)的金銀花識(shí)別方法，通過閾值分割和邊緣檢測(cè)方法對(duì)金銀花進(jìn)行了識(shí)別研究。包括顏色閾值分割和邊緣檢測(cè)兩種方法，可以看出，在顏色空間試驗(yàn)?zāi)Ｐ椭?，B分量可以很好地將金銀花從背景中分割開來，達(dá)到識(shí)別效果，但是由于閾值分割法會(huì)識(shí)別連通區(qū)域，導(dǎo)致識(shí)別結(jié)果出現(xiàn)誤差，因此又采用了經(jīng)典的Canny算法試驗(yàn)來對(duì)金銀花進(jìn)行識(shí)別研究，之后又通過改進(jìn)Canny算法，進(jìn)一步對(duì)金銀花進(jìn)行識(shí)別試驗(yàn)。最后對(duì)于閾值分割法試驗(yàn)的識(shí)別率為79.17%，傳統(tǒng)Canny算法試驗(yàn)的識(shí)別率為66.67%，改進(jìn)Canny算法識(shí)別率為93.75%，最終改進(jìn)的Canny算法相對(duì)于前兩種方法，效果較好，同時(shí)也增加了Canny算法的實(shí)用性。