水果分類的多模板匹配算法及其FPGA實(shí)現(xiàn)

陳 鈞,周井泉,程家文,谷文成

(南京郵電大學(xué) 電子與光學(xué)工程學(xué)院、柔性電子學(xué)院,江蘇 南京 210023)

0 引 言

近幾年,水果的銷量在不斷地增加,在現(xiàn)場分揀時隨著數(shù)量和種類的增加,其工作量自然而然也在加重。例如,水果超市經(jīng)常會看到由工作人員現(xiàn)場稱重、貼標(biāo)簽而排起了很長的隊(duì)伍,這不僅浪費(fèi)了人力資源,還浪費(fèi)了消費(fèi)者的時間;而且隨著大數(shù)據(jù)——智能時代的發(fā)展,以后會越來越趨向于機(jī)器智能的時代。大型超市里自助結(jié)算的機(jī)器,用機(jī)器視覺來代替人工分揀,效率會更高[1]。目前有許多的國內(nèi)外學(xué)者利用機(jī)器視覺對水果的識別、采摘、分揀、交易等環(huán)節(jié)進(jìn)行了研究[2]。文獻(xiàn)[3]提出了一種基于多源圖像融合的綠色葡萄識別方法,首先通過中值濾波和小波變換對圖像進(jìn)行去噪,再利用改進(jìn)的加速穩(wěn)健特征方法提取特征點(diǎn),根據(jù)特征偏移的一致性和圖像間的仿射關(guān)系完成匹配。該算法對綠葡萄的平均識別率達(dá)到92.1%。文獻(xiàn)[4]提出了一種紅綠藍(lán)深度相機(jī)來對荔枝進(jìn)行識別。主要利用了顏色和紋理特征,設(shè)計(jì)了一種基于多尺度檢測和極大值抑制算法的方法。經(jīng)過實(shí)驗(yàn)測試,該算法對綠荔枝和紅荔枝的識別率分別為89.92%和94.50%。文獻(xiàn)[5]使用了深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutio-nal neural networks,CNN)對水果進(jìn)行識別,還采用了基于視覺幾何組(visual geometry group,VGG)神經(jīng)網(wǎng)絡(luò)模型的遷移學(xué)習(xí)方法進(jìn)行微調(diào),來減少訓(xùn)練的時間,最后平均識別率可達(dá)到94.16 %。該類算法主要是基于計(jì)算機(jī)的中央處理器(central processing unit,CPU)或圖形處理器(graphic processing unit,GPU)對圖像進(jìn)行處理,為了提高識別率,需要搭建深層次的網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)[6]使用了你只看一次版本3(you only look once version-3,YOLOV3)對蘋果識別定位的方法,其平均精度為87.71%。一幅圖像在GPU下檢測時間為16.69 ms,在CPU下為105.21 ms。文獻(xiàn)[7]采用了區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural networks,RCNN)中的Faster RCNN目標(biāo)檢測算法,其網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜,對綠色柑橘檢測的平均精度為85.49 %,一幅圖像的檢測時間為0.4 s。

將機(jī)器視覺應(yīng)用于實(shí)際中,就需要很高的實(shí)時性,還要考慮成本,利用計(jì)算機(jī)的軟件來對圖像進(jìn)行處理過程耗時過長,而利用現(xiàn)場可編程邏輯門陣列(field programmable gate array,FPGA)來實(shí)現(xiàn)圖像識別時,由于FPGA的流水線以及并行操作可以極大地加快運(yùn)算速度,使得其在實(shí)時圖像處理中應(yīng)用廣泛[8-10]。形狀是一種直觀的表現(xiàn),它不隨周圍環(huán)境(亮度、溫度等)的變化而變化,是一種比較穩(wěn)定的特征信息[11]。

在一個系統(tǒng)中為了能夠同時實(shí)現(xiàn)對多種水果的類型識別,就需要構(gòu)建一個水果模板匹配的數(shù)據(jù)庫,識別水果的種類越多,該數(shù)據(jù)庫也就越大。并且在識別的時候會與數(shù)據(jù)庫里的模板進(jìn)行匹配,得到一個最為接近的水果種類。為了能夠達(dá)到實(shí)時、高效,同時又能對多種水果進(jìn)行識別,該文設(shè)計(jì)了一種多模板匹配的算法,并用FPGA硬件的方式實(shí)現(xiàn)了該算法。該算法的關(guān)鍵在于對圖像形狀特征的提取、模板數(shù)據(jù)庫的構(gòu)建以及類型匹配與識別。

1 多模板數(shù)據(jù)庫

1.1 特征提取

物體的形狀特征是根據(jù)物體的邊緣來體現(xiàn)的,對邊緣像素點(diǎn)進(jìn)行提取與處理時,在一定程度上反映了物體的形狀。這里需要先對圖像進(jìn)行灰度、濾波、邊緣化等預(yù)處理,采用邊緣梯度方向直方圖[12]的方法進(jìn)行特征提取,對每個邊緣點(diǎn)的梯度方向按照劃分的區(qū)間進(jìn)行統(tǒng)計(jì),就會得到一組反映物體形狀的特征向量。

根據(jù)要識別物體形狀的不同,特征提取的情況有兩種,對于那些“圓潤”的物體可以采用第一種方法,而對于那些“棱角”分明的物體可以采用第二種方法。具體的流程如圖1所示。從圖1可以看出,第二種方法是在第一種方法的邊緣檢測前對圖像進(jìn)行了二值化、腐蝕、膨脹的操作[13]。兩種方法各有各的優(yōu)點(diǎn),適用于不同物體的檢測。第一種方法對圖像像素點(diǎn)的處理較少,后面得到的形狀特征的數(shù)據(jù)還保留了一定的圖像灰度特征,識別形狀大致相同但顏色不同的物體時更加具有區(qū)分度;而第二種方法增加的一些操作目的是為了得到更加純粹的邊緣形狀特征,由于一些物體存在紋理特征[14],經(jīng)過Sobel邊緣化得到的圖像會有紋理處像素點(diǎn)的摻雜,這不僅對Sobel邊緣化要求高,而且這是很難避免的。而增加腐蝕、膨脹操作后能有效地消除這一影響。

圖1 形狀特征提取流程

大部分水果的邊緣形狀都偏向于圓潤,不像正方形、三角形、星形那樣棱角分明,測量多種水果的模板數(shù)據(jù)時就很難有區(qū)分度,物體稍微旋轉(zhuǎn)就會影響識別的準(zhǔn)確率,所以采用了第一種方法對水果進(jìn)行識別。而第二種方法更適合那些人為的控制生長形狀,具有棱角的水果識別。

1.1.1 灰度化

采集到的是彩色圖像,需要對其進(jìn)行灰度化,將其轉(zhuǎn)化為YCbCr類型,然后提取Y分量即可得到像素點(diǎn)的灰度值,轉(zhuǎn)化關(guān)系如式(1)。

Y=0.183R+0.614G+0.062B+16

(1)

式中,R代表的是圖像的紅色分量,G代表的是圖像的綠色分量,B代表的是圖像的藍(lán)色分量,Y為灰度值。

1.1.2 均值濾波

圖像在采集的過程中會產(chǎn)生許多噪聲,對后面的圖像處理會產(chǎn)生影響,這就需要濾波來消除噪聲。均值濾波法是一種線性低通濾波的方法,原理是通過求某一塊鄰域內(nèi)像素的平均值來削弱噪聲。設(shè)計(jì)采用的是3×3的模板,求取3×3鄰域內(nèi)像素點(diǎn)的平均值。

1.1.3 Sobel邊緣化

圖像的邊緣定義是通過灰度值的變化程度來尋找邊緣。這種灰度的變化程度是通過函數(shù)的導(dǎo)數(shù)來反映的,從數(shù)學(xué)上來看一階導(dǎo)數(shù)的極大值和二階導(dǎo)數(shù)過零點(diǎn)的就是亮度值變化最大的地方,這些導(dǎo)數(shù)就是圖像的邊緣,然后再設(shè)置適當(dāng)?shù)拈撝?將這些點(diǎn)集合起來構(gòu)成邊緣[15]。Sobel算子有兩組3×3的矩陣,如式(2),A表示水平方向,B表示垂直方向。

(2)

邊緣檢測的方法是將圖像中每個點(diǎn)都用Sobel算子做卷積,如式(3),卷積其實(shí)是進(jìn)行加權(quán)求和的過程。用式(4)、式(5)計(jì)算x和y的亮度差分近似值,其中f(x,y)是圖像在(x,y)點(diǎn)的灰度值[16]。

(3)

Gx=f(x+1,y-1)+2f(x+1,y)+

f(x+1,y+1)-f(x-1,y-1)-

2f(x-1,y)-f(x-1,y+1)

(4)

Gy=f(x-1,y-1)+2f(x,y-1)+

f(x+1,y-1)-f(x-1,y+1)-

2f(x,y+1)-f(x+1,y+1)

(5)

將得到的Gx和Gy先求平方和再開方,如式(6),得到一個G,給G設(shè)一個閾值,大于這個閾值的點(diǎn)即為邊緣點(diǎn)。同時也得到了邊緣點(diǎn)的梯度方向θ,如式(7)。由于arctan函數(shù)是一個遞增的函數(shù),在硬件里很難實(shí)現(xiàn)。對其進(jìn)行改進(jìn),根據(jù)映射的一一對應(yīng)性,可直接用Gy/Gx來代替θ,后面對梯度方向的統(tǒng)計(jì)其實(shí)也就是對Gy/Gx的值進(jìn)行統(tǒng)計(jì)。

(6)

θ=arctan(Gy/Gx)

(7)

1.1.4 梯度統(tǒng)計(jì)

根據(jù)上述得到的邊緣梯度方向θ的范圍是在0°～90°(Gx和Gy為正),對其進(jìn)行劃分,統(tǒng)計(jì)每一個方向區(qū)間內(nèi)邊緣像素點(diǎn)的個數(shù)即可構(gòu)成邊緣梯度方向直方圖,利用寄存器累加來實(shí)現(xiàn),如式(8)所示。其中i表示劃分的某一區(qū)間,T[i]表示該區(qū)間邊緣點(diǎn)的個數(shù)。這樣就構(gòu)成了一組特征向量。區(qū)間劃分的越細(xì),得到的特征向量也就越明顯,但對圖像的旋轉(zhuǎn)也會有影響。

T[i]=T[i]+1

(8)

1.1.5 歸一化

各個區(qū)間經(jīng)統(tǒng)計(jì)得到的邊緣點(diǎn)個數(shù)不易受物體平移的影響,但會受到圖像放大、縮小的影響,這就需要進(jìn)行歸一化處理。

1.2 數(shù)據(jù)庫的構(gòu)建

通過歸一化處理后,得到了最終的特征向量。提取出所需識別水果種類的所有特征向量,然后將所有的特征向量構(gòu)成了一個多模板的數(shù)據(jù)庫?？紤]到物體的旋轉(zhuǎn)問題,由于圓形的水果(橘子、蘋果)對最終得到的特征向量影響不大,而像香蕉、火龍果等這種不規(guī)則的物體可以多生成幾個方向的特征向量,在這幾個方向上輕微的旋轉(zhuǎn)對特征向量的影響很小。

2 多模板匹配算法及其實(shí)現(xiàn)

2.1 算法框圖

模板數(shù)據(jù)庫將用于多模板匹配算法的分類與識別過程,算法模塊的框圖如圖2所示。

圖2 多模板匹配的算法框圖

對要識別的水果進(jìn)行特征提取,得到特征向量,然后與數(shù)據(jù)庫里的模板數(shù)據(jù)進(jìn)行匹配,通過求差再平方的方法得到一個距離。如式(9)中,ai為待測的某個分量,bi為模板對應(yīng)的分量,n為特征向量的維數(shù)。距離越小,與該模板越接近,則說明待測水果與距離最小的模板最為匹配,從而歸類為相應(yīng)的種類。

(9)

2.2 算法的仿真實(shí)現(xiàn)

算法實(shí)現(xiàn)的原理如圖3所示。主控芯片PGL22G從OV5640攝像頭采集到的圖像經(jīng)過處理,使輸入圖像的格式為RGB彩色圖像;輸入時鐘是從晶振頻率為50 MHz通過分頻器來產(chǎn)生65 MHz的CLK;還有一些輸入的復(fù)位信號(rst)和控制信號,如行同步信號(hs)、場同步信號(vs)等,來實(shí)現(xiàn)復(fù)位功能以及同步控制邏輯?；叶然瘯r存在小數(shù)部分,而verilog硬件描述語言不能表示小數(shù),需要先對其進(jìn)行放大的操作,后面再對結(jié)果進(jìn)行縮小。按照固定的倍數(shù)進(jìn)行放縮時,為了節(jié)省資源可用移位操作來代替乘除操作。

圖3 算法實(shí)現(xiàn)原理

由于采用的是流水線結(jié)構(gòu),濾波時3×3的矩陣實(shí)現(xiàn)就需要先緩存兩行圖像像素點(diǎn)的灰度值,設(shè)計(jì)行緩存的模塊。Sobel邊緣化的實(shí)現(xiàn)主要包括3×3的矩陣模塊以及卷積求和的模塊,而3×3的矩陣模塊在均值濾波模塊中已經(jīng)實(shí)現(xiàn)過,可以直接調(diào)用。而卷積求和時平方和過后也不需要進(jìn)行開方處理,直接將邊界閾值設(shè)為平方時的閾值。

梯度統(tǒng)計(jì)模塊的實(shí)現(xiàn)主要包括除法器模塊以及統(tǒng)計(jì)模塊設(shè)計(jì),從θ的范圍可以倒推出Gy/Gx的值會存在小數(shù)部分,此時就需要將Gy的值進(jìn)行移位放大;根據(jù)統(tǒng)計(jì)提取出一組特征向量,整個過程是流水線操作,統(tǒng)計(jì)時可以用寄存器來暫存統(tǒng)計(jì)值,通過時序來控制寄存器的輸出和清零。實(shí)時圖像在每一幀的時候給寄存器輸出一次,然后清零,統(tǒng)計(jì)下一幀的數(shù)據(jù)。

歸一化的實(shí)現(xiàn)主要通過調(diào)用之前的除法器,需要統(tǒng)計(jì)出邊緣像素點(diǎn)的總數(shù)以及每個區(qū)間像素點(diǎn)的總數(shù)作為除法器的輸入,考慮到流水線結(jié)構(gòu)以及節(jié)省資源,這里設(shè)計(jì)時通過時序來控制。利用寄存器的延時將所需的數(shù)據(jù)送入同一個除法器里,這樣做大大節(jié)省了資源。

匹配與分類的過程主要是將特征向量與模板數(shù)據(jù)庫的模板進(jìn)行求差再平方,尋找一個最小距離,根據(jù)距離來識別分類。高清晰度多媒體接口(high definition multimedia interface,HDMI)的使用還需要設(shè)計(jì)解碼器的模板,最后就可以將識別的結(jié)果通過HDMI顯示出來。

3 硬件測試結(jié)果與分析

3.1 硬件系統(tǒng)架構(gòu)

實(shí)驗(yàn)所使用的硬件開發(fā)平臺為紫光的PGL22G-6MBG324的FPGA開發(fā)板。將待測物體放在黑色背景布上,通過OV5640攝像頭將采集到的圖像數(shù)據(jù)經(jīng)過處理傳入雙倍數(shù)據(jù)流的同步動態(tài)隨機(jī)存取器(double data rate synchronous dynamic random-access memory,DDR SDRAM)中,然后再從DDR SDRAM里讀數(shù)據(jù),將緩沖的數(shù)據(jù)傳入多模板算法進(jìn)行處理,最后將處理好的數(shù)據(jù)輸出至HDMI,用來顯示處理后的圖像以及識別的結(jié)果。

整個系統(tǒng)的框架如圖4所示,系統(tǒng)的資源使用情況如表1所示。

圖4 硬件測試的系統(tǒng)架構(gòu)

表1 系統(tǒng)資源的占用

3.2 性能測試與分析

測試的樣本數(shù)據(jù)集是采用實(shí)際的水果模型,每種所需識別的水果模型各20個,選取每種水果的其中一個來構(gòu)建模板數(shù)據(jù)庫,其余的水果模型都用于測試過程。搭建好實(shí)際的測試平臺,根據(jù)不同的條件來進(jìn)行測試。

3.2.1 實(shí)時性

該系統(tǒng)中,梯度方向統(tǒng)計(jì)模塊采用了一幀統(tǒng)計(jì)數(shù)據(jù)清零的方式,圖像輸出分辨率為1 024×768,而時鐘的頻率為65 MHz,且一個時鐘周期處理一個像素點(diǎn),經(jīng)計(jì)算約為12.10 ms完成對一種水果的識別。并且還可以加快時鐘的頻率來進(jìn)一步提高速度,比利用軟件平臺的方式進(jìn)行識別的速度大大提升。

3.2.2 識別率

在室內(nèi)的環(huán)境下,一個系統(tǒng)里同時測試了如表1所示的幾種水果的識別率,考慮了實(shí)際應(yīng)用情景,每種水果擺放在平臺的不同位置,所以實(shí)現(xiàn)對目標(biāo)進(jìn)行了平移,且對每種水果和每種條件都進(jìn)行了400次的測試。模板數(shù)據(jù)庫的組成是由每種水果的水平和垂直方向的特征向量搭建的,這里的任意位置是指基于這兩個大致的方向隨意擺放的位置。從表2中可以看出,這些水果按照固定位置擺放時,識別準(zhǔn)確率可達(dá)到98%以上?？紤]平移、放縮、微旋的情況下會有所下降,而且還與水果的種類有關(guān)。香蕉因其形狀獨(dú)特,旋轉(zhuǎn)的影響會比較大。

表2 室內(nèi)條件下水果的識別率 %

3.2.3 性能對比

對以上四種水果在任意位置的識別率取平均準(zhǔn)確率并與文獻(xiàn)[17]中提供的多種方法對水果檢測的性能進(jìn)行比較,如表3所示。SSD、YOLO系列是對目標(biāo)檢測與分類是同時進(jìn)行的算法。CenterNet是一種中心網(wǎng)絡(luò)算法。

表3 不同方法的性能

從表3中可以看出,利用FPGA實(shí)現(xiàn)的多模板匹配算法相比于其他方法具有很高的實(shí)時性,在任意位置時的平均準(zhǔn)確率也能達(dá)到91%以上。

3.2.4 穩(wěn)定性

對該算法的穩(wěn)定性測試,主要是分析光照、水果大小、位置的平移以及微旋對識別率的影響。改變光照的強(qiáng)度,這里用光通量來表示。在陰暗環(huán)境下,增加了色溫為6 500 K,光通量為100 lm、150 lm以及210 lm的光源。為了更好地測試光照的影響,模板數(shù)據(jù)庫的建立采用了150 lm的光照條件,然后通過增加和減少光通量的條件測試了下列幾種水果的識別準(zhǔn)確率,如表4所示。

表4 不同光照下水果的識別率 %

從表4可以看出,減少光通量要比增加光通量的識別率更加穩(wěn)定。這是因?yàn)樵黾庸馔?物體的邊緣像素點(diǎn)的數(shù)量會大大增加,從而與模板的特征向量差距會拉大,而且還與水果本身的顏色有關(guān)。黃色的香蕉自身亮度比較大,當(dāng)光照增強(qiáng)時,對其影響較小;而這里對于青蘋果,對其表面增加光照,會使其表面變得很亮,差距就會變大,而選用紅蘋果時影響會變小。

識別率隨同種水果的大小或距離攝像頭的遠(yuǎn)近位置的變化如表5所示,這里采用了光通量為150 lm,距離為50 cm的條件。改變攝像頭與物體的距離也能模擬水果大小的變化情況。可以看出識別率受物體的放縮影響較小。

表5 不同距離下水果的識別率 %

改變水果的微旋轉(zhuǎn)角度,光照條件還是采用光通量為150 lm的條件,測試了下列幾種水果的識別準(zhǔn)確率,如表6所示。

表6 微旋下水果的識別率 %

從表6中可以看出,微旋對識別率的影響比較小,而且主要是和水果種類相關(guān),像蘋果這種圓形不用考慮旋轉(zhuǎn)的影響,而像芒果和香蕉這種形狀旋轉(zhuǎn)會直接影響其識別率,這就需要在模板數(shù)據(jù)庫里多增加這些水果不同方向的特征向量。

4 結(jié)束語

該文提出了一種對多種水果進(jìn)行種類識別的多模板匹配算法。用Gy/Gx來代替θ對邊緣梯度方向進(jìn)行統(tǒng)計(jì),從而提取出其形狀特征。構(gòu)建了一個多模板的數(shù)據(jù)庫,再根據(jù)最小距離來匹配,完成了對多種水果的識別與分類。通過FPGA實(shí)現(xiàn)了這一算法,與一些神經(jīng)網(wǎng)絡(luò)算法相比具有更高的實(shí)時性,并且還可以改變時鐘頻率來進(jìn)一步提升速度。對四種水果進(jìn)行了測試,能夠在固定位置的識別率達(dá)到98 %以上,并且受光照、平移、縮放、微旋的影響較小。