基于幀差法與SURF匹配的異纖機(jī)棉流速度測(cè)量

馮育龍， 許 濤

(西安工程大學(xué) 機(jī)電工程學(xué)院， 陜西 西安 710048)

近年來(lái)，隨著我國(guó)經(jīng)濟(jì)結(jié)構(gòu)的調(diào)整，棉花種植面積從2014年的418.0萬(wàn)公頃下降到2021年的302.8萬(wàn)公頃；與此同時(shí)，棉花采摘的機(jī)械化水平從70.74%逐年遞增至81.18%。相對(duì)人工采摘而言，機(jī)械化采摘速度快，但同時(shí)也導(dǎo)致采摘的棉花中含有大量異性纖維[1]。這些外來(lái)纖維在紡紗過(guò)程中難以去除，嚴(yán)重影響紗線品質(zhì)。因此，在紡制棉纖維之前，必須去除棉花中的異性纖維[2]。目前，基于機(jī)器視覺(jué)的檢測(cè)系統(tǒng)已廣泛應(yīng)用于識(shí)別棉花中的異性纖維[3-5]。

棉花異纖清除機(jī)就是用來(lái)清除棉花中異性纖維的自動(dòng)化設(shè)備。棉花異纖清除機(jī)通過(guò)視覺(jué)系統(tǒng)檢測(cè)到異性纖維，隨即給打擊執(zhí)行部件發(fā)出打擊指令，實(shí)現(xiàn)高速氣流截?cái)嗫刂啤５怯捎诿蘖魉俣鹊牟淮_定性，異纖清除效率難以提高[6]。

基于機(jī)器視覺(jué)的速度測(cè)量是利用目標(biāo)跟蹤技術(shù)，通過(guò)匹配目標(biāo)的位置、大小、形狀和顏色，建立運(yùn)動(dòng)目標(biāo)和前景目標(biāo)之間的對(duì)應(yīng)關(guān)系。根據(jù)匹配原理不同，可分為基于灰度的模板匹配算法以及基于特征的匹配算法。Jin等[7]通過(guò)圖像相關(guān)性比較，計(jì)算相關(guān)系數(shù)，找到估計(jì)速度的最大可能距離；Mosorov等[8]基于獲得的一系列層析圖像，利用互相關(guān)技術(shù)測(cè)量了粒子速度，并考慮了傳感器體積內(nèi)存在的流型。Yajun等[9]提出了一種基于雙CCD相機(jī)的棉花速度接觸式測(cè)量方法，采用互相關(guān)法獲得了棉花流動(dòng)的分區(qū)速度;實(shí)驗(yàn)結(jié)果表明，該方法可以有效地彌補(bǔ)超聲波傳感器方法的不足。

由于歸一化互相關(guān)(normalized cross correlation，NCC)可以達(dá)到較高的精度，但是NCC的計(jì)算成本很高，并且隨著模板的尺寸變大，其計(jì)算時(shí)間會(huì)急劇增加。CHEN等[10]提出一種模板匹配的加速度算法。代陽(yáng)等[11]提出了一種基于圖像互相關(guān)和卡爾曼濾波算法的混合方法，采用連通域法進(jìn)行預(yù)處理和分割，得到分離后的棉花圖像，并利用圖像互相關(guān)配準(zhǔn)技術(shù)計(jì)算坐標(biāo)變換參數(shù)；在圖像配準(zhǔn)中，采用卡爾曼濾波方法預(yù)測(cè)可能的位置，從而加快圖像配準(zhǔn)速度；研究結(jié)果表明，該方法可以有效提高檢測(cè)的準(zhǔn)確性以及實(shí)時(shí)性。

李慶園[12]提出一種基于時(shí)空域的車(chē)輛測(cè)速方案，并使用局部鄰域一致性約束對(duì)誤匹配點(diǎn)對(duì)進(jìn)行剔除。李繼輝[13]通過(guò)采用混合高斯背景建模算法實(shí)現(xiàn)運(yùn)動(dòng)車(chē)輛目標(biāo)提取，通過(guò)SIFT檢測(cè)算法實(shí)現(xiàn)特征點(diǎn)提取以及匹配，通過(guò)標(biāo)定相機(jī)計(jì)算車(chē)輛與攝像機(jī)之間的距離，求出車(chē)輛速度。田杰等[14]針對(duì)復(fù)雜背景下的圖像匹配精度與運(yùn)算速度較低的問(wèn)題，基于Hu不變矩和區(qū)域面積的感興趣區(qū)域特征提取方法，縮小識(shí)別匹配區(qū)域；結(jié)合Harris角點(diǎn)算法對(duì)SURF算法進(jìn)行改進(jìn)，剔除不穩(wěn)定的特征點(diǎn)，有效提高圖像匹配精度。常子霆等[15]針對(duì)無(wú)法獲取運(yùn)動(dòng)車(chē)輛的全景圖片且車(chē)輛之間有遮擋的現(xiàn)實(shí)問(wèn)題，利用車(chē)輪之間的位置關(guān)系來(lái)限制匹配區(qū)域，提高了匹配精度；用模板匹配對(duì)關(guān)鍵點(diǎn)進(jìn)行追蹤，獲得多幀圖像之間的車(chē)輪位移；實(shí)驗(yàn)結(jié)果表明，所提方法使得測(cè)速結(jié)果的均方根差(root mean square error，RMSE)下降了20%～40%，更加適用于車(chē)輛以較快速度(10～20 km/h)通過(guò)高速公路入口測(cè)速點(diǎn)的實(shí)際場(chǎng)景。

綜上所述，基于灰度的模板匹配算法在進(jìn)行速度測(cè)量時(shí)，需要逐像素匹配并計(jì)算相關(guān)系數(shù)，計(jì)算量較大；基于特征的匹配算法往往又會(huì)因?yàn)樘卣鼽c(diǎn)數(shù)量較多增加匹配難度。針對(duì)運(yùn)動(dòng)棉團(tuán)與背景差異性較小導(dǎo)致難以準(zhǔn)確匹配的問(wèn)題，課題組提出一種幀間差分法和形態(tài)學(xué)結(jié)合的SURF特征匹配算法。首先，課題組利用幀間差分法提取棉團(tuán)邊緣輪廓；其次，通過(guò)形態(tài)學(xué)開(kāi)閉運(yùn)算得到完整的棉團(tuán)信息；而后，基于SURF特征匹配算法選取特征點(diǎn)進(jìn)行匹配并計(jì)算同名點(diǎn)之間的像素差；最后，進(jìn)行坐標(biāo)轉(zhuǎn)換得到實(shí)際移動(dòng)距離并計(jì)算棉團(tuán)運(yùn)動(dòng)速度。

1 棉流速度測(cè)量理論

棉流速度測(cè)量有以下特點(diǎn)：①背景單一，異纖機(jī)在正常工作的情況下，光源及光照強(qiáng)度不會(huì)發(fā)生變化，高速CCD相機(jī)位置固定，獲取到的圖像背景在短時(shí)間內(nèi)不會(huì)發(fā)生變化；②大小不一、形狀各異的棉團(tuán)會(huì)同時(shí)存在；③棉團(tuán)與背景圖像灰度圖差別不大。

課題組提出將幀差法與SURF特征點(diǎn)匹配算法相結(jié)合計(jì)算棉團(tuán)運(yùn)動(dòng)速度。對(duì)于幀差法只能提取目標(biāo)輪廓的問(wèn)題，采用形態(tài)學(xué)開(kāi)閉運(yùn)算進(jìn)行填充，得到完整棉團(tuán)信息，同時(shí)減少特征點(diǎn)數(shù)量,通過(guò)對(duì)相鄰幀間同名點(diǎn)的像素距離進(jìn)行坐標(biāo)系轉(zhuǎn)換得到實(shí)際移動(dòng)距離，計(jì)算棉流速度。

1.1 幀間差分法提取運(yùn)動(dòng)目標(biāo)

依據(jù)圖像非運(yùn)動(dòng)區(qū)域變化較小的原理，在視頻流中選取相近的2幀圖像作差來(lái)提取目標(biāo)輪廓，但該算法只能提取部分邊緣信息而不能獲得完整的目標(biāo)信息。假設(shè)Fk(X,Y)和Fk-1(X,Y)分別表示視頻流中第k和第k-1幀的圖像，則差分圖像：

D(X,Y)=|Fk(X,Y)-Fk-1(X,Y)|。

(1)

式中：(X,Y)表示像素點(diǎn)，D(X,Y)表示提取的目標(biāo)輪廓。

對(duì)目標(biāo)輪廓D(X,Y)二值化處理獲取運(yùn)動(dòng)目標(biāo)像素點(diǎn)的位置,二值化過(guò)程如下：

(2)

式中：R(X,Y)為二值化后的圖像，T為選定的閾值。

1.2 形態(tài)學(xué)開(kāi)閉運(yùn)算

1) 膨脹,實(shí)現(xiàn)圖像中的高亮部分的擴(kuò)張，以獲得更大的高亮范圍。膨脹定義為：

(3)

式中：src表示原始圖像;dst (x,y)表示輸出圖像，主要實(shí)現(xiàn)用(x,y)周邊區(qū)域(x+x′,y+y′)內(nèi)的最大值代替(x,y)的值。

2) 腐蝕,求局部最小值，縮小圖像中的高亮范圍,腐蝕定義：

(4)

式(4)中，用(x,y)周邊區(qū)域(x+x′,y+y′)內(nèi)的最小值代替(x,y)的值。

1.3 SURF特征點(diǎn)匹配

尺度不變特征變換(speeded up robust feature, SURF)特征點(diǎn)具有平移、旋轉(zhuǎn)和多尺度的不變性優(yōu)勢(shì)，在進(jìn)行特征點(diǎn)匹配時(shí)能保持很好的魯棒性。因此課題組基于SURF特征點(diǎn)來(lái)提取感興趣點(diǎn)。

算法具體流程:

1) 構(gòu)建積分圖像I(x,y)以及Hession矩陣。

(5)

(6)

(7)

式中：I(x,y)表示圖像原點(diǎn)(x,y)整個(gè)區(qū)域內(nèi)所有像素點(diǎn)灰度值之和；H[I(x,y)]表示Hession矩陣，H(X,σ)表示濾波后的Hession矩陣，σ表示尺度;Lxx(x,y,σ)，Lxy(x,y,σ)和Lyy(x,y,σ)表示的是濾波后二階微分在點(diǎn)(x,y)處與圖像I的卷積。

以H矩陣的特征值作為判別式，根據(jù)判定結(jié)果的符號(hào)將點(diǎn)分類(lèi)

det (H)=LxxLyy-(ωLxy)2。

(8)

式中，ω表示用盒式濾波器替代高斯濾波器的加權(quán)系數(shù)。

2) 構(gòu)建尺度空間。

H矩陣構(gòu)建的尺度空間以9×9作為第1組第1層盒狀濾波器的尺寸L0，盒狀濾波器尺度σ就是圖像尺度s0，其他層圖像尺度:

(9)

3) 特征點(diǎn)定位。

將經(jīng)過(guò)Hessian矩陣處理的每個(gè)像素點(diǎn)與其3層尺度空間內(nèi)的3×3×3個(gè)點(diǎn)進(jìn)行比較，極大值點(diǎn)即為初步選定關(guān)鍵點(diǎn)，去除誤定位點(diǎn)得到特征點(diǎn)。

4) 特征點(diǎn)主方向分配。

建立以特征點(diǎn)為圓心，12s為直徑的區(qū)域，用60°的扇形窗口掃描區(qū)域，計(jì)算區(qū)域內(nèi)所有點(diǎn)的響應(yīng)值之和，值最大的方向就是特征點(diǎn)的主方向。主方向計(jì)算如圖1所示。

圖1 特征點(diǎn)主方向

5) 特征點(diǎn)描述子的生成。

以特征點(diǎn)為中心，沿著主方向建立正方形窗口，并等分為4×4的子區(qū)域。計(jì)算16個(gè)子域內(nèi)像素點(diǎn)的小波特征dx和dy，形成包含∑dx,∑dy,∑|dx|和∑|dy|的四維向量，生成64維描述符。

6) 特征點(diǎn)匹配。

SURF特征點(diǎn)匹配主要通過(guò)計(jì)算兩點(diǎn)的歐氏距離和H矩陣的跡來(lái)評(píng)價(jià)匹配效果好壞；歐氏距離值越小越匹配。計(jì)算矩陣主對(duì)角線上元素之和，符號(hào)相同的2個(gè)特征點(diǎn)進(jìn)行匹配，否則不予以匹配。

計(jì)算特征向量P1，P2中元素的歐式距離，滿足要求即可視為同名點(diǎn)。特征匹配計(jì)算公式：

(10)

SURF特征點(diǎn)匹配結(jié)果中有少量不包括棉團(tuán)運(yùn)動(dòng)信息的特征點(diǎn)，因此需要將背景特征點(diǎn)與運(yùn)動(dòng)特征點(diǎn)進(jìn)行區(qū)分。2個(gè)特征點(diǎn)的像素距離：

(11)

式中：(x1m,y1m),(x1n,y1n)分別表示特征點(diǎn)1,2在圖像中的像素位置；DL表示2個(gè)特征點(diǎn)之間的像素距離，DL接近于0的標(biāo)記為背景特征點(diǎn)，DL遠(yuǎn)大于0的標(biāo)記為運(yùn)動(dòng)特征點(diǎn)。

1.4 坐標(biāo)系轉(zhuǎn)換

SURF特征點(diǎn)匹配算法實(shí)現(xiàn)了給定時(shí)間間隔內(nèi)棉團(tuán)運(yùn)動(dòng)像素距離大小的檢測(cè)。為了獲得棉團(tuán)運(yùn)動(dòng)速度，需要將像素距離與實(shí)際距離進(jìn)行轉(zhuǎn)換，單目相機(jī)轉(zhuǎn)換原理如圖2所示。

圖2 距離轉(zhuǎn)換原理

通過(guò)計(jì)算標(biāo)尺在圖片中顯示的尺寸得到比例關(guān)系，計(jì)算整個(gè)圖片實(shí)際尺寸;根據(jù)成像圖片的分辨率計(jì)算得到單個(gè)像素對(duì)應(yīng)的實(shí)際距離；SURF算法計(jì)算出特征點(diǎn)之間的像素差，再與單個(gè)像素對(duì)應(yīng)的實(shí)際距離相乘得到實(shí)際移動(dòng)距離，進(jìn)而計(jì)算得到棉團(tuán)運(yùn)動(dòng)速度。設(shè)圖像像素與實(shí)際距離之間的轉(zhuǎn)換單位為μ，實(shí)際距離為D，則有：

(12)

(13)

式中：l為標(biāo)尺實(shí)際長(zhǎng)度，L為標(biāo)尺在成像圖片中的長(zhǎng)度，fps為相機(jī)拍攝幀率，pix為標(biāo)尺在圖像中的像素?cái)?shù)，Δpix為像素差，t為棉團(tuán)運(yùn)動(dòng)時(shí)間，v為棉團(tuán)運(yùn)動(dòng)速度。

2 棉流速度測(cè)量

2.1 棉速測(cè)量實(shí)驗(yàn)平臺(tái)

選用幀率高、可視化好的高速CCD相機(jī)搭建如圖3所示的棉流速度測(cè)量平臺(tái)。相機(jī)型號(hào)為Photron FastCAM，采用了高感光度C-MOS傳感器,難以拍攝的低亮度拍攝對(duì)象也能實(shí)現(xiàn)可視化。為了降低實(shí)驗(yàn)中外界因素的影響，實(shí)驗(yàn)所用的棉花大小、形狀應(yīng)有一定的差異性。在測(cè)試過(guò)程中，保持相機(jī)位置固定。

圖3 棉速測(cè)量實(shí)驗(yàn)平臺(tái)

2.2 幀差法提取運(yùn)動(dòng)目標(biāo)

相機(jī)獲取的棉團(tuán)圖像灰度轉(zhuǎn)換結(jié)果如圖4(b)所示。運(yùn)動(dòng)棉團(tuán)與通道背景之間灰度值差異不明顯，直接進(jìn)行SURF特征點(diǎn)匹配，結(jié)果如圖5所示。匹配結(jié)果表明：①特征點(diǎn)數(shù)量多；②存在誤匹配點(diǎn)對(duì)；③與棉團(tuán)信息特征點(diǎn)數(shù)量少。

圖4 棉流圖像

圖5 SURF特征點(diǎn)粗匹配

運(yùn)用幀間差分法提取棉團(tuán)邊緣輪廓，如圖6所示。圖中可以看到幀差法前后，棉團(tuán)邊緣輪廓得到很好的提取，但是棉團(tuán)內(nèi)部信息不完整，會(huì)增加后續(xù)匹配難度。

圖6 幀間差分法提取棉團(tuán)邊緣輪廓

2.3 形態(tài)學(xué)運(yùn)算填充內(nèi)部輪廓

對(duì)二值化圖像運(yùn)用形態(tài)學(xué)開(kāi)閉運(yùn)算進(jìn)行噪點(diǎn)去除以及內(nèi)部填充，結(jié)果如圖7所示。從圖7中可以看出，背景區(qū)域的噪點(diǎn)實(shí)現(xiàn)去除，同時(shí)得到了整個(gè)棉團(tuán)信息。

圖7 形態(tài)學(xué)開(kāi)閉運(yùn)算

2.4 SURF特征點(diǎn)匹配

對(duì)形態(tài)學(xué)開(kāi)閉運(yùn)算后的2幀圖像進(jìn)行SURF特征點(diǎn)匹配，得到如圖8所示的匹配結(jié)果。匹配結(jié)果表明：匹配的像素點(diǎn)數(shù)為28，有2個(gè)背景特征點(diǎn)，3個(gè)誤匹配點(diǎn)。去除不需要的匹配點(diǎn)后，計(jì)算剩余匹配點(diǎn)對(duì)的像素差平均值，作為給定時(shí)間內(nèi)棉團(tuán)運(yùn)動(dòng)的像素距離。與直接對(duì)灰度圖像進(jìn)行SURF粗匹配的結(jié)果進(jìn)行對(duì)比，得到表1所示的結(jié)果。從表1中可以看出，本文算法將特征點(diǎn)數(shù)從87減少到28，無(wú)效匹配點(diǎn)對(duì)數(shù)從79減少到2，誤匹配點(diǎn)對(duì)數(shù)從5減少到3，提高了算法的運(yùn)算速度。

圖8 SURF特征點(diǎn)匹配

表1 直接匹配與所提算法對(duì)比結(jié)果

2.5 棉流速度測(cè)量

由式(11)～(13)，計(jì)算選取的同名點(diǎn)像素移動(dòng)距離，在進(jìn)行像素距離與實(shí)際距離的轉(zhuǎn)換后，計(jì)算得到給定入口速度vin=15 m/s時(shí)輸棉通道內(nèi)棉流速度。輸棉通道進(jìn)棉口橫向長(zhǎng)度為1 380 mm，圓形速度入口(優(yōu)棉出口)位于通道中間，在對(duì)稱通道內(nèi)以55 mm為間隔，選取12個(gè)點(diǎn)，計(jì)算12個(gè)點(diǎn)處的棉流速度。其中，通道中間位置為1號(hào)位置，通道邊界位置為12號(hào)位置，結(jié)果如圖9所示。

圖9 課題組提出算法的對(duì)稱通道棉流速度分布

與直接計(jì)算得到的棉流速度進(jìn)行比較，結(jié)果如圖10所示。對(duì)本文算法與直接計(jì)算所得的速度之間的誤差進(jìn)行計(jì)算，誤差如圖11所示。

圖11 誤差變化曲線

由圖10和11可知，對(duì)稱通道內(nèi)，本文算法所得速度與直接計(jì)算所得速度間的誤差基本保持在4.0%左右，在通道邊緣位置誤差逐漸增大。此種情況的出現(xiàn)與輸棉通道的彎形管道結(jié)構(gòu)有關(guān)。

圖10 直接計(jì)算和課題組提出算法的對(duì)稱通道棉流速度分布

3 結(jié)論

課題組針對(duì)異纖機(jī)輸棉通道內(nèi)棉流速度分布特性無(wú)法確定的問(wèn)題，提出了基于幀間差分法和SURF特征點(diǎn)匹配相結(jié)合的棉流速度測(cè)量方法。同時(shí)，使用形態(tài)學(xué)腐蝕、膨脹運(yùn)算去除背景噪點(diǎn)同時(shí)得到完整的棉團(tuán)信息。實(shí)驗(yàn)結(jié)果表明，與直接匹配相比，特征點(diǎn)數(shù)量減少67.8%，無(wú)效匹配點(diǎn)對(duì)減少97.47%，本文算法計(jì)算所得速度與直接計(jì)算所得速度誤差約為4.0%。課題組設(shè)計(jì)的算法準(zhǔn)確率能滿足實(shí)際要求。該算法雖然能夠準(zhǔn)確獲得不同位置的棉流速度，但是算法實(shí)時(shí)性不高，后續(xù)研究可以圍繞提高算法運(yùn)算速度展開(kāi)研究。