基于累積圖像特征點(diǎn)匹配的智能皮帶測(cè)速方法

趙 亮， 韓寶虎， 孫魁元， 榮 寶， 屠鳳招， 張學(xué)慧， 田立龍， 張智浩

(1.神華寶日希勒能源有限公司， 呼倫貝爾 021025； 2.哈爾濱工業(yè)大學(xué)航天學(xué)院， 哈爾濱 150001)

在煤炭工業(yè)中，利用皮帶運(yùn)輸煤炭等物料是極其重要的一個(gè)環(huán)節(jié)，但是由于皮帶的工作量大、運(yùn)輸量多，在實(shí)際的生產(chǎn)運(yùn)輸過(guò)程中，容易發(fā)生皮帶打滑的狀況，會(huì)影響整個(gè)生產(chǎn)過(guò)程的正常進(jìn)行，降低效益。因此，針對(duì)煤炭工業(yè)的生產(chǎn)過(guò)程，設(shè)計(jì)有效的皮帶測(cè)速監(jiān)控系統(tǒng)是極其必要的。

現(xiàn)有的測(cè)速裝置絕大多數(shù)是基于硬件傳感器的方法，即測(cè)速輪或滾筒與皮帶接觸，利用傳感器進(jìn)行轉(zhuǎn)速計(jì)數(shù)[1-3]。但是由于磨損或震動(dòng)等原因，動(dòng)輪與皮帶不能完全貼合，造成測(cè)速打滑誤報(bào)。近年來(lái)，人工智能和計(jì)算機(jī)視覺(jué)技術(shù)廣泛用于工業(yè)生產(chǎn)中，提高了生產(chǎn)效率，使產(chǎn)業(yè)智能化。文獻(xiàn)[4]提出了一種基于圖像的皮帶測(cè)速方法，在皮帶邊緣作標(biāo)記，通過(guò)檢測(cè)相鄰幀圖像中標(biāo)記位置的變化計(jì)算皮帶速度。該方法能夠完成測(cè)速任務(wù)，但需要根據(jù)皮帶大致速度調(diào)節(jié)相機(jī)幀率以確保相鄰幀能采集到同一個(gè)標(biāo)記，但當(dāng)物料量大、遮擋標(biāo)記時(shí)，會(huì)影響檢測(cè)。因此，研究了一種直接提取皮帶或物料特征的智能皮帶測(cè)速方法。

運(yùn)動(dòng)估計(jì)是計(jì)算機(jī)視覺(jué)中的重要內(nèi)容，廣泛應(yīng)用于目標(biāo)跟蹤和視頻穩(wěn)定等領(lǐng)域，其目的是找到兩幅圖像間像素的對(duì)應(yīng)關(guān)系。對(duì)皮帶監(jiān)控視頻相鄰幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，從而計(jì)算皮帶運(yùn)動(dòng)速度。最典型和常見(jiàn)的運(yùn)動(dòng)估計(jì)方法是光流法[5]。其通常利用圖像間像素強(qiáng)度的變化，估計(jì)每個(gè)像素的運(yùn)動(dòng)偏移量。由于皮帶和煤炭的顏色單一，且監(jiān)控視頻容易存在噪聲，影響了像素強(qiáng)度，所以光流法不適用于皮帶運(yùn)動(dòng)估計(jì)。另外，光流法計(jì)算量較大，難以滿足皮帶監(jiān)控的實(shí)時(shí)性。此外，基于特征匹配估計(jì)運(yùn)動(dòng)模型[6-7]也是常用的方法。這類(lèi)方法是通過(guò)建立特征間的對(duì)應(yīng)關(guān)系估計(jì)模型。常用的特征點(diǎn)提取方法有SIFT(scale-invariant feature transform)[8]、SURF(speeded up robust features)[9]、ORB(oriented fast and rotated brief)[10]和一些改進(jìn)的算法[11-13]等。根據(jù)圖像間變換的不同，采用不同的參數(shù)模型，其中全局變換模型主要包括平移、旋轉(zhuǎn)、縮放、仿射和投影。由于特征點(diǎn)提取具有尺度，旋轉(zhuǎn)，光照不變性，所以這類(lèi)方法估計(jì)的結(jié)果穩(wěn)定且效率較高。但是皮帶區(qū)域紋理不顯著，提取出的特征點(diǎn)數(shù)量可能不足以估計(jì)模型。而且誤匹配的特征點(diǎn)對(duì)也會(huì)影響結(jié)果的準(zhǔn)確性。

現(xiàn)提出一種基于累積特征點(diǎn)匹配的皮帶測(cè)速方法。因?yàn)檫B續(xù)幀的皮帶移動(dòng)速度接近，累積多個(gè)連續(xù)幀的特征點(diǎn)對(duì)來(lái)估計(jì)運(yùn)動(dòng)模型，改善了特征點(diǎn)數(shù)量不足的問(wèn)題。還根據(jù)視頻中的不動(dòng)點(diǎn)估計(jì)視頻抖動(dòng)的偏移量，提高了皮帶速度估計(jì)的準(zhǔn)確度。另外，給出標(biāo)定攝像機(jī)內(nèi)外參數(shù)的方法，可以將圖像坐標(biāo)系的估計(jì)結(jié)果轉(zhuǎn)換到世界坐標(biāo)系下的速度值。

1 智能皮帶測(cè)速實(shí)現(xiàn)方法

基于累積特征點(diǎn)匹配的皮帶測(cè)速方法的主要流程如圖1所示。

圖1 皮帶測(cè)速方法流程Fig.1 Belt speed measurement process

1.1 特征點(diǎn)提取與匹配

假定皮帶監(jiān)控過(guò)程中，攝像機(jī)的位置固定不動(dòng)或有微小晃動(dòng)，首先在皮帶監(jiān)控視頻中圈出感興趣矩形區(qū)域，該區(qū)域包括傳送帶的部分較清晰區(qū)域和部分背景區(qū)域。

1.2 視頻抖動(dòng)估計(jì)

(1)

(2)

1.3 皮帶速度估計(jì)

由于傳送帶近似于平面，因此在圖像中其運(yùn)動(dòng)模型可以設(shè)為投影模型。投影矩陣有8個(gè)參數(shù)需要估計(jì)，所以至少需要4個(gè)特征點(diǎn)對(duì)。由于皮帶的低紋理，特征點(diǎn)對(duì)較少，且可能出現(xiàn)誤匹配點(diǎn)。為了獲得充足的點(diǎn)對(duì)來(lái)估計(jì)運(yùn)動(dòng)模型，采用多幀點(diǎn)對(duì)累積的策略。

(3)

為了避免重復(fù)點(diǎn)對(duì)，如果一個(gè)點(diǎn)對(duì)中的兩個(gè)點(diǎn)的位置分別與另一點(diǎn)對(duì)中兩個(gè)點(diǎn)的位置均距離較近，則將這兩個(gè)點(diǎn)對(duì)合并為一個(gè)，其中距離閾值為1像素。

1.4 圖像坐標(biāo)系到世界坐標(biāo)系的變換

相鄰幀圖像中估計(jì)的皮帶運(yùn)動(dòng)模型是在圖像坐標(biāo)系下計(jì)算得到的，為了獲得皮帶實(shí)際運(yùn)動(dòng)速度，需要建立圖像坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系。世界坐標(biāo)系下的三維點(diǎn)(X,Y,Z)到圖像坐標(biāo)系下的點(diǎn)(u,v)的投影公式為

(4)

式(4)中：fx和fy分別為圖像像素單位下的x和y方向的焦距；(cx,cy)為主導(dǎo)點(diǎn)，即圖像中心坐標(biāo)，這些均為相機(jī)內(nèi)參數(shù)；R、t分別為旋轉(zhuǎn)和平移參數(shù)矩陣，為相機(jī)外參數(shù)；s為齊次比例。

由于攝像機(jī)相對(duì)于皮帶位置固定，于是攝像機(jī)的內(nèi)外參數(shù)可以通過(guò)攝像機(jī)標(biāo)定計(jì)算得到，利用張正友標(biāo)定法[16]，分兩步標(biāo)定攝像機(jī)內(nèi)外參數(shù)。首先用攝像機(jī)拍攝不同姿態(tài)的棋盤(pán)格圖像，估計(jì)攝像機(jī)內(nèi)參數(shù)。然后假設(shè)傳送帶平面為x-y平面，z軸垂直于傳送帶平面，選擇傳送帶平面任意一點(diǎn)為坐標(biāo)原點(diǎn)，將棋盤(pán)格放到傳送帶上估計(jì)攝像機(jī)外參數(shù)。于是圖像坐標(biāo)系下估計(jì)的皮帶運(yùn)動(dòng)模型可以通過(guò)求解式(4)轉(zhuǎn)換為皮帶實(shí)際運(yùn)動(dòng)速度。

(5)

式(5)中：fr為視頻幀率。由于皮帶為平面，其任意位置的運(yùn)動(dòng)速度相同，因此點(diǎn)xc的選擇對(duì)最后的結(jié)果無(wú)影響。

2 實(shí)驗(yàn)驗(yàn)證

在8個(gè)皮帶監(jiān)控視頻序列數(shù)據(jù)上實(shí)驗(yàn)驗(yàn)證提出的方法。視頻序列均為在實(shí)際現(xiàn)場(chǎng)拍攝，每個(gè)視頻長(zhǎng)度為15 s，幀率為25 幀/s。其中視頻序列1～6為皮帶堆煤勻速運(yùn)動(dòng)情況，7為皮帶無(wú)煤勻速運(yùn)動(dòng)情況，8為皮帶無(wú)煤停止情況，5～7存在視頻抖動(dòng)。

基于C++語(yǔ)言和opencv庫(kù)編程實(shí)現(xiàn)。為了縮短計(jì)算時(shí)間，特征點(diǎn)提取和匹配步驟在gpu環(huán)境下實(shí)現(xiàn)。實(shí)驗(yàn)測(cè)試環(huán)境硬件配置為：Inter i7 7700HQ CPU，8 GB內(nèi)存和NVIDIA GTX 1050Ti。在實(shí)驗(yàn)中，參數(shù)δ和Nm設(shè)定為15和10。

8個(gè)視頻序列特征點(diǎn)匹配結(jié)果如圖2～圖4所示。背景區(qū)域紋理清晰，特征點(diǎn)較多。由圖2可知，當(dāng)皮帶堆煤運(yùn)動(dòng)時(shí)，皮帶區(qū)域紋理較明顯，特征點(diǎn)充足。由圖3可知，當(dāng)皮帶無(wú)煤運(yùn)動(dòng)時(shí)，皮帶區(qū)域紋理不明顯，但多幀累積的特征點(diǎn)也能滿足模型估計(jì)的需要，而且誤匹配點(diǎn)能夠準(zhǔn)確地剔除。由圖4可知，當(dāng)皮帶靜止時(shí)，所有特征點(diǎn)均為背景點(diǎn)，因此速度測(cè)試結(jié)果為0。

藍(lán)色圓圈標(biāo)記背景特征點(diǎn)，綠色圓圈與線段標(biāo)記 皮帶特征點(diǎn)對(duì)，紅色圓圈標(biāo)記誤匹配點(diǎn)圖2 皮帶堆煤運(yùn)動(dòng)時(shí)相鄰幀特征點(diǎn)匹配結(jié)果Fig.2 Feature point matching results of adjacent frames when the belt is moving with coal piling onto it

藍(lán)色圓圈標(biāo)記背景特征點(diǎn)，綠色圓圈與線段標(biāo)記 皮帶特征點(diǎn)對(duì)，紅色圓圈標(biāo)記誤匹配點(diǎn)圖3 皮帶無(wú)煤運(yùn)動(dòng)時(shí)(視頻序列7)相鄰幀特征點(diǎn)匹配結(jié)果Fig.3 Feature point matching result of adjacent frames when the belt is moving without coal (Video Sequence 7)

藍(lán)色圓圈標(biāo)記背景特征點(diǎn)，紅色圓圈標(biāo)記誤匹配點(diǎn)圖4 皮帶無(wú)煤靜止時(shí)(視頻序列8)相鄰幀特征點(diǎn)匹配結(jié)果Fig.4 Feature point matching result of adjacent frames when the belt is static without coal (Video Sequence 8)

8個(gè)視頻序列的每幀測(cè)速結(jié)果變化曲線如圖5所示?？梢钥闯觯^(qū)域紋理較明顯時(shí)，測(cè)試結(jié)果更穩(wěn)定。視頻序列的測(cè)試結(jié)果與測(cè)試時(shí)間如表1所示，包括圖像坐標(biāo)系下速度均值和標(biāo)準(zhǔn)差，以及運(yùn)行時(shí)間均值和標(biāo)準(zhǔn)差。從表1中可以看出，皮帶堆煤情況下，測(cè)試速度離散程度(標(biāo)準(zhǔn)差/均值)在±1.6%～±8.7%；皮帶無(wú)煤時(shí)，速度離散程度為±14.0%；皮帶靜止時(shí)能準(zhǔn)確判斷出來(lái)。另外，測(cè)速運(yùn)行時(shí)間大致與感興趣區(qū)域大小相關(guān)，視頻序列1、2能夠滿足實(shí)時(shí)性，即每幀需要時(shí)間小于40 ms，其他視頻序列接近實(shí)時(shí)，可以通過(guò)提升硬件性能改善。表2給出了在有抖動(dòng)的視頻序列上，方法有無(wú)抖動(dòng)偏移量補(bǔ)償?shù)膶?duì)比結(jié)果。從速度標(biāo)準(zhǔn)差結(jié)果可以看出，視頻抖動(dòng)偏移量估計(jì)能夠提高測(cè)速結(jié)果的穩(wěn)定性。

視頻序列號(hào)標(biāo)記在對(duì)應(yīng)曲線尾端圖5 皮帶速度-時(shí)間曲線Fig.5 Speed-time curves of belts

表1 皮帶測(cè)速結(jié)果信息

表2 視頻抖動(dòng)補(bǔ)償對(duì)測(cè)速結(jié)果影響

3 結(jié)論

提出一種基于累積圖像特征點(diǎn)匹配的智能皮帶測(cè)速方法，得到以下結(jié)論。

(1)將多幀特征點(diǎn)對(duì)累積估計(jì)皮帶的運(yùn)動(dòng)模型可以解決低紋理區(qū)域特征點(diǎn)不充足的問(wèn)題。

(2)利用背景區(qū)域特征點(diǎn)匹配估計(jì)視頻抖動(dòng)偏移量，并對(duì)皮帶特征點(diǎn)位置進(jìn)行補(bǔ)償，可以減輕視頻抖動(dòng)引起的測(cè)試結(jié)果不穩(wěn)定。

(3)圖像坐標(biāo)系下的結(jié)果可以通過(guò)標(biāo)定的攝像機(jī)參數(shù)轉(zhuǎn)換到世界坐標(biāo)系下皮帶運(yùn)動(dòng)速度。

(4)實(shí)現(xiàn)了煤炭工業(yè)場(chǎng)景中皮帶智能測(cè)速，可用于檢測(cè)皮帶打滑問(wèn)題，保證了設(shè)備故障能夠及時(shí)報(bào)告，保障了工作人員的生命安全和企業(yè)財(cái)產(chǎn)安全。