基于三幀差算法的運(yùn)動物體空間軌跡視覺測量

曹曉明, 高宏力, 張 潔

0 引 言

在拍攝過程中,與足球、乒乓球不同，羽毛球外形輪廓在一直變化，白顏色較背景差異較小，故在運(yùn)動檢測的方法和策略的選取上必然會有一些差別?，F(xiàn)階段，羽毛球運(yùn)動在工業(yè)和機(jī)器人領(lǐng)域也有了一定的研究成果。蘇振陽等人針對羽毛球裁判系統(tǒng)提出了基于機(jī)器視覺的系統(tǒng)設(shè)計(jì)研究方案，提高了羽毛球落點(diǎn)判定效率[1]。陳兵琪等人對羽毛球進(jìn)行單相機(jī)實(shí)時采集，基于羽毛球運(yùn)動特性進(jìn)行復(fù)雜背景的運(yùn)動檢測，并分析羽毛球的運(yùn)動類型[2]。廖之健等人通過研究羽毛球各種類型球運(yùn)動參數(shù)，設(shè)計(jì)了羽毛球自動發(fā)球機(jī)的控制系統(tǒng)。

本文對羽毛球動態(tài)軌跡進(jìn)行采集與處理，對比分析了幾種常用運(yùn)動檢測算法的效果和差異，基于三幀差算法對羽毛球運(yùn)動軌跡進(jìn)行檢測，并根據(jù)輪廓外接矩形面積，檢測幀間隔，羽毛球運(yùn)動特性，軌跡點(diǎn)數(shù)量改進(jìn)檢測策略，實(shí)現(xiàn)了對羽毛球運(yùn)動單次軌跡的有效提取。通過對Basler雙目相機(jī)進(jìn)行基于硬件觸發(fā)的同步曝光、采集、處理，基于雙目標(biāo)定結(jié)果進(jìn)行羽毛球運(yùn)動的三維測量并擬合出運(yùn)動軌跡[3]，通過落點(diǎn)位置的測量對本文方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證與精度分析。

1 視覺系統(tǒng)

1.1 視覺硬件系統(tǒng)

視覺硬件搭建方式如圖1所示。對雙目Basler工業(yè)相機(jī)采用硬件觸發(fā)的方式進(jìn)行同步曝光，獲取左右相機(jī)拍得的羽毛球運(yùn)動圖像序列。Basler相機(jī)型號為Aca2040,90 μm,分辨率最高可達(dá)2 048像素×2 048像素，幀率在最高分辨率的情況下可達(dá)到90幀/s，完全可以滿足運(yùn)動檢測的需求，鏡頭選取KOWA的6 mm大視場短焦鏡頭，相機(jī)接口為USB3.0，可接入電腦進(jìn)行采集處理。

圖1 視覺硬件系統(tǒng)

1.2 視覺軟件系統(tǒng)

本文采用Basler相機(jī)pylon SDK在VS2013環(huán)境下對相機(jī)進(jìn)行硬件觸發(fā)模式的調(diào)用，并將獲取的圖像轉(zhuǎn)換為Mat類圖像，便于后續(xù)處理。羽毛球軌跡檢測流程如圖2所示?；谌龓钏惴ㄟM(jìn)行檢測，根據(jù)輪廓信息、外接矩形面積、幀間隔、運(yùn)動特性、軌跡點(diǎn)數(shù)量統(tǒng)計(jì)獲取羽毛球各次運(yùn)動軌跡。

圖2 羽毛球軌跡檢測流程

雙目視覺獲取羽毛球空間軌跡的流程如圖3。使用平行式雙目視覺模型，基于左右相機(jī)檢測坐標(biāo)，計(jì)算出羽毛球的空間坐標(biāo)，從而獲得空間軌跡。

圖3 羽毛球空間軌跡檢測流程

2 目標(biāo)檢測

由于光流法的實(shí)時性相較較差，故本文針對背景差法、幀間差分法、三幀間差分法進(jìn)行比較分析[4，5]。對于羽毛球的檢測效果如圖4所示?？梢姳尘安钏惴▽τ鹈虻奶崛∽顬橥暾瑤罘ê腿龓罘ǖ奶崛⌒Ч嘟?。但背景差算法檢測到的干擾較多，三幀差算法檢測到的干擾較少。

圖4 運(yùn)動目標(biāo)檢測算法對比

幀間差法運(yùn)算量小，但對較大和顏色一致的運(yùn)動目標(biāo)檢測時容易產(chǎn)生重影和空洞。三幀差算法是基于幀差算法的改進(jìn)，對第k-1，k，k+1幀的三幀差分圖F(x,y)表示為

(1)

(2)

F(x,y)=F1(x,y)∩F2(x,y)

(3)

本文采用基于三幀差算法進(jìn)行羽毛球運(yùn)動檢測。

3 羽毛球運(yùn)動檢測優(yōu)化

3.1 面積篩選

由于檢測目標(biāo)為視場中運(yùn)動的羽毛球，故對圖像進(jìn)行截取，只檢測圖像中上部分。基于中值濾波降低圖像噪聲?；趫D像差分與運(yùn)算后，進(jìn)行輪廓提取，獲取各輪廓的外接矩形。針對羽毛球目標(biāo)小的特點(diǎn)，先對提取前景進(jìn)行基于矩形框面積的篩選，即圖2中Thresh1和Thresh2,分別表示面積Area篩選的下限和上限。將識別的最小外接矩形框中心作為羽毛球測量的圖像坐標(biāo)，以此為圓心繪制圓至第一幀圖像上，顯示效果如圖5。可以看出，羽毛球的運(yùn)動軌跡通過疊加后顯示明顯，但需要對單次軌跡進(jìn)行提取，并剔除偽軌跡和干擾點(diǎn)。

圖5 三幀差初步效果

3.2 單次軌跡判斷

在實(shí)際檢測過程中，需要對羽毛球單次軌跡進(jìn)行獲取，引入幀間隔Δf概念，表示當(dāng)前幀序號和上一次識別到運(yùn)動目標(biāo)幀序號的差。當(dāng)幀間隔超過閾值Thresh5時，則視為一次運(yùn)動軌跡完成。但還需要對短序列軌跡的干擾進(jìn)行剔除，故需要統(tǒng)計(jì)軌跡目標(biāo)個數(shù)Fnum。當(dāng)Fnum超過設(shè)定閾值Thresh6時才將軌跡視為待檢軌跡。前4次軌跡獲取效果如圖6所示?？梢钥闯觯看诬壽E提取狀況良好，但在第二次和第四次軌跡中，可看到明顯的干擾點(diǎn)，第三次軌跡則直接為人進(jìn)入場中產(chǎn)生的干擾軌跡。所以需要根據(jù)羽毛球的運(yùn)動特性對軌跡檢測進(jìn)一步優(yōu)化[6]。

圖6 前4次軌跡檢測效果

3.3 基于運(yùn)動特性的軌跡優(yōu)化

由于羽毛球在空中運(yùn)動，相鄰幀間運(yùn)動的羽毛球相距較近，其他干擾與其相距較遠(yuǎn)，故當(dāng)相鄰運(yùn)動幀都檢測到多個運(yùn)動點(diǎn)時，獲取當(dāng)前幀檢測點(diǎn)和上一幀檢測點(diǎn)間距離最短的兩個點(diǎn)作為兩幀中羽毛球的坐標(biāo)點(diǎn)。并基于羽毛球的運(yùn)動速度，基于閾值Thresh3和Thresh4,將不符合運(yùn)動距離的點(diǎn)剔除。由于羽毛球運(yùn)動橫向是朝一個方向運(yùn)動的，縱向上升和下降過程的運(yùn)動方向也是一致的，故基于Δx2·Δx1和Δy2·Δy1判斷運(yùn)動方向是否一致。其中Δx2表示當(dāng)前檢測幀和前一檢測幀檢測坐標(biāo)的橫向差值，Δx1表示前一檢測幀和前兩檢測幀檢測坐標(biāo)的橫向差值。Δy1和Δy2則對應(yīng)縱向差值。最終檢測流程如圖2所示，檢測效果如圖7。

圖7 軌跡檢測優(yōu)化

4 三維重建

獲取到羽毛球運(yùn)動目標(biāo)后，便可根據(jù)左右相機(jī)目標(biāo)坐標(biāo)進(jìn)行三維軌跡重建[7]。平行式雙目視覺模型，如圖8所示。

圖8 平行式雙目視覺模型

設(shè)空間點(diǎn)P在左、右相機(jī)的圖像點(diǎn)為p，p′。其三維坐標(biāo)計(jì)算如式(4)。圖中B為基線距離，f為焦距，xR,yR為點(diǎn)P在左圖像中的橫、縱圖像坐標(biāo)值，xT,yT為點(diǎn)P在右圖像中的橫、縱圖像坐標(biāo)值，D為左右圖像視差[8]

(4)

5 實(shí) 驗(yàn)

通過雙目相機(jī)對羽毛球運(yùn)動進(jìn)行檢測[9]，得到其空間軌跡，和實(shí)際情況進(jìn)行對比，分析軌跡的測量精度。為了實(shí)驗(yàn)的方便，從相機(jī)同側(cè)發(fā)球，羽毛球向相機(jī)對面運(yùn)動。出于實(shí)時性和測試的考慮，相機(jī)采集圖像分辨率設(shè)置為640像素×480像素,觸發(fā)信號為30 Hz的方波。

5.1 雙目標(biāo)定

使用MALTAB工具箱進(jìn)行相機(jī)標(biāo)定[10]，得到雙目標(biāo)定結(jié)果如表1。

表1 左右相機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果

5.2 空間坐標(biāo)求解與軌跡擬合

根據(jù)獲取的左右目標(biāo)坐標(biāo)信息和雙目標(biāo)定結(jié)果，獲取各次軌跡的空間坐標(biāo)[11]，并對空間軌跡進(jìn)行擬合，效果如圖9所示。

圖9 3次運(yùn)動軌跡

5.3 精度分析

定性分析：3次軌跡羽毛球落點(diǎn)區(qū)域如圖10所示。由圖9和圖10可以看出，羽毛球的軌跡得到了較好的重現(xiàn)，并且符合3次運(yùn)動的空間位置，當(dāng)羽毛球落地后，處在同一水平面上。

圖10 羽毛球落點(diǎn)區(qū)域

定量分析：通過實(shí)際直接測量每次羽毛球最終落點(diǎn)的信息，比對使用雙目視覺測量得到的結(jié)果，對測量結(jié)果進(jìn)行定量分析。3次落點(diǎn)的測量結(jié)果、實(shí)際結(jié)果、測量誤差如表2。

表2 3次軌跡最終落點(diǎn)的測量結(jié)果 mm

可以看出，檢測誤差均在5.2 cm以內(nèi)，平均誤差為2.973 cm，測量精度較為良好。

6 結(jié) 論

基于三幀差算法對羽毛球運(yùn)動進(jìn)行檢測，并對軌跡檢測進(jìn)行了改進(jìn)優(yōu)化，可有效地提取羽毛球的單次軌跡。使用雙目工業(yè)相機(jī)進(jìn)行硬件觸發(fā)，同步獲取羽毛球的左右像素坐標(biāo)，基于雙目標(biāo)定結(jié)果最終獲取羽毛球的運(yùn)動空間軌跡。通過對測量結(jié)果進(jìn)行定性和定量的分析，說明了視覺測量運(yùn)動目標(biāo)空間軌跡的可行性和有效性。

參考文獻(xiàn):

[1] 應(yīng)文杰，徐 開，徐少平.羽毛球機(jī)器人機(jī)械臂運(yùn)動軌跡多目標(biāo)規(guī)劃[J].計(jì)算機(jī)工程與應(yīng)用,2017，53(3)：258-265.

[2] 陳兵旗.機(jī)器視覺技術(shù)及應(yīng)用實(shí)例詳解[M].北京：化學(xué)工業(yè)出版社，2014.

[3] 王婷婷，李 戈，趙 杰，等.基于雙目視覺的運(yùn)動目標(biāo)檢測跟蹤與定位[J].機(jī)械與電子，2015(6):73-76.

[4] 黃成都,黃文廣,閆 斌.基于Codebook背景建模的視頻行人檢測[J].傳感器與微系統(tǒng)，2017，36(3)：144-146.

[5] 呂嘉卿,劉立程,郝祿國,等.基于視覺背景提取的自適應(yīng)運(yùn)動目標(biāo)提取算法[J].計(jì)算機(jī)應(yīng)用，2015，35(7)：2029-2032.

[6] 張遠(yuǎn)輝.基于實(shí)時視覺的乒乓球機(jī)器人標(biāo)定和軌跡跟蹤技術(shù)研究[D].杭州：浙江大學(xué)，2009.

[7] 王 琳,趙健康,夏 軒,等.基于雙目立體視覺技術(shù)的橋梁裂縫測量系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2015，35(3)：901-194.

[8] 張 娟，潘建壽，吳亞鵬，等.基于雙目視覺的運(yùn)動目標(biāo)跟蹤與測量[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(25):191-194.

[9] 張 梁，徐錦法.基于雙目視覺的無人飛行器目標(biāo)跟蹤與定位[J].計(jì)算機(jī)工程與應(yīng)用，2014，50(24):27-31.

[10] 蔡 琿.視覺測量中的攝像機(jī)標(biāo)定與三維重建方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

[11] 王耀東，余祖俊，石井抱.高速立體視覺與機(jī)械運(yùn)動異常動作三維檢測[J].儀器儀表學(xué)報(bào)，2013,34(10):2161-2169.