基于光流法的視頻中目標(biāo)跟蹤

武漢大學(xué)測(cè)繪學(xué)院 王晨捷

基于光流法的視頻中目標(biāo)跟蹤

武漢大學(xué)測(cè)繪學(xué)院 王晨捷

1 引言

視頻信號(hào)是視覺信息的一大源頭，它是由按序列排放的圖像組成，即幀（Frame）。這些圖像通過有規(guī)律的間隔進(jìn)行拍攝（以幀率的形式指定），它們展示了動(dòng)態(tài)的場(chǎng)景。一旦我們能夠提取視頻中的某個(gè)單獨(dú)幀，就可以通過比較相鄰幀的方式對(duì)物體進(jìn)行跟蹤，本文研究利用光流法來進(jìn)行視頻中目標(biāo)的跟蹤。

2 光流法

光流的概念最初是由Gibson在1950年首先提出來的。它是在成像平面中運(yùn)動(dòng)物體的像素運(yùn)動(dòng)的瞬時(shí)速度。利用時(shí)域中的圖像序列的像素變化和相鄰幀之間的相關(guān)性，可以找到前一幀與當(dāng)前幀之間的對(duì)應(yīng)關(guān)系。最重要的是，該方法計(jì)算了相鄰幀中物體的運(yùn)動(dòng)信息，研究光流場(chǎng)的目的是獲得無法直接從圖像序列中獲得的運(yùn)動(dòng)場(chǎng)。運(yùn)動(dòng)場(chǎng)是物體在三維真實(shí)世界中的運(yùn)動(dòng);光流場(chǎng)是二維圖像平面運(yùn)動(dòng)的投影。

為了在不同幀之間跟蹤特征點(diǎn)，我們必須定位特征點(diǎn)在隨后的圖像幀中的新位置。如果我們假設(shè)特征點(diǎn)的強(qiáng)度在相鄰幀之間不發(fā)生變化，那么我們要找到一個(gè)偏移量(u，v)：It(x，y)= It+1(x+u，y+v)。其中，It和It+1分別是當(dāng)前幀以及下一時(shí)刻的值。這個(gè)強(qiáng)度不變的假設(shè)對(duì)于拍攝時(shí)間相近的圖像中的微小偏移量而言都是成立的。我們可以使用泰勒展開式來近似這個(gè)方程式，新的方程式將涉及圖像的倒數(shù)：

如果強(qiáng)度不變假設(shè)成立，可以推出另一個(gè)方程式：

這個(gè)著名的約束便是基礎(chǔ)光流約束方程式，在引入另一個(gè)假設(shè)后，它被使用于Lukas-Kanade特征跟蹤算法，即特征點(diǎn)附近所有點(diǎn)的偏移量都是一致的。因此我們對(duì)于擁有獨(dú)特未知偏移量(u，v)的點(diǎn)都利用光流約束。這給予我們超過未知數(shù)數(shù)量（兩個(gè)）的方程式，我們可以使用均方法進(jìn)行求解。在實(shí)踐中它通過迭代的方式進(jìn)行求解，Opencv實(shí)現(xiàn)了在不同分辨率進(jìn)行估算求解的函數(shù)，使得可以更有效地進(jìn)行搜索，同時(shí)也能適應(yīng)較大的偏差。默認(rèn)情況下，圖像的層數(shù)是3，而搜索窗口的尺寸是15.這些參數(shù)是可以修改的，可以通過制定終止條件來控制迭代過程，本文就是利用Opencv實(shí)現(xiàn)了Lukas-Kanade跟蹤器的編程。

3 目標(biāo)跟蹤

生成的程序展示出隨時(shí)間變化的特征點(diǎn)，例如此處便是兩個(gè)不同時(shí)刻的圖像幀。在這個(gè)視頻中，相機(jī)的位置是規(guī)定的，因此運(yùn)動(dòng)的小車是唯一的運(yùn)動(dòng)物體。

圖3.1 視頻開始時(shí)刻的圖像幀

圖3.2 開始幾秒后的圖像幀

4 總結(jié)

在視頻流中，選擇特征點(diǎn)，并跟蹤它們。當(dāng)檢測(cè)到特征點(diǎn)時(shí)，計(jì)算位移向量，并在連續(xù)幀間顯示這些關(guān)鍵點(diǎn)的運(yùn)動(dòng)，這些向量被稱為運(yùn)動(dòng)向量。由實(shí)驗(yàn)分析可以得到，光流法能夠近似得到圖像中特征點(diǎn)的運(yùn)動(dòng)向量，通過找到其中光流值不為零的特征點(diǎn)組成的最大連通區(qū)域，比較前一幀與當(dāng)前幀實(shí)現(xiàn)在視頻中對(duì)于運(yùn)動(dòng)目標(biāo)的跟蹤。

[1]B．Lucas&T．Kanade． An Iterative Image Registration Technique with an Application to Stereo Vision [J]．Proceedings of Imaging Understanding Workshop,1981：121-130．

[2]Zhendong Yu．Iris detection tracking based on optical flow[D]．LanZhou：LanZhou University,2015．

[3]董穎．于光流場(chǎng)的視頻運(yùn)動(dòng)檢測(cè)[D]．山東：山東大學(xué),2008．

王晨捷（1996—），男，安徽合肥人，武漢大學(xué)本科在讀，研究方向：遙感、計(jì)算機(jī)視覺。