基于圖像特征的運動估計方法研究

于 露 楊 帆

（1吉林財經(jīng)大學(xué)信息經(jīng)濟學(xué)院，吉林 長春 130122 2吉林省高速公路管理局伊通分局，吉林 伊通 130700）

運動估計是視頻編碼和視頻處理中廣泛使用的一種技術(shù)。運動矢量是匹配塊和當(dāng)前塊在位置上的相對移動。在視頻壓縮過程中，僅僅需要保存運動矢量與殘差兩方面的數(shù)據(jù)，就能夠?qū)?dāng)前塊完整地恢復(fù)出來，從而達到穩(wěn)定圖像的效果。總結(jié)已有文獻資料，估計運動的方法大致有以圖像塊狀、圖像特點、像素灰度值等等為基礎(chǔ)的估計方法。本文以圖像特征為基礎(chǔ)的方法為主要研究對象，該方法目前廣泛地應(yīng)用于電子穩(wěn)像技術(shù)及其他圖像處理系統(tǒng)中。

一、以圖像特征為基礎(chǔ)的運動估計方法介紹

圖像特征是一種屬性，它呈現(xiàn)代表了所取得的圖像場景。在運用圖像特征來對連續(xù)不間斷的圖像視頻間的矢量估計測算的時候，第一個步驟是比對參考圖像，從中篩選確定一組具有代表性、特征鮮明的特征結(jié)構(gòu)來作標(biāo)記，下一步搜索當(dāng)前的圖像，來發(fā)現(xiàn)相應(yīng)的適合特征結(jié)構(gòu)，進而獲取到圖像序列的幀間運動矢量。注意所選取的特征結(jié)構(gòu)，一定是要能準(zhǔn)確說明圖像的移動運動點，并呈現(xiàn)其結(jié)構(gòu)的不變性，也就是圖像特征。能夠凸顯圖像的顯著點有角點、灰度極大值點、物體的邊界點以及在圖像中具有代表性的物體等。對圖像特征進行檢查測量和進行配對工作是獲得圖像運動估計的重點核心技術(shù)。正常條件下，受不同噪聲的干擾，從原始圖像中直接收集獲得能夠代表該圖像特征的點是不能確保所篩選出的特征的穩(wěn)定性的，而如果在提煉特征前先進行圖像的事先某種程度的處理，這就會確保其穩(wěn)定性。

關(guān)于圖像序列幀間運動矢量估測方法有多種，而運用圖像特征估計法包括以下幾個步驟：首先，把各個幀的圖像特征從圖像序列中提煉出來；其次，將各個幀圖像之間所表現(xiàn)的關(guān)系進行明確；然后，測算特征量所涉及的運動參數(shù)；最后，在圖像運動模型中代入上一步驟測試的特征量運動參數(shù)，計算得出全局運動矢量。

二、常用全局運動矢量算法

1.邊緣匹配法

邊緣匹配法(EPM，全稱為Edge Pattern Matching)，是指一種算法采用全數(shù)字穩(wěn)像的算法，它利用邊緣匹配技術(shù)并結(jié)合動態(tài)運動的一種決策方法。以此為基礎(chǔ)的系統(tǒng)包括以下四個基本元素：基于該算法的AMV生成單元、FMV生成單元、LMV生成單元以及場內(nèi)存地址生成和數(shù)字縮放單元。

將圖像序列輸入系統(tǒng)中之后，首先要搭建起運動矢量檢測區(qū)域，該區(qū)域?qū)?yīng)于參考幀和運動幀兩者之間，在該區(qū)域內(nèi)又劃分出數(shù)量若干的運動矢量檢測模塊；其次將前幀和后幀所對應(yīng)的模塊進行一一對比，之后每個對比都形成一個局部的運動矢量LMV（全稱為Local Motion Vector），而其中關(guān)聯(lián)性比較大的LMV就可以作為整個模型的全局運動矢量FMV（全稱為Field Motion Vector）。為了保證所產(chǎn)生運動矢量的精確性，假設(shè)每個監(jiān)測區(qū)域中包含檢測塊M塊，這樣便可以產(chǎn)生M個LMV?；谠谶吘壠ヅ浼夹g(shù)基礎(chǔ)上形成的LMV，以及考慮到存儲空間的降低、計算量以及硬件復(fù)雜程度，我們并沒有采用多維圖像或全彩色圖像。而是將二值化的邊緣圖像加以運用。在加權(quán)平均化M個LMV后，便生成FMV。為了更加精確FMV，則應(yīng)該獨立地進行計算并選擇適宜的加權(quán)因子。如果需要使得大于兩幀的圖像序列更加穩(wěn)定，就應(yīng)該累計運算相續(xù)幀的FMV，計算得出累積運動矢量AMV(Accumulated Motion Vector)。通過AMV的觀察，出場內(nèi)存讀出地址就會被計算得出，并且能夠讀出所對應(yīng)的幀所存在的病房地以此除去非正常的圖像邊界，這非正常的圖像邊界是因為補償運動矢量而生成的。

（1）LMV生成單元

LMV的生成在EMP算法體系中的地位是至關(guān)重要的。這主要是出于后續(xù)的FMV及AMV均是以LMV為基礎(chǔ)而計算得出的。在LMV的產(chǎn)生模塊中，由于是以三態(tài)動態(tài)線性神經(jīng)網(wǎng)絡(luò)算法通過邊緣探測器之后為基礎(chǔ)，所以圖像數(shù)據(jù)能夠真實地輸出的，從而更好的將二值化的邊緣圖像數(shù)據(jù)加以導(dǎo)出。把所有輸出的數(shù)據(jù)再次輸入邊緣匹配部分中，再運用相關(guān)算法將前后幀中有關(guān)聯(lián)的運動矢量檢測區(qū)域計算出來，進而取得相關(guān)運算值M個，各自與其所對的邊緣匹配區(qū)域相對應(yīng)，記做COR(1),…,COR(M)，以此所獲得M個LMV均是在相互對應(yīng)的區(qū)域中所獲得的最大相關(guān)值的時候而獲取到的。

（2）FMV生成單元

將上述獲得的LMV進行一定的加權(quán)平均后，即能生成FMV。下列本文假設(shè)：

使用M個LMV、間隔量權(quán)重ai和穩(wěn)定度權(quán)重bi，得到FMV：

（3）AMV生成單元

AMV的計算由下式給出：

上述公式中相關(guān)的代數(shù)的表示意義如下：

t—表示幀或時間；

k—代表常數(shù)，指平滑移動與虛擬地增大AMV的時所有效的范疇；

a—指消除不良噪聲的干擾。

（4）場內(nèi)存地址和數(shù)字縮放單元

根據(jù)AMV與相應(yīng)的放大比率進行數(shù)據(jù)輸出，其原始地址就是場內(nèi)存地址及數(shù)字縮放單元，并且還擴大圖像序列，緩解去除運動補償時帶來的非正常圖像邊界所產(chǎn)生的影響。這里放大圖像所運用的方法是一種雙線性插值算法。

EPM算法具有運算速度迅速、精準(zhǔn)度高的特點，同時能彌補慢速運動，然而其卻僅僅能彌補平移運動，在旋轉(zhuǎn)與變焦縮放方面束手無策。

2.特征量跟蹤算法

特征量跟蹤算法（FTA，全稱為Feature Tracking Algorithm）是穩(wěn)像算法中比較重要的算法之一。對于這種方法，目前采用的特征量一般有：角點、直邊緣、曲邊緣等部分特征與包括型心、表面積、慣量矩的長短軸等在內(nèi)的整體特征，這之中應(yīng)用最普遍的特征是角點。角點的提取好壞在很大成分上影響著特征匹配結(jié)果。在實踐中，特征量的選擇則重點關(guān)注目標(biāo)所具備的特性。通過FTA取得局部運動矢量之后，下一步另外要求計算得出圖像的全局運動矢量。下面列示的數(shù)學(xué)模型就不同場景下全局運動數(shù)量的測算進行了描述。

當(dāng)圖像中僅僅存在平移量的情況下，對應(yīng)的是Translation數(shù)學(xué)模型：

其中，P1是指現(xiàn)有幀的特征量所在的坐標(biāo)，P0代表參考幀的特征量所在的坐標(biāo)，T則為二維平移量。不過存在變焦量的情況下，則應(yīng)該使用Similarity模型：

P1=sReP0+T

其中，s代表變焦系數(shù)，是指正交的旋轉(zhuǎn)矩陣。

下面是Affine的數(shù)學(xué)模型，該模型中涉及6個參數(shù)：

在考慮選擇何種數(shù)學(xué)模型的時候應(yīng)當(dāng)結(jié)合相應(yīng)的情況，具體問題具體分析。

3.特征點匹配法

特征點匹配法（RPM，全稱為Representative Point Matching）是以特征點為基礎(chǔ)，它也可以叫為代表點匹配法的全數(shù)字穩(wěn)像方法，目前該方法運用相對較少，主要運用在部分小型的攝像系統(tǒng)中。

特征點是一種以較為穩(wěn)定、旋轉(zhuǎn)固定、能抑制灰度反轉(zhuǎn)為特征的有效特征點。將其使用于匹配過程中，不僅可以使模型中所涉及的計算量減少，還能使圖像中重要灰度信息的穩(wěn)定性和完整性得到保證，并且還能對識別程度高的影像在局部相似度上加以匹配。

已有文獻中將已有報道的特征點進行了總結(jié)分類，包括狹義與廣義兩方面的特征點。狹義特征點諸如角點、交叉點等自身就具備常規(guī)性的屬性意義。廣義特征點自身不具有特征意義，其是以區(qū)域定義為基礎(chǔ)的，僅僅只是代表了與一定特征條件相符合的特征區(qū)域位置。任何一個特征區(qū)域的相對位置都可以稱為廣義上的特征點，其沒有武力意義上的特征的強制性要求，只需要符合一定的數(shù)字描述即可，所以這種特征點也可以是抽象的。從本質(zhì)上而言，廣義特征點能夠看成是一個抽象的特征范疇區(qū)域，當(dāng)然這種所謂的抽象區(qū)域具有特征區(qū)域所擁有的屬性。已有文獻中認為那些被運用到計算機視覺、識別模塊、匹配圖像的特征點大部分是我們所說的狹義特征點，但是廣義特征點大都是對匹配圖像有積極作用的。

特征點一般采用圖像中易確定的點，例如直線交叉點、T型交匯點、角點、高曲率點以及特定范疇的重心、中心點等等。在來源的角度上劃分，包括有邊緣上提取的特征點、直接來源于灰度的特征點以及區(qū)域分割上的特征點三個方面。

RPM算法選取了圖像中部分簡單的特征量作為代表點，將所選取的離散點組成一個統(tǒng)一的坐標(biāo)系，一幅圖像通常會被劃分為四個區(qū)域，在這些區(qū)域中選擇一定代表點，每組一般為30個，相應(yīng)的搜索區(qū)域?qū)?yīng)一個代表點。當(dāng)對前后幀的相應(yīng)象限的特征點進行比對后，再進行匹配測算，我們所要得到的局部運動矢量就是匹配值最小的時候所對應(yīng)的偏移向量。具體函數(shù)如下：

式中，ft-1（xk，yk）、ft（xk+i-yk+j）分別代表第k個代表點在當(dāng)前幀與參考幀圖像中的象限數(shù)據(jù)。每個區(qū)域中最小的（i，j）與相應(yīng)的 P（i，j）就是區(qū)域的局部運動矢量數(shù)值，然后將全局運動矢量通過某些算法計算產(chǎn)生。

該種算法相對前面介紹的較為簡單，而且在計算量上也比較小，但是由于是通過坐標(biāo)來顯現(xiàn)代表點，所以在圖像發(fā)生變動時，其不會很敏感，存在不顯著的圖像對比度的時候，其精確度也會被波及，同時無法彌補慢速運動、旋轉(zhuǎn)運動和變焦縮放，因此只適用于初步研究。

結(jié)束語：通過上文的具體介紹，我們能夠發(fā)現(xiàn)圖像處理技術(shù)中比較重要的一個成分就是以圖像特征為基礎(chǔ)的運動估計方法，隨著各種估計算法的研究以及實際應(yīng)用的推廣，電子圖像技術(shù)將會有更大的發(fā)展。

[1]宋永江，夏良正.多直線全局運動估計及其在圖像穩(wěn)定中的應(yīng)用[J].東南大學(xué)學(xué)報.

[2]勒中鑫.數(shù)字圖像信息處理[M].國防工業(yè)出版社.

[3]羅詩途，張玘.一種基于特征匹配的實時電子穩(wěn)像算法[J].國防科技大學(xué)學(xué)報.