引入Harris角點(diǎn)檢測(cè)的運(yùn)動(dòng)圖像邊緣輪廓提取

于海鵬，王佳欣，文政穎

(河南工程學(xué)院 計(jì)算機(jī)學(xué)院，河南 鄭州 451191)

?

引入Harris角點(diǎn)檢測(cè)的運(yùn)動(dòng)圖像邊緣輪廓提取

于海鵬，王佳欣，文政穎

(河南工程學(xué)院 計(jì)算機(jī)學(xué)院，河南 鄭州 451191)

對(duì)運(yùn)動(dòng)目標(biāo)圖像進(jìn)行邊緣輪廓特征提取，提高運(yùn)動(dòng)圖像的電子穩(wěn)像性能，從而準(zhǔn)確實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)和識(shí)別.提出了一種基于Harris角點(diǎn)檢測(cè)的運(yùn)動(dòng)圖像邊緣輪廓提取算法，對(duì)運(yùn)動(dòng)圖像進(jìn)行仿射不變閉合區(qū)域增強(qiáng)處理，采用Kalman濾波和運(yùn)動(dòng)狀態(tài)相鄰幀補(bǔ)償?shù)姆椒ㄟM(jìn)行運(yùn)動(dòng)圖像Harris角點(diǎn)檢測(cè)，提高相鄰兩幀之間邊緣輪廓的角點(diǎn)檢測(cè)能力，實(shí)現(xiàn)了運(yùn)動(dòng)圖像邊緣輪廓的提取和穩(wěn)像處理.仿真結(jié)果表明，用該方法進(jìn)行圖像邊緣輪廓角點(diǎn)提取的準(zhǔn)確度高且穩(wěn)健性好.

Harris角點(diǎn)檢測(cè)；電子穩(wěn)像；邊緣輪廓提?。贿\(yùn)動(dòng)圖像

采用圖像處理技術(shù)進(jìn)行成像區(qū)域邊緣輪廓的特征識(shí)別和信息提取，能準(zhǔn)確反映圖像的內(nèi)部細(xì)節(jié)特征，在實(shí)現(xiàn)基于視覺(jué)分析的圖像特征提取和智能模式識(shí)別等方面具有重要的意義.高速運(yùn)動(dòng)目標(biāo)圖像在成像和采集過(guò)程中受到的擾動(dòng)較大，會(huì)造成部分的圖像信息丟失，通過(guò)對(duì)運(yùn)動(dòng)圖像的邊緣輪廓進(jìn)行特征提取，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像的穩(wěn)像處理和圖像識(shí)別，相關(guān)算法研究受到了廣大專(zhuān)家的重視.

電子穩(wěn)像的基礎(chǔ)是對(duì)運(yùn)動(dòng)圖像邊緣輪廓的特征提取和角點(diǎn)檢測(cè)，由此確定穩(wěn)像的陣列分布范圍[1].對(duì)運(yùn)動(dòng)圖像邊緣輪廓特征提取的傳統(tǒng)方法主要采用的是基于主成分分析(Principal Component Analysis, PCA)的線性判別方法[2-3]，該算法往往計(jì)算開(kāi)銷(xiāo)較大，易出現(xiàn)角點(diǎn)信息丟失，需要的先驗(yàn)知識(shí)也較多.對(duì)此，相關(guān)文獻(xiàn)進(jìn)行了改進(jìn)設(shè)計(jì)，文獻(xiàn)[4]提出了一種基于塊匹配的運(yùn)動(dòng)模糊圖像的邊緣輪廓提取方法，但當(dāng)圖像受到較大的噪聲污染時(shí)，識(shí)別精度不高，穩(wěn)像處理后的角點(diǎn)標(biāo)記重復(fù)率較高且性能不好.針對(duì)上述問(wèn)題，提出了一種基于Harris角點(diǎn)檢測(cè)的運(yùn)動(dòng)圖像邊緣輪廓提取算法,實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像邊緣輪廓的提取，仿真實(shí)驗(yàn)得出了有效性結(jié)論.

1　運(yùn)動(dòng)圖像采集和圖像增強(qiáng)預(yù)處理

1.1運(yùn)動(dòng)圖像采集與圖像全局運(yùn)動(dòng)模型模擬

為了提高對(duì)高速運(yùn)動(dòng)圖像的識(shí)別能力，需要進(jìn)行圖像的邊緣輪廓提取以提高圖像的穩(wěn)像能力，這是進(jìn)行電子穩(wěn)像設(shè)計(jì)的基礎(chǔ).由于輸入圖像受到暗原色的影響，圖像的亮度和純度不夠，需要進(jìn)行圖像增強(qiáng)處理.通過(guò)仿射變換，利用直方圖均衡方法對(duì)輸入的原始圖像進(jìn)行二值化處理[5]，通過(guò)角點(diǎn)檢測(cè)方法標(biāo)記出圖像中物體的輪廓和幾何形狀，在仿射不變閉合區(qū)域中提取圖像中物體的邊緣特征，實(shí)現(xiàn)圖像增強(qiáng)，算法的總體流程如圖1所示.

根據(jù)總體設(shè)計(jì)流程，分析運(yùn)動(dòng)圖像的位移等參量，分別對(duì)運(yùn)動(dòng)圖像在水平位移、縱向位移、旋轉(zhuǎn)移動(dòng)及縮放過(guò)程中的運(yùn)動(dòng)參量進(jìn)行估計(jì)，進(jìn)行圖像增強(qiáng)和邊緣輪廓提取，運(yùn)動(dòng)圖像的幾種位移模型如圖2所示.

在圖2所示的運(yùn)動(dòng)模型中，構(gòu)建仿射不變閉合區(qū)域進(jìn)行圖像匹配，突出圖像的邊緣輪廓特征，以水平位移為例進(jìn)行分析，假設(shè)圖像在水平運(yùn)動(dòng)過(guò)程中，原圖像為F，經(jīng)過(guò)仿射變化處理后的二值圖像為G，在仿射不變區(qū)域，圖像低頻重構(gòu)過(guò)程可描述為

Gt=AFt-1+t，

(1)

式中：Ft=[xt，yt]T是仿射變換后圖像第t幀中點(diǎn)的坐標(biāo).讀取圖像的高度H，假設(shè)相鄰幀運(yùn)動(dòng)圖像的像素點(diǎn)關(guān)聯(lián)特征分別為PE1和PE2，將二值化圖像看作二維數(shù)組，得到圖像邊框連通鄰域內(nèi)的輪廓運(yùn)動(dòng)幅值為

(2)

(3)

式中: Lxx(x,σ)是仿射不變區(qū)域灰度圖像的高斯函數(shù)二階偏導(dǎo)數(shù)和二維卷積，Lxy和Lyy分別為二值化圖像在仿射不變區(qū)域的累積概率分布.通過(guò)上述處理，實(shí)現(xiàn)了對(duì)原始運(yùn)動(dòng)圖像的采集、運(yùn)動(dòng)模型的構(gòu)建及參量估計(jì).

圖1　算法設(shè)計(jì)流程Fig.1　Flow chart for algorithm design

圖2　運(yùn)動(dòng)圖像的位移及運(yùn)動(dòng)模型全局估計(jì)Fig.2　Global estimation of motion picture displacement and motion model

1.2圖像增強(qiáng)預(yù)處理

在上述圖像運(yùn)動(dòng)模型的構(gòu)建和特征參量全局估計(jì)的基礎(chǔ)上，為提高對(duì)運(yùn)動(dòng)圖像中物體的輪廓和邊緣幾何形狀的提取和檢測(cè)能力，需要進(jìn)行圖像增強(qiáng)處理.根據(jù)圖像連通區(qū)域的仿射不變性，原始的運(yùn)動(dòng)圖像中有很多閉合的區(qū)域，假設(shè)仿射不變閉合區(qū)域分布均勻，收斂到最小二乘法擬合的清晰圖像與模糊核的誤差范圍上，對(duì)于灰度圖像G得到運(yùn)動(dòng)圖像的二乘擬合過(guò)程為

(4)

(5)

由此可見(jiàn)，采用直方圖二值圖像增強(qiáng)標(biāo)準(zhǔn)，運(yùn)用最小二乘法度量區(qū)域間的差異和區(qū)域內(nèi)的尺度均衡性，求得鄰近兩個(gè)尺度相對(duì)應(yīng)的像素跡，得到角點(diǎn)(x，y)的亞像素級(jí)坐標(biāo)，通過(guò)關(guān)聯(lián)度的角點(diǎn)篩選，使其滿(mǎn)足：

trace(x，y，σ(n))>trace(x，y，σ(l))， l∈{n-1，n+1},

(6)

式中:trace(·)表示圖像角點(diǎn)(x，y)的像素跡，定義為

trace(x，y，σ)=σ(Lxx(x，y，σ)+Lyy(x，y，σ)).

(7)

(8)

式中：assoc(A，V)指角點(diǎn)周?chē)南袼攸c(diǎn)子集A中的邊連接權(quán)重總和，assoc(B，V)也是類(lèi)似的定義.通過(guò)上述圖像增強(qiáng)處理，角點(diǎn)尺度值響應(yīng)強(qiáng)度最大，角點(diǎn)匹配性能提升.

2　Harris角點(diǎn)檢測(cè)及圖像邊緣輪廓提取改進(jìn)

2.1Harris角點(diǎn)檢測(cè)

在進(jìn)行了運(yùn)動(dòng)圖像模型參量估計(jì)和圖像增強(qiáng)處理的基礎(chǔ)上，提出了一種引入Harris角點(diǎn)檢測(cè)的圖像邊緣輪廓特征提取算法，對(duì)運(yùn)動(dòng)圖像進(jìn)行Kalman濾波及運(yùn)動(dòng)狀態(tài)的相鄰幀補(bǔ)償，以提高檢測(cè)精度和穩(wěn)像能力.首先給出圖像的Kalman濾波過(guò)程[6]，假設(shè)一個(gè)全幅原始運(yùn)動(dòng)圖像的水平位移、縱向位移及旋轉(zhuǎn)運(yùn)動(dòng)的參數(shù)分別為θ,Δx和Δy，對(duì)圖像的運(yùn)動(dòng)參數(shù)進(jìn)行離散化處理，得到θ(k),Δx(k)和Δy(k).運(yùn)動(dòng)圖像濾波過(guò)程中的Kalman傳遞函數(shù)為

s(k)=φ·s(k-1)+w(k)，

(9)

式中：

(10)

初始化Kalman濾波器，定義K=0，求解S(0)得到運(yùn)動(dòng)參數(shù)的變化分量，判斷圖像噪聲點(diǎn)，通過(guò)Kalman濾波得到當(dāng)前時(shí)刻圖像的特征點(diǎn)匹配函數(shù)為

s(k|k-1)=φ·s(k-1|k-1).

(11)

執(zhí)行濾波狀態(tài)系數(shù)更新，求得相應(yīng)時(shí)刻子塊內(nèi)噪聲點(diǎn)的多尺度均衡值s(k|k).由于s(k)=[θ(k)，Δx(k)，Δy(k)]，采用Kalman濾波可以求得各個(gè)運(yùn)動(dòng)參數(shù)，降低圖像的噪聲強(qiáng)度，提高運(yùn)動(dòng)圖像的穩(wěn)像能力.在對(duì)運(yùn)動(dòng)圖像進(jìn)行Kalman濾波后，為了減少運(yùn)動(dòng)過(guò)程中采集的兩幅圖像的疊加區(qū)域、提高圖像的邊緣輪廓特征提取精度，采用相鄰幀補(bǔ)償?shù)姆椒▽?duì)運(yùn)動(dòng)圖像進(jìn)行Harris角點(diǎn)檢測(cè)優(yōu)化，對(duì)運(yùn)動(dòng)圖像的相鄰幀補(bǔ)償?shù)脑砻枋鋈鐖D3所示.

圖3　運(yùn)動(dòng)圖像的相鄰幀補(bǔ)償Fig.3　Adjacent frame compensation for moving images

對(duì)運(yùn)動(dòng)圖像進(jìn)行特征匹配，相鄰幀補(bǔ)償?shù)倪\(yùn)動(dòng)矢量迭代過(guò)程可描述為

(12)

(13)

式中：Ic(y)為像素值，A為幅度，Ω(x)為平面隨機(jī)場(chǎng)鄰域空間.在相鄰幀運(yùn)動(dòng)過(guò)程中，相鄰兩幀之間求解圖像的相位差為

(14)

(15)

式中：J為Harris方向矢量，i為當(dāng)前幀Ic的灰度值，n為迭代次數(shù).沿梯度方向?qū)D像的角點(diǎn)信息進(jìn)行累加處理，在一個(gè)7×7像素滑動(dòng)窗口中采用Harris角點(diǎn)檢測(cè)選定圖像的邊緣輪廓區(qū)域，通過(guò)Harris單幀角點(diǎn)匹配，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像的運(yùn)動(dòng)特征提?。?/p>

(16)

式中：R(k1，k2)為灰度補(bǔ)償向量，Ki為子塊內(nèi)的噪聲系數(shù).根據(jù)邊緣檢測(cè)區(qū)域間的差異值，如果兩幅圖像完全不相似，可以得到其鄰域周?chē)南袼攸c(diǎn)的二維特征R(k1，k2)如下：

(17)

2.2運(yùn)動(dòng)圖像的邊緣輪廓提取改進(jìn)

(18)

(19)

圖像的邊緣輪廓中蘊(yùn)含著圖像的局部特征，通過(guò)輪廓特征提取，計(jì)算像素點(diǎn)圖像尺度空間的極值，得到邊緣輪廓內(nèi)角點(diǎn)的響應(yīng)強(qiáng)度分別滿(mǎn)足：

(20)

(21)

設(shè)尺度σ的高斯濾波函數(shù)G(x,y,σ)含有N個(gè)對(duì)稱(chēng)正定張量[8]，運(yùn)動(dòng)圖像的邊緣輪廓特征的二階基礎(chǔ)矩陣M為

(22)

式中:G(σI)表示圖像尺度空間的角點(diǎn)判別函數(shù)，σI為Harris積分尺度，σD為微分尺度，(x,y)為角點(diǎn)所處鄰域的坐標(biāo)，L(x，y，σD)表示經(jīng)過(guò)Harris角點(diǎn)檢測(cè)后的增強(qiáng)圖像，Lx(x，y，σD)和Ly(x，y，σD)分別表示圖像在橫向平移x方向和縱向平移y方向的一階導(dǎo)數(shù)，Lxx(x，y，σD)和Lyy(x，y，σD)為互相關(guān)函數(shù).通過(guò)上述設(shè)計(jì)，構(gòu)建圖像邊緣輪廓輸出的雅克比矩陣：

(23)

通過(guò)尺度歸一化處理，實(shí)現(xiàn)圖像的邊緣輪廓提取，達(dá)到運(yùn)動(dòng)圖像穩(wěn)像的目的.

3　仿真實(shí)驗(yàn)與性能分析

為了驗(yàn)證本算法的性能，進(jìn)行仿真實(shí)驗(yàn).實(shí)驗(yàn)中，圖像采集設(shè)備為Nikon D7100，將設(shè)備架于高速運(yùn)行的小艇上，在運(yùn)行過(guò)程中對(duì)岸上的參照物進(jìn)行視頻采集，截取其中的第200幀和第308幀圖像畫(huà)面，得到的原始待處理圖像如圖4所示.

以圖4為研究對(duì)象，通過(guò)Harris角點(diǎn)檢測(cè)，實(shí)現(xiàn)圖像的邊緣輪廓提取.為了對(duì)比算法的性能，采用本算法和傳統(tǒng)的塊匹配方法及主成分分析方法進(jìn)行對(duì)比，得到運(yùn)動(dòng)圖像邊緣輪廓特征的角點(diǎn)檢測(cè)結(jié)果,如圖5至圖7所示.

圖4　原始圖像Fig.4　Original images

圖5　用主成分分析方法進(jìn)行邊緣輪廓提取的結(jié)果Fig.5　Extracting the edge contour principal component analysis

圖6　用塊匹配方法進(jìn)行邊緣輪廓提取的結(jié)果Fig.6　Block matching method for edge contour extraction

圖7　用本算法進(jìn)行邊緣輪提取的結(jié)果Fig.7　Extraction result of the new method

通過(guò)上述分析可知，采用本算法對(duì)運(yùn)動(dòng)圖像進(jìn)行邊緣輪廓的角點(diǎn)檢測(cè)標(biāo)記和特征提取，標(biāo)定點(diǎn)準(zhǔn)確且避免了重復(fù)標(biāo)定.而用主成分分析方法對(duì)圖像邊緣輪廓的角點(diǎn)檢測(cè)過(guò)程中類(lèi)間離散度過(guò)大，導(dǎo)致關(guān)鍵角點(diǎn)信息缺失;用塊匹配方法進(jìn)行角點(diǎn)檢測(cè)時(shí)重復(fù)率過(guò)高，信息冗余，增大了計(jì)算開(kāi)銷(xiāo)的同時(shí)也限制了特征提取的準(zhǔn)確率.為了定量分析算法性能，采用本算法和傳統(tǒng)方法在不同的尺度變化及旋轉(zhuǎn)角度下對(duì)研究樣本的第200幀圖像進(jìn)行邊緣輪廓角點(diǎn)檢測(cè)，得到的角點(diǎn)匹配率對(duì)比結(jié)果如圖8所示.

圖8　邊緣輪廓角點(diǎn)匹配率對(duì)比Fig.8　Comparison of edge contour corner matching rate

從圖8可見(jiàn)，采用本算法進(jìn)行邊緣輪廓檢測(cè)，角點(diǎn)的匹配率均在60%以上，說(shuō)明邊緣輪廓的角點(diǎn)檢測(cè)結(jié)果是有效的，且角點(diǎn)匹配率曲線相對(duì)平緩，說(shuō)明該方法的穩(wěn)健性較好，有效提高了對(duì)目標(biāo)圖像的識(shí)別性能.以此為基礎(chǔ)，以其中的第200幀圖像為例，通過(guò)不同方法進(jìn)行圖像的邊緣輪廓提取，得到不同方法下進(jìn)行運(yùn)動(dòng)圖像電子穩(wěn)像處理后的輸出結(jié)果,如圖9所示.

圖9　穩(wěn)像處理輸出結(jié)果對(duì)比Fig.9　Comparison of output results of image stabilization

從圖9可見(jiàn)，由于本算法采用Kalman濾波和相鄰幀補(bǔ)償?shù)姆椒ǎ行аa(bǔ)償和修復(fù)了圖像中模糊的邊緣輪廓特征，故性能優(yōu)于傳統(tǒng)方法.

4　結(jié)語(yǔ)

本研究提出了一種引入Harris角點(diǎn)檢測(cè)的運(yùn)動(dòng)圖像邊緣輪廓提取算法，采用Kalman濾波和運(yùn)動(dòng)狀態(tài)幀補(bǔ)償方法進(jìn)行運(yùn)動(dòng)圖像Harris角點(diǎn)檢測(cè)，提高了運(yùn)動(dòng)圖像相鄰兩幀之間邊緣輪廓的角點(diǎn)檢測(cè)能力，實(shí)現(xiàn)了運(yùn)動(dòng)圖像邊緣輪廓的提取，該方法的準(zhǔn)確度高、穩(wěn)健性好，實(shí)現(xiàn)穩(wěn)像處理的性能優(yōu)越.

[1]李計(jì)添,何永強(qiáng),陳財(cái)森，等.一種基于灰度投影算法的車(chē)載電子穩(wěn)像方法[J].紅外技術(shù),2010，32(6):328-332.

[2]姜浩,馮敏,肖桐,等.基于線狀特征增強(qiáng)的TM遙感影像細(xì)小河流提取方法[J].測(cè)繪學(xué)報(bào),2014,43(7):705-710.

[3]盂勃，韓廣良.基于改進(jìn)的尺度不變特征變換特征點(diǎn)匹配的電子穩(wěn)像算法[J].計(jì)算機(jī)應(yīng)用，2012，32(10):2817-2820.

[4]彭小江，張家樹(shù).基于特征匹配和校驗(yàn)的魯棒實(shí)時(shí)電子穩(wěn)像[J].光子學(xué)報(bào),2011,40(9):1442-1446.

[5]任少盟，魏振忠，張廣軍.基于擴(kuò)展Kalman預(yù)測(cè)模型的雙目立體視覺(jué)圖像特征點(diǎn)跟蹤方法[J].電子測(cè)量技術(shù)，2012， 35(1):71-75,84.

[6]朱娟娟，郭寶龍.一種運(yùn)動(dòng)載體攝像的自適應(yīng)穩(wěn)像系統(tǒng)[J].光學(xué)激光，2007，18(1):108-112.

[7]楊宜菩,楊帆,潘國(guó)峰,等.基于同態(tài)系統(tǒng)濾波的高分辨率遙感圖像河流信息提取[J].計(jì)算機(jī)應(yīng)用,2016,36(1): 248-253.

[8]馬忠麗，李慧鳳，文杰,等.高速水面艇視覺(jué)系統(tǒng)電子穩(wěn)像算法[J].計(jì)算機(jī)應(yīng)用研究，2014,31(2):633-636.

Research on edge contour extraction of moving image based on Harris corner detection

YU Haipeng，WANG Jiaxin，WEN Zhengying

(College of Computer， Henan University of Engineering， Zhengzhou 451191， China)

The edge contour feature extraction of moving object image can improve the performance of electronic image stabilization in order to realize the moving object detection and recognition. A contour extraction algorithm for movement of the edge of the image based on Harris corner point detection is proposed, with affine invariant closed enhancement processing and moving image affine invariant closed enhancement processing. Moving image Harris corner detection uses Kalman filtering and motion state of adjacent frames compensation method to improve the contour of image motion between two adjacent frames between corner detection ability, realize moving image contour extraction and stability of image processing. Simulation results show that the proposed method is of high accuracy, and good robustness.

Harris corner detection; electronic image stabilization; edge contour extraction; motion image

2016-01-15

河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(15A520055；17A520025)

于海鵬(1979-)，男，河南魯山人，副教授，主要研究方向?yàn)閳D像處理與計(jì)算機(jī)應(yīng)用.

TP391.9

A

1674-330X(2016)03-0069-06