基于特征的視頻全景拼接技術(shù)研究

強(qiáng)勇勇

摘 要：視頻全景拼接就是將多個(gè)從不同角度采集的視頻畫(huà)面拼接成一幅全景畫(huà)面，廣泛地應(yīng)用于視頻監(jiān)控、地質(zhì)勘測(cè)和軍事偵察領(lǐng)域。本文主要論述了基于特征的視頻全景拼接的實(shí)現(xiàn)步驟和配準(zhǔn)算法，并對(duì)不同算法進(jìn)行了比較，最后介紹了視頻全景拼接技術(shù)所面臨的技術(shù)難點(diǎn)。

關(guān)鍵詞：視頻全景拼接，圖像配準(zhǔn)，特征提取，實(shí)時(shí)性

1 引言

伴隨著電子計(jì)算機(jī)的出現(xiàn)和數(shù)字多媒體技術(shù)的快速發(fā)展，人類(lèi)獲取信息的途徑越來(lái)越多元化，視覺(jué)信息由于直觀、易懂等優(yōu)點(diǎn)而被廣泛使用。但是在很多場(chǎng)合中，通過(guò)攝像頭獲取到的視覺(jué)信息具有片面性和局限性。為了解決這一問(wèn)題，視頻全景拼接技術(shù)應(yīng)運(yùn)而生，通過(guò)拼接，可以大大降低一個(gè)攝像頭產(chǎn)生的視覺(jué)盲區(qū)。

視頻全景拼接最關(guān)鍵的步驟是圖像配準(zhǔn)，基于特征的圖像配準(zhǔn)目前應(yīng)用最為廣泛。該方法利用一些像素突變的點(diǎn)或線、圖像邊緣等特征來(lái)完成圖像配準(zhǔn)。由于特征信息的數(shù)量和圖像的像素?cái)?shù)量比起來(lái)要大幅度縮減，因此需要進(jìn)行比對(duì)的數(shù)據(jù)量也非常少;另外，由于特征信息能唯一標(biāo)識(shí)一幅圖，因此在數(shù)據(jù)匹配時(shí)誤匹配相對(duì)較少，配準(zhǔn)精度得到很大的提升。

2 實(shí)現(xiàn)步驟

基于特征的視頻全景拼接的主要實(shí)現(xiàn)步驟包括圖像采集、圖像預(yù)處理、特征點(diǎn)提取、特征點(diǎn)匹配、圖像融合。

（1）圖像采集：圖像采集一般通過(guò)攝像頭進(jìn)行，沿圓周每隔一定度數(shù)布置一個(gè)攝像頭，每個(gè)攝像頭采集的圖像的視場(chǎng)角有一定角度重疊。

（2）圖像預(yù)處理：對(duì)采集到的圖像進(jìn)行前期處理，以實(shí)現(xiàn)更好的圖像配準(zhǔn)和融合，主要包括鏡頭畸變校正、攝像機(jī)標(biāo)定和圖像投影變換等。

（3）特征點(diǎn)提?。喊ㄌ卣鳈z測(cè)和特征描述兩個(gè)階段。圖像的特征點(diǎn)是指圖像上的一些拐點(diǎn)、角點(diǎn)或邊緣點(diǎn)，這些點(diǎn)具有平移、旋轉(zhuǎn)、縮放、光照不變等特性。對(duì)于同一個(gè)事物，當(dāng)其出現(xiàn)在兩幅圖像中時(shí)，特征點(diǎn)在兩幅圖像中相互匹配。

（4）特征點(diǎn)匹配：對(duì)于圖像的特征點(diǎn)，通過(guò)一定的判別標(biāo)準(zhǔn)，尋找與其對(duì)應(yīng)的特征點(diǎn)。一般將特征向量之間的歐式距離的大小作為判定特征向量間匹配與否的標(biāo)準(zhǔn)。再通過(guò)RANSAC方法剔除錯(cuò)誤匹配點(diǎn)并擬合出圖像單應(yīng)性矩陣。特征點(diǎn)提取和特征點(diǎn)匹配統(tǒng)稱(chēng)為圖像配準(zhǔn)。

（5）圖像融合：經(jīng)過(guò)圖像配準(zhǔn)實(shí)現(xiàn)了兩拼接圖像中同一物體的對(duì)齊，但是由于兩圖像仍然存在顏色和亮度差異，因此直接拼接會(huì)出現(xiàn)明顯的接縫。圖像融合就是用來(lái)消除圖像間的接縫，使最終的拼接圖像更加自然。

3 基于特征的配準(zhǔn)方法

3.1 基于SIFT特征

（1）特征檢測(cè)

SIFT算法使用DoG算子作為高斯拉普拉斯函數(shù)的近似來(lái)建立尺度空間，并在其中查找局部極值點(diǎn)。局部極值點(diǎn)就是潛在的關(guān)鍵點(diǎn)，對(duì)這些極值點(diǎn)進(jìn)一步篩選以獲得更加精確的結(jié)果。SIFT算法主要剔除了一些低對(duì)比度的關(guān)鍵點(diǎn)和邊緣關(guān)鍵點(diǎn)，保留特征較強(qiáng)的關(guān)鍵點(diǎn)，并為每個(gè)關(guān)鍵點(diǎn)賦予一個(gè)方向以實(shí)現(xiàn)圖像的旋轉(zhuǎn)不變性。

（2）特征描述

根據(jù)尺度在關(guān)鍵點(diǎn)周?chē)x取一個(gè)鄰域，計(jì)算鄰域內(nèi)的梯度值和方向。創(chuàng)建一個(gè)方向直方圖，將到劃分為36個(gè)區(qū)間。確定該直方圖中的最大頻數(shù)，將所有頻數(shù)大于最大頻數(shù)的方向區(qū)間用于計(jì)算該關(guān)鍵點(diǎn)的方向。關(guān)鍵點(diǎn)周?chē)幸粋€(gè)的鄰域，將其劃分為16個(gè)大小的子塊。對(duì)于每個(gè)子塊，創(chuàng)建一個(gè)有8個(gè)方向區(qū)間的直方圖，最終生成一個(gè)128維的特征向量。

3.2 基于SURF特征

（1）特征檢測(cè)

SURF使用近似Hessian矩陣來(lái)檢測(cè)特征點(diǎn)，并且使用積分圖大幅地減少了計(jì)算量。SURF依靠Hessian矩陣行列式的局部最大值定位關(guān)鍵點(diǎn)位置。在每個(gè)候選關(guān)鍵點(diǎn)上，使用泰勒級(jí)數(shù)插值擬合方法確定該點(diǎn)的位置和尺度。最后依據(jù)其穩(wěn)定程度確定特征點(diǎn)。

（2）特征描述

SURF描述符描述了以特征點(diǎn)為中心的某個(gè)鄰域內(nèi)像素灰度的分布情況，使用X方向和Y方向上的一階Haar小波響應(yīng)來(lái)構(gòu)造特征向量。

3.3 基于ORB特征

（1）特征檢測(cè)

FAST是一種特征檢測(cè)算法，如果某像素與其鄰域內(nèi)足夠多的像素相差較大，則該像素將被標(biāo)記為角點(diǎn)。

（2）特征描述

BRIEF是一種二進(jìn)制編碼的特征描述符，生成速度快、匹配時(shí)間短，可以極大地提高圖像配準(zhǔn)的速度。以特征點(diǎn)為中心，取的鄰域窗口。在窗口內(nèi)隨機(jī)選取一對(duì)點(diǎn)，比較二者像素的大小，并進(jìn)行二進(jìn)制賦值。重復(fù)選取256次，形成一個(gè)二進(jìn)制串，即BRIEF特征描述符。

3.4 三種算法的比較

當(dāng)兩個(gè)匹配圖像的比例，亮度和旋轉(zhuǎn)度不同時(shí)，SIFT算法是有效的，但是它的計(jì)算卻非常復(fù)雜，無(wú)法滿(mǎn)足實(shí)時(shí)性要求。SURF是SIFT算法的改進(jìn)算法，其提取的特征是尺度和旋轉(zhuǎn)不變的，但是在光照變換劇烈，圖像邊緣抑制性方面，SIFT特征檢測(cè)比SURF特征檢測(cè)更為突出。雖然SURF算法的匹配速度有了很大的提高，但是和ORB算法等二元特征匹配算法之間仍然存在較大差距。ORB是一種實(shí)時(shí)算法，但它沒(méi)有縮放不變，并且對(duì)亮度不敏感。當(dāng)兩個(gè)匹配圖像的比例或亮度不同時(shí)，特征匹配的準(zhǔn)確性將大大降低。

4 技術(shù)難點(diǎn)

4.1實(shí)時(shí)性問(wèn)題

在視頻全景拼接過(guò)程中，需要對(duì)每一幀圖像進(jìn)行處理，為了保證畫(huà)面的連續(xù)性，必須在很短的時(shí)間內(nèi)完成對(duì)每幀圖像的拼接和融合，這就對(duì)拼接算法的實(shí)時(shí)性提出了很高的要求。

4.2圖像畸變及光照問(wèn)題

視頻采集過(guò)程中，攝像頭受外部因素和自身物理特性影響，導(dǎo)致采集到的圖像和原始場(chǎng)景畫(huà)面不一致，圖像發(fā)生畸變。同時(shí)，由于圖像各點(diǎn)的光照強(qiáng)度以及攝像頭附近的光源強(qiáng)度存在差異，也會(huì)導(dǎo)致圖像各點(diǎn)的顏色有所不同。

4.3復(fù)雜場(chǎng)景適應(yīng)性

當(dāng)攝像頭模組處于復(fù)雜場(chǎng)景下，發(fā)生快速移動(dòng)、抖動(dòng)或者光線發(fā)生明顯變化時(shí)，現(xiàn)有算法效果不佳，從而導(dǎo)致拼接圖像出現(xiàn)重影、錯(cuò)位等一系列的拼接缺陷。

4.4系統(tǒng)平臺(tái)

在圖像算法領(lǐng)域常用的嵌入式處理器包括ARM、DSP、ASIC、PGA等，視頻拼接算法復(fù)雜并且數(shù)據(jù)運(yùn)算量大，因此系統(tǒng)平臺(tái)的性能對(duì)視頻拼接的效果也有較大的影響。如何在嵌入式平臺(tái)算力有限的情況下提升算法性能就顯得至關(guān)重要。

參考文獻(xiàn)

[1]田玉曉，覃永新，陳文輝.畫(huà)面拼接技術(shù)的FPGA實(shí)現(xiàn)綜述[J].科技展望，2016，26（26）.

[2]熊哲源，熊小敏，吳勝益，袁幼平.圖像拼接技術(shù)研究綜述[J].科技資訊，2015，13（01）：15-16.

[3]文偉東，張明等.基于SIFT算法的全景圖像拼接技術(shù)研究[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（7）：227-231.

[4]王偉，陸佩忠.數(shù)字圖像拼接技術(shù)[J].小型微型計(jì)算機(jī)系統(tǒng)，2006，27（7）：1347-1352.