基于初匹配的視頻圖像拼接技術(shù)

劉志剛+王立松

【摘要】 對視頻全景圖像拼接技術(shù)進(jìn)行了研究，給出了一套視頻全景圖像拼接方案。該方案通過多尺度角點(diǎn)描述特征對拼接圖像進(jìn)行初匹配，從而避免了通常全景拼接中需要進(jìn)行的ROI的選取過程；然后，運(yùn)用局部特征匹配方法，對圖像特征進(jìn)行匹配；在此基礎(chǔ)上，采用平面投影方法，進(jìn)行圖像配準(zhǔn)，漸入漸出方法進(jìn)行圖像的融合。文中實(shí)驗(yàn)，說明本文方法能較好地適用于大面積靜態(tài)場景觀測以及高分辨率圖像獲取的應(yīng)用。

【關(guān)鍵詞】 圖像匹配 多尺度Harris特征 全景圖拼接

視頻圖像拼接技術(shù)是一種利用了視頻序列中相鄰各幀圖像間存在較大重疊的特點(diǎn)，通過圖像處理方法去除視頻幀間冗余，將一部或多部攝像機(jī)拍攝的視頻信息通過圖像幾何變換進(jìn)行重采樣轉(zhuǎn)化為一幅包含該序列所有信息的大面積全景圖像的技術(shù)。本文采用圖像匹配特征集初匹配方法，對待匹配特征解集進(jìn)行限定，在此基礎(chǔ)上再運(yùn)用上述圖像特征匹配方法對精確的匹配解集進(jìn)行求解，并考慮運(yùn)用平面投影法對圖像進(jìn)行拼接，基本算法流程如下。

一、基于多尺度角點(diǎn)描述特征的初匹配算法

由于Harris角點(diǎn)檢測方法只能得到特征點(diǎn)的位置，只根據(jù)空間坐標(biāo)進(jìn)行匹配則使特征匹配問題成為一個(gè)典型的NP問題。通過多尺度方法對Harris角點(diǎn)進(jìn)行檢測，不但可以得到角點(diǎn)的位置信息，而且可以獲得角點(diǎn)的尺度信息。本文使用的角點(diǎn)描述方法：首先對圖像中多尺度Harris角點(diǎn)進(jìn)行提取，并借鑒了SIFT特征描述方法獲得角點(diǎn)的在圖像尺度空間的不變特征描述。這種特征描述方法最大的優(yōu)點(diǎn)是在旋轉(zhuǎn)、尺度等因素變化下仍能保持對特征較穩(wěn)定的不變描述，這使得圖像對中運(yùn)用該方法進(jìn)行描述的特征具有很高的相似性，為此，可直接利用這一特性對圖像進(jìn)行初匹配，從而限定特征匹配解集。對待拼接圖像L，任意多尺度角點(diǎn)ai特征描述向量為ui，圖像R，任意多尺度角點(diǎn)bj特征向量為vj，根據(jù)特征描述向量可以定義它們的正匹配。

由于實(shí)際圖像噪聲、角度、光照等因素，同一特征的特征描述向量可能會出現(xiàn)一定甚至較大變化，通過上述方法進(jìn)行匹配很難得到精確的匹配結(jié)果，且γτ的設(shè)置對于匹配結(jié)果具有較大的影響，較大的γτ會出現(xiàn)較多的錯(cuò)誤匹配，較小的γτ則會出現(xiàn)較多的漏匹配，最主要的是該方法不能完全保證匹配的正確性。但該方法可較好地用于圖像拼接中的匹配解集限定，這樣則可省去ROI區(qū)域標(biāo)定步驟。

此外，鑒于γτ在不同匹配圖像對中選擇是不固定的，為解決該問題我們給出一種迭代閾值選擇與初匹配的方法。閾值γτ選擇主要根據(jù)匹配特征對數(shù)目來決定。假設(shè)圖像中提取的特征數(shù)分別為m，n，所給方法如下.

二、平面投影法的全景圖像拼接

本節(jié)采取平面投影法形成拼接的全景圖。

1）投影矩陣計(jì)算

由上可知，選取第一幀圖像為參考幀，就可得到每幀圖像與全景圖的投影關(guān)系。

2）全景圖大小估計(jì)

確定各幀與全景圖坐標(biāo)系之間的投影關(guān)系后，按照計(jì)算機(jī)對圖片存儲格式的要求，計(jì)算出全景圖的大小。

三、漸入漸出圖像融合算法

由于圖像噪聲、模型誤差、相機(jī)晃動等因素，圖像重疊區(qū)域內(nèi)分別處于相鄰兩幅圖像的兩個(gè)對應(yīng)點(diǎn)并不一定能很好地重合在真實(shí)的場景點(diǎn)，所以圖像融合算法的好壞直接關(guān)系到合成圖像的清晰度。本文采用較為常用的融合算法，漸入漸出融合算法，即在圖像重疊區(qū)域內(nèi)使用兩幅圖像共同的貢獻(xiàn)值作為混合圖像的灰度值，使用線性加權(quán)過渡函數(shù)以實(shí)現(xiàn)在靠近重疊區(qū)邊界的地方做平滑過渡處理。對于彩色圖像，我們需要分為 R、G、B 三個(gè)通道分別進(jìn)行插值融合。漸入漸出的融合算法簡單易實(shí)施，多數(shù)情況下都具有良好的效果。

小結(jié)：本文主要對視頻圖像拼接技術(shù)進(jìn)行了研究，給出了一套視頻全景圖像拼接方案。該方案通過多尺度角點(diǎn)描述特征對拼接圖像進(jìn)行初匹配，從而避免了通常全景拼接中需要進(jìn)行的ROI的選取過程；然后，運(yùn)用第四章中局部特征匹配方法，對圖像特征進(jìn)行匹配；在此基礎(chǔ)上，采用平面投影方法，進(jìn)行圖像配準(zhǔn)，漸入漸出方法進(jìn)行圖像的融合。文中實(shí)驗(yàn)，說明本文方法能較好地適用于大面積靜態(tài)場景觀測以及高分辨率圖像獲取的應(yīng)用。