視頻拼接中最優(yōu)自適應單應性矩陣求解算法

張春雨，王 文，邱亞特，郭克友

（1.交通運輸部公路科學研究所 北京誠達交通科技有限公司，北京 100088；2.北京工商大學 機械工程學院 北京 100037）

視頻拼接是近幾年來圖像處理領域的研究熱點之一［1－5］，但受處理算法復雜度及硬件條件所限，目前大多數(shù)的研究方向主要集中在對實時性要求不高的靜態(tài)圖像拼接處理上［6－11］。而相比于靜態(tài)圖像而言，視頻拼接的難度較大，要實現(xiàn)真正的實時性拼接，需要在幾十毫秒的時間之內(nèi)完成對單幀圖像的拼接處理，這就對拼接的算法提出了很高的要求。針對交通場景中對視頻拼接速度要求較高的需求特點，本文從靜態(tài)圖像拼接處理入手，結合視頻幀間的相關性特點，提出了利用視頻幀的最優(yōu)單應性矩陣進行實時拼接的快速算法，并在交通監(jiān)控視頻序列中進行了實現(xiàn)和應用，達到了實時的處理效果。

1 整體框架

本文的主要工作是將兩段已經(jīng)拍攝好的交通場景視頻進行拼接，針對實時性要求，提出了利用視頻幀的最優(yōu)單應性矩陣進行實時拼接的快速算法，搭建了實時視頻拼接系統(tǒng)。算法的主要步驟如下:

（1）獲取兩組同質視頻圖像。

（2）對同一時刻對應的幀圖像進行預處理。

（3）采用SURF算法提取對應幀特征點。

（4）采用最近鄰匹配法（Nearest neighbour，NN）匹配顯著特征點對。

（5）隨機抽樣一致性匹配算法（Random sample consensus，RANSAC）剔除誤匹配特征點對。

（6）求解視頻初始k幀的最優(yōu)單應性矩陣。

（7）根據(jù)最優(yōu)單應性矩陣進行后繼視頻幀場景的拼接。

（8）同時對第k幀圖像的特征點進行跟蹤，把其在后繼幀中的位置作為相應特征點位置。

（9）若匹配點對的數(shù)目超過了給定的閾值，則認為圖像前景發(fā)生了較大的變化，最優(yōu)單應性矩陣應該更新。

（10）程序跳轉到步驟（2），重新計算特征點、匹配點對以及最優(yōu)的單應性矩陣。

2 關鍵算法與實現(xiàn)

2.1 圖像預處理算法

由于同一對象在不同攝像機視角下會產(chǎn)生幾何變形，而且圖像在采集過程中不可避免地會受到光線等外界因素的影響，因此在預處理階段需要對兩個視頻對應幀圖像進行預處理，本文采用的是圖像灰度化、直方圖均衡以及中值濾波處理，以擴大圖像的灰度范圍，增強對比度，便于后續(xù)特征點的提取。圖1是經(jīng)過預處理后的圖像。

圖1 視頻幀圖像預處理效果圖Fig.1 Proceesing of video images

2.2 SURF特征點提取算法

SURF算子由Bay等［12］在2006年提出，它本質上是對SIFT算子的改進。該方法在SIFT算法基礎上，利用方框濾波近似代替二階高斯濾波，使用圖像積分替代圖像卷積操作以提高計算速度，利用Hessian矩陣的數(shù)學性質檢測特征值。盡管特征點的提取質量受到一定的影響，但計算效率高。SURF算子的實現(xiàn)主要包括以下步驟:尺度空間特征點檢測，特征點的穩(wěn)定性判定，以及描述符的形成。圖2是用SURF算法處理的圖像，白色圓圈標注的是提取的特征點位置。

圖2 SURF算法處理后特征點提取效果圖Fig.2 Feature points abstracted by SURF algorithm

2.3 特征點匹配算法

利用SURF方法對兩幅圖像分別提取特征點后，用NN［8］方法對圖像間的特征點進行初始匹配，從而找出兩幅圖像中匹配的顯著特征點對。由于初始匹配中包含有大量的出格點，直接采用線性算法得不到正確的投影變換參數(shù)，為此，本文采用了魯棒的隨機采樣算法，有效地剔除了初始匹配中的出格點，獲得精確匹配的點集，然后利用這些精確匹配的點集來計算投影變換參數(shù)。

（1）初始匹配算法

NN方法是在SURF提取出的特征點描述符具有很高獨特性的前提下使用的，用特征點的最近鄰距離與次近鄰距離的比值作為特征點間是否匹配的依據(jù)。在搜索最近鄰與次近鄰時使用一種在k－d樹快速搜索方法基礎上改進的BBF（Best bin first）方法來提高運算速度。

（2）隨機采樣一致性

RANSAC是一種魯棒的參數(shù)估計方法。對初始匹配點集中包含有較高比率出格點的情況，該算法仍能有效地獲得精確的參數(shù)估計值，去除出格點，保證后繼圖像拼接的正確性。

其具體步驟如下:①在輸入數(shù)據(jù)中隨機重復采樣n次，利用每次采樣所得到的最小點集（4組）估計出所要確定的單應性矩陣，計算每組假設對應的距離；②通過與門限值比較，將低于門限值的點對作為“內(nèi)點”，其他的點作為“出格點”；③如此迭代一定的次數(shù)之后，將對應輸入數(shù)據(jù)中“內(nèi)點”比例最高的點集作為優(yōu)化的點集；④將對應輸入數(shù)據(jù)中“內(nèi)點”比例最高的點集所估計出的參數(shù)值以及選出來的內(nèi)點一起進行優(yōu)化，用所選取點集中的匹配對重新計算單應性矩陣，從而得到最終的參數(shù)估計值。圖3為RANSAC處理后的效果圖。

圖3 RANSAC處理后效果圖Fig.3 RANSAC post－processing

2.4 最優(yōu)單應性矩陣的求取

從攝影幾何中可知，如果空間點位于同一平面上且該平面不通過兩攝像機的任一光心，兩幅圖像對應點之間存在一一對應關系，且這種對應關系可以用單應矩陣的變換矩陣來表示［13］，即單應性矩陣把源圖像平面上的點集與目標圖像平面上的點集位置聯(lián)系起來。

從單應性矩陣的性質可以得出:一個性能好的單應性矩陣可以使兩幅待拼接圖像很好地拼接在一起。但由于在特征點匹配過程中可能存在特征點誤匹配的情況，實際在單幀圖像中通過特征點對匹配求解所得單應性矩陣不一定是最優(yōu)單應性矩陣。而且，對視頻圖像采用單幀圖像拼接的方式進行處理，沒有利用視頻圖像幀間的相關性，也沒有考慮到幀間單應性矩陣的關聯(lián)，這都會降低視頻拼接的效率。

由于兩幅待拼接圖像重疊區(qū)域內(nèi)圖像的相關性非常高，因此可利用相關性作為重疊區(qū)域拼接效果評價的依據(jù)。具體步驟如下:

（1）確定拼接圖像的重疊區(qū)域

根據(jù)單應性矩陣，按照圖像的映射關系，得到保留特征點在另一對應幀圖像的匹配點；如果計算出的匹配點沒有落在圖像內(nèi)，說明這一點并不在兩幅圖像的重疊區(qū)內(nèi)，反之，如果特征點映射前后都落在圖像內(nèi)，說明它處在重疊區(qū)內(nèi)；用這種方法遍歷一遍，即對一幅圖像中所有保留特征點進行透視變換，以另一幅圖像的邊緣為邊界，取重疊區(qū)的最小內(nèi)接矩形作為重疊區(qū)域。

（2）求前k幀對應拼接圖像重疊區(qū)域相似度

將匹配點對按照最小距離由小到大進行排序，并按照加權距離的歸一化設定權值，再按照歸一化協(xié)方差相關函數(shù)來計算相似度。如下式所述:

式中:w、h分別為重疊區(qū)的寬和高。

顯然，相似度C取值范圍是（－1，1），取值越大說明重疊區(qū)相關程度越高。

（3）確定前k幀的最優(yōu)單應性矩陣

對連續(xù)前k幀相似度值求極大值，相關性最高的圖像幀對應的單應性矩陣即為最優(yōu)的單應性矩陣，可作為后繼幀的單應性矩陣。

2.5 最優(yōu)單應性矩陣的優(yōu)化和變換

由于多幅圖像進行拼接會產(chǎn)生全局的累計誤差，因此需要對初始的最優(yōu)單應性矩陣進行優(yōu)化和變換。

本文采用對圖像中的動態(tài)特征點進行動態(tài)跟蹤的KLT方法來確定是否要對最優(yōu)的單應性矩陣進行優(yōu)化和變換。通過跟蹤一幀圖像的匹配點對，得到這些匹配點對在當前圖像幀中的新位置，作為當前圖像幀的特征點。若匹配點對的數(shù)量變化超過了給定的閾值，則認為視頻幀的前景有顯著變化，當前的最優(yōu)單應性矩陣需要進行優(yōu)化和變換。同時需要重新提取圖像幀中特征點對進行匹配，尋求k幀圖像的單應性矩陣。

3 實驗結果分析

本實驗采用固定攝像機的方式進行交通場景的視頻拼接，其中兩個攝像頭完全相同，設置相同的亮度、焦距、色度等參數(shù)。視頻幀大小為320×240像素，幀頻為28幀／s。

在臺式機上進行模擬實驗，采用Core22.8G CPU，3G內(nèi)存的硬件平臺，VC2008軟件編程。實驗結果表明:單幀拼接所需時間約400ms左右，在得到最優(yōu)單應性矩陣之后，視頻的平均拼接時間遠小于100ms。如果采用DSP、FPGA等硬件進行算法加速，單幀的處理速度會更快。

圖4是重疊區(qū)域為50%的視頻中兩對應幀圖像。圖5是經(jīng)過拼接處理后得到的寬視野范圍的拼接圖像。

圖4 視頻中兩對應幀圖像Fig.4 Two corresponding images of video

圖5 拼接后圖像Fig.5 Mosaic image of video frames

從視頻拼接幀上看，拼接效果較好，拼接后的視頻錄像畫面流暢清晰，能夠滿足交通場景中視頻監(jiān)控對寬視野的需求。由于本拼接系統(tǒng)的算法本身也有一定的局限性，不可避免地存在一定的誤差，例如拼接處的部分圖像存在微弱的接痕和變形等，同時兩視頻幀的亮度還需要用算法進行調整。

4 結束語

提出了基于最優(yōu)單應性矩陣的實時視頻拼接求解算法，并將其應用于交通場景的視頻拼接中，可以實現(xiàn)交通監(jiān)控過程中對全景交通狀態(tài)的監(jiān)控以及回放，減少了數(shù)據(jù)存儲的空間。本算法在SURF算法提取特征點的基礎上，分別利用最近鄰匹配法、隨機抽樣一致性匹配算法求出視頻初始幾幀的單應性矩陣作為最優(yōu)單應性矩陣，然后利用最優(yōu)單應性矩陣進行視頻后繼k幀的拼接；同時利用K－L算法對特征點對進行跟蹤，若當前幀中匹配的特征點對的數(shù)量變化超過了給定的閾值，則認為需要對最優(yōu)單應性矩陣進行優(yōu)化和變換，重新計算視頻幀特征點對以及單應性矩陣。該快速算法具有參數(shù)估算準確，計算量小、速度快的優(yōu)點，實現(xiàn)了實時的視頻拼接，對視野背景相對固定的視頻拼接效果尤其理想。下一步工作有兩個主要內(nèi)容，一是研究基于形態(tài)學的圖像融合算法，避免由于過度拼接或由于物體運動造成的高頻信息丟失引起的鬼影現(xiàn)象；二是在提高視頻拼接質量的前提下，采用DSP高速處理器，進一步提高視頻幀拼接速度。

［1］Smith S，Susan Brady M.A new approach to low level image processing［J］.International Journal of Computer Vision，1997，23（1）:45－78.

［2］Lemeshewsky G P.Multispectral multi－sensor image fusion using wavelet transforms［J］.Pro SPIE，1999，3716:214－222.

［3］Luo Zhong－xuan，Liu Cheng－ming.Fast algorithm of image matching［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2005，17（5）:966－969.

［4］Lowe D G.Object recognition from local scale－invariant features［C］∥International Conference on Computer Vision，Corfu，Greece，1999:1150－1157.

［5］Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74（1）:59－73.

［6］Lowe D G.Distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60（2）:91－110.

［7］陳昱，莊天戈 .基于灰度值相應概率的非剛性圖像配準［J］.上海交通大學學報，1999:33（9）:1128－1130.Chen Yu，Zhuang Tian－ge.Non－rigid registration for multi－modal medical images based on gray value correspondence probability［J］.Journal of Shanghai Jiaotong University，1999，33（9）:1128－1130.

［8］董瑞，梁棟.基于顏色梯度的圖像特征點匹配算法［J］.計算機工程，2007，33（16）:178－180.Dong Rui，Liang Dong.Image feature points match algorithm based on color gradient，computer engineering［J］.Computer Engeering，2007，33（16）:178－180.

［9］李廣儒，張闖.基于Harris特征點檢測法的雷達圖像與電子海圖的數(shù)據(jù)融合［J］.大連海事大學學報，2009，35（2）:55－58.Li Guang－ru，Zhang Chuang.Data mining of radar image and electronic chart based on Harris feature point detection［J］.Journal of Dalian Maritime University，2009，35（2）:55－58.

［10］許俊澤，胡波.對數(shù)極坐標變換域下互信息圖像配準方法［J］.信息與電子工程，2009，7（4）:289－293.Xu Jun－ze，Hu Bo.Mutual information image registration based on log－polar transform［J］.Information and Electronic Engineering，2009，7（4）:289－293.

［11］李根，李文輝.基于尺度不變特征變換的平面旋轉人臉檢測［J］.吉林大學學報:工學版，2013，43（1）:186－191.Li Gen，Li Wen－h(huán)ui.Face detection under rotation in image plane based on scale invariant feature transform［J］.Journal of Jilin University（Engineering and Technology Edition），2013，43（1）:186－191.

［12］Bay H，Tuvtellars T，Van Gool L.SURF:speeded up robust features［C］∥Proceedings of the European Conference on Computer Vision，2006:404－417.

［13］Jain P K，Jawahar C V.Homography estimation from planar contours［J］.Third International Symposium，2006，77（15）:877－884.