視頻監(jiān)控中運動圖像序列三維重建

胡紅權

摘 要： 視頻監(jiān)控中運動圖像序列三維重建一直是三維重建研究的重點，其重建效果會對運動圖像的清晰度產(chǎn)生影響。但當前三維重建方法都是通過獲取二維視頻監(jiān)控中的運動圖像序列，通過基于Java Applet與Java Application編程，采用體繪制法完成視頻監(jiān)控中二維運動圖像序列的三維重建，該方法無法保證重建后的圖像質量，導致圖像清晰度不高。為此，提出基于圖像特征點提取與匹配的視頻監(jiān)控中運動圖像序列三維重建方法。首先，對視頻監(jiān)控中運動圖像序列特征點進行檢測，并對特征點一定鄰域內圖像的紋理、結構以及其他特征進行統(tǒng)計，通過對運動圖像序列特征點的特征比較，完成運動圖像序列特征點提取與匹配；然后，對視頻監(jiān)控中運動圖像序列的結構和運動初始化，并進行視頻監(jiān)控相機的自標定，實現(xiàn)對視頻監(jiān)控中運動圖像序列的三維重建。實驗結果表明，所提方法能夠有效提高三維重建后視頻監(jiān)控中運動圖像序列的清晰度，減少三維重建流程，提高運動圖像序列重建效率，具有良好的使用價值。

關鍵詞： 視頻監(jiān)控； 清晰度； 特征點； 匹配； 運動圖像序列； 三維重建

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）03?0067?04

Abstract： The three?dimensional （3D） reconstruction of moving image sequences in video surveillance is always the research importance of 3D reconstruction. But the current 3D reconstruction method adopts the volume rendering method to realize the 3D reconstruction of two?dimensional motion image sequences in video surveillance by means of acquiring the moving image sequences in two?dimensional video surveillance， and adopting Java Applet and Java Application programming， which can′t guarantee the reconstructed image quality， and has low image resolution. Therefore， an image feature points extraction and matching based 3D reconstruction method of moving image sequences in video surveillance is proposed. The feature points of motion image sequences in video surveillance are detected， and their image texture in a certain neighborhood， structure and other characteristics are calculated. The characteristics of the feature points of the motion image sequences are compared to realize the feature points extraction and matching of feature points of the motion image sequence. The structure and motion of the moving image sequence in video surveillance are initialized， and the self?calibration of the video surveillance camera is performed to realize the 3D reconstruction of the moving image sequence in video surveillance. The experimental results show that the method can increase the definition of the reconstructed moving image sequences in video surveillance effectively， reduce the 3D reconstruction process， improve the reconstruction efficiency of moving image sequence， and has high application value.

Keywords： video surveillance； definition； feature point； matching； moving image sequence； 3D reconstruction

0 引 言

隨著科技的發(fā)展，人們生活水平的提高，對圖像視覺產(chǎn)生更高要求，為滿足人們的視覺要求，三維重建技術應運而生[1]。隨著對三維重建技術研究的深入，三維重建技術趨于成熟，開始在各領域中應用[2]。當應用在視頻監(jiān)控運動圖像序列三維重建中時，有利于提高視頻監(jiān)控圖像的清晰度，因此視頻監(jiān)控中運動圖像序列的三維重建越來越受到重視[3]。目前運動圖像序列三維重建大多通過開發(fā)交互操作的三維重建系統(tǒng)，利用射影幾何中的交比不變性理論，通過監(jiān)控相機內外部參數(shù)和像差修正參數(shù)分離的標定方法，實現(xiàn)視頻監(jiān)控中運動圖像序列的三維重建[4]。這種方法需要開發(fā)三維重建系統(tǒng)，不但重建成本高，且不易于操作[5]。該方法引起了重大反響，對該問題的研究也成為相關專家學者研究的重點，并取得了豐碩的研究成果[6?7]。endprint

文獻[8]通過將二維視頻監(jiān)控中運動圖像序列數(shù)據(jù)直接堆壘起來，利用閾值分割、線性內插等方法，獲得直觀性較好的三維視頻監(jiān)控中運動圖像序列。通過對重建圖像進行旋轉、截取等操作，獲得了不同方向的三維圖形。但這種方法計算過程過于簡單，無法保證三維重建后視頻監(jiān)控中運動圖像序列的質量。文獻[9]提出基于分割的視頻監(jiān)控中運動圖像序列三維重建方法，但該方法存在一定的主觀性。文獻[10]提出基于多幅圖像的視頻監(jiān)控中運動圖像序列三維重建方法，利用角點檢測算法提取視頻監(jiān)控中運動圖像序列的邊緣和內容特征，通過將極線約束和SIFT特征描述算子相結合，完成特征點匹配，從而得到特征點的三維坐標。根據(jù)這些坐標，完成視頻監(jiān)控中運動圖像序列三維重建，但這種方法過程復雜，花費時間長，難以被廣泛使用。

針對上述問題，提出基于圖像特征點提取與匹配的視頻監(jiān)控中運動圖像序列三維重建方法。實驗結果表明，所提方法能夠提高三維重建后運動圖像序列的清晰度，減少三維重建流程，提高運動圖像序列三維重建效率。

1 視頻監(jiān)控中運動圖像序列三維重建

三維重建可歸結為利用圖像上的像素點恢復相機位置，投影矩陣以及三維空間中點的坐標。因此，需要對視頻監(jiān)控中運動圖像序列進行三維重建，視頻監(jiān)控中運動圖像序列特征點提取與匹配是前提，然后通過線性時域對準，完成視頻監(jiān)控中運動圖像序列的三維重建。

1.1 視頻監(jiān)控中運動圖像序列特征點提取與匹配

完成視頻監(jiān)控中運動圖像序列特征點的提取與匹配工作。首先對視頻監(jiān)控中運動圖像序列的特征點進行檢測，分析特征點的空間位置信息以及尺度信息，并統(tǒng)計特征點在一定鄰域內圖像的紋理、結構以及其他特征，并將統(tǒng)計值組合，將組合的統(tǒng)計值作為特征點的特征向量，使視頻監(jiān)控中運動圖像序列特征點具備可區(qū)分性，最后利用特征點特征向量的相似度，將相似度最高并滿足一定閾值的點作為對應匹配點，從而完成視頻監(jiān)控中運動圖像序列特征點匹配。

首先利用LoG尺度空間特征點檢測算子完成視頻監(jiān)控中運動圖像序列特征點檢測，其用公式表示為：

式中分別表示空間內坐標。對式（1）進行拉普拉斯變換并規(guī)范化得到：

式中表示拉普拉斯變換系數(shù)。設定拉普拉斯響應值為視頻監(jiān)控中運動圖像序列特征點判斷指標，當導數(shù)為0時，對式（2）求極值，得到：

將其拉普拉斯響應值與空間相鄰的26個點的響應值做比較，通過式（3）確定空間位置和尺度空間巔峰值，完成視頻監(jiān)控中運動圖像序列特征點檢測。

設定表示視頻監(jiān)控中運動圖像序列高斯尺度空間，通過對原始視頻監(jiān)控中運動圖像序列的尺度二維高斯函數(shù)做卷積運算得到：

式中：表示視頻監(jiān)控中運動圖像序列方向卷積操作；表示特征點平面坐標；表示視頻監(jiān)控中運動圖像序列尺度，其大小與視頻監(jiān)控中運動圖像序列平滑程度成反比。通過對高斯差分視頻監(jiān)控中運動圖像序列進行非最大值抑制，完成視頻監(jiān)控中運動圖像序列特征點的尺度空間和位置空間定位。

式中：表示視頻監(jiān)控中運動圖像序列兩個相鄰尺度空間的因子倍數(shù)。根據(jù)視頻監(jiān)控中運動圖像序列特征點尺度空間和位置空間定位，利用SURF方法進行特征點匹配。通過積分圖生成特征向量，利用雙數(shù)計算結果降低運算量，避免特征向量生成時對圖像重復運算。

通過上述論述，完成視頻監(jiān)控中運動圖像序列特征點的檢測，根據(jù)視頻監(jiān)控中運動圖像序列特征點的特征進行比較，完成特征匹配。

1.2 視頻監(jiān)控中運動圖像序列三維重建

在1.1節(jié)論述的基礎上，通過視頻監(jiān)控中運動圖像序列結構和運動的初始化，實現(xiàn)視頻監(jiān)控中運動圖像序列結構和運動的恢復。

選擇圖像匹配點多且圖像之間距離較遠的兩幅視頻監(jiān)控中的運動圖像。為滿足圖像距離要求，通過從經(jīng)過平均平面變換的點和目標圖像中的對應點中值距離對其進行計算。

首先對主框架進行初始化，利用下式進行計算：

然后對結構進行初始化，完成對測量點調整矯正。其矯正公式為：

式中：表示圖像的矯正量。在圖像上的矯正量很小的情況下，該近似是準確的，且計算量很小，提高了視頻監(jiān)控中運動圖像序列三維重建的準確度。

在對視頻監(jiān)控中運動圖像序列特征點進行矯正后，通過線性三角形法來初始化與其對應的三維空間的點。在每一幅視頻監(jiān)控的運動圖像序列中，分別測量將這些方程組合成的形式，得到關于的線性方程，將進行擴展，得到以下公式，其中前兩個是線性獨立的。

式中：表示的行，關于的向量是線性的，形成與近似的方程，得到：

式（12）的最小二乘解則為初始化的視頻監(jiān)控中運動圖像序列三維空間點坐標的齊次表示。

然后對視頻監(jiān)控中的相機進行自標定，自標定指直接由未標定的多幅圖像完成視頻監(jiān)控相機內參數(shù)的設定，從而根據(jù)視頻監(jiān)控圖像完成度量重構的計算，提高計算的靈活性。

設定表示視頻監(jiān)控相機的視點，表示三維空間坐標系中某一點的空間坐標。視頻監(jiān)控相機的有效焦距表示圖像平面與光心間的距離，表示視頻監(jiān)控相機模型下點坐標，從空間的三維坐標到平面坐標的轉換步驟可分為兩步。

對三維空間坐標系到視頻監(jiān)控相機坐標系的坐標轉換，可表示成：

式中：表示視頻監(jiān)控相機的旋轉矩陣；表示視頻監(jiān)控相機的平移向量，可表示為：

式中：分別表示視頻監(jiān)控中運動圖像序列三維點在坐標變換過程中沿軸、軸和軸三個方向的平移量。

在視頻監(jiān)控中，相機模型下透視投影變換可表示為：

通過上述方法，完成視頻監(jiān)控中運動圖像序列的坐標轉換，實現(xiàn)視頻監(jiān)控中運動圖像序列的紋理映射，從而完成視頻監(jiān)控中運動圖像序列三維重建。

2 實驗結果與分析

為了證明本文提出的基于圖像特征點提取與匹配的視頻監(jiān)控中運動圖像序列三維重建方法的有效性，進行仿真實驗，實驗在Windows 7 Ultimate的操作系統(tǒng)下進行，CPU型號是3.2 GHz的Intel Core I3，運行平臺為Microsoft Visual Studio.NET 2010。通過將本文提出的三維重建方法與文獻[6?7]所提三維重建方法進行對比，完成本次實驗。endprint

首先對三種視頻監(jiān)控中運動圖像序列三維重建方法重建后的圖像清晰度進行對比，設清晰度的單位為像素，其計算過程如下：

式中：表示通過種方法進行三維重建的清晰度，分別表示種方法的轉換系數(shù)；表示視頻監(jiān)控相機的旋轉矩陣；表示的矯正向量。

通過計算，得到三種方法進行重建后的圖像清晰度對比結果，如表1所示。

為了更明顯地表示三種方法的重建結果，將表1轉換成折線圖形式，得到的對比結果如圖1所示。

從表1，圖1可以看出，無論通過哪種方法進行三維重建，都有利于提高視頻監(jiān)控中運動圖像序列的清晰度，且重建后視頻監(jiān)控中運動圖像序列清晰度隨著原視頻監(jiān)控中運動圖像序列清晰度的提高而提高，但本文所提方法對應的圖像清晰度隨著原視頻監(jiān)控中運動圖像序列清晰度的提高，提高速度相比文獻[6?7]較快，且從三條折線的起點可以看出，本文所提方法進行三維重建的原始清晰度較高。

對三種視頻監(jiān)控中運動圖像序列三維重建方法進行時間對比。為保證實驗的準確性，進行了500次實驗，以每50次實驗結果作為一組數(shù)據(jù)，得到平均耗時，具體計算過程如下所示：

式中：代表實驗結果次數(shù)；表示實驗花費的總時間；表示實驗中的休息時間。得到三種視頻監(jiān)控中運動圖像序列三維重建方法耗時對比，對比結果如圖2所示。

圖2中，折線的起點表示三種方法的理論耗時。通過圖2可以看出，本文所提方法花費時間較少，且實際耗時與理論耗時差距小，說明利用此方法進行視頻監(jiān)控中運動圖像序列三維重建的重建效果較穩(wěn)定。

3 結 語

隨著科技水平和生活質量的提高，人們對視覺要求越來越強烈。對視頻監(jiān)控中運動圖像序列三維重建可提高視頻監(jiān)控中運動圖像序列視覺效果。本文所提基于圖像特征點提取與匹配的視頻監(jiān)控中運動圖像序列三維重建方法，有利于降低三維重建耗時，提高重建后圖像質量，具有良好的使用價值。

參考文獻

[1] 高欣健，張旭東，高亞捷，等.基于單幅灰度圖像的快速三維重建方法研究[J].機械工程學報，2014，50（2）：42?47.

GAO Xinjian， ZHANG Xudong， GAO Yajie， et al. Fast method of 3D surface reconstruction based on single gray image [J]. Journal of mechanical engineering， 2014， 50（2）： 42?47.

[2] 趙春宇，孫偉，陳許蒙.微慣性傳感器加速的序列圖像三維重建方法[J].光學精密工程，2016，24（10）：559?566.

ZHAO Chunyu， SUN Wei， CHEN Xumeng. 3D reconstruction of sequence images accelerated by micro inertial sensors [J]. Optics and precision engineering， 2016， 24（10）： 559?566.

[3] 羅宇，宋歌，楊紅雨.基于圖像識別的建筑物三維重建[J].計算機工程與設計，2015，36（1）：191?196.

LUO Yu， SONG Ge， YANG Hongyu. 3?D rebuilding based on recognition of image [J]. Computer engineering and design， 2015， 36（1）： 191?196.

[4] 魏楚亮，羅培羽，洪曉斌，等.基于單張照片模式的三維圖像重建新方法研究[J].中國測試，2014，40（2）：23?26.

WEI Chuliang， LUO Peiyu， HONG Xiaobin， et al. Research on a new method of 3D image reconstruction based on single photo mode [J]. China measurement & test， 2014， 40（2）： 23?26.

[5] 張丹，呂學強，肖詩斌，等.基于輪廓線法的汽車類外觀專利圖像三維重建[J].計算機應用與軟件，2015，32（4）：170?174.

ZHANG Dan， L? Xueqiang， XIAO Shibin， et al. 3D reconstruction of automobile design patent images based on contour algorithm [J]. Computer applications and software， 2015， 32（4）： 170?174.

[6] 丁偉利，陳瑜，馬鵬程，等.基于陣列圖像的自適應光場三維重建算法研究[J].儀器儀表學報，2016，37（9）：2156?2165.

DING Weili， CHEN Yu， MA Pengcheng， et al. Study on adaptive light field 3D reconstruction algorithm based on array image [J]. Chinese journal of scientific instrument， 2016， 37（9）： 2156?2165.

[7] 張聰炫，陳震，黎明.單目圖像序列光流三維重建技術研究綜述[J].電子學報，2016，44（12）：3044?3052.

ZHANG Congxuan， CHEN Zhen， LI Ming. Review of the 3D reconstruction technology based on optical flow of monocular image sequence [J]. Acta electronica sinica， 2016， 44（12）： 3044?3052.

[8] 沈振一，孫韶媛，趙海濤.基于PP?MRF模型的單目車載紅外圖像三維重建[J].東華大學學報（自然科學版），2015，41（3）：341?347.

SHEN Zhenyi， SUN Shaoyuan， ZHAO Haitao. Three?dimensional reconstruction from monocular vehicular infrared images based on PP?MRF model [J]. Journal of Donghua University （natural science edition）， 2015， 41（3）： 341?347.

[9] 于春和，祁樂陽.基于HALCON的雙目攝像機標定[J].電子設計工程，2017，25（19）：190?193.

YU Chunhe， QI Leyang. Binocular camera based on HALCON [J]. Electronic design engineering， 2017， 25（19）： 190?193.

[10] 隋巧燕，董洪偉，劉蕾.雙目下點云的三維人臉重建[J].現(xiàn)代電子技術，2015，38（4）：102?105.

SUI Qiaoyan， DONG Hongwei， LIU Lei. 3?D point cloud face reconstruction with binocular system [J]. Modern electronics technique， 2015， 38（4）： 102?105.endprint