視頻測量影像序列橢圓形人工目標點快速識別和跟蹤方法

劉祥磊，童小華，馬 靜

1.北京建筑大學測繪與城市空間信息學院，北京100044；2.現代城市測繪國家測繪地理信息局重點實驗室，北京100044；3.同濟大學測繪與地理信息學院，上海200092；4.北京市地質工程勘察院，北京100048

1 引 言

數字傳感器技術的發(fā)展，尤其是CCD傳感器和CMOS傳感器的迅速發(fā)展，促進了高分辨率和高幀頻工業(yè)相機的產生。高速相機現在已經廣泛應用于質量控制和工業(yè)過程優(yōu)化，工廠現場振動和運動分析，汽車工業(yè)（汽車碰撞試驗、安全氣囊測試和燃燒測試），材料測試（滴落測試、爆炸和斷裂及變形測試）和高速物理過程試驗等方面［1－4］。近年來，基于高速相機的視頻攝影立體測量已經逐步在土木工程領域的建/構筑物健康監(jiān)測中展開了應用［5－8］。為了獲取建/構筑物關鍵位置點的準確動態(tài)響應數據，通常需要在建/構筑物關鍵位置布設人工目標點［9］。圓形標志具有旋轉不變性，常被作為人工特征標志，且由于攝影時存在一定的攝影角度，圓形標志成像后以具有5個自由度橢圓形式存在，與具有2個自由度的線或點相比，具有更強的穩(wěn)健性，已經在攝影測量領域和計算機視覺領域得到了廣泛的應用［10］?；诟咚傧鄼C的建/構筑物健康監(jiān)測短時間會產生海量影像序列數據。因此，研究如何快速、準確識別和跟蹤海量影像序列的橢圓形目標點直接影響到數據處理效率和目標點的三維解算精度，具有十分重要的意義。

目前橢圓的檢測方法有很多，主要包括模板變換法［11］，Hough變換及其改進算法［12－14］，基于隨機抽樣一致性（random sample consensus，RANSAC）思想的橢圓檢測算法［15－17］和結合橢圓幾何特性的算法［18－19］。模板變換法可以精確檢測橢圓，但是計算復雜，需要非常大的存儲空間，非常耗時，降低了計算效率。Hough變換是采用映射的方法，通過數據的積累提取幾何圖形的特征，其優(yōu)點是對數據的穩(wěn)健性要求不高，但是由于橢圓具有5個參數，需要在檢測橢圓的過程中在5維空間內進行積累計算，存在計算量和計算空間較大的缺點，為解決上述問題，眾多研究者提出采用隨機 Hough變換進行橢圓檢測［20－21］，以降低對計算時間和內存的需求，但是隨機Hough變換無目標的采樣模式仍會引入大量無效積累，使得算法的效率大大降低。RANSAC橢圓檢測法與Hough變換類似，它采用累加器或者類聚的方法來檢測橢圓，具有很好的穩(wěn)健性，能夠一次檢測多個橢圓，但是需要復雜的運算和大量的存儲空間［22］。通常情況下，提高計算機的硬件配置，可以提高算法的計算效率，例如多核CPU（central processing unit）和 GPU（graphic processing unit），但是單純提高多核CPU和GPU的性能，對于普通桌面計算機計算效率的提高是有限的?；贑PU＋GPU的異構協同并行計算具有快速并行計算和較高的浮點運算能力，可以大幅提高數據處理的效率，但是這種新型異構混合體系結構對大規(guī)模的并行算法提出了較高的要求，且需要高性能計算平臺［23－25］。

高速視頻測量短時間可以獲取海量影像序列數據，圓形人工標志成像后邊緣輪廓清晰，且與背景對比度較大。因此本文提出采用影像塊技術降低數據處理量，實現目標點快速跟蹤，集成數學形態(tài)學和橢圓幾何屬性特征，消除圖像邊緣檢測的非橢圓邊緣信息，實現橢圓輪廓的提取，采用最小二乘法擬合橢圓中心實現亞像素定位，快速、準確地實現建筑物健康監(jiān)測橢圓形目標點的識別與跟蹤。

2 影像塊提取與跟蹤

通常情況下，視頻測量獲取的影像序列的數據量非常龐大，如果對影像序列中的每張照片進行全區(qū)域處理，那么影像序列數據的處理效率將大大降低。影像序列橢圓形目標點跟蹤的目的是確定同一目標點在運動過程中不同時刻的位置變化信息，而基于視頻測量建/構筑物健康監(jiān)測的橢圓形目標點在相鄰相位影像具有連續(xù)性。因此，為了提高視頻影像數據目標點識別與跟蹤的效率，本文提出采用影像分塊技術實現對影像序列的處理，圖1是影像塊提取與跟蹤的流程圖。

圖1 影像塊提取與跟蹤流程Fig.1 Flowchart of image block extraction and tracking

具體來說，包括如下5個步驟：

（1）手動獲取影像序列初始相位（第一幀立體影像）中橢圓形目標中心點的近似像素坐標I（x，y）。

（2）綜合被測物體移動速度、跟蹤點標志的大小、高速相機分辨率的大小和視角大小等因素，以I（x，y）為中心點向上下左右4個方向分別擴展n，以確定影像塊在影像上的范圍［（x－n，x＋n），（y－n，y＋n）］，提取影像塊作為影像序列的跟蹤區(qū)域以實現目標點的跟蹤。

（3）自動精確計算影像塊中的橢圓形目標點的中心點像素坐標Ib（xb，yb）。

（4）計算影像塊中的橢圓形目標點的中心點像素坐標Ib（xb，yb）在原影像中的像素坐標Io（xo，yo），計算方法見式（1）

（5）獲取像素坐標Io（xo，yo）的整數部分作為下一相位影像序列橢圓形目標點的初始近似像素坐標，通過步驟（2）—（5）自動循環(huán)計算所有橢圓形目標點的像素坐標，從而實現影像序列橢圓形目標點的跟蹤。

3 類橢圓邊緣輪廓識別

影像塊范圍較小，類橢圓人工標志與背景對比明顯，集成數學形態(tài)學和橢圓幾何特征屬性，可快速、準確實現類橢圓輪廓識別。圖2是類橢圓輪廓識別與提取的技術路線圖。

3.1 影像塊圖像增強與邊緣檢測

由于視頻測量中高速相機曝光時間較短，獲取的影像序列中的影像成像質量較差，因此本文采用二維離散零均值高斯函數消除噪聲（式（2）），增強影像塊的對比度，以提高邊緣檢測的精度。Sobel算子不僅具有較快的檢測速度，還有一定的平滑噪聲的能力［22］，圖像增強后的影像塊采用Sobel算子進行邊緣檢測。

二維離散零均值高斯函數消除噪聲計算方法為

式中，d表示影像點到影像中心點像素距離；δ表示高斯分布參數，它決定高斯函數的寬度。

3.2 橢圓幾何特征

橢圓幾何屬性特征是指封閉邊緣區(qū)域的幾何特性，包括邊緣周長、區(qū)域面積、圓形度和Hu矩等，通過幾種幾何屬性組合可以實現類橢圓的自動識別［18］，特別適用于具有規(guī)則形狀和大小的橢圓形人工標志點的自動識別與提取。本文提取的影像塊中僅包含一個類橢圓標志，且與背景信息對比較為明顯，因此，采用邊緣周長、區(qū)域面積和圓形度3個橢圓幾何屬性，并結合數學形態(tài)學即可提取類橢圓邊緣特征。具體實現方法和步驟如下：

（1）橢圓邊緣周長是指相鄰邊緣像素間距離之和，用L來表示，一般來說有兩種方法，一種是累計邊緣要素的像素的數目，如圖3（a）；另一種是累計邊緣要素相鄰像素中心點的歐氏距離，如圖3（b），與前面的方法相比，該方法反映了每個邊緣要素的實際距離。本文采用第2種方法。

圖3 累計像素數目（a）和歐氏距離（b）示意圖Fig.3 Cumulative number of pixel（a）and Euclidean distance（b）for elliptical perimeter

設d表示歐氏距離，則d（fi，j，fm，n）表示相鄰像素fi，j和fm，n的歐氏距離，可以用式（3）表示

根據式（3）可以獲取影像塊中的每個邊緣要素的周長，通過設置邊緣要素周長最小值Lmin和邊緣要素周長最大值Lmax兩種閾值，設置判定標準Lmin＜L＜Lmax，則周長大于Lmax和小于Lmin的邊緣要素將會被刪除。

（2）邊緣要素的區(qū)域面積S是提取橢圓輪廓的另一個重要屬性特征，對于檢測出來的影像塊中的邊緣要素，只有連通的邊緣要素才有面積屬性，去除通過步驟（1）獲取的非連通邊緣要素，然后采用數學形態(tài)學的閉運算填充連通的邊緣要素，得到影像塊中邊緣要素的面積集合。設Smin和Smax分別是面積閾值的最小值和最大值，則可以通過公式Smin＜S＜Smax消除不符合要求的邊緣要素。

（3）采用數學形態(tài)學膨脹法對經過步驟（2）獲取的區(qū)域面積填充的影像進行邊緣檢測。一幅圖像可以定義為是歐氏距離空間的子集E，設F為二進制影像塊，B為結構算子，膨脹法邊緣Ed（）F，則影像塊的邊緣信息計算公式（4）為

（4）圓形度C是反映一個橢圓接近圓形的程度的指標，值的范圍屬于［0，1］，其值越接近于1，表明橢圓越接近于圓形。最常用的表示圓形度指標用式（5）表示

式中，S表示連通邊緣要素的填充面積；L表示連通邊緣要素的周長。設T表示圓形度的門限值，當邊緣要素的圓形度C＞T，保留此邊緣要素，刪除圓形度小于T的邊緣要素。

集成形態(tài)學和橢圓幾何屬性，經過上述算法和步驟即可快速、準確識別和提取影像塊中的類橢圓人工標志邊緣輪廓。

4 類橢圓中心點擬合

橢圓的表示方法一般有兩種，一種是利用圓錐曲線方程的代數形式表示為

另外一種更直觀的方式是用平面坐標系的幾何參數表示的一般形式，即橢圓中心位置長半軸a和短半軸b，長軸的轉角θ。二維平面里的任意橢圓都可以用這5個參數唯一確定，即

當隨機誤差為正態(tài)分布時，最小二乘法是通過最大似然法推出的一個最優(yōu)估計算法，它可使測量誤差的平方和最小，因此也被視為從已知測量值求解未知量的最可信賴的方法之一。類橢圓中心點擬合采用最小二乘法，設M＝［（x1，y1），（x2，y2），…，（xn，yn）］為獲取的影像塊橢圓輪廓邊緣的像素坐標集合，則根據橢圓的一般方程式（7），建立均方根誤差方程，即式（8）

5 試驗結果

5.1 試驗驗證

本文選擇高速視頻測量多層框架結構抗震穩(wěn)健性振動臺試驗的影像序列作為試驗數據，相機為德國 Mikrotron公司的 MC1362，分辨率為1280像素×1024像素，幀頻設為200幀/秒，鏡頭為AE Nikkor 20mm F2.8D。

圖4（a）是多層框架結構抗震穩(wěn)健性振動臺視頻測量左側相機獲取的影像序列的第一幀影像，圖中矩形區(qū)域為選擇的影像塊數據。圖4（b）用寬度為40的像素從原始影像中提取的影像塊；圖4（c）是采用Sobel算子對影像塊進行邊緣檢測獲取的邊緣要素數據；圖4（d）是根據周長屬性刪除周長極大值邊緣要素周長和極小值邊緣要素周長后的影像，門限值分別是10像素和30像素；圖4（e）是根據面積屬性刪除面積極大值邊緣面積要素和極小值邊緣要素面積后的影像，門限值分別是20像素和50像素；圖4（d）是根據邊緣要素橢圓度屬性檢測后的影像，橢圓度閾值是0.9；圖4（f）是采用最小二乘法擬合的橢圓中心點在影像塊中的位置；圖4（g）描述的是根據圖4（f）橢圓中心點放大5倍后的影像圖，通過圖4（g）可以看出已經實現了橢圓的中心點精確擬合。

圖4 高速視頻測量多層框架結構抗震穩(wěn)健性振動臺試驗影像序列橢圓目標點識別和跟蹤各個環(huán)節(jié)影像Fig.4 Images of elliptical targets identification and tracking for the high－speed videogrammetry for multi－layer frame structure shaking table test

5.2 精度驗證

集成數學形態(tài)學和橢圓幾何特征的影像塊類橢圓邊緣識別和跟蹤技術，可以準確獲取影像序列中類橢圓的邊緣輪廓，采用最小二乘法可擬合類橢圓的中心像素坐標。由圖5可知，100張影像中單個類橢圓標志基于最小二乘法擬合中心點像素坐標的RMS殘差優(yōu)于0.025個像素，精度較高，滿足視頻測量建/構筑物健康監(jiān)測的高精度要求。

為了驗證本文提出的橢圓識別和跟蹤算法的精度與效率，本文選擇隨機Hough變換和模板變換對同一目標點進行識別與跟蹤。試驗選取100張連續(xù)影像，影像塊的延伸范圍為50個像素，隨機Hough變換的搜索半徑閾值設定在3個像素和6個像素之間。圖6（a）和（b）描述了采用隨機Hough變換（RTH）、模板變換（TM）和本文提出的橢圓識別方法（MA）在100張影像中的X和Y方向的曲線變化圖。通過圖6可以發(fā)現隨機Hough變換和模板變換獲取的橢圓中心點像素坐標與本文提出的橢圓識別方法獲取的橢圓中心點像素坐標在在X和Y方向上的坐標差值均小于0.02個像素，又因在視頻測量過程中單個像素代表的實際距離一般小于5mm，即實際距離的差值小于0.1mm，因此可以得出結論，通過上述3種方法獲取的橢圓邊緣擬合中心點坐標的精度具有一致性。

圖5 最小二乘法類橢圓中心擬合RMS殘差分布Fig.5 RMS residuals distribution of elliptical center fitting using the least square algorithm

圖6 RTH、TM和MA方法橢圓檢測和擬合中心點在X和Y方向的曲線變化Fig.6 Curve comparison graph of the elliptical fitting center in the Xand Ydirection with the RTH，TM and MA

本文提出的方法的處理對象是橢圓目標點所在的局部影像塊，可以降低數據處理總量，提高目標點跟蹤的效率。同時，集成數學形態(tài)學和橢圓幾何屬性特征（周長、面積和圓形度），直接消除圖像邊緣檢測的非橢圓邊緣信息以提取橢圓輪廓，避免了數據的累計計算和龐大的存儲空間需求，因此，可以進一步有效地提高橢圓識別和跟蹤的效率。表1描述了采用上述3種方法分別對100張影像中同一橢圓形目標點進行識別和跟蹤所耗費的時間。結果顯示采用本文提出的基于影像塊技術的算法耗時4.787s，遠遠低于采用隨機Hough變換和模板識別算法進行橢圓形目標點識別和跟蹤所耗費的時間，跟蹤效率提高5倍以上。

表1 采用RHT、TM和MA方法識別及跟蹤橢圓形目標點（100幀）所耗費的時間對比表Tab.1 Consumed time of identification and tracking elliptical targets in 100images using the RTH，TM and MA

6 結 論

橢圓形人工標志點識別與跟蹤是進行基于視頻測量的建筑物健康監(jiān)測的關鍵技術環(huán)節(jié)，準確、迅速地獲取橢圓形標志點的像平面坐標直接影響視頻影像中目標點三維重建的精度和效率。本文根據建筑物健康監(jiān)測視頻測量的特點，提出了一套基于影像塊技術的橢圓形人工目標點快速識別和跟蹤的方法。試驗結果表明該算法定位精度高，穩(wěn)健性強，且具有較高的處理效率，對于快速處理基于視頻測量的建筑物健康監(jiān)測的海量視頻影像數據具有較高的實效性和準確性。影像序列目標點自動識別和跟蹤是視頻測量發(fā)展的一個趨勢，通過試驗前獲取目標中心點的空間坐標和攝影中心近似的定位參數反求目標點的像平面坐標，可以實現初始相位目標點的自動提取，但是需要借助于全站儀和GPS等相關設備，操作比較復雜。與初始相位目標點人工提取相比，是否能大大提高效率，并未進行試驗對比驗證，這也是需要進一步研究的方向。

［1］HILLEBRAND M，STEVANOVIC N，HOSTICKA B J，et al.High Speed Camera System Using a CMOS Image Sensor［C］∥Proceedings of the IEEE Intelligent Vehicles Symposium.Dearborn：IEEE，2000：656－661.

［2］MUEHLMANN U，RIBO M，LANG P，et al.A New High Speed CMOS Camera for Real－time Tracking Applications［C］∥Proceedings of the 2004IEEE International Conference on Robotics and Automation.New Orleans：IEEE，2004，5：5195－5200.

［3］REMONDINO F.Videogrammetry for Human Movement Analysis［C］∥Proceedings of the 9th International Symposium on 3DAnalysis of Human Movement.Zurich：Institute of Geodesy and Photogrammetry，2006：25－33.

［4］WANG J B，ZHANG Y，YANG M G，et al.Observation of Arc Discharging Process of Nanocomposite Ag－SnO2and La－doped Ag－SnO2Contact with A High－speed Camera［J］.Materials Science and Engineering：B，2006，131（1－3）：230－234.

［5］FRASER C S，RIEDEL B.Monitoring the Thermal Deformation of Steel Beams via Vision Metrology［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2000，55（4）：268－276.

［6］LEIFER J，WEEMS B J，KIENLE S C，et al.Three－dimensional Acceleration Measurement Using Videogrammetry Tracking Data［J］.Experimental Mechanics，2011，51（2）：199－217.

［7］FU G K，MOOSA A G.An Optical Approach to Structural Displacement Measurement and Its Application［J］.Journal of Engineering Mechanics，2002，128（5）：511－520.

［8］LEE J J，FUKUDA Y，SHINOZUKA M，et al.Development and Application of A Vision－based Displacement Measurement System for Structural Health Monitoring of Civil Structures［J］.Smart Structures and Systems，2007，3（3）：373－384.

［9］LIN S Y，MILLS J P，GOSLING P D.Videogrammetric Monitoring of As－built Membrane Roof Structures［J］.The Photogrammetric Record，2008，23（122）：128－147.

［10］YAN Bei，WANG Bin，LI Yuan.Optimal Ellipse Fitting Method Based on Least－square Principle［J］.Journal of Beijing University of Aeronautics and Astronautics，2008，34（3）：295－298.（閆蓓，王斌，李媛.基于最小二乘法的橢圓擬合改進算法［J］.北京航空航天大學學報，2008，34（3）：295－298.）

［11］LIU Shenghao，ZENG Libo，WU Qiongshui，et al.A Novel Cervical Cell Segmentation Method Based on Ellipse Deformable Template Technology［J］.Chinese Journal of Scientific Instrument，2004，25（2）：222－225.（劉 生 浩，曾 立波，吳瓊水，等.一種基于橢圓可變形模板技術的宮頸細胞圖像分割方法［J］.儀器儀表學報，2004，25（2）：222－225.）

［12］HOUGH V，PAUL C.Method and Means for Recognizing Complex Patterns：US，069654［P/OL］.1962－12－18.

［13］NIU X，HU Z，YANG S.Hierarchical Ellipse Detection Algorithm Based on Local PCA Hough Transform with Parameter Restraint［J］.Journal of Computer Applications，2009，29（5）：1365－1368.

［14］ZHOU T H，PAPANIKOLOPOULOS N.Enhancing the Randomized Hough Transform with k－means Clustering to Detect Mutually－Occluded Ellipses［C］∥Proceedings of the 19th Mediterranean Conference on Control ＆ Automation.Corfu：IEEE，2011：327－332.

［15］LIU R，SUN H M，WEI J，et al.Ellipse Detection and Fitting Based on RANSAC［J］.Journal of Beijing Institute of Clothing Technology：Natural Science Edition，2012，32（4）：74－78.

［16］DOHI K，HATANAKA Y，NEGI K.Deep－pipelined FPGA Implementation of Ellipse Estimation for Eye Tracking［C］∥Proceedings of the 22nd International Conference on Field Programmable Logic and Application.Oslo：IEEE，2012：458－463.

［17］LI Chang，Researching on Key Technique for 3DAuto－Reconstruction of City Street Elevation［J］.Acta Geodaetica et Cartographic Sinica，2011，40（2）：268－268.（李暢.城市街道立面自動重建關鍵技術研究［J］.測繪學報，2011，40（2）：268－268.）

［18］XUE Ting，SUN Mei，ZHANG Tao，et al.Complete Approach to Automatic Identification and Sub－pixel Center Location for Ellipse Feature［J］.Journal of Optoelectronics·Laser，2008，19（8）：1076－1078.（薛婷，孫梅，張濤，等.類橢圓特征自動識別及亞像素提取的完整實現［J］.光電子·激光，2008，19（8）：1076－1078.）

［19］QIAO Y，ONG S H.Arc－based Evaluation and Detection of Ellipse［J］.Pattern Recognition，2007，40（7）：1990－2003.

［20］LI Liangfu，FENG Zuren，HE Kailiang.An Improved Algorithm for Ellipses Detection Based on Randomized Hough Transform［J］.Pattern Recognition and Artificial Intelligence，2005，18（4）：459－464.（李良福，馮祖仁，賀凱良.一種基于隨機Hough變換的橢圓檢測算法研究［J］.模式識別與人工智能.2005，18（4）：459－464.）

［21］PANG Yongjie，LIU Wei.Improved K－RANSAC Method for Ellipse Detection［J］.Journal of Harbin Engineering University，2003，24（5）：487－490.（龐永杰，劉維.改進的K－RANSAC橢圓檢測方法［J］.哈爾濱工程大學學報，2003，24（5）：487－490.）

［22］XIA Fei，ZHU Qianghua，JIN Guoqing.Accelerating RNA Secondary Structure Prediction Application Based on CPU＋GPU Hybrid Platform［J］.Journal of National University of Defense Technology，2013，35（6）：138－146.（夏飛，朱強華，金國慶.基于CPU＋GPU混合計算平臺的RNA二級結構預測算法并行化研究［J］.國防科技大學學報，2013，35（6）：138－146.）

［23］QU Y D，CUI C S，CHEN S B，et al.A Fast Sub－pixel Edge Detection Method Using Sobel－zernike Moments Operator［J］.Image and Vision Computing，2005，23（1）：11－17.

［24］FANG Liuyang，WANG Mi，LI Deren.A CPU－GPU Co－processing Orthographic Rectification Approach for Optical Satellite Imagery［J］，Acta Geodaetica et Cartographic Sinica，2013，42（5）：668－675.（方留楊，王密，李德仁.基于CPU和GPU協同處理的光學衛(wèi)星遙感影像正射校正方法［J］.測繪學報，2013，42（5）：668－675.）

［25］KANG Xiaochen，LIU Jiping，LIN Xiangguo.Parallel Filter of Progressive TIN Densification for Airborne LiDAR Point Clouds Using Multi－core CPU［J］，Acta Geodaetica et Cartographic Sinica，2013，42（3）：331－336.（亢曉琛，劉紀平，林祥國.基于多核CPU的機載LiDAR點云并行三角網漸進加密濾波方法［J］.測繪學報，2013，42（3）：331－336.）