空基下視時序影像瞬時成像模型研究

高 力，劉 智，江振治，張向榮

(1. 信息工程大學，河南 鄭州 450052； 2. 西安測繪研究所，陜西 西安 710054； 3. 地理信息工程國家重點試驗室，陜西 西安 710054； 4. 西安電子科技大學，陜西 西安 710071)

空基下視時序影像瞬時成像模型研究

高 力1,2,3，劉 智1，江振治2,3，張向榮4

(1. 信息工程大學，河南 鄭州 450052； 2. 西安測繪研究所，陜西 西安 710054； 3. 地理信息工程國家重點試驗室，陜西 西安 710054； 4. 西安電子科技大學，陜西 西安 710071)

物方空間的物體隨著時間的推移進行著絕對運動，運動導致了相對位置的變化，時間序列影像記錄了物方三維空間的動態(tài)變化。本文基于下視時間序列影像的動態(tài)特性，在共線方程中引入時間元素，提出了空基下視時間序列影像瞬時成像模型，描述了動態(tài)“物像”間的瞬時投影關系；針對地表不同類型動態(tài)物體，構建了“由像到物”的應用模型，實現(xiàn)了從像方動態(tài)特征計算地表物體特征的目的。通過仿真和真實航空下視序列影像的試驗與分析，驗證了序列影像瞬時成像模型能夠定量計算像地動態(tài)特征。

時間序列影像動態(tài)特征；瞬時動態(tài)投影；曝光時間間隔

攝影測量是以獲取被攝物體的形狀、大小、位置、特性及其相互關系為目的的技術[1]。傳統(tǒng)航空攝影測量針對靜止地物進行測量，忽略了地表的動態(tài)物體。航空序列影像與常規(guī)航片包含的信息不同，航空下視時間序列影像相機在運動過程中可以對地表動態(tài)物體、靜態(tài)物體連續(xù)、高頻率成像。

序列影像的研究主要分為兩條技術途徑：一方面起源于機器視覺的理論和應用，以光流算法[2-3]為主，可以提高光流算法的精度[4]，通過結構特征和輪廓特征增強稠密光流算法的穩(wěn)定性[5-6]，像空間分區(qū)域分析光流特征[7-8]，基于物體運動的特點研究光流的平滑[9]。這類研究圍繞序列影像的像方變化特征提高像方分析算法的精度、速度、穩(wěn)定性等性能，并且將光流算法應用于地物分類[10-11]，靜止地表背景識別[12-13]，這一研究方向不關注物方和像方間的成像幾何關系。另一條技術途徑是以攝影測量的嚴格成像模型為研究手段[14-15]，基于幾何約束條件提高序列影像同名點提取精度[16]，改正視頻相機的鏡頭畸變[17]以優(yōu)化相機精度，采用傳統(tǒng)面陣相機的方法進行視頻數(shù)據(jù)標定[18]，該技術途徑容易以靜態(tài)影像處理方法處理動態(tài)序列影像數(shù)據(jù)。本文以畫幅式光學相機成像模型為基礎，按照攝影測量的方法，推導時間序列影像瞬時動態(tài)投影模型，實現(xiàn)序列影像的物方與像方動態(tài)映射，并從像方變化特征計算物方特征，達到對地表動態(tài)信息感知的目的。

1 下視序列影像的物像映射關系

相機按照時間軸等間隔、連續(xù)攝影，獲得時間序列影像。相鄰兩幀序列影像間存在曝光時間間隔，是兩幀影像各自曝光開始時刻的差值T(單位為s)，序列影像的采樣頻率為1/T(單位為Hz)。

1.1 下視序列影像瞬時動態(tài)成像模型

序列影像是時間軸上的離散化采樣，曝光時間間隔內(nèi)的信息沒有記錄。曝光時間間隔短暫，其間的相機與物體的劇烈運動狀態(tài)屬于異常突變情況，不需要考慮。因此，物方復雜的運動問題可以分解為短暫的勻速直線運動的疊加，物方和像方的坐標系設置如圖1所示。

圖1 物方和像方坐標系示意圖

圖1(a)中以tn時刻相機位置為物方原點O，tn+1時刻相機位置為終點Q，圖1(b)中像主點s在像方中心，像方主點與物方O點重合，坐標軸重合。相機以恒定高度，從圖1(a)中的O點向Q點運動，用時一個曝光間隔。引入時間要素，得到空基下視時間序列影像的像地對應關系為

(1)

式(1)由4個方程構成，分別為共線方程、相機運動方程、物體運動方程、相機姿態(tài)角方程，描述了序列影像的像點p(x,y)與物方點P(Xt,Yt,Zt)的動態(tài)映射關系。時間t為一個曝光時間間隔。式(1)共線方程中，f為面陣相機的焦距；共線方程采用φ、ω、κ轉(zhuǎn)角系統(tǒng)；a1、a2、a3、b1、b2、b3、c1、c2、c3參照文獻[1]定義。物體運動方程中，X0、Y0、Z0為物體運動起始點坐標；VX、VY為物體速度分量，物體進行瞬時等高(Z0)運動，當VX=VY=0時物體靜止。相機運動方程中，相機攝站點為S(XS、YS、ZS)；相機進行高度為H的勻速直線運動，沿圖1(a)中的OQ線段運動。φS、ωS、κS為相機的瞬時姿態(tài)參數(shù)，本文假設相機姿態(tài)角經(jīng)過標定，姿態(tài)角為零。

式(1)不適用于長時間動態(tài)場景，而是針對短時間運動場景，其目的是使用短時間簡單、分段描述完成長時間運動的連續(xù)、復雜描述，這是將復雜的過程分解為簡單的步驟，是重要、必要的研究方法。本文針對一般平穩(wěn)運動情況、短時間內(nèi)的瞬時勻速直線運動特征，推導獲得式(2)為

(2)

式(2)為一個曝光間隔內(nèi)的動態(tài)成像模型，將物方運動物體的瞬時位置投影到像平面，隨時間t的連續(xù)投影會獲得像方物體運動軌跡。

1.2 序列影像瞬時速度投影“物像”變換

式(2)中像方的每個投影像點都具有速度和運動方向。將t+1與t分別代入式(2)并相減，得到式(3)

(3)

式(3)描述每個像點的運動速度和方向，即物方運動速度的像方投影。Δx和Δy為像方速度分量(單位為像素/s，乘以像素大小轉(zhuǎn)換為像方速度m/s)。

1.3 靜態(tài)地物的瞬時“像物”變換

當VX=VY=0時，表示地面靜止物體，則由式(3)推導出式(4)為

(4)

式(4)說明靜止物體的序列影像瞬時動態(tài)投影中地物高度與像方位移縱坐標相關，由式(4)可以通過像方速度Δy、相機速度VCAM、相機航高ZS、相機焦距f，計算物方靜止物體的高程信息。帶有相機的航空平臺，獲取瞬時速度和像方速度后可以感知其下方靜止地表的相對距離(Z0-ZS)，實現(xiàn)相對測高的功能。

1.4 動態(tài)物體的瞬時“像物”變換

地面動態(tài)物體具有物方速度VX和VY，由式(3)推導出式(5)為

(5)

式(5)從已知像方速度計算地面物體運動速度，實現(xiàn)空基平臺對下視場內(nèi)動態(tài)物體的檢測，可用于空基下視對地表瞬時動態(tài)信息的觀察和提取。

2 試驗與結果分析

驗證試驗使用兩組數(shù)據(jù)：數(shù)據(jù)1組，按照圖1所示坐標系，仿真獲得空基下視序列影像；數(shù)據(jù)2組，使用大疆無人機獲得真實下視序列影像。試驗目的是驗證本文提出的空基下視序列影像“物像”動態(tài)瞬時映射關系，驗證序列影像動態(tài)特征由像到物的應用方法。

2.1 試驗場景介紹

2.1.1 試驗一：仿真下視序列影像獲取場景

按照圖1構建仿真場景如圖2所示，仿真包括三維坐標系和時間、地表靜止物體、地表運動物體、下視相機等要素。

下視序列影像相機包括相機、攝影、運動三方面仿真。①相機仿真：仿真鏡頭焦距(0.018 m)，像素數(shù)(4000×3000)，成像傳感器尺寸(36×27 mm)，像素尺寸(0.000 009 m/像素)，內(nèi)方位元素(無畸變、像主點為像幅中點)；②攝影仿真：等間隔序列成像(曝光間隔1 s)，成像GSD為0.05 m/像素；序列影像幀速率為1 Hz；③相機運動仿真：外方位元素(航高100 m， 相機沿著圖1(a)中的O點向Q點移動，速度為1 m/s)。

仿真場景中地表物體仿真見表1，其中包括靜止物體和運動物體。

表1 仿真物體的位置與運動參數(shù)

2.1.2 試驗二：真實下視序列影像試驗

使用大疆精靈4無人機(擁有速度、航高記錄)在地勢平坦擁有不同高度物體(路面、圍墻、建筑、樹木)的場景中飛行獲取兩組數(shù)據(jù)。數(shù)據(jù)1(序列影像)：下視相機以30 Hz獲取視頻，后續(xù)按照200 ms時間間隔從視頻中抽取獲得序列影像。數(shù)據(jù)2(試驗場精細三維測繪)：獲取試驗區(qū)DSM(數(shù)字表面模型)和DOM(數(shù)字正射影像)數(shù)據(jù)作為基準靜止背景數(shù)據(jù)。

2.2 仿真序列影像處理與分析

2.2.1 仿真序列影像

仿真場景獲取40幀序列影像，其中1幀、20幀、第40幀如圖3所示。仿真影像中的編碼標靶分別為表1中的14個仿真物體，仿真物體隨著時間推移在物方運動，同時仿真相機獲取序列影像記錄物方運動。

2.2.2 量測標靶獲得物體像方速度特征

量測40幀影像中每個標靶的像坐標(精度優(yōu)于1/10像素)繪制成像方運動軌跡，如圖4所示。

圖4展示了像平面內(nèi)不同運動特性物體的運動軌跡。通過物體序列影像坐標，可以獲得該物體的像方速度，速度的不同方向和移動量代表了不同的地物動態(tài)特征。

圖3 仿真序列影像

圖4 仿真物體像方運動軌跡

2.2.3 由物到像的投影試驗

通過式(3)將表1中物體的物方速度(1～14號點)計算獲得像方速度，與仿真影像測量值的差異很小(小于0.02像素/s)，表明式(3)能夠準確地將物方速度投影到像方速度。

2.2.4 由像到物的應用試驗1

通過式(4)，由仿真序列影像像方變化特征計算靜止點(1～6號)的高度值與已知值作比較，誤差最大點小于0.02 m。計算結果與已知高程差異微小，驗證了式(4)能夠由像方運動特征獲取地表靜止物體高程。

2.2.5 由像到物的應用試驗2

通過式(5)由像方速度特征計算地表運動物體(7～14號點)的運動速度與已知速度值差值，最大差值為0.001 2 m/s。這一試驗驗證了式(5)由像方速度特征獲取運動目標的運動速度的應用模式有效。

2.3 真實數(shù)據(jù)處理與分析

將試驗二的兩組數(shù)據(jù)聯(lián)合平差。①獲得試驗區(qū)精細地表DOM和DSM(處理時間超過30 min)；②獲得序列影像參數(shù)，鏡頭焦距(0.003 61 m)，像素尺寸(2.66E—06 m/像素)，相對航高(40.2 m)，GSD為0.029 8 m/像素，飛行速度7.6 m/s(來自飛機速度記錄)；③基于DSM和DOM數(shù)據(jù)，獲得地面10個特征的點的物方高程，作為真值；④量測相應10點的序列影像特征點像方坐標。

表2 通過像方動態(tài)特征計算地物高程

如表2所示，基于序列影像像方動態(tài)特征，通過式(4)計算地表目標點的高程，3次計算結果間存在差異，10個高程點中，較高的點計算結果較好。15幀聯(lián)合計算結果較好，但是實際應用中15幀耗時太長、相機自身動態(tài)特征難以穩(wěn)定。

將像點量測值繪制為圖5所示像方運動軌跡。

圖5 真實數(shù)據(jù)試驗的像方運動軌跡

從圖5可以看出，軌跡與像方縱軸方向有偏移，說明空基相機的指向角與相機運動軌跡存在偏差。試驗二中的表2說明由像方動態(tài)特征計算靜止物體高程可行。造成高程計算誤差的原因：①序列影像時間間隔不精確、相機速度測量的設備精度不高，導致序列影像測高誤差；②圖5說明相機指向與飛行方向間存在夾角誤差，需要基于像方瞬時動態(tài)特性動態(tài)標定修正夾角誤差。

序列影像獲取時間為0.2 s，本文的動態(tài)投影計算耗時小于0.1 s，體現(xiàn)了序列影像感知環(huán)境動態(tài)信息的方法具有瞬時、速度快的特點。

3 結 語

本文在光學面陣成像模型中引入時間要素，推導航空下視時間序列影像的瞬時投影模型，并且推導由像方變化特征定量分析物方動態(tài)特征的方法。通過仿真航空下視序列影像，驗證序列影像“物-像”間的嚴格映射關系。通過真實無人機下視序列影像試驗，驗證了序列影像的物像對應關系。機載下視序列影像瞬時測量的意義在于能夠提供空中機器人動態(tài)感知下視場景的能力。該項技術未來還需要在相機動態(tài)標定、機載多類型傳感器間融合應用等方面進行深入研究。

[1] 王之卓.攝影測量原理[M].武漢：武漢大學出版社,2007.

[2] 宋爽，楊健，王涌天.全局光流場估計技術及展望[J].計算機輔助設計與圖形學學報,2014,26(5):841-850.

[3] 李秀智，賈松敏，尹曉琳,等.視覺光流矢量場估計算法綜述[J].北京工業(yè)大學學報,2013,39(11):1638-1643.

[4] 涂志剛，謝偉，熊淑芬，等.一種高精度的TV-L1 光流算法[J].武漢大學學報(信息科學版),2012,37(4):496-499.

[5] ALVAREZ L,WEICKERT J,SNCHEZ J.Reliable Estimation of Dense Optical Flow Fields with Large Displacements[J].International Journal of Computer Vision,2000,39(1):41-56.

[6] SEVILLAGLARA L,SUN Deqing,LEARNED-MILLER E G, et al. Optical Flow Estimation with Channel Constancy [C]∥Proceedings of the 13th European Conferenceon Computer Vision.Switzerland: Springer,2014:423-438.

[7] BRUHN A,WEICKERT J,SCHN?RR C.Lucas/ Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods[J].International Journal of Computer Vision,2005,61(3):211-231.

[8] 陳震，張聰炫，晏文敬，等.基于圖像局部結構的區(qū)域匹配變分光流算法[J].電子學報,2015,43(11):2200-2209.

[9] 李秀智，尹曉琳，賈松敏，等.改進的TVGL1 平滑光流估計[J].光學學報,2013,33(10):1015-1017.

[10] 李慶忠，何東曉.基于聚類的背景建模與運動目標檢測方法[J].計算機工程與應用,2008,44(8):193-195.

[11] STAUFER C,GRIMSON W E L.Adaptive Background Mixture Models for Real-time Tracking[C]∥Proc. of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,1999:246-252.

[12] TOOYAMA K,KRUMM J,BRUMIT B,et a1.Principles and Practice of Background Maintenance[C]∥Proc. ICCV.Corfu,Greece:IEEE,1999:246-261.

[13] 閆利，鞏翼龍，張毅，等.光流動態(tài)紋理在土地利用/覆蓋變化檢測研究中的應用[J].光譜學與光譜分析,2014,34(11):3056-3061.

[14] 曹鳳海，宋占武，李燕,等. 無人機航攝拍照瞬間精確空間位置的確定[J]. 測繪通報, 2016(6):144-145.

[15] 李志學，顏紫科，張曦. 無人機測繪數(shù)據(jù)處理關鍵技術及應用探究[J]. 測繪通報, 2017(S1):38-43.

[16] 鄧非， 張祖勛，張劍清. 基于序列影像的城市三維建模[J]. 計算機工程, 2007, 33(8):208-209.

[17] 王霞，張過，沈欣,等. 顧及像面畸變的衛(wèi)星視頻穩(wěn)像[J]. 測繪學報, 2016, 45(2):194-198.

[18] 張過. 衛(wèi)星視頻處理與應用進展[J]. 應用科學學報, 2016, 34(4):361-370.

StudyonInstantaneousImagingModelofAerialTimeSeriesImages

GAO Li1,2,3，LIU Zhi1，JIANG Zhenzhi2,3，ZHANG Xiangrong4

(1. Information Engineering University，Zhengzhou 450052, China； 2. Xi’an Research Institute of Surveying and Mapping， Xi’an 710054, China； 3. State Key Laboratory of Geo-information Engineering， Xi’an 710054, China； 4. Xidian University， Xi’an 710071, China)

Object in the object space is moving absolutely with the time. The differences of movement caused the changes of the relative position. Time series images recorded the dynamic changes of the object space. Based on the dynamic characteristics of time series images, this paper introduced the time element to the collinear equation and derived instantaneous imaging model of time series images in order to describe the dynamic relationship between the object space and image space. This paper established the application model which different dynamic object can extract the motion features or elevation information from the dynamic image characteristics. Through simulation and analysis of real aerial image sequences test, it is shown that the instantaneous imaging model of time series images proposed in this paper can quantitatively calculate the mapping relationship between the image and the object.

motion characteristics of time series images；instantaneous image model of aerial time series images；exposure time interval

2017-08-18；

2017-10-29

國家自然科學基金(61772400)；十三五國防預研(301020603；41412010401)

高 力(1976—)，男，碩士，助理研究員，主要從事攝影測量的幾何成像模型研究工作。E-mail: to-gaoli@126.com

高力，劉智，江振治,等.空基下視時序影像瞬時成像模型研究[J].測繪通報，2017(12)：33-37.

10.13474/j.cnki.11-2246.2017.0374.

P237

A

0494-0911(2017)12-0033-05