近景攝影測量下的視場關(guān)系定量表達

肖 怡，劉 鵬，王 瑜，張文靖，張思佳

(昆明理工大學國土資源工程學院，云南 昆明 650093)

近景攝影測量是攝影測量與遙感學科的一個分支，它通過攝影手段以確定目標(地形以外)的外形和運動狀態(tài)[1]。近景攝影測量下的視場關(guān)系即空間范圍較小的區(qū)域中不同焦距攝像機所代表的參考坐標系之間的旋轉(zhuǎn)量和平移量，它被用來確定攝像機之間的位姿關(guān)系。由于視場較大的鏡頭焦距短，視場角較寬(大視場)，然而精度不足，視場較小的鏡頭焦距長，視場角較窄(小視場)，但其精度有明顯提升。因此,在視頻監(jiān)控中結(jié)合這兩種鏡頭對視場范圍內(nèi)的變化能夠較為準確地識別。

現(xiàn)有確定視場關(guān)系的方法是建立在攝像機標定的基礎(chǔ)上，攝像機的標定可以用來獲取攝像機的外方位元素，獲得兩個攝像機的外方位元素后，即可得到其參考坐標系之間的旋轉(zhuǎn)量與平移量，利用旋轉(zhuǎn)量和平移量即可表征不同視場之間的位姿關(guān)系。攝像機的標定一般是通過建立二維圖像點和三維空間點之間的對應關(guān)系來求解參數(shù)[2-11]。文獻[2]提出了基于矩形兩組對邊的消隱點特性和隱含的長寬比信息進行自標定來獲取攝像機內(nèi)外方位元素。文獻[3]令攝像機做一組二維的平移運動，得到標定所需的特征點，從而實現(xiàn)攝像機的標定。文獻[4]提出了一種基于兩軸轉(zhuǎn)臺的無公共視場相機位置關(guān)系的求解方法來獲取攝像機的外方位元素。文獻[5]提出了僅利用空間中常見的平行線和垂直線建立攝像機參數(shù)和特征線之間的約束方程以實現(xiàn)攝像機的內(nèi)方位元素和旋轉(zhuǎn)矩陣的標定，同時再利用空間距離已知的3個空間點來線性標定兩攝像機之間的平移量。文獻[6]提出了利用連接光心和消影點向量的正交性質(zhì)以求取攝像機的內(nèi)方位元素，并提出了一種考慮畸變的非線性最優(yōu)化解法求得攝像機的外方位元素。文獻[7]中推導兩個相機之間固定相對關(guān)系的6個獨立約束條件，并利用這些約束關(guān)系按照有限制條件的間接平差模型進行自檢校光束法整體平差解算，從而實現(xiàn)立體相機的標定，以此得到兩個視場之間的位姿關(guān)系。文獻[8]利用一組局部區(qū)域的線性輸入-輸出模型，對攝像機的非線性映射模型進行近似以求得攝像機外方位元素，從而確定視場關(guān)系。文獻[9]利用雙目攝像機之間的三維位姿關(guān)系是剛體變換這一屬性，標定出左、右攝像機相對位姿參數(shù)。張正友標定法[10]則是介于攝像機的傳統(tǒng)標定法和自標定法之間，因為該方法利用了二維幾何信息而不是三維或純粹的特征信息，它是一種基于單平面棋盤格的標定方法。文獻[11]提出了一種基于多個小棋盤的大視場相機標定方法。但上述方法存在試驗平臺要求高、計算量大、穩(wěn)健性較差等缺點，且難以將結(jié)果應用到其視場范圍的變換檢測與識別。

本文在近景攝影測量的框架下，利用變化檢測，在大視場下獲取1幀原始圖像P0(下同)，小視場下獲取m幀樣本圖像集合Psample={P1,P2，…，Pm}(下同)。然后將P0和Psample集合進行相對定向，獲取Psample中每一幀圖像被攝瞬時其參考坐標系相對于P0被攝瞬時其參考坐標系的位姿參數(shù)。將P0和Psample進行圖像匹配，得到與P0匹配度最高的樣本圖像Pi(1≤i≤m)，利用Pi表示的位姿參數(shù)實現(xiàn)兩種不同視場關(guān)系定量表達。

1 求解視場關(guān)系試驗

1.1 視場關(guān)系

本文所描述的視場關(guān)系是指在較小空間范圍內(nèi)大、小視場下的攝像機所在空間參考坐標系之間的位姿關(guān)系，即它們之間存在著一定的旋轉(zhuǎn)量與平移量，在求取視場關(guān)系的基礎(chǔ)上來滿足對變化區(qū)域進行識別與分析的需求。

1.2 試驗設計

在大視場下進行變化檢測之前，假設大視場下的攝像機鏡頭固定不動，其所在參考坐標系已知，即可以預先設定大視場下的攝像機鏡頭的姿態(tài)參數(shù)。這樣可以使得在一個統(tǒng)一的坐標系中求取大、小視場所在空間參考坐標系之間的旋轉(zhuǎn)量與平移量。其次，大、小視場下的鏡頭采用上下平行安置的方案，使得小視場下的攝像機鏡頭垂直于所在運動軸，即攝像機將整個水平方向180°范圍內(nèi)平分，這樣在對小視場下的攝像機鏡頭進行校正時，可以縮短校正時間。同時盡量使得兩個視場所拍攝的一對圖像的上下視差盡可能小，以避免在立體像對相對定向過程中出現(xiàn)解迭代不收斂的情況。其試驗設計如圖1所示。

在小視場拍攝一系列樣本圖像作為一個Psample的過程中，C1向著某一個方向做旋轉(zhuǎn)和平移運動，這個方向的確定依賴于變換區(qū)域中目標的運動方向。其方向通過變化檢測判斷其前景圖像在相鄰時刻質(zhì)心的位置坐標來確定。確定變化目標質(zhì)心步驟如下：在變化檢測過程中獲取變化目標的前景圖像，遍歷整個前景圖像，獲取顏色為白色的像素點的橫縱坐標，將其分別累加，除以其數(shù)量，得到質(zhì)心在圖像坐標系中橫縱坐標。假設變化目標p在t時刻其質(zhì)心坐標為(xp(t)，yp(t))，檢測到的結(jié)果為m×n的二值圖像p(i，j)，則其計算公式為

(1)

小視場下的攝像機C1僅做旋轉(zhuǎn)運動時，當有變換目標出現(xiàn)在其視場內(nèi)，往往不能完全落入其中，如圖2所示的未平移視場范圍。因此需要結(jié)合攝像機的平移運動來對上述現(xiàn)象進行修正。當小視場下的攝像機運動到S′位置時，其視場范圍能夠完全包含變化目標。每次旋轉(zhuǎn)量與平移量被預先設定，以順時針旋轉(zhuǎn)方向與水平向右平移為正，在小視場下C1拍攝樣本圖像的數(shù)量經(jīng)多次試驗被設置為8。樣本圖像數(shù)量對于圖像在進行圖像匹配過程中造成的影響如圖3所示。

圖3中，C1拍攝的樣本圖像集合Psample中樣本圖像的數(shù)量取8為較優(yōu)選擇。盡管選擇更多的樣本圖像會使圖像匹配的精確度變得更高，但這也會導致計算耗費的時間大大增加，為了兼顧實時效率和圖像匹配度之間的矛盾，8張樣本圖像為一個折中選擇。C1在拍攝樣本圖像過程中以預設的旋轉(zhuǎn)量和平移量運動，平移量為1 cm，其旋轉(zhuǎn)弧度為π/180。每拍攝一張樣本圖像，C1就更新一次所在參考坐標系中的位姿。

1.3 試驗流程

1.3.1 P0與Psample的相對定向

在大視場和小視場分別獲取P0與樣本集合Psample后，需要對P0和Psample進行相對定向，相對定向利用同名像點恢復立體像對之間的位置和姿態(tài)，從而得到Psample中每一幀圖像的外方位元素[12]。該外方位元素即是攝影瞬時小視場所在的參考坐標系相對于大視場所在的參考坐標系的空間位置。在多個連續(xù)模型的處理中多采用連續(xù)法相對定向，它以左影像為基準，采用右影像的直線運動和角運動實現(xiàn)相對定向，其定向元素為(BY，BZ，φ2，ω,2，κ2)，如圖4所示。

同名像點的選取一般需要借助攝像機標定技術(shù)，但這樣不能很好地滿足場景任意變換的需求，且在實際操作過程中不太方便，因此本文在圖像匹配的基礎(chǔ)上，選取被匹配到的特征點作為同名像點來滿足相對定向的要求。

1.3.2 大視場下的變化檢測

在C0所在參考系的視場內(nèi)進行變化檢測，本文采用ViBe(visual background extractor)[13]算法。其思想是為每一個像素點存儲一個樣本集，樣本集中的采樣值為該像素點過去的像素值及它的鄰居點像素值，然后將每一個新的像素值與樣本集中的像素值進行比較，以此來判斷該新的像素點是否屬于背景點。記P(x)為x點處的像素值，B(x)={P1,P2，…,Pn}，為x處的背景樣本集，該樣本集的大小為N。SR[P(x)]表示以x為中心且半徑為R的區(qū)域，計算B(x)={SR[P(x)]∩B(x)}的值，若大于所給定的一閾值，即判別x點屬于背景點。該模型的更新策略是隨機性的，體現(xiàn)在模型中隨機選擇需要替換像素的樣本，隨機選擇鄰域像素進行更新。該方法在無法確定像素變化的模型時，隨機更新策略，在一定程度上可以模擬像素變化的不確定性。同時ViBe算法具有實時性高，內(nèi)存占有率較低，變化檢測的準確率高等優(yōu)點。在ViBe算法的基礎(chǔ)上，本文進一步優(yōu)化了其檢測效果，其結(jié)果如圖5所示。

圖5中，圖5(b)并沒有消除光照和陰影的影響，而圖5(c)是本文改進其算法獲得的檢測結(jié)果，很大程度上降低了光照和陰影的影響，使得檢測的準確性進一步提高。

1.3.3P0與Psample的匹配

圖像匹配實質(zhì)就是建立圖像特征之間的相互對應關(guān)系，找到一個變換使一幅圖像中的點與另一幅圖像中的對應點相關(guān)聯(lián)[14]。

圖像匹配的方法總體上可以分為3大類：基于模型、基于灰度及基于特征的圖像匹配[15-19]。基于模型與灰度來進行圖像匹配時對光照、尺度、旋轉(zhuǎn)變化等情況的適應能力較差。本文從算法的穩(wěn)健性與實時性出發(fā)，采用由Bay等提出的SURF[20]算法來實現(xiàn)原始圖像和樣本圖像集合的匹配。SURF算法是一種能夠檢測圖像局部特征的算法。文獻[21]證明了局部的信息足以表征整幅圖像。

在對P0和Psample進行立體像對相對定向的過程中，利用最小二乘原理求解，至少需要5對及以上分布較均勻的同名像點。本文利用原始幀圖像來獲取同名像點，而不選擇前景圖像，其原因在于前景圖像中的特征點都在前景區(qū)域內(nèi)，范圍較小，分布不均勻，這會在最小二乘中造成法方程系數(shù)矩陣病態(tài)，影響相對定向的精確性。在圖像匹配的過程中，利用圖像的特征點來對P0和Psample進行匹配，由于P0和Psample均具有大致相同的背景，因此對特征點的選取影響較小，而真正用于匹配圖像的特征點大部分是由前景變化區(qū)域產(chǎn)生的，利用P0和Psample所對應的前景圖像進行匹配，可以大大縮短匹配時間，從而提高執(zhí)行效率。

在圖像匹配的過程中，檢測到的較優(yōu)特征點大部分來源于變化區(qū)域中的圖像，利用原始圖像進行匹配時，較優(yōu)特征點大部分來源于前景區(qū)域，因此利用前景像片進行圖像匹配，檢測到的特征點依然能夠大致上代表原始圖像中的特征點，且其匹配準確率并沒有明顯的降低，試驗結(jié)果如圖6所示。而在匹配準確性不降低的前提下采用前景像片來進行圖像匹配，其耗費時間對比結(jié)果如圖7所示。

1.3.4 姿態(tài)校正

在獲取與P0匹配度最高的樣本圖像Pi后，即得到Pi所在參考坐標系相對于P0所在參考坐標系的位姿參數(shù)，然后將小視場下的攝像機鏡頭C1根據(jù)得到的位姿參數(shù)進行旋轉(zhuǎn)與平移。在小視場下拍攝樣本圖像完成后，小視場下的攝像機C1停留的位置是拍攝最后一張樣本Pm所在的位置，其所在參考坐標系相對于大視場所在參考坐標系的位姿參數(shù)(BYm，BZm，φ2m，ω2m，κ2m)在相對定向的過程中已經(jīng)獲得，Pi所存儲的位姿參數(shù)(BYi，BZi，φ2i，ω2i，κ2i)被求得，因此計算Pm與Pi位姿參數(shù)之間正交旋轉(zhuǎn)矩陣即可得到小視場下最后一張被攝圖像相對于目標圖像之間的旋轉(zhuǎn)量和平移量，然后C1按此量進行旋轉(zhuǎn)與平移對準變化目標即可。

2 試驗與分析

本文的試驗環(huán)境為Windows 7系統(tǒng)，Intel Core i5四核處理器，攝像機為FINEPIX S205EXR。試驗主要對在大、小視場組成的系統(tǒng)中可能導致出現(xiàn)誤差的因素進行分析，以便進一步改進設計方法。

本文中選取的同名像點是在圖像匹配的基礎(chǔ)上獲取的，即通過大視場下的原始圖像P0與Psample樣本圖像集合中的每一張圖像進行匹配，以此獲取同名像點。但是由于在相片匹配中是提取圖像的特征點來進行匹配，在特征點提取完成后，設置一定的限制條件來獲取可能性較高的匹配點對，作為一對同名像點。本文所用方法與標定求出的對于同一場景的左相片(或右相片)x坐標與y坐標的對比見表1。

表1 x像素坐標對比 像素

如圖8、圖9所示，在表1的基礎(chǔ)上，利用本文圖像坐標與標定圖像坐標作差得到圖8，圖8反映了本文所用算法得到的像素坐標與標定得到的像素坐標的差值約在2個像素之間，差值的絕對值如圖9所示，整體上趨于一個穩(wěn)定的狀態(tài)。圖8、圖9表明了本文算法求得的同名像點的像素坐標精度較高、穩(wěn)定性較好，能夠滿足本文試驗設計環(huán)境的要求。

3 結(jié) 語

本文結(jié)合攝影測量與圖像匹配的方法來描述范圍較小區(qū)域內(nèi)兩種視場之間存在的位姿關(guān)系。利用ViBe算法檢測出變化區(qū)域，并對其算法做了優(yōu)化，本文進一步提高了變換檢測的準確性。在圖像匹配階段，利用原始圖像和樣本圖像所對應的前景圖像進行匹配，大大縮短了匹配時間，提高了效率。試驗表明了其可行性，今后將對變換檢測與同名像點坐標獲取方法做出進一步的優(yōu)化，提高坐標的精確度，以此來提升大、小視場之間姿態(tài)參數(shù)的準確性。