組合式建筑立面全景圖像的漸暈校正

蒼雁飛，寇俊敏

(內(nèi)蒙古農(nóng)業(yè)大學(xué)，內(nèi)蒙古 呼和浩特 010018)

1 引言

工業(yè)建筑的最優(yōu)結(jié)構(gòu)，就是保障建筑資源消耗最小，且質(zhì)量可靠。組合式建筑一般由多個規(guī)則幾何體構(gòu)成[1]，伴隨科學(xué)技術(shù)水平的不斷提升，組合式建筑以其獨有優(yōu)勢，成為完善建筑綜合資源節(jié)約發(fā)展的先驅(qū)動力。

全景圖像是一種提供超過人眼正常有效視角的超大型預(yù)覽實景圖像，全景圖像與傳統(tǒng)圖形繪制技術(shù)相比，具備數(shù)據(jù)獲取簡便、建模速率快、真實感強等諸多優(yōu)勢[2]，為深入研究組合式建筑外部構(gòu)造等問題提供可靠依據(jù)。

為了提高組合式建筑立面全景圖像成像質(zhì)量，就需要防止圖像漸暈現(xiàn)象發(fā)生。由此，本文提出一種基于曲面擬合的漸暈校正方法。首先構(gòu)建組合式建筑三維交互模型，將長方體作為幾何約束關(guān)聯(lián)，獲取圖像內(nèi)部建筑物三維數(shù)據(jù)，分析相對角點在圖像坐標(biāo)系和世界坐標(biāo)系之間的對照關(guān)聯(lián)，建立相機成像模型，采用IAC表示法求解相機內(nèi)部參數(shù)，使組合式建筑立面視覺成像效果更優(yōu)，維護(hù)全景圖像拼接的正確性；其次采用全景圖像拼接方法，使用ORB匹配方式提取鄰近圖像匹配點，按照匹配點推算單應(yīng)性矩陣，對相機抖動實行波修正處理，預(yù)防圖像產(chǎn)生形變，實現(xiàn)建筑立面圖像全景拼接；最后運用曲面擬合漸暈校正方法，將最速下降法與二維曲面擬合結(jié)合，得到圖像灰度全局改變走向，完成全景圖像漸暈現(xiàn)象校正。仿真結(jié)果證實，本文方法具備良好的適用性，可廣泛應(yīng)用于真實場景中。

2 組合式建筑三維交互建模

在組合式建筑的三維模型構(gòu)建過程中，待構(gòu)建的建筑物目標(biāo)一般是通過規(guī)則的長方體部件建造而成的。因此，本文將長方體集合基元當(dāng)作組合式建筑模型構(gòu)建的基礎(chǔ)因素[3]。利用長方體本身的幾何收斂性，可得到輸入圖像內(nèi)建筑物目標(biāo)的三維數(shù)據(jù)，并標(biāo)記出原始部件長方體目標(biāo)投影在二維圖像內(nèi)的頂點，將其運用在三維幾何體對照關(guān)系的幾何基元內(nèi)。由于建筑物目標(biāo)面積較大，投影于二維圖像中經(jīng)常會產(chǎn)生失真的狀況，所以需要標(biāo)記的角點必須能覆蓋至長方體的六個面。

針對標(biāo)記的六個角點和區(qū)域，相機標(biāo)定的目標(biāo)是令長方體部件模型及無區(qū)域的二維圖像輪廓p0p1p2p3p4p5相互匹配，經(jīng)過推算角點，分析圖像坐標(biāo)系及世界坐標(biāo)系之間的對照關(guān)聯(lián)，得到相機的內(nèi)外參數(shù)，以此構(gòu)建相機成像的組合式建筑三維交互模型[4]。首先將相機成像矩陣描述為

M=K[R|t]

(1)

式中

(2)

式中，K表示投影轉(zhuǎn)換矩陣；R、t∈R3依次表示相機旋轉(zhuǎn)矩陣及平移矩陣。相機的方位和姿勢取決于這兩個矩陣的參數(shù)大小。由于建筑進(jìn)行拍攝時不會發(fā)生畸變行為，所以畸變參數(shù)s等于零，世界坐標(biāo)系是一個勻稱坐標(biāo)系，則fx=fy=f，表示焦距。將主點坐標(biāo)設(shè)置成(u0，v0)，根據(jù)齊次坐標(biāo)可知，相機投影矩陣照射到各個長方體頂點Pi和建筑物圖像內(nèi)的二維點qi是相互對照關(guān)系，則

pi=Mqi

(3)

分析三維長方體部件表面平行六面體的幾何收斂與相機內(nèi)部參數(shù)之間的對偶關(guān)聯(lián)，并對其進(jìn)行計算。τ=fx/fy表示相機的橫縱比，因為fx=fy=f，所以τ=1。使用IAC表示法進(jìn)行相機內(nèi)參求解，將其定義為

(4)

將場景中的世界坐標(biāo)系作為長方體底面中心[5]，那么長方體部件在圖像內(nèi)投影要通過相機的方位進(jìn)行實現(xiàn)。將長方體對應(yīng)頂點記作

(5)

(6)

構(gòu)建的建筑物目標(biāo)三維模型，能夠讓組合式建筑立面更加清晰直觀，進(jìn)一步保證全景圖像拼接的精準(zhǔn)度。

3 建筑立面圖像全景拼接

為了將一組連續(xù)拍攝的建筑圖像拼接變成建筑立面全景圖像，首先要把重合區(qū)域圖像進(jìn)行特征匹配，這里采用ORB特征匹配方法，并利用二進(jìn)制比特串對關(guān)鍵點進(jìn)行分析。

ORB描述符的基本原理是利用圖像塊特性的少數(shù)灰度比對，來實現(xiàn)特征精準(zhǔn)匹配[6]，以特征點為中心，將S×S圖像塊p的準(zhǔn)則描述為

(7)

式中，p(x)是圖像塊p通過平滑在x=(u，v)T位置的像素灰度值。在圖像塊p內(nèi)任意選擇o個(x，y)方位的二進(jìn)制特征量，則ORB特征函數(shù)解析式為

(8)

考慮速率及精度等多方面因素，o的取值設(shè)定為256。

測量的關(guān)鍵點利用上述過程可獲得一個256位的二進(jìn)制比特串，每個位的值是0或1。若D1、D2是兩個關(guān)鍵點的二進(jìn)制比特串，則

D1=x0x1x2…x256

(9)

D2=y0y1y2…y256

(10)

平面單應(yīng)性表示一個平面至另一個平面的投影映射，關(guān)鍵包括三部分：相機內(nèi)部參數(shù)的投影轉(zhuǎn)換矩陣K與平面之間的旋轉(zhuǎn)矩陣R、平移矩陣t。

M=(x，y，z)T和M′=(x′，y′，z′)T依次表示三維空間點在不同視點坐標(biāo)系中的空間坐標(biāo)，m=(x，y，1)T和m′=(x′，y′，1′)T依次表示兩張圖像的相對匹配點，則

m?KM，m′?KM

(11)

將平面π的規(guī)范矢量標(biāo)記為n，那么全部的空間點是M∈π，因為nTM=1，所以可得到

M′=RM+t=(R+tnT)Mfo(p)

(12)

K-1m′=(R+tnT)K-1Mfo(p)

(13)

m′=K(R+tnT)K-1mfo(p)

(14)

在視野空曠的環(huán)境內(nèi)，旋轉(zhuǎn)相機進(jìn)行圖像拍攝時，可認(rèn)定相機在做純旋轉(zhuǎn)活動[7]，繼而從一組重合的圖像內(nèi)對相機實施標(biāo)定。首先算出全部重合圖像之間的單應(yīng)性矩陣Hij，按照平面單應(yīng)性矩陣的相關(guān)原理，假設(shè)相機進(jìn)行純旋轉(zhuǎn)活動，可得到如下公式

(15)

通過旋轉(zhuǎn)矩陣R10的正交性準(zhǔn)則，得到

(16)

(17)

式中，h表示圖像高度。由于圖像之間單應(yīng)性轉(zhuǎn)換推導(dǎo)的圖像旋轉(zhuǎn)矩陣是一個對應(yīng)矩陣，所以拼接圖像會產(chǎn)生波浪狀。為了讓最終拼接完成的圖像是豎直的[8]，就要構(gòu)建整體旋轉(zhuǎn)坐標(biāo)系。

將三維空間點xi反射至二維圖像內(nèi)點xik上，由于在拍攝圖像過程中，相機會產(chǎn)生不規(guī)則運動，但通常情況下會維持相機水平邊緣平行于地面。想要構(gòu)建整體旋轉(zhuǎn)坐標(biāo)系，就要設(shè)立矩陣rg，讓其右乘rk后，確保整體y軸垂直于x軸。將全部圖像的收斂條件組成一個集合，并轉(zhuǎn)換為最小二乘問題

(18)

本文使用柱面坐標(biāo)投影方式，將圖像映射在圓柱面內(nèi)。柱面內(nèi)的點是通過角度θ及高度h參變量決定的，其相對關(guān)聯(lián)為

(sinθ，h，cosθ)∞(x，y，f)

(19)

因為柱面是一個能夠展開的曲面[9]，圖像在柱面坐標(biāo)中移動旋轉(zhuǎn)可維持形態(tài)不變，則對建筑立面圖像進(jìn)行全景拼接，其表達(dá)式為

(20)

通過上述過程，能夠有效解決設(shè)備視角不足的問題，獲得寬視野全景圖像，充分展現(xiàn)出組合式建筑立面的真實景象。

4 基于曲面擬合的漸暈校正實現(xiàn)

在相機拍攝圖像的實際場景中，因為反射鏡的遮蓋，某些光束不能在拼接相交處成像，致使交界處光照度降低，此種現(xiàn)象就是相機反射鏡拼接形成的漸暈現(xiàn)象。由于反射鏡反射邊緣和光軸呈45°夾角，反射點與接收屏幕之間的距離是不斷改變的[10]，因此像面內(nèi)的漸暈分布也伴隨反射鏡和接收屏幕的間距改變，產(chǎn)生相應(yīng)的變化。另外，直邊衍射也是相機反射鏡漸暈的原因之一。

傳統(tǒng)漸暈校正方法有查表法、逐行掃描法和函數(shù)逼近法。查表法要預(yù)先使用標(biāo)準(zhǔn)圖像得到漸暈系數(shù)對應(yīng)表，所以每拍攝時都一定要符合的相同收斂，不適合用于組合式建筑立面的全景拍攝；逐行掃描法采用真實獲得的圖像數(shù)據(jù)實現(xiàn)逐行融合，融合出全幅圖像的灰度改變走向再進(jìn)行修復(fù)，若處于真實圖像鄰近兩行灰度改變較多的情況下[11]，該方法會生成線性條紋，無法保證最終漸暈校正結(jié)果的可靠性；函數(shù)逼近法是運用多次定標(biāo)，將每個照度下單個像元的補償元素實施標(biāo)定，再把每個像元的補償元素進(jìn)行融合，得到像元的漸暈修復(fù)解析式，但該方法的操作過程較為復(fù)雜。

本文提出一種基于二維曲面擬合圖像灰度校正方法，可以有效改善傳統(tǒng)方法存在的諸多不足，具體將其描述為

f(x，y)=tanh(rx(x-x0)+ry(y-y0))+c

(21)

式中，x′=1，2，…，m，y′=1，2，…，n，rx與ry分別代表沿圖像x、y軸的衰減率，(x0，y0)是參照圖像的亮度中心點，也是歸一化處理后的像素坐標(biāo)；c為常數(shù)偏移值。只要獲得適當(dāng)?shù)膞、y軸衰減率，就可以明確其亮度改變走向，同時也能校正漸暈閾值之內(nèi)的像素點灰度值。

本文采用最速下降法對曲面參數(shù)進(jìn)行計算，得到Hesse矩陣的有關(guān)系數(shù)，利用Hesse矩陣逐步采取迭代收斂，最終得到曲面的有關(guān)參數(shù)值[12]。以此計算出較為精確的參數(shù)估計值，迎合了真實場景中全景圖像漸暈校正的需求。

按照真實漸暈圖像的退化狀況，使用式(21)的二維曲面將退化圖像進(jìn)行擬合。將漸暈各向相同特征作為校正基礎(chǔ)，圖像亮度衰減會伴隨每個像素點到圖像亮度中心的間距變化而發(fā)生改變，但在實際操作中，已知的參照圖像亮度中心并不是圖像中心，所以在求解參數(shù)時，要將式(21)轉(zhuǎn)變成Column函數(shù)，具體定義為

(22)

式中，fxy表示真實圖像的像素值。

因為直接讓F的梯度等于零，方程組x0、y0、rx、ry、c的求解過程會很困難，所以使用最速下降法進(jìn)行F極小值求解，滿足εF0=F(X0)，g0=g(X0)=?F(X0)k=0，那么將目標(biāo)函數(shù)F(x0，y0，rx，ry，c)位于點x的梯度描述為

=(g1，g2，g3，g4，g5)T

(23)

因為反正切函數(shù)內(nèi)包含Row函數(shù)，也就是ex項，運用泰勒級數(shù)進(jìn)行計算，那么將Row函數(shù)記作式(24)。考慮到方法的冗雜度，所以只選取前三項來表示Row函數(shù)。

(24)

以上為所提方法漸暈校正原理分析，下面將其運用在實際校正過程進(jìn)行漸暈校正模擬，計算過程如下：

(25)

然后，計算出下列四個公式對應(yīng)的數(shù)值

(26)

Xk+1=Xk-tkg(Xk)

(27)

Fk+1=F(Xk+1)

(28)

gk+1=g(Xk+1)

(29)

若對應(yīng)的數(shù)值滿足收斂條件，那么結(jié)束計算過程，最后完成全景圖像漸暈校正，有效去除圖像的漸暈現(xiàn)象，進(jìn)一步增強圖像質(zhì)量，其收斂條件為

(30)

5 仿真研究

為驗證本文所提組合式建筑立面全景圖像的漸暈校正方法的有效性，進(jìn)行一次仿真。實驗環(huán)境為Window 10操作系統(tǒng)計算機，雙核英特爾第二代酷睿處理器OPTIPLEX3010為主頻，系統(tǒng)是Win7旗艦版32位，并采用Matlab R2014a編程實現(xiàn)。本文以航空拍攝的建筑立面全景圖像為實驗對象，測試圖像采取實地拍攝采集圖像數(shù)據(jù)，實驗所用相機的環(huán)境參數(shù)為索尼A6000，像素為2430萬，顯示屏尺寸為3英寸，像素為92萬，共拍攝4張照片。建筑立面全景圖像如圖1所示。

圖1 實驗對象

根據(jù)圖1可知，由于受到相機漸暈的影響，導(dǎo)致實際相機采集的數(shù)據(jù)中間區(qū)域亮度有明顯差異，圖像漸暈現(xiàn)象較為嚴(yán)重，其灰度變化情況如圖2所示。

圖2 原始漸暈圖像的灰度分布圖

采用本文提出的基于曲面擬合的漸暈校正方法對原始漸暈圖像進(jìn)行處理，利用最速下降法對曲面參數(shù)進(jìn)行計算，按照真實漸暈圖像的退化狀況，擬合漸暈曲面，擬合結(jié)果如圖3所示。

圖3 漸暈曲面擬合結(jié)果

采用曲面擬合方法對組合式建筑立面全景圖像漸暈曲面進(jìn)行校正，校正結(jié)果如圖4所示。

圖4 曲面校正后的灰度分布

從圖4中可以看出，圖像漸暈校正后的整體分布基本均勻，漸暈現(xiàn)象消失，組合式建筑立面全景圖像漸暈校正效果如圖5所示．

圖5 校正后的建筑立面圖像

根據(jù)圖5可知，利用本文所提方法，能夠有效去除實際組合式建筑立面全景圖像的漸暈現(xiàn)象，校正后的圖像灰度分布均勻，效果理想。由此可知，本文方法的校正精度較高，且曲線走向較為平穩(wěn)，可以滿足實際全景圖像的高標(biāo)準(zhǔn)成像。是因為本文方法進(jìn)行漸暈校正時，考慮了全景圖像拼接準(zhǔn)確率的問題，適用性較好。

為了進(jìn)一步驗證本文方法的有效性，采用曲面擬合的漸暈校正方法和普通漸暈校正方法，進(jìn)行組合式建筑立面全景圖像漸暈校正，對比兩種方法的校正時間，對比結(jié)果如圖6所示。

圖6 建筑立面全景圖像漸暈校正時間對比

根據(jù)圖6可知，采用曲面擬合的漸暈校正方法的組合式建筑立面全景圖像漸暈校正時間比普通漸暈校正方法的組合式建筑立面全景圖像漸暈校正時間短。

6 結(jié)論

為了有效增強組合式建筑立面全景圖像的成像質(zhì)量，提出一種基于曲面擬合的漸暈校正方法，對組合式建筑立面全景圖像漸暈進(jìn)行校正。通過建立三維交互模型，直觀了解組合式建筑立面形態(tài)，保障全景圖像拼接的準(zhǔn)確性；運用全景圖像拼接方法，改善設(shè)備視角不足的問題，得到寬視野全景圖像；采用曲面擬合手段解決圖像漸暈現(xiàn)象的產(chǎn)生，縮短了圖像漸暈校正時間，實現(xiàn)組合式建筑立面全景圖像的高質(zhì)量成像。