平面場(chǎng)景和建筑物成像的幾何分析

張 葉，曲宏松，李桂菊，王延杰

(1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033; 2.中國(guó)科學(xué)院航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林長(zhǎng)春130033)

1 引言

相機(jī)的不同運(yùn)動(dòng)方式對(duì)場(chǎng)景成像會(huì)產(chǎn)生不同的效果，尤其是空對(duì)地飛行器的自主導(dǎo)航，其投影透視效果非常明顯，3個(gè)參數(shù)的剛性變換模型不足以表示兩幅圖像間的變化，需要建立更多參數(shù)的模型。

當(dāng)所拍攝的場(chǎng)景中的物體都在一個(gè)平面上，且場(chǎng)景中的物體均靜止，或?qū)嶋H拍攝過(guò)程中，相機(jī)鏡頭到場(chǎng)景中的物體的距離遠(yuǎn)遠(yuǎn)大于物體高度的時(shí)候，可以近似地把場(chǎng)景看成一個(gè)平面。在理論上，Semple J G等人于1993年指出在以下兩種情況下兩幅平面圖像之間的對(duì)應(yīng)關(guān)系可以由一個(gè)8參數(shù)的單應(yīng)性(即投影變換矩陣)表示:(1)靜止3D場(chǎng)景是指場(chǎng)景中的物體都靜止，且可以在3D空間任意分布，攝像機(jī)鏡頭繞光心旋轉(zhuǎn)拍攝，即可以進(jìn)行水平掃動(dòng)、垂直掃動(dòng)、旋轉(zhuǎn)及鏡頭縮放等動(dòng)作，但不可以平移，實(shí)際拍攝過(guò)程中可以把條件適當(dāng)放寬到攝像機(jī)近似地在一個(gè)固定點(diǎn)拍攝，此時(shí)模型可以用8參數(shù)模型表示。(2)平面場(chǎng)景是指場(chǎng)景中的物體都靜止，且場(chǎng)景中的物體在一個(gè)平面上，實(shí)際拍攝過(guò)程中，當(dāng)攝像機(jī)的鏡頭到場(chǎng)景中的物體距離遠(yuǎn)遠(yuǎn)大于物體高度的時(shí)候，可以近似地把場(chǎng)景看成一個(gè)平面。攝像機(jī)鏡頭可以進(jìn)行平移、水平掃動(dòng)、垂直掃動(dòng)、旋轉(zhuǎn)及鏡頭縮放等動(dòng)作，運(yùn)動(dòng)不受限制，比如遙感圖像、航拍圖片等均可以看作是平面場(chǎng)景圖像，都可以用8參數(shù)模型來(lái)表示其變化。

基于上述理論，本文針對(duì)采集圖像中平面場(chǎng)景以及建筑物的識(shí)別，利用攝像機(jī)參數(shù)，對(duì)實(shí)際的建筑物形狀參數(shù)與采集圖像中建筑物成像的像素?cái)?shù)進(jìn)行關(guān)聯(lián)，對(duì)平面場(chǎng)景及建筑物成像過(guò)程進(jìn)行了幾何分析，結(jié)果表明:已知相機(jī)參數(shù)及飛行狀態(tài)的情況下，可以通過(guò)對(duì)平面場(chǎng)景及建筑物形狀信息的推導(dǎo)，來(lái)完成對(duì)目標(biāo)的識(shí)別與跟蹤。

2 平面場(chǎng)景成像分析

在攝相機(jī)進(jìn)行圖像采集的過(guò)程中，需要將客觀世界的3D場(chǎng)景投影到相機(jī)的2D平面上，相機(jī)的不同運(yùn)動(dòng)方式對(duì)場(chǎng)景成像會(huì)產(chǎn)生不同的效果，這種投影關(guān)系可以用圖像間的變換進(jìn)行描述。圖像間的變換可以應(yīng)用多參數(shù)等模型來(lái)表示。如近似地把場(chǎng)景看成一個(gè)平面時(shí)，攝像機(jī)可以進(jìn)行任何方式的運(yùn)動(dòng)，而平面場(chǎng)景投影到2D平面上，可以用一個(gè)透視投影矩陣來(lái)表示這種變換，如式(1)所示:

即:

透視投影變換參數(shù)取決于一些相機(jī)內(nèi)部參數(shù)，影響透視梯形變換的主要參數(shù)有:相機(jī)的焦距、相機(jī)的傾角、CCD靶面大小、采集到的圖像大小，以及相機(jī)的偏航角和側(cè)滾角。

圖1 側(cè)滾角為0°時(shí)攝像機(jī)靶面與采集圖像之間的投影關(guān)系Fig.1 Perspective relationship between target surface and collected image in roll angle of 0°

當(dāng)飛行器平穩(wěn)飛行時(shí)，設(shè)相機(jī)側(cè)滾角為0°，根據(jù)相機(jī)的偏航角調(diào)整圖像，使得相機(jī)軸線(xiàn)垂直于成像平面與景象平面的交線(xiàn)，如圖1所示，圖中攝像機(jī)靶面與景象平面夾角為α。成像平面為矩形，將相機(jī)靶面翻折到焦點(diǎn)下方作圖，設(shè)CCD的靶面長(zhǎng)為a，高為y，它所投影到地面上的梯形長(zhǎng)邊為A，短邊為B，高度為Y，焦距為f，鏡頭距離地面長(zhǎng)度為H，由三角形的比例關(guān)系可得:

由正弦定理得:

則:

采集的圖像對(duì)實(shí)際圖像進(jìn)行梯形變換的同時(shí)對(duì)圖像內(nèi)容進(jìn)行拉伸，近處的物體較大，而遠(yuǎn)處的物體較小，屬于線(xiàn)性調(diào)頻現(xiàn)象，即拉伸的比例是線(xiàn)性變化的而不是固定的。根據(jù)靶面圖像與實(shí)際圖像間的幾何對(duì)應(yīng)關(guān)系，即可求出8參數(shù)變換矩陣。

3 建筑物參數(shù)計(jì)算

建筑物屬于一類(lèi)特殊目標(biāo)，具有長(zhǎng)、寬、高三維特征，采用傳統(tǒng)的根據(jù)地圖模板進(jìn)行匹配的方法很難捕捉到，原因如下:

(a)建筑物在不同角度特征是不一樣的，俯視的衛(wèi)星拍攝圖片，只能得到長(zhǎng)、寬兩個(gè)參數(shù)的特征，信息條件是不完備的，因此根據(jù)衛(wèi)星拍攝的圖片無(wú)法進(jìn)行可靠的建筑物識(shí)別;

(b)如果建筑物不是孤立目標(biāo)，易發(fā)生誤匹配或錯(cuò)匹配的情況，需要對(duì)建筑物進(jìn)行識(shí)別、區(qū)分;

(c)由于光線(xiàn)方向和亮度的影響，建筑物的灰度信息并不可靠，而且建筑物的影子屬于不確定因素，會(huì)對(duì)建筑物的捕獲產(chǎn)生一定的負(fù)面影響;

(d)當(dāng)不斷接近建筑物目標(biāo)時(shí)，三維建筑物的特征變化比二維情況要復(fù)雜得多，不但灰度信息會(huì)更加豐富，而且形狀還會(huì)有所改變。

在這種情況下，如果已知建筑物形狀參數(shù)，則可以對(duì)建筑物成像進(jìn)行分析，從而得到建筑物成像后在像面上的參數(shù)特征。

3.1 建筑物成像高度近似計(jì)算

首先分析建筑物成像在靶面中心線(xiàn)上的情況，成像原理如圖2所示。

圖2 建筑物高度成像Fig.2 Building height imaging

圖中h為建筑物的高度，下面求解建筑物在靶面上所呈的像素?cái)?shù):

圖中頂角由α+ζ+τ組成，則:

且:

可得:

設(shè)建筑物高度在靶面上成像長(zhǎng)度為htarget，則:

即:

由此得出建筑物高度在靶面上的成像像素?cái)?shù)，而不在靶面中心軸線(xiàn)成像的建筑物圖像也近似為這個(gè)結(jié)果。

3.2 建筑成像寬度近似計(jì)算

考慮建筑物成像靶面中心對(duì)稱(chēng)的情況，成像原理如圖3所示。

由圖可得成像在靶面上邊和下邊的實(shí)際景物

圖3 建筑物寬度成像Fig.3 Building width imaging

長(zhǎng)度與成像在靶面上的建筑物寬度之間的關(guān)系:

當(dāng)已知建筑物實(shí)際寬度W的時(shí)候，由式(12)可以近似得到建筑物成像在靶面上的像素?cái)?shù)范圍，以此為依據(jù)可以識(shí)別建筑物。

4 建筑物成像輪廓識(shí)別

建筑物的輪廓是建筑物的重要特征，當(dāng)求解出建筑物高度和寬度參數(shù)后，需要對(duì)圖像內(nèi)的建筑物進(jìn)行輪廓識(shí)別，采用水平條形濾波器和垂直條形濾波器對(duì)圖像濾波，尋找建筑物的位置。水平條形濾波器由3個(gè)方向性的高斯濾波器的加權(quán)和組成，高斯濾波器如式(15)所示:

水平方向的高斯濾波器權(quán)值是－1，2，1，x方向的sigma為2，y方向的sigma為1，彼此之間有一個(gè)像素的偏移，垂直條形濾波器是水平條形濾波器旋轉(zhuǎn)90°后的結(jié)果，如圖4所示。

圖4 水平和垂直條形濾波器Fig.4 Horizontal and vertical bar filters

對(duì)圖像進(jìn)行濾波后，建筑物的水平輪廓和垂直輪廓可以被提取出來(lái)，通過(guò)之前的參數(shù)計(jì)算，可以確定輪廓在一定范圍內(nèi)的區(qū)域即為感興趣目標(biāo)。圖5為經(jīng)垂直條形濾波后提取垂直輪廓的圖像。

圖5 經(jīng)垂直條形濾波后提取垂直輪廓的圖像Fig.5 Extraction image with vertical contour by vertical bar filter

5 實(shí)驗(yàn)仿真結(jié)果

本方法需要預(yù)先獲得建筑物的長(zhǎng)、寬、高參數(shù)，根據(jù)攝像機(jī)俯仰、航向、海拔、距離信息與建筑物之間的關(guān)系，即可通過(guò)參數(shù)計(jì)算建筑物在攝像機(jī)靶面上的成像特征，這樣可以解決上述提及的(a)(b)問(wèn)題，通過(guò)長(zhǎng)、寬、高度信息進(jìn)行建筑物的區(qū)分;本算法結(jié)合輪廓匹配的方法，將計(jì)算得到的三維輪廓對(duì)圖中的建筑物進(jìn)行匹配，從而解決上述由光線(xiàn)變化帶來(lái)的(c)問(wèn)題;由于參數(shù)是根據(jù)攝像機(jī)參數(shù)不斷實(shí)時(shí)更新計(jì)算的，當(dāng)接近建筑物時(shí)，模板參數(shù)相應(yīng)調(diào)整，因此可以解決問(wèn)題(d)。與計(jì)算出的立體模板做匹配即可進(jìn)行自動(dòng)目標(biāo)捕

6 結(jié)論

獲與跟蹤，仿真試驗(yàn)結(jié)果如圖6所示。

本文通過(guò)幾何推導(dǎo)的方法，計(jì)算了立體模板的制備參數(shù)，在已知攝像機(jī)飛行參數(shù)和建筑物參數(shù)的情況下，推導(dǎo)出在靶面上的成像尺寸，以此為依據(jù)對(duì)建筑物目標(biāo)進(jìn)行識(shí)別。由于攝像機(jī)飛行參數(shù)、建筑物參數(shù)的獲得以及幾何推導(dǎo)計(jì)算過(guò)程會(huì)帶來(lái)一定誤差，所以在求建筑物成像像素?cái)?shù)的范圍，立體模板匹配時(shí)，允許參數(shù)誤差在10個(gè)像素左右。本方法適合在典型建筑物、孤立建筑物、建筑群中具有明顯形狀特征等情況下，自動(dòng)捕獲與跟蹤立體目標(biāo)。

圖6 仿真試驗(yàn)結(jié)果Fig.6 Simulation experiment results

［1］張毓晉.圖像理解與計(jì)算機(jī)視覺(jué)［M］.北京:清華大學(xué)出版社，2004.ZHANG Y J.Image Understanding and Computer Vision［M］.Beijing:Tsinghua University Press，2004.(in Chinese)

［2］CASTLEMAN K R.Digital Image Processing［M］.New Jersey:Prentice Hall，2002:375-402.

［3］PETROU M，BOSDOGIANNI P.Image Processing，The Fundamentals［M］.Hobok:Wiley Press，2005:62-66.

［4］張葉，曲宏松，王延杰.運(yùn)用旋轉(zhuǎn)無(wú)關(guān)特征線(xiàn)實(shí)現(xiàn)景象匹配［J］.光學(xué) 精密工程，2009，17(7):1759-1765.ZHANG Y，QU H S，WANG Y J.Implementation of scene matching based on rotation invariant keylines［J］.Opt.Precision Eng.，2009，17(7):1758-1765.(in Chinese)

［5］FORSYTH D A，PONCE J.Computer Vision:A Modern Approach［M］.林學(xué)言，王宏，等譯.北京:電子工業(yè)出版社，2004.

［6］LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60(2):91-110.

［7］WANG G H，TSUI H T，HU ZH Y.Structure and motion of nonrigid object under perspective projection［J］.Pattern Recogn.Lett.，2007，28(4):507-515.

［8］汪行，陳學(xué)，金敏.線(xiàn)段提取在高分辨率遙感圖像建筑物識(shí)別中的應(yīng)用［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17(5):928-934.WANG X，CHEN X，JIN M.Application of line segment extraction to recognize buildings in high-resolution remote sensing images［J］.J.Computer Aided Design＆Computer Graphics，2005，17(5):928-934.(in Chinese)

［9］陳剛，車(chē)仁生，葉東，等.一種基于立體模板的雙目視覺(jué)傳感器現(xiàn)場(chǎng)標(biāo)定方法［J］.光學(xué) 精密工程，2004，12(6):626-631.CHEN G，CHE R SH，YE D，et al..Stereo vision sensor field calibration method based on volume template［J］.Opt.Precision Eng.，2004，12(6):626-631.(in Chinese)

［10］王繼陽(yáng)，文貢堅(jiān)，李德仁.直線(xiàn)特征立體匹配中的不確定性問(wèn)題［J］.信號(hào)處理，2010，26(5):641-647.WANG J Y，WEN G J，LI D R.Uncertainty in matching straight line segments［J］.Signal Processing，2010，26(5):641-647.(in Chinese)

［11］宋曉宇，單新建.高分辨率衛(wèi)星影像在城市建筑物識(shí)別中的初步應(yīng)用［J］.遙感信息，2002(1):27-31.SONG X Y，SHAN X J.Preliminary application of high-resolution satellite image in city building classification［J］.Remote Sensing Information，2002(1):27-31.(in Chinese)

［12］徐偉聲.基于SPOT影像的城市建筑物的識(shí)別應(yīng)用［J］.湖北民族學(xué)院學(xué)報(bào)(自然科學(xué)版)，2007，25(3):323-325.XU W SH.Recognition of city buildings based on SPOT image［J］.J.Hubei Institute for Nationalities(Natural Sci-ence)，2007，25(3):323-325.(in Chinese)

［13］周小成，汪小欽，駱劍承，等.結(jié)合對(duì)象關(guān)系特征的高分辨率衛(wèi)星影像建筑物識(shí)別方法［J］.國(guó)土資源遙感，2008，4:27-31.ZHOU X CH，WANG X Q，LUO J CH，et al..The method for extraction of buildings from high resolution satellite images in association with relevant features of object［J］.，2008，4:27-31.(in Chinese)

［14］趙潔，李光耀，龐池海，等.基于小波變換的衛(wèi)星遙感地圖中建筑物識(shí)別［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2008，18(11):243-246.ZHAO J，LI G Y，PANG CH H，et al..Research on building recognition from satellite remote sensing image based on wavelet［J］.Computer Technol.Development，2008，18(11):27-31.(in Chinese)

［15］ZHANG Y，WANG Y J.High accuracy real-time automatic thresholding for centroid tracker［J］.SPIE，2006，6027:60262P.