基于單目幾何的三維全景圖研究與構(gòu)建

蘇澤清 劉忠艷 陳子韻 喬付

摘要：三維全景圖廣泛應(yīng)用于房地產(chǎn)裝潢、旅游景點(diǎn)、數(shù)字展館等領(lǐng)域，提供了一種在虛擬場(chǎng)景中交互瀏覽的感覺(jué)，使用戶有更強(qiáng)的身臨其境的瀏覽體驗(yàn)，從不同方向角度來(lái)了解環(huán)境。本文從圖像特征點(diǎn)提取、特征點(diǎn)匹配及圖像融合等關(guān)鍵步驟進(jìn)行闡述。最后，利用VS2012+Opencv開發(fā)工具，對(duì)實(shí)驗(yàn)室場(chǎng)景環(huán)繞360。采集5幅圖像，完成全景圖構(gòu)建，效果良好。

關(guān)鍵詞：特征點(diǎn)提取;特征點(diǎn)匹配;圖像融合;RANSAC算法

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）14-0174-02

Abstract： Three dimensional panorama is widely used in real estate decoration， tourist attractions， digital exhibition halls and other fields， it provides a feeling of interactive browsing in the virtual scene， which enables users to have a more immersive browsing experience and understand the environment from different directions. This paper describes from the key steps of image feature point extraction， feature point matching and image fusion. Finally， using vs2012 + Opencv development tool， five images of the laboratory scene were collected around 360 degrees to complete the panorama construction， and the effect was good.

Key words： feature point extraction ;feature point matching; image fusion; RANSAC algorithm

三維全景圖比傳統(tǒng)的二維全景圖提供了更直觀和更加逼真的全景場(chǎng)景感覺(jué)，因此，廣泛應(yīng)用于房地產(chǎn)裝潢、旅游景點(diǎn)、數(shù)字展館等領(lǐng)域[1-5]。即可以彌補(bǔ)二維效果圖信息量少、角度單一、立體感差的缺憾，又比通過(guò)矢量建模的三維虛擬全景技術(shù)經(jīng)濟(jì)實(shí)用。三維全景技術(shù)是通過(guò)把照相機(jī)在場(chǎng)景中環(huán)繞360°方向拍攝有重疊部分的一組場(chǎng)景照片，然后進(jìn)行圖像拼接形成一幅全景圖像，可在移動(dòng)終端或PC端用一個(gè)專用的播放軟件瀏覽，讓使用者能通過(guò)鼠標(biāo)控制環(huán)視的方向，可左可右、可近可遠(yuǎn)觀看物體或場(chǎng)景。三維全景技術(shù)可以為不在現(xiàn)場(chǎng)的用戶提供身臨其境的瀏覽感受，是真實(shí)場(chǎng)景的三維展現(xiàn)。另外，有一定的交互性，用戶可以通過(guò)鼠標(biāo)選擇自己的視角，在任意位置點(diǎn)放大和縮小場(chǎng)景，移動(dòng)及旋轉(zhuǎn)場(chǎng)景等，如親臨現(xiàn)場(chǎng)般的環(huán)視、俯瞰和仰視的視覺(jué)感受。因此，研究三維全景圖的構(gòu)建具有重要意義。

1 全景圖構(gòu)建步驟

三維全景圖的獲取步驟如下。

（1）圖像采集

通過(guò)攝像頭連續(xù)采集多幅場(chǎng)景圖像，相鄰兩幅圖像要有一定的場(chǎng)景重疊，并把多幅圖像按順序傳送給計(jì)算機(jī)。

（2）圖像預(yù)處理

對(duì)獲得的圖像去除噪聲、灰度化、平滑及濾波等處理，以確保后續(xù)操作的順利進(jìn)行。其中，噪聲嚴(yán)重影響圖像的視覺(jué)效果及圖像的應(yīng)用處理，因此，去除噪聲是圖像處理中必不可少的步驟，去除噪聲的方法很多，中值濾波法是一種非線性的濾波技術(shù)，可以在一定條件下，克服線性濾波使圖像細(xì)節(jié)變得模糊的情況，所以，本文在對(duì)采集的場(chǎng)景圖像去除噪聲處理時(shí)采用的是中值濾波法。中值濾波法[3]是一種非線性濾波技術(shù)，其原理是將數(shù)字圖像中的每一個(gè)像素點(diǎn)的像素值用該點(diǎn)某個(gè)大小鄰域窗口內(nèi)所有像素點(diǎn)的中間的值來(lái)代替，使周圍點(diǎn)的像素值更接近真實(shí)值，由此便可以達(dá)到抑制噪聲的目的。

（3）特征點(diǎn)提取及配準(zhǔn)

為了構(gòu)建三維全景圖，需要實(shí)現(xiàn)重疊圖像的配準(zhǔn)。其中基于特征點(diǎn)的配準(zhǔn)應(yīng)用較為廣泛，進(jìn)行特征點(diǎn)配準(zhǔn)的兩個(gè)主流算法為：SURF（Speeded Up Robust Features）和SIFT（Scale Invariant Feature Transform），由于SURF是一個(gè)積分圖在Hessian矩陣上的使用以及采用降維的特征描述子，所以執(zhí)行效率高于SIFT算法，因此，本文特征點(diǎn)提取采用的是SUFR算法完成的。首先對(duì)有重疊部分的相鄰兩幅圖像利用SURF算法提取圖像中灰度變化比較明顯的點(diǎn)，以便形成特征點(diǎn)集，然后在得到的對(duì)應(yīng)的特征點(diǎn)集中利用BBF（Best-Bin-First）查詢算法，該查詢算法能確保查詢結(jié)果優(yōu)先包含最近鄰的空間，將存在對(duì)應(yīng)關(guān)系的特征點(diǎn)對(duì)選擇出來(lái)，根據(jù)RANSAC（Random Sample Consensus）算法剔除誤匹配[6-8]。

SURF算法根據(jù)Hessian矩陣的行列式作為判別式來(lái)尋找局部極大值的方法來(lái)判別特征點(diǎn)，經(jīng)過(guò)構(gòu)建多尺度的圖像金字塔，在不同尺度上尋找特征點(diǎn)。對(duì)提取的圖像特征點(diǎn)，通過(guò)相似性度量找到相鄰圖像匹配的特征點(diǎn)對(duì)，特征點(diǎn)匹配的方法就是構(gòu)建數(shù)據(jù)索引，實(shí)際數(shù)據(jù)一般都會(huì)呈現(xiàn)簇狀的聚類形態(tài)，因此，實(shí)現(xiàn)特征點(diǎn)的快速匹配就是通過(guò)索引樹完成。索引樹是一種樹結(jié)構(gòu)的索引方法，其中K-D樹是典型的索引樹，對(duì)數(shù)據(jù)點(diǎn)在K維搜索空間中進(jìn)行劃分。特征點(diǎn)集中所有的特征點(diǎn)都存在最近鄰的點(diǎn)，但是只有處于左右兩幅圖像中相互重疊的部分的特征點(diǎn)的匹配點(diǎn)對(duì)才有可能是正確的。所以按照最近鄰查找結(jié)束后，左右兩幅圖像中找到大量的錯(cuò)誤的匹配點(diǎn)對(duì)，這些錯(cuò)誤的匹配點(diǎn)對(duì)會(huì)對(duì)后期的圖像拼接及融合產(chǎn)生嚴(yán)重影響，因此必須去除這些錯(cuò)誤的配點(diǎn)對(duì)。本文采用RANSAC法對(duì)匹配點(diǎn)對(duì)進(jìn)行去除誤匹配。

（4）圖像拼接融合

利用照相機(jī)360°方向拍攝場(chǎng)景圖像的過(guò)程中，不可避免地受光照、拍攝場(chǎng)景等因素的影響，使圖像會(huì)有亮度及顏色的差異。如果對(duì)圖像不進(jìn)行預(yù)處理就直接把圖像拼接在一起，這樣得到的拼接圖像肯定會(huì)在存在明顯的拼接縫隙，嚴(yán)重會(huì)導(dǎo)致重疊區(qū)域的模糊以及失真等情況。所以，必須選擇相應(yīng)的圖像融合算法來(lái)處理圖像，要求在實(shí)現(xiàn)無(wú)縫拼接的同時(shí)盡量不要損失原始圖像信息。因此，圖像融合是構(gòu)建三維全景圖中至關(guān)重要的一步。

目前，圖像融合算法有很多，大致分兩大類：空間域圖像融合算法和變換域圖像融合算法。其中基于變換域圖像融合算法中的小波變換法，由于其具有良好的時(shí)頻局部化分析特性以及多分辨率特性，是目前進(jìn)行圖像融合的主流方法。本文采用基于小波變換的圖像融合算法來(lái)進(jìn)行重疊圖像的融合處理。首先將圖像分解為低頻一系列的低頻背景輪廓信息和高頻的圖像細(xì)節(jié)信息，并且每一次分解都使圖像的分辨率降為原來(lái)的一半，接著應(yīng)用不同融合準(zhǔn)則在不同的特征域中進(jìn)行融合，進(jìn)而利用小波變換的逆變換算法構(gòu)造所有頻率上的圖像拼合成原分辨率下的全景圖像，融合效果良好而且具有很高的應(yīng)用價(jià)值。

2 實(shí)驗(yàn)

實(shí)驗(yàn)采用VS2012+OpenCV作為開發(fā)工具，基于單攝像頭的三維全景圖構(gòu)建系統(tǒng)主界面如圖1所示。打開攝像頭，連續(xù)采集多幅具有一定重疊區(qū)域的場(chǎng)景照片，圖片進(jìn)行去噪、截取等預(yù)處理，然后提取特征點(diǎn)、完成特征點(diǎn)的匹配，最后通過(guò)融合，獲得場(chǎng)景的三維全景圖。連續(xù)采集實(shí)驗(yàn)室場(chǎng)景的5幅圖像如圖2所示。由5幅圖像拼接、融合后的三維全景圖如圖3所示。

3 結(jié)論

本文主要介紹了基于單目的三維全景圖系統(tǒng)的構(gòu)建原理，通過(guò)實(shí)驗(yàn)驗(yàn)證了采用本文方法獲得的三維全景圖效果較好，可以滿足人們的視覺(jué)感受的需求。

參考文獻(xiàn)：

[1] 劉忠艷，房俊龍，田淑梅.廣義Morse小波在物體三維輪廓測(cè)量中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（23）：190-196，229.

[2] 韓松衛(wèi).運(yùn)用特征點(diǎn)匹配的圖像快速拼接算法研究[D].天津：河北工業(yè)大學(xué)，2011.

[3] 何昌鴻.基于FPGA的GigE高速圖像采集及處理系統(tǒng)的研究與應(yīng)用[D].撫州：東華理工大學(xué)，2019.

[4] 鄧敬宏，張粉層.720°全景技術(shù)在土地房產(chǎn)交易平臺(tái)的應(yīng)用[J].地理空間信息，2020，18（8）：110-113，8.

[5] 劉衍，張沫巖，陳睿昕，等.基于全景圖的城市街區(qū)太陽(yáng)日總輻射計(jì)算方法對(duì)比[J].建筑節(jié)能，2020，48（7）：53-57.

[6] 王殿偉，韓鵬飛，劉穎，等.低照度全景圖像增強(qiáng)處理研究進(jìn)展[J].西安郵電大學(xué)學(xué)報(bào)，2018，23（5）：48-53.

[7] 黃春鳳，劉守山，別治峰，等.改進(jìn)的SURF算法在圖像匹配中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2020，43（10）：111-115.

[8] 丁輝，李麗宏，原鋼.融合GMS與VCS+GC-RANSAC的圖像配準(zhǔn)算法[J].計(jì)算機(jī)應(yīng)用，2020，40（4）：1138-1143.

【通聯(lián)編輯：唐一東】