基于真實(shí)場(chǎng)景的全景顯示方法研究

章 盛， 李培華， 吉 濤， 劉玉莉， 季常剛， 周 萌

(中航華東光電有限公司， 安徽 蕪湖 241002 ；安徽省現(xiàn)代顯示技術(shù)重點(diǎn)實(shí)驗(yàn)室， 安徽 蕪湖 241002；國(guó)家特種顯示工程技術(shù)研究中心， 安徽 蕪湖 241002；特種顯示國(guó)家工程實(shí)驗(yàn)室， 安徽 蕪湖 241002)

全景顯示方法是近年來(lái)國(guó)內(nèi)外研究熱點(diǎn)，廣泛應(yīng)用于混合現(xiàn)實(shí)、航空航天與機(jī)器人等領(lǐng)域[1-3]。全景顯示方法按照流程分為三個(gè)階段:圖像配準(zhǔn)、圖像融合和全景瀏覽。在圖像配準(zhǔn)階段，1997年，S.M.Smith等人[4]提出SUSAN(Smallest Univalue Segment Assimilating Nucleus)算法，原理是使用含37個(gè)像素的圓形模板在圖像上逐像素點(diǎn)檢測(cè)，計(jì)算每個(gè)像素點(diǎn)的USAN(Univalue Segment Assimilating Nueleus)值，進(jìn)而判斷該像素點(diǎn)是不是特征點(diǎn)；1998年，Trajkovic等人[5]提出Trajkovic算法，是在SUSAN算法的基礎(chǔ)上改進(jìn)的算法，判斷特征點(diǎn)的依據(jù)是通過圓形模板中心的直線與圓形模板邊緣交叉的兩個(gè)像素點(diǎn)與模板中心像素點(diǎn)的灰度值變化程度；Edward Rosten等人[6-7]提出了FAST (Features from Accelerated Segment Test) 算法，是在Trajkovic算法的基礎(chǔ)上改進(jìn)的算法，與SUSAN算法、Trajkovic算法的區(qū)別是將圓形模板邊緣的連續(xù)16個(gè)像素與模板中心像素的灰度值變化程度作為判斷依據(jù)；為了解決上述圖像特征提取算法所存在的對(duì)尺度、光照和旋轉(zhuǎn)敏感的問題，David Lowe等人[8-9]提出了SIFT(Scale Invariant Feature Transform)算法，對(duì)尺度、光照和旋轉(zhuǎn)保持適應(yīng)性，但存在圖像配準(zhǔn)時(shí)間長(zhǎng)的問題；為了解決SIFT算法所存在的問題，2004年，Yan Ke等人[10]使用PCA (Principle Component Analysis)算法對(duì)圖像特征描述符參數(shù)進(jìn)行降維，降低了圖像特征配準(zhǔn)時(shí)間，得到PCA-SIFT算法；2006年，Herbert Bay等人[11]提出了SURF(Speed-Up Robust Features)算法，這種算法是在SIFT算法的基礎(chǔ)上提高了圖像配準(zhǔn)速度，同時(shí)對(duì)尺度、光照和旋轉(zhuǎn)保持適應(yīng)性。在圖像融合階段，國(guó)內(nèi)外常用的算法有直接平均算法、加權(quán)平均算法、多分辨率樣條算法與最佳縫合線算法[12]。在全景瀏覽階段，可以使用全景瀏覽框架進(jìn)行全景顯示[13]。全景顯示方法能夠?qū)崿F(xiàn)人機(jī)交互、指南針指示、縮略圖地形圖導(dǎo)航與背景音樂場(chǎng)景音樂的切換等功能。

ORB(oriented FAST and rotated BRIEF)算法[14]作為全景顯示方法的重要組成部分，在全景顯示方法中起到承上啟下的作用。本文針對(duì)傳統(tǒng)ORB算法存在圖像配準(zhǔn)準(zhǔn)確度不高的問題，提出使用雙向匹配算法進(jìn)行優(yōu)化，首先使用ORB算法提取配準(zhǔn)圖像的特征點(diǎn)，然后使用配準(zhǔn)圖像甲的特征點(diǎn)匹配配準(zhǔn)圖像乙的特征點(diǎn)，得到圖像匹配點(diǎn)對(duì)集合A，反之，得到圖像匹配點(diǎn)對(duì)集合B，最后比較圖像匹配點(diǎn)對(duì)集合A與圖像匹配點(diǎn)對(duì)集合B中的匹配點(diǎn)對(duì)，相同匹配點(diǎn)對(duì)為最終匹配點(diǎn)對(duì)。

為了滿足圖像配準(zhǔn)實(shí)時(shí)性要求，Rublee等人[14]在FAST算法與BRIEF(Binary Robust Independent Elementary Features)算法[15]基礎(chǔ)上提出ORB算法，該算法圖像配準(zhǔn)速度快，但圖像配準(zhǔn)準(zhǔn)確度不高，本文使用雙向匹配算法提高圖像配準(zhǔn)準(zhǔn)確度，即得到優(yōu)化ORB算法。

1 全景顯示方法

在全景瀏覽過程中，使用KRPano全景瀏覽框架對(duì)拼接圖像進(jìn)行處理[14]，實(shí)現(xiàn)全景瀏覽的基本功能，再使用XML語(yǔ)言實(shí)現(xiàn)全景瀏覽的輔助功能，如縮略圖導(dǎo)航、場(chǎng)景語(yǔ)音介紹等。全景顯示方法的實(shí)現(xiàn)流程框圖如圖1所示，其中圖像配準(zhǔn)、圖像融合與全景瀏覽共三個(gè)階段合并為全景顯示方法，其中圖像配準(zhǔn)與圖像融合兩個(gè)階段合并為圖像拼接方法。

圖1 全景顯示方法的實(shí)現(xiàn)流程框圖

1.1 傳統(tǒng)ORB算法

第一步，提取特征點(diǎn)。ORB算法判斷圖像特征點(diǎn)依據(jù)是圓形模板邊緣連續(xù)像素點(diǎn)與中心像素點(diǎn)的灰度值變化程度，本文ORB算法中使用FAST-9算法，即圓形模板的邊緣連續(xù)9個(gè)像素點(diǎn)與中心像素點(diǎn)作比較。

第二步，分配特征點(diǎn)方向參數(shù)。ORB算法使用灰度質(zhì)心算法分配特征點(diǎn)方向參數(shù)，灰度質(zhì)心算法假定特征點(diǎn)的灰度和質(zhì)心之間存在一個(gè)偏移向量，ORB算法使用該偏移向量表示特征點(diǎn)方向參數(shù)，鄰域矩定義式如(1)式所示：

(1)

其中m代表鄰域矩；I(x,y) 代表在(x,y)處的像素點(diǎn)灰度值；p,q∈(0,1)。

質(zhì)心定義式如(2)式所示：

(2)

其中C代表質(zhì)心；m10,m00,m01代表在(x,y)處的像素點(diǎn)鄰域矩。

特征點(diǎn)的灰度與質(zhì)心的夾角定義式如(3)式所示 ：

θ=arctan(m01,m10),

(3)

其中θ代表特征點(diǎn)的灰度與質(zhì)心的夾角。

第三步，生成特征點(diǎn)描述符參數(shù)。ORB算法使用BRIEF算法生成特征點(diǎn)描述符參數(shù)，首先把坐標(biāo)軸旋轉(zhuǎn)到特征點(diǎn)方向，在特征點(diǎn)的S×S大小的圖像鄰域P的準(zhǔn)則τ(P;x,y)如(4)式所示

(4)

其中P(x)代表平滑后的圖像鄰域P在x處的像素灰度值，P(y)代表平滑后的圖像鄰域P在y處的像素灰度值，本文S設(shè)定為8。

選取n對(duì)像素點(diǎn)進(jìn)行二值測(cè)試，BRIEF特征描述符為n維的二進(jìn)制比特串，定義式如

(5)

其中fn(P)代表n維的二進(jìn)制比特串，n可以為128、256、512等，選擇不同值需要在速度、存儲(chǔ)效率和識(shí)別率之間權(quán)衡，本文選擇256維的二進(jìn)制比特串。

第四步，特征點(diǎn)匹配。傳統(tǒng)ORB算法使用Hamming距離匹配算法進(jìn)行單向匹配。Hamming距離是一個(gè)概念，主要用于二進(jìn)制比較，表示針對(duì)相同長(zhǎng)度的數(shù)碼，不相同的對(duì)應(yīng)位數(shù)量。設(shè)置一個(gè)適當(dāng)?shù)拈撝蹬c漢明距離結(jié)果值進(jìn)行比較，篩選出正確的特征點(diǎn)匹配對(duì)。

1.2 優(yōu)化ORB算法

首先，假定參考圖像與待配準(zhǔn)圖像為一對(duì)配準(zhǔn)圖像，參考圖像中特征點(diǎn)集為U，待配準(zhǔn)圖像中特征點(diǎn)集為V，然后以特征點(diǎn)集U中特征點(diǎn)Ui為對(duì)象，使用公式(6)遍歷特征點(diǎn)集V中特征點(diǎn)，得到Ham的最小值與Ham的次最小值，即最近鄰特征點(diǎn)V1j和次最近鄰特征點(diǎn)V2j，如果Ham的最小值和Ham的次最小值滿足公式(7)，則特征點(diǎn)集U中特征點(diǎn)Ui的對(duì)應(yīng)匹配特征點(diǎn)為特征點(diǎn)集V中特征點(diǎn)V1j，遍歷特征點(diǎn)集U中所有特征點(diǎn)，得到匹配特征點(diǎn)對(duì)集合。

⊕yi,

(6)

其中xi,yi代表兩個(gè)描述符在第i位的比特值，⊕代表異或運(yùn)算,Ham代表兩個(gè)描述符的Hamming距離，Ham值越小，表示兩個(gè)特征點(diǎn)相似度就越高。

(7)

其中Ham(Ui,V1j)、Ham(Ui,V2j)分別代表特征點(diǎn)集U中特征點(diǎn)Ui與特征點(diǎn)集V中最近鄰特征點(diǎn)V1j、次最近鄰特征點(diǎn)V2j的Hamming距離值，Tn代表設(shè)定的閾值，本文設(shè)定為0.8。

1.3 基于優(yōu)化ORB算法的全景顯示方法

本文首先使用優(yōu)化ORB算法進(jìn)行圖像配準(zhǔn)，再使用最佳縫合線算法進(jìn)行圖像融合，在進(jìn)行圖像融合前需要對(duì)原始圖像進(jìn)行扭曲與估計(jì)補(bǔ)償曝光誤差，經(jīng)過圖像配準(zhǔn)和圖像融合處理后得到拼接圖像，將拼接圖像作為KRPano全景瀏覽框架的輸入素材，得到全景顯示方法的基本框架模型?；究蚣苣Ｐ蛯?shí)現(xiàn)全景瀏覽的基本功能，主要包括場(chǎng)景信息，如視圖、預(yù)覽圖與場(chǎng)景圖像的設(shè)置。除了基本功能外，通過XML語(yǔ)言實(shí)現(xiàn)全景瀏覽的輔助功能，如背景音樂、場(chǎng)景音樂與地圖導(dǎo)航功能。

2 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)編程軟件為Visual Studio 2008與OpenCV2.4.8，計(jì)算機(jī)使用Intel Core i3-3240 CPU @ 3.40 GHz 四核，內(nèi)存為4 GB，操作系統(tǒng)為32位Windows 7。

本文使用Tsukuba大學(xué)立體視覺數(shù)據(jù)庫(kù)中Tsukuba圖像與Normal Brain Database中的MR_T1腦部醫(yī)學(xué)圖像作為實(shí)驗(yàn)一圖像，其中圖2 (a)—(b)是Tsukuba大學(xué)立體視覺數(shù)據(jù)庫(kù)中發(fā)生水平位移的Tsukuba圖像，大小為384×288像素，圖2 (c)—(d)是Normal Brain Database中發(fā)生形變的MR_T1腦部醫(yī)學(xué)圖像，大小為250×190像素。

使用傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、傳統(tǒng)ORB算法與優(yōu)化ORB算法對(duì)實(shí)驗(yàn)一圖像進(jìn)行圖像配準(zhǔn)，得到的圖像配準(zhǔn)結(jié)果如圖3所示。同時(shí)為了能夠明確傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、傳統(tǒng)ORB算法與優(yōu)化ORB算法之間的效率，選擇配準(zhǔn)圖像的特征點(diǎn)數(shù)、特征點(diǎn)匹配對(duì)數(shù)、特征點(diǎn)正確匹配對(duì)數(shù)、配準(zhǔn)準(zhǔn)確率、配準(zhǔn)時(shí)間與配準(zhǔn)時(shí)間下降率作為評(píng)判標(biāo)準(zhǔn)，其中配準(zhǔn)正確率和配準(zhǔn)時(shí)間下降率的計(jì)算公式如(8)、(9)所示

(8)

(9)

(a) Tsukuba左圖像 (b) Tsukuba右圖像 (c) MR_T1左圖像 (d) MR_T1右圖像

圖3 圖像配準(zhǔn)結(jié)果圖

圖像配準(zhǔn)定量分析圖如圖4所示。通過圖4(b)可知，優(yōu)化ORB算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法比較，圖像配準(zhǔn)準(zhǔn)確率相當(dāng)；與傳統(tǒng)ORB算法比較，優(yōu)化ORB算法使用了雙向匹配算法進(jìn)行圖像匹配，圖像配準(zhǔn)準(zhǔn)確率提高了9.67%；通過圖4(d)可知，優(yōu)化ORB算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法比較，優(yōu)化ORB算法使用了FAST算法提取圖像特征點(diǎn)，圖像配準(zhǔn)時(shí)間降低70.40%、41.52%；與傳統(tǒng)ORB算法比較，圖像配準(zhǔn)時(shí)間相當(dāng)。

圖4 圖像配準(zhǔn)定量分析圖

為了驗(yàn)證優(yōu)化ORB算法的運(yùn)行速度，從一個(gè)包含400對(duì)圖像集合中，分別選取100、200、300、400對(duì)圖像作為實(shí)驗(yàn)子集合，對(duì)傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、傳統(tǒng)ORB算法與優(yōu)化ORB算法的圖像配準(zhǔn)運(yùn)行時(shí)間、圖像配準(zhǔn)準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，結(jié)果如表1所示。通過表中可知，優(yōu)化ORB算法與傳統(tǒng)ORB算法相比，圖像配準(zhǔn)時(shí)間相當(dāng)，圖像配準(zhǔn)準(zhǔn)確率提高了11.98%；優(yōu)化ORB算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法相比，圖像配準(zhǔn)準(zhǔn)確率相當(dāng)，圖像配準(zhǔn)時(shí)間下降了68.05%、48.10%。

表1 不同規(guī)模圖像集合的運(yùn)行時(shí)間、準(zhǔn)確率比較

實(shí)驗(yàn)二以中航華東光電有限公司園區(qū)與安徽工程大學(xué)校園場(chǎng)景為對(duì)象，選擇中航華東光電有限公司大門、中航華東光電有限公司標(biāo)志建筑物、安徽工程大學(xué)東門、安徽工程大學(xué)東圖書館為驗(yàn)證場(chǎng)景點(diǎn)。針對(duì)驗(yàn)證場(chǎng)景點(diǎn)圖像，首先使用優(yōu)化ORB算法進(jìn)行圖像配準(zhǔn)，再使用最佳縫合線算法進(jìn)行圖像融合，最終得到全景拼接結(jié)果二維顯示圖(如圖5)；針對(duì)全景拼接結(jié)果圖，使用KRPano基本框架和XML語(yǔ)言進(jìn)行全景顯示，三維空間顯示如圖6所示。此三維空間全景真實(shí)場(chǎng)景彌補(bǔ)了全景接拼圖的不足，更加隨意瀏覽不同角度場(chǎng)景。

(a) 中航華東光電大門 (b) 中航華東光電標(biāo)志建筑物 (c) 安徽工程大學(xué)東門 (d) 安徽工程大學(xué)東圖書館

(a) 中航華東光電大門 (b) 中航華東光電標(biāo)志建筑物 (c) 安徽工程大學(xué)東門 (d) 安徽工程大學(xué)東圖書館

3 結(jié) 論

ORB算法作為全景顯示方法中最重要的部分，本文使用雙向配準(zhǔn)算法對(duì)其進(jìn)行優(yōu)化，得到優(yōu)化ORB算法。通過將優(yōu)化ORB算法與傳統(tǒng)SIFT算法、傳統(tǒng)SURF算法、傳統(tǒng)ORB算法作對(duì)比實(shí)驗(yàn)，驗(yàn)證了該算法的普遍適應(yīng)性。經(jīng)過實(shí)例驗(yàn)證了優(yōu)化后全景顯示方法的實(shí)用性。

[ 參 考 文 獻(xiàn) ]

[1] 黃進(jìn),韓冬奇,陳毅能,等.混合現(xiàn)實(shí)中的人機(jī)交互綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(6):869-880.

[2] 周忠,周頤,肖江劍,等.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國(guó)科學(xué):信息科學(xué),2015,45(2):157-180.

[3] 顏云輝,徐靖,陸志國(guó),等.仿人服務(wù)機(jī)器人發(fā)展與研究現(xiàn)狀[J].機(jī)器人,2017,39(4):551-564.

[4] SMITH S M,BRADY J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of Computer Vision,1997,23(1):45-78.

[5] TRAJKOVIC M,HEDLEY M.Fast Corner Detection[J].Image and Vision Computing.1998,16:75-87.

[6] ROSTEN E,PORTER R,DRUMMOND T.Faster and better: a machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,32(1):105-119.

[7] ROSTEN E,DRUMMOND T.Machine Learning for High-Speed Corner Detection[C]//European Conference on Computer Vision.Springer-Verlag,2006:430-443.

[8] LOWE D G.Object Recognition from Local Scale-invariant Features[C]//iccv.IEEE Computer Society,1999:1150.

[9] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[10] KE Y,SUKTHANKAR R.PCA-SIFT:A More Distinctive Representation for Local Image Descriptors[C]//IEEE Computer Society,2004:506-513.

[11] BAY H,TUYTELAARS T,GOOL L V.SURF:Speeded Up Robust Features[C]//Proceedings of the European Conference on Computer Vision,2006:404-417.

[12] EFROS A A,FREEMAN W T.Image Quilting for Texture Synthesis and Transfer[C]//Conference on Computer Graphics and Interactive Techniques.ACM,2001:341-346.

[13] 章盛.圖像拼接算法的優(yōu)化及漫游系統(tǒng)的研究[D].蕪湖:安徽工程大學(xué)，2016.

[14] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:An Efficient Alternative to SIFT or SURF[J].Proc of Iccv,2011,58(11):2564-2571.

[15] CALONDER M,LEPETIT V,STRECHA C,et al.BRIEF:Binary Robust Independent Elementary Features[C]//European Conference on Computer Vision.2010:778-792.