基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接

李 文，李小艷

(仰恩大學(xué))

基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接

李 文，李小艷

(仰恩大學(xué))

針對(duì)多視角圖像拼接方法中存在的實(shí)時(shí)性較差，以及拍攝圖像是存在運(yùn)動(dòng)物體產(chǎn)生的拼接裂縫和“GHOST”現(xiàn)象，提出基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接.通過(guò)對(duì)ORB算法的改進(jìn)使得圖像的特征點(diǎn)提取和匹配有更高的實(shí)時(shí)性和穩(wěn)定性，且通過(guò)采用較低復(fù)雜度的動(dòng)態(tài)規(guī)劃算法找到最佳縫合線，最后對(duì)拼接后的圖像通過(guò)泊松融合進(jìn)行平滑處理，從而對(duì)多視角圖像中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

ORB算法；多視角拼接；動(dòng)態(tài)規(guī)劃算法；泊松融合

0 引言

多視角圖像通過(guò)拼接可以展現(xiàn)更加生動(dòng)和豐富的信息，且圖像拼接的技術(shù)的好壞將直接影響用戶的體驗(yàn)感.圖像配準(zhǔn)和圖像融合是圖像拼接的兩個(gè)關(guān)鍵技術(shù)，目前現(xiàn)有的特征點(diǎn)提取和匹配算法中SIFT[1](Scale Invariant Feature Transform)、SURF[2](Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等算法隨著精度依次遞減而速度在增加[3]，在對(duì)拼接后的圖像進(jìn)行處理時(shí)，若通過(guò)梯度差和色彩強(qiáng)度差構(gòu)建縫合線準(zhǔn)則式，運(yùn)用Dijkstra算法尋找縫合線并對(duì)圖像的曝光差異進(jìn)行補(bǔ)償，并在融合時(shí)使用多分辨率樣條算法[4]，但Dijkstra算法相對(duì)復(fù)雜且多分辨率樣條會(huì)使合成后的圖像噪聲較大.

為解決上述問(wèn)題，提出基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接，提高了特征點(diǎn)提取和匹配的速度且特征點(diǎn)分布均勻，從而滿足了多視角圖像拼接的實(shí)時(shí)性和穩(wěn)定性，在尋找最佳縫合線時(shí)使用復(fù)雜度相對(duì)較低的動(dòng)態(tài)規(guī)劃算法，最后采用泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理.

1 ORB算法

2011年Rublee等人在ICCV上提出了ORB[5]算法，該算法對(duì)ORB算子加入了FAST[6](Features from Accelerated Segment Test)特征的方向信息的同時(shí)，使用FAST算法對(duì)特征點(diǎn)進(jìn)行檢測(cè)，在特征點(diǎn)描述時(shí)利用BRIEF[7](Binary Robust Independent Elementary Features)算法，ORB算法還改進(jìn)了BRIEF不具備旋轉(zhuǎn)不變性和對(duì)圖像噪聲敏感的缺點(diǎn).ORB特征提取可以分為兩部分：(1)具有方向的FAST算子檢測(cè)；(2)具有旋轉(zhuǎn)不變性的BRIEF算子描述.

1.1算子檢測(cè)

使用分割檢測(cè)判據(jù)進(jìn)行FAST特征點(diǎn)檢測(cè)，在以像素點(diǎn)p為中心，如果半徑為r的圓周上存在聯(lián)系的n個(gè)像素Ik(其中k=1,2,…,n)，通過(guò)下式可判斷像素點(diǎn)p是否為角點(diǎn)：

其中Ik為任意一個(gè)像素點(diǎn)的灰度值；像素點(diǎn)p的灰度值為Ip，t是已知的一個(gè)很小的閾值，若CRF=1的個(gè)數(shù)多于一個(gè)給定的閾值t′，將該點(diǎn)視為候選點(diǎn)，通常t′=12.如圖1所示.

圖1 FAST特征點(diǎn)檢測(cè)

通過(guò)建立圖像金字塔引入尺度特性，并通過(guò)灰度質(zhì)心法[8]去除頂特征點(diǎn)的方向，使FAST興趣點(diǎn)具有方向并依據(jù)此方向來(lái)提取BRIEF算子.

1.2生成具有旋轉(zhuǎn)不變的算子

ORB算法的算子使用對(duì)BRIEF算子添加了旋轉(zhuǎn)不變性的rBRIEF.BRIEF算法首先在提取的特征點(diǎn)附近隨機(jī)選取若干點(diǎn)對(duì)組成圖像塊，然后將這些圖像塊二值化處理后形成一個(gè)二進(jìn)制串作為該特征點(diǎn)的特征算子.將隨機(jī)選取的兩個(gè)二進(jìn)制點(diǎn)做比較得到BRIEF算子的一位.定義經(jīng)過(guò)高斯核平滑處理的圖像塊p的二進(jìn)制比較準(zhǔn)則τ為：

其中，圖像塊p在像素點(diǎn)x=(u,v)和y處的灰度值分別為p(x)和p(y)，選擇n個(gè)(x,y)像素位置對(duì)，就可以得到BRIEF的n為二進(jìn)制比特串：

其中，n可以為128，256，512等.

BRIEF算子主要通過(guò)對(duì)圖像的微分符號(hào)進(jìn)行編碼，即BRIEF算子進(jìn)行二進(jìn)制編碼是通過(guò)比較圖像中相應(yīng)位置的強(qiáng)度大小.因此，該算子對(duì)光照具有較好的魯棒性，但是對(duì)旋轉(zhuǎn)和噪聲較敏感，為解決ORB算法對(duì)噪聲的敏感問(wèn)題，利用高斯濾波器(Gaussian Filter)對(duì)圖像進(jìn)行預(yù)處理，從BRIEF算子的運(yùn)算速度和魯棒性的角度出發(fā)，將高斯核方差取值為2.離散核窗口尺寸使用由每個(gè)小塊(5×5像素)構(gòu)成的圖像塊對(duì)(31×31像素)，通過(guò)對(duì)比小塊圖像的像素值之和，同時(shí)ORB算法給出兩種方法來(lái)解決BRIEF算子不具有旋轉(zhuǎn)不變的缺點(diǎn)：

(1) 通過(guò)控制FAST特征點(diǎn)的方向使得BRIEF算子對(duì)旋轉(zhuǎn)變化保持不變性，對(duì)于任意特征點(diǎn)序列來(lái)說(shuō)，在(xi,yi)像素位置的n個(gè)二進(jìn)制為準(zhǔn)則，定義一個(gè)2×n的矩陣S：

使用關(guān)鍵點(diǎn)及周圍鄰域構(gòu)成的5×5像素圖像小塊的方向θ和對(duì)應(yīng)的旋轉(zhuǎn)矩陣，建立Sθ∶Sθ=RθS.此時(shí)受控制的BRIEF算子變?yōu)?/p>

gn(p,θ)=fn(p)|(xi,yi)∈Sθ.

(2) 通過(guò)使用貪婪窮舉算法找到相關(guān)性較低的隨機(jī)點(diǎn)對(duì)使得BRIEF算子對(duì)旋轉(zhuǎn)變化保持不變性，即通過(guò)貪婪窮舉的搜索方法找到相關(guān)系數(shù)接近0.5的圖像點(diǎn)對(duì).

(a)較高相關(guān)性的隨機(jī)點(diǎn)對(duì)(b)較低相關(guān)性的隨機(jī)點(diǎn)對(duì)圖2 貪婪窮舉算法尋找隨機(jī)點(diǎn)對(duì)

如圖2所示，圖2(a)表示為BRIEF特征引入主方向后，隨著特征點(diǎn)主方向的不斷變換使得隨機(jī)點(diǎn)對(duì)的相關(guān)性變大，圖2(b)為采用貪婪窮舉算法后使得特征點(diǎn)相關(guān)性降低的結(jié)果，其右邊的彩條為特征點(diǎn)在每次測(cè)試中的相關(guān)性，顏色越淺相關(guān)性越高，黑色相關(guān)性最低.

Michael等人[9]提供了5種在S×S像素大小的圖像塊上產(chǎn)生n個(gè)(xi,yi)位置對(duì)的采樣方案，而ORB算法選擇使用xi，yi都呈Gauss分布(0,1/25s2)的采樣準(zhǔn)則，該準(zhǔn)則具有不同方向性能一致的同一Gauss分布的特點(diǎn).

2 基于改進(jìn)ORB算法的多視角圖像拼接

2.1 ORB算法的改進(jìn)

由于ORB算法特征點(diǎn)的提取和匹配精度相比SIFT、SURF等算法較低，且FAST檢測(cè)出的特征點(diǎn)不含有尺度不變信息，導(dǎo)致ORB算法不具備尺度不變性，使得即使引進(jìn)FAST特征點(diǎn)的方向使其具有旋轉(zhuǎn)不變性，但其仍不具有尺度不變性.而SIFT算法使用多尺度空間理論提取穩(wěn)定特征點(diǎn)，以及后續(xù)的特征點(diǎn)描述及匹配，使得該算法具有較好的尺度不變性，而這正是解決ORB算法不具有尺度不變性所需要的.同時(shí)在特征點(diǎn)提取期間，對(duì)特征分布和特征點(diǎn)數(shù)目進(jìn)行改進(jìn).使用SIFT算法求出特征點(diǎn)和其質(zhì)心方向后，用ORB算子描述特征點(diǎn)，最后生成具有旋轉(zhuǎn)不變性和尺度不變性的算子并進(jìn)行匹配，并在該過(guò)程中對(duì)特征點(diǎn)數(shù)目和特征分布進(jìn)行改進(jìn)，這樣既使原始ORB算法具備尺度不變性，又保留了其旋轉(zhuǎn)不變性和計(jì)算速度快速的特點(diǎn).具體步驟如下：(1)借鑒SIFT算法的思想，建立尺度空間并求出極值點(diǎn)；(2)為解決ORB算法不具備尺度不變性的缺點(diǎn)，去除主曲率大于8和對(duì)比度較低的極值點(diǎn)；(3)在求出特征點(diǎn)質(zhì)心方向后求取ORB算子；(4)在特征點(diǎn)提取期間對(duì)特征點(diǎn)數(shù)目和特征分布進(jìn)行改進(jìn).

(1)極值點(diǎn)檢測(cè)

Lindeberg等人已經(jīng)證明[10]，某些受限制的條件下，Gauss函數(shù)是唯一尺度空間的核平滑函數(shù).將圖像F(x,y)的尺度定義為函數(shù)

L(x,y,σ)，其中σ為尺度因子，其由圖像F(x,y)與Gauss函數(shù)G(x,y,σ)卷積后得到

L(x,y,σ)=G(x,y,σ)F(x,y)

為了在尺度空間中得到穩(wěn)定的特征點(diǎn)，在圖像卷積得到的空間D(x,y,σ)與Gauss差分函數(shù)中尋找極值點(diǎn)，將其局部極值點(diǎn)視為尺度空間的候選特征點(diǎn).

D(x,y,σ)=[G(x,y,kσ)-

G(x,y,σ)]F(x,y)=L(x,y,kσ)-L(x,y,σ)

上式中，常數(shù)k分開(kāi)相鄰的兩個(gè)尺度.

(2)穩(wěn)定的特征點(diǎn)的提取

在完成極值點(diǎn)的檢測(cè)后，需去除一些不穩(wěn)定的極值點(diǎn)，使得在進(jìn)行特征點(diǎn)匹配時(shí)精確度和穩(wěn)定性更好，使用3維的2次函數(shù)求在某個(gè)尺度上求得的極值點(diǎn)在原圖像上的位置，并且將低對(duì)比度的極值點(diǎn)去除掉.首先在某極值點(diǎn)處對(duì)

D(x,y,σ)進(jìn)行泰勒展開(kāi)有：

(1)

(2)

將式(2)帶入式(1)中有：

設(shè)H最大、最小特征值分別為α和β，則有

上式可知極值點(diǎn)D的主曲率與H的特征值對(duì)應(yīng)成比例，則只需關(guān)心α/β的值，設(shè)γ=α/β且可知

上式的結(jié)果與具體特征值無(wú)關(guān)與其值之間的比例有關(guān)，其中隨著γ的增加(r+1)2/r也增加.則通過(guò)下式來(lái)檢查主曲率的比值是否小于某一閾值γ:

杜京義等人指出閾值γ=8[11]，即認(rèn)為主曲率比值不大于8的極值點(diǎn)保留，其他極值點(diǎn)被去除.

2.2最佳縫合線的尋找

在特征點(diǎn)提取和匹配之后，可知兩幀圖像間的交疊區(qū)域并搜索最佳縫合線，若進(jìn)行拼接可能會(huì)因?yàn)楣饩€和移動(dòng)等原因使得圖像模糊，造成“GHOST”現(xiàn)象的出現(xiàn)，使得多視角圖像拼接的效果較差.與傳統(tǒng)運(yùn)用運(yùn)動(dòng)估計(jì)方法實(shí)現(xiàn)運(yùn)動(dòng)物體跟蹤的方法不同[12].該文在拼接時(shí)通過(guò)找出一條最佳縫合線，并在該線的兩邊取一幀圖像的內(nèi)容填充，來(lái)抑制“GHOST”現(xiàn)象發(fā)生.

動(dòng)態(tài)規(guī)劃算法是一種基于Bellman最優(yōu)化原理，處理決策問(wèn)題的優(yōu)化算法：一個(gè)最優(yōu)策略的子策略，對(duì)于它的初態(tài)和終態(tài)而言也必是最優(yōu)的.如圖3所示，最佳路線NM上有一點(diǎn)P，則PM也是最佳路線.

圖3 最佳縫合線

在運(yùn)用動(dòng)態(tài)規(guī)劃算法時(shí)，假設(shè)共有n階段，則ri(Si,Xi)為第i階段決策的數(shù)量指標(biāo)，i階段起點(diǎn)是St，i階段終點(diǎn)和i+1階段的起點(diǎn)為Xi，則動(dòng)態(tài)規(guī)劃就是求解值E

E=opt[r1(S1,X1)*…*rn(Sn,Xn)]

其中，“*”為運(yùn)算符號(hào)，opt為max或min.在求解最短路徑時(shí)，為了使各階段相加和最小，opt取min，“*”取“+”.借鑒動(dòng)態(tài)規(guī)劃的思想，將上式作為求解策略指標(biāo)值的準(zhǔn)則式.首先從重疊區(qū)域的第一行出發(fā)，然后在該行上建立以每一個(gè)像素為起點(diǎn)的縫合線，最終找出最佳縫合線.具體步驟為：(1)初始化；(2)向下擴(kuò)展計(jì)算過(guò)縫合線強(qiáng)度的一行，到最后一行為止；(3)從所得的所有縫合線的集合中選取強(qiáng)度值最小的為最佳縫合線.

2.3圖像融合

圖像融合就是將配準(zhǔn)后的圖像根據(jù)對(duì)準(zhǔn)位置進(jìn)行合并，并消除色彩的不連續(xù)性和噪聲對(duì)圖像的影響.常用的融合方法[13]有：(1)多分辨樣條法；(2)加權(quán)平均法；(3)泊松融合法.多分辨率樣條法由于涉及到高斯塔和拉普拉斯塔的構(gòu)造問(wèn)題，它是一種顏色融合方法，其具有計(jì)算量大、費(fèi)時(shí)等缺點(diǎn).加權(quán)平均法較簡(jiǎn)單，但易造成明顯的拼接縫.泊松融合在選擇融合區(qū)域時(shí)簡(jiǎn)單且方便，融合以源圖像塊內(nèi)的梯度場(chǎng)作為指導(dǎo)，將融合邊界上源圖像和目標(biāo)圖像的差異平滑的擴(kuò)散到融合圖像塊中，使得融合后的圖像塊融入到目標(biāo)圖像中時(shí)達(dá)到無(wú)縫的效果，且其色調(diào)和光照與目標(biāo)圖像保持一致.因此，該文采用泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理.

3 實(shí)驗(yàn)結(jié)果與分析

該文的具體實(shí)驗(yàn)架構(gòu)見(jiàn)表1.

表1 實(shí)驗(yàn)平臺(tái)

通過(guò)相機(jī)拍攝多視角圖像，在一臺(tái)裝有Windows7操作系統(tǒng)的PC機(jī)上，通過(guò)VisualStudio 2013和OpenCV2.4.10包進(jìn)行仿真實(shí)驗(yàn).

(1) 圖像采用拍攝的兩幅多視角圖像進(jìn)行實(shí)驗(yàn)，進(jìn)行實(shí)驗(yàn)圖像的像素為480*320px，具體實(shí)驗(yàn)結(jié)果如圖4所示，其中改進(jìn)ORB特征檢測(cè)算法特征檢測(cè)以及拼接后的圖像分別為圖4(c)以及圖4(g)，可見(jiàn)基于改進(jìn)ORB算法的多視角圖像拼接效果良好.

(a) 原始圖像

圖4 多視角圖像拼接實(shí)驗(yàn)結(jié)果

(2)實(shí)驗(yàn)證明改進(jìn)ORB算法在提取特征點(diǎn)時(shí)誤差較低，兩個(gè)特征點(diǎn)最大間距和最小間距間該算法雖運(yùn)行時(shí)間有小幅度提高，但ORB算子的分布較均勻.提取特征點(diǎn)間的誤差比較見(jiàn)表2.

表2 各算法提取特征點(diǎn)誤差比較

其中，RMSE為已知特征點(diǎn)坐標(biāo)與檢測(cè)出的特征點(diǎn)坐標(biāo)間的整體均方根誤差，X與Y向的均方根誤差分別為RMSEx與RMSEy兩個(gè)特征點(diǎn)的最大間距和最小間距比較見(jiàn)表3，可見(jiàn)ORB算法相比其他算法最大和最小間距的差距較小，且算法的運(yùn)行時(shí)間相比ORB算法幾乎一致.

表3 特征點(diǎn)間最大和最小間距比較

實(shí)驗(yàn)結(jié)果表明，該文對(duì)ORB特征檢測(cè)算法的改進(jìn)具有較高的速度和精度，并通過(guò)動(dòng)態(tài)規(guī)劃算法尋求最佳縫合線和泊松融合算法對(duì)拼接后的圖像進(jìn)行平滑處理，有效的抑制了拼接裂縫和“GHOST”現(xiàn)象.

4 結(jié)論及展望

隨著“全景視頻”、“虛擬現(xiàn)實(shí)”等技術(shù)領(lǐng)域成為熱議的話題，多視角圖像拼接也成為人們關(guān)注的重點(diǎn)，多視角圖像拼接的效果直接決定了產(chǎn)品的質(zhì)量.仿真實(shí)驗(yàn)結(jié)果表明，該文提出基于改進(jìn)ORB特征檢測(cè)的多視角圖像拼接方法，首先通過(guò)對(duì)ORB特征檢測(cè)算法的改進(jìn)，然后通過(guò)動(dòng)態(tài)規(guī)劃算法尋找最佳縫合線，最后運(yùn)用泊松融合對(duì)拼接后的圖像進(jìn)行平滑處理的方法，有效的解決了圖像拼接過(guò)程中存在的拼接速度以及存在的拼接裂縫和“GHOST”現(xiàn)象等問(wèn)題.

[1] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors [C].Proceedings of the 2004 IEEE Computer Society Cinference on Computer Vision and Pattern Recognition.2004:506-513.

[2] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features [C].European Conference on Computer Vision.2006:404-417.

[3] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測(cè)繪,2014(4):22-26.

[4] ALEC MILLS，GREGORY DUDEK.Image stitching with dynamic elements [J].Image and Vision Computing,2009,27(10):1593-1602.

[5] Rub lee E，Rabaud V，Konolige K，et al.ORB:an efficient alternative to SIFT or SURF[C].In International Conference of Computer Vision(ICCV),2011:2564-2571.

[6] Rosten E,Drummond T.Machine learning for highspeed corner detection[C].In European Conference on Computer Vision,2006:430-443.

[7] Calonder M，Lepetit V，Strecha C，et al.Brief:Binary robust ipendent elementary features[C].In European Conference on Computer Vision,2010:778-792.

[8] Rosin P L.Measuring corner properties[J].Computer Vision and Image Understanding,1999,73(2):291-307.

[9] Calonder' V,Lepetit M,Strecha C,et al.Brief:Binary robust independent elementary features[C].In European Conference on Computer Vision,2010:778-792.

[10] lindeberg T.Feature detection with automatic scale selection.International Journal of Computer Vision,1998,30(2):79-116.

[11] 杜京義,胡益民,劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實(shí)現(xiàn).光電工程,2013，40(08):52-58.

[12] PETER M，CHARLES V S，DAVID E T.Robust computer vision:an interdisciplinary challenge[J].Computer Vision and Image Understanding,2000(78):1-7.

[13] 黃立勤,陳財(cái)金.全景圖拼接中圖像融合算法的研究[J].電子與信息學(xué)報(bào),2014,36(6):1292-1298.

Abstract:For the poor real-time multi perspective image mosaic method,and image mosaic is the existence of cracks of moving objects and the "GHOST" phenomenon,a multiple view mosaic image feature detection is proposed based on improved ORB in this paper.Through the improvement of the ORB algorithm makes the image feature extraction and matching accuracy and higher real-time performance,and by using the dynamic programming algorithm with low complexity to find the best suture line,the stitched image fusion are treated by the Poisson smoothing,which have a good inhibitory effect on splicing cracks multi view images and the phenomenon of “GHOST”.

Keywords:ORB algorithm; Multi view stitching; Dynamic programming algorithm; Poisson Fusion

(責(zé)任編輯：李家云)

MultiViewImageMosaicBasedonImprovedORBFeatureDetection

Li Wen,Li Xiaoyan

(YangEn University)

TP391.9

A

1000-5617(2017)02-0091-06

2016-11-15