自適應(yīng)運(yùn)動(dòng)結(jié)構(gòu)特征的車(chē)載全景序列影像匹配方法

張正鵬，江萬(wàn)壽，張 靖

1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新123000；2.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢430079

1 引 言

車(chē)載全景影像的匹配是研究由移動(dòng)測(cè)量車(chē)獲取，具有高重疊度全景序列影像間識(shí)別同名點(diǎn)的方法，其成果主要應(yīng)用于街景目標(biāo)識(shí)別與三維重建［1－2］。目前主要方法為基于相關(guān)法（或光流跟蹤）的灰度匹配［3－4］和核線約束的特征匹配［1－2，5－6］。由于車(chē)載全景影像具有寬視域和街景地物復(fù)雜等特性，對(duì)于全景影像的匹配主要存在以下問(wèn)題：①建筑物等重復(fù)性紋理；②序列影像間的同名點(diǎn)存在光照、旋轉(zhuǎn)和尺度等變化特性；③360°的全景地物之間匹配方向的復(fù)雜性；④靜態(tài)和動(dòng)態(tài)地物共存，在道路中間或兩側(cè)產(chǎn)生“移動(dòng)噪聲”。因此采用灰度匹配法很難解決上述問(wèn)題，如受重復(fù)性紋理影響，灰度匹配方法的誤匹配率很高。雖然特征匹配具有光照、旋轉(zhuǎn)和尺度等不變特性，結(jié)合核線幾何的約束算法具有一定的穩(wěn)鍵性，但仍存在全景核線幾何模型無(wú)法準(zhǔn)確估計(jì)問(wèn)題［7］。

為了提高車(chē)載全景特征匹配的穩(wěn)鍵性，文獻(xiàn)［8］提出了一種光流聚類(lèi)的特征匹配方法，認(rèn)為穩(wěn)定的特征匹配點(diǎn)，其一定領(lǐng)域范圍內(nèi)的特征點(diǎn)也同樣具有相關(guān)性的特征，而這種相關(guān)性在全景序列影像中表現(xiàn)為局部運(yùn)動(dòng)結(jié)構(gòu)特征的一致性。在此假設(shè)的基礎(chǔ)上，利用特征空間中對(duì)應(yīng)的顯著圖像光流特征為聚類(lèi)條件，采用非參數(shù)化的均值漂移算法求解局部運(yùn)動(dòng)一致性的特征點(diǎn)，分SIFT初匹配和光流聚類(lèi)約束匹配兩步實(shí)現(xiàn)車(chē)載立方體全景序列影像的匹配。但由于核密度估計(jì)中的帶寬參數(shù)是一個(gè)固定的經(jīng)驗(yàn)值，很難適應(yīng)不同場(chǎng)景間的運(yùn)動(dòng)結(jié)構(gòu)在尺度和方向上的變化，影響聚類(lèi)匹配的準(zhǔn)確性。核密度函數(shù)的自適應(yīng)帶寬研究，多應(yīng)用于圖像分割和視頻跟蹤領(lǐng)域，主要方法有基于全局統(tǒng)計(jì)和基于局部統(tǒng)計(jì)的自適應(yīng)帶寬法［9－13］。由于采樣點(diǎn)包含多種模態(tài)時(shí)，一般很難計(jì)算出全局最優(yōu)帶寬，因此目前主要采用局部自適應(yīng)帶寬計(jì)算方法。如文獻(xiàn)［14］統(tǒng)計(jì)一系列固定帶寬中局部模型最穩(wěn)定的均值和協(xié)方差參數(shù)，取均值漂移向量模值為最大值時(shí)的最小二乘協(xié)方差解為最優(yōu)自適應(yīng)帶寬，但該方法必須知道尺度的取值范圍，且增加了計(jì)算復(fù)雜度。理想的帶寬域作用范圍應(yīng)該是正好包括同一類(lèi)的樣本點(diǎn)，但在實(shí)際應(yīng)用中往往簡(jiǎn)化該過(guò)程，如圖像分割應(yīng)用中，文獻(xiàn)［15］認(rèn)為局部自適應(yīng)帶寬反比于局部密度估計(jì)的平方根。文獻(xiàn)［16］定義一個(gè)鄰域，采用相關(guān)性找到最佳鄰域點(diǎn)，將其距離定義為該點(diǎn)的帶寬。文獻(xiàn)［17］提出了醫(yī)學(xué)圖像分割的局部自適應(yīng)帶寬等于k個(gè)近鄰采樣點(diǎn)與樣本點(diǎn)特征向量差的一階范數(shù)。視頻跟蹤應(yīng)用中，文獻(xiàn)［18］提出通過(guò)增加一個(gè)額外的尺度核，在定義的離散尺度空間中進(jìn)行均值漂移迭代，從而找到最佳的核帶寬。文獻(xiàn)［19］采用正負(fù)10%的增量分別對(duì)核帶寬進(jìn)行修正，取3次跟蹤結(jié)果中最佳相似度量的帶寬為最佳值，但該方法經(jīng)常會(huì)在較小的跟蹤窗口中達(dá)到局部最大。

綜上，局部密度估計(jì)每個(gè)采樣點(diǎn)相對(duì)于樣本點(diǎn)的帶寬，計(jì)算方法復(fù)雜［14－17］，帶寬增量法無(wú)法準(zhǔn)確估計(jì)每個(gè)采樣點(diǎn)的帶寬大小，但計(jì)算效率高［18－19］。本文匹配方法中的自適應(yīng)帶寬計(jì)算，綜合考慮以上兩種方法的優(yōu)點(diǎn)，主要貢獻(xiàn)如下：①建立一種基于SIFT描述特征和運(yùn)動(dòng)結(jié)構(gòu)特征的統(tǒng)一匹配框架，利用均值漂移算法求解最優(yōu)匹配點(diǎn)的運(yùn)動(dòng)結(jié)構(gòu)；②分析球全景影像空間域和光流域的相似性分布特征，考慮多維數(shù)據(jù)間的關(guān)系和粗差影響，局部光流特征表現(xiàn)為一種高斯分布下的距離加權(quán)過(guò)程，定義一種可變帶寬的自適應(yīng)加權(quán)核密度函數(shù)?？紤]均值漂移算法容易陷入局部振蕩問(wèn)題，給出一種種子點(diǎn)選擇的簡(jiǎn)單方法。

2 自適應(yīng)運(yùn)動(dòng)結(jié)構(gòu)特征的車(chē)載全景序列影像匹配方法

2.1 光流特征聚類(lèi)算法

文獻(xiàn)［8］將局部光流的相似性運(yùn)動(dòng)結(jié)構(gòu)，表達(dá)為特征匹配結(jié)果在影像空間中的顯著光流特征的聚類(lèi)過(guò)程。采用非參數(shù)化的均值漂移聚類(lèi)思想，以SIFT多尺度特征匹配點(diǎn)的位置量和光流矢量，構(gòu)建影像特征空間的空域和值域，利用特征空間中對(duì)應(yīng)的顯著圖像光流特征為聚類(lèi)條件，實(shí)現(xiàn)全景序列影像的匹配。在四維空間R4中，給定n個(gè)采樣點(diǎn)xi，則點(diǎn)xi處的多變量核密度估計(jì)器由下式給出

式中，k（x）是歸一化的高斯核輪廓函數(shù)；h代表空域和值域具有相同的核（帶寬）大小；xs、xr分別是二維的特征空域向量和二維的特征值域向量，空域xs由左視影像SIFT特征點(diǎn)的位置坐標(biāo)定義為（u，v），值域xr由立體影像SIFT匹配點(diǎn)對(duì)（u，v）、（u′，v′）的光流矢量，在水平和垂直方向的變化量定義為（du，dv）。因此，采樣點(diǎn)x可表達(dá)為一個(gè)加權(quán)的四維特征向量［w1uw2vw3duw4dv］。

2.2 可變帶寬的自適應(yīng)匹配算法

由于核密度函數(shù)的帶寬大小決定了均值漂移算法的收斂速度和精度，而且固定權(quán)無(wú)法準(zhǔn)確描述每個(gè)采樣點(diǎn)在特征空間中的相互作用。分析球全景影像空間域和光流域的相似性分布特征，運(yùn)動(dòng)結(jié)構(gòu)相似性度量可采用加權(quán)自適應(yīng)帶寬的核密度函數(shù)，公式表達(dá)如下

2.2.1 可變帶寬矩陣的定義

文獻(xiàn)［20］定義了每個(gè)采樣點(diǎn)Xi的帶寬矩陣為Hi＝λDADT，其中λ為窗口大小的尺度因子；D為特征差異矩陣；A為正規(guī)化對(duì)角矩陣，表達(dá)核空間大小。Hi刻畫(huà)了每個(gè)采樣點(diǎn)窗口形狀和樣本點(diǎn)之間的各向異性，但實(shí)際上增加了計(jì)算量，且該值無(wú)法根據(jù)局部鄰域采樣點(diǎn)準(zhǔn)確計(jì)算。考慮全景影像的特征空間規(guī)律，提出一種簡(jiǎn)易的表達(dá)方法，認(rèn)為物方相鄰區(qū)域內(nèi)地物的局部相似性特征，表現(xiàn)為投影到像方的局部空間結(jié)構(gòu)，局部區(qū)域內(nèi)每個(gè)采樣點(diǎn)均用一個(gè)統(tǒng)一的二維帶寬矩陣H定義，而其尺度因子λ表達(dá)為局部區(qū)域的一個(gè)可變?cè)隽恳蜃?，這里暫時(shí)不考慮（見(jiàn) 2.2.3 節(jié)）；D＝表達(dá)為局部區(qū)域的一個(gè)二維旋轉(zhuǎn)矩陣；A表達(dá)為核密度函數(shù)兩個(gè)軸的作用域大小，因此H描述了一個(gè)局部區(qū)域在像方進(jìn)行仿射變換的過(guò)程。通過(guò)分析全景影像局部相似性特征的分布形態(tài)，就可以近似定義以上參數(shù)。

目前主流的車(chē)載全景相機(jī)，大多由組合式球面相機(jī)構(gòu)成，可生成基于球成像模型的全景序列影像數(shù)據(jù)。如圖1為連續(xù)拍攝的兩幅球全景立體影像對(duì)，寬高大小為5400像素×2700像素。該影像主要由前后左右4個(gè)視圖場(chǎng)景組成，相鄰序列影像間構(gòu)成核線幾何關(guān)系，核點(diǎn)近似落在前后視圖的中心位置［3］。采用SIFT特征點(diǎn)提取算法［21］，生成球全景影像的特征點(diǎn)（即采樣點(diǎn)）。圖2顯示了圖1（a）影像1的SIFT特征采樣點(diǎn)在空間域的分布，可以看出采樣點(diǎn)分布形態(tài)與街景地物的分布相關(guān)，地物的形態(tài)又受球面投影的畸變影響，而畸變的方向近似表現(xiàn)為全景的核線方向，因此采樣點(diǎn)主要集中在建筑物場(chǎng)景的中間區(qū)域，呈現(xiàn)以中間極點(diǎn)為分割的兩個(gè)魚(yú)眼形態(tài)，局部形態(tài)隨聚類(lèi)中心的位置變化，其空間形狀也隨之變化，并與球全景核線方向一致。由于匹配點(diǎn)間光流方向可近似表達(dá)核線方向［7］，因此核密度函數(shù)的局部空間結(jié)構(gòu)可以描述為與光流方向一致，靠近極點(diǎn)區(qū)域，核大小在水平u方向相比垂直v方向壓縮嚴(yán)重，中間區(qū)域核大小近似相等。

圖1 球全景立體影像Fig.1 Sphere panoramic stereo images

圖2 球全景影像采樣點(diǎn)的空間域分布（數(shù)據(jù)見(jiàn)圖1（a））Fig.2 Spatial domain distribution of sampling point for panoramic image

空間域方向因子Ds可以通過(guò)統(tǒng)計(jì)局部區(qū)域光流的方向直方圖來(lái)確定，用表達(dá)空間域（u，v）的核大小，則空域局部帶寬Hs可以表達(dá)為如下形式

圖3顯示了全景序列影像間光流域的空間分布，可以得出以下規(guī)律：圖3（a）、（b）為經(jīng)過(guò)粗差處理后的穩(wěn)健特征匹配結(jié)果，橫軸u代表圖像的列（即水平方向位移），縱軸du、dv分別代表兩幅序列圖像間光流矢量在水平和垂直方向上的變化量。圖3（a）為u方向上的光流變化量du的分布，可以發(fā)現(xiàn)極點(diǎn)處（u＝0，2700，5400）是du的變化拐點(diǎn)，du整體變化劇烈（約為－250～300像素）；在極點(diǎn)附近，局部窗口（如200像素×200像素）變化幅度在100像素左右，而中間區(qū)域非常平緩，一般小于3像素。圖3（b）為u方向上的光流變化量dv的分布，極點(diǎn)處也是dv的變化拐點(diǎn)，但dv整體變化較緩（約為－50～50像素），在極點(diǎn)附近，局部窗口變化幅度在10個(gè)像素以內(nèi)，而中間區(qū)域與du規(guī)律一致變化較為平緩。圖中的零星跳躍點(diǎn)代表在v方向上（即垂直方向位移），有深度變化的前景或后景特征點(diǎn)，但局部窗口內(nèi)，光流的變化仍然滿足上述規(guī)律。

圖3 全景序列影像間的光流域分析Fig.3 The Optical flow domain analysis for panoramic images sequence

綜上，前后視圖區(qū)域，光流的變化具體表現(xiàn)為du相比dv更劇烈，可以拉伸u方向帶寬，形成一個(gè)近似垂直方向扁橢圓特征核，通過(guò)控制橢圓的兩個(gè)半軸比率近似表達(dá)du和dv光流矢量變化。左右視圖區(qū)域，du和dv的變化相對(duì)穩(wěn)定，因此可以采用局部圓表達(dá)。而核作用域方向上基本保持水平和垂直方向不變，即方向因子D為單位矩陣。車(chē)載移動(dòng)測(cè)量系統(tǒng)在數(shù)據(jù)采集過(guò)程中，為保證數(shù)據(jù)獲取的質(zhì)量，一般測(cè)量車(chē)沿道路方向勻速運(yùn)動(dòng)，且采樣間隔短，局部光流矢量的聚類(lèi)特性并不隨著數(shù)據(jù)而產(chǎn)生太大變化，呈現(xiàn)上述的統(tǒng)一規(guī)律，因此定義光流域局部帶寬為式（5），其中對(duì)角線因子αdu、αdv分別為du、dv方向核大小hr的比例閾值，可以通過(guò)統(tǒng)計(jì)局部光流矢量幅度直方圖確定。

2.2.2 權(quán)函數(shù)的定義

權(quán)函數(shù)定義的好壞直接影響空間域和光流域的平滑性和邊界條件。全景影像的匹配以光流運(yùn)動(dòng)結(jié)構(gòu)的相似性占優(yōu)為主要原則，定義如下選權(quán)規(guī)則：

（1）光流相似性約束為主要匹配條件。由于匹配特征的離散性，均值漂移受空間域影響很大，容易陷入局部位置最優(yōu)，為此設(shè)置光流域權(quán)值更大。另外該原則可以放大錯(cuò)誤光流的差異性，增強(qiáng)聚類(lèi)對(duì)于粗差檢測(cè)的分離性。

（2）松弛加權(quán)原則。與分割等目的不同，為獲得更多的鄰域特征來(lái)支撐運(yùn)動(dòng)結(jié)構(gòu)的一致性特征，需要構(gòu)建一種松弛的運(yùn)動(dòng)一致性鄰域擴(kuò)散方法，通常采用距離加權(quán)法。

（3）尺度一致性原則。像方正確的匹配點(diǎn)表現(xiàn)為物方上的尺度相似性，可有效地避免尺度空間內(nèi)不穩(wěn)定匹配點(diǎn)。而匹配點(diǎn)的尺度由物方尺度和相機(jī)主距決定，無(wú)法準(zhǔn)確獲得，但我們可以定義尺度的相似性比值因子scalei來(lái)近似表達(dá)這種一致性。scalei表達(dá)為匹配點(diǎn)尺度（Si，S′i）的最大比值，越接近1代表越相似。

綜上，分別定義式（3）中空間域和光流域的權(quán)函數(shù)為如下形式

2.2.3 均值漂移向量求解與終止條件

（1）均值漂移向量求解。由式（3）—式（6）求解概率密度的最大梯度，其中影子核g（x）＝－k′（x），可得自適應(yīng)加權(quán)帶寬的均值漂移向量為

（2）均值漂移算法終止條件定義。定義一個(gè)統(tǒng)一的尺度因子λ，可變帶寬的均值漂移過(guò)程采用帶寬增量法，由式（4）、式（5）定義第p＋1次帶寬Hp＋1，見(jiàn)式（8）

式中，Hp＝0作用域的初始局部采樣點(diǎn)由經(jīng)驗(yàn)值h0定義，采用巴氏距離度量增量前后的概率分布相似性［13］。

2.2.4 種子點(diǎn)的定義方法

均值漂移算法中初始聚類(lèi)中心（即種子點(diǎn)）的選擇好壞，將影響算法的收斂性。建立一種簡(jiǎn)單種子點(diǎn)的待選方法如下：

（1）以每個(gè)采樣點(diǎn)為中心，建立一個(gè)半徑為Rs的搜索圓，根據(jù)采樣點(diǎn)的平均密度，確定最近鄰點(diǎn)數(shù)閾值kT

式中，N為采樣點(diǎn)總數(shù)；A為影像面積；Rs為采樣點(diǎn)的鄰域半徑。

（2）統(tǒng)計(jì)每個(gè)采樣點(diǎn)kT個(gè)最近鄰點(diǎn)，并計(jì)算其到該采樣點(diǎn)的歐氏距離，取鄰域采樣點(diǎn)的平均距離為該采樣點(diǎn)的初始密度參數(shù)，平均距離越小代表該采樣點(diǎn)的密度越大。

（3）按平均距離從小到大進(jìn)行排序，作為初始聚類(lèi)待選種子點(diǎn)的密度參數(shù)。

2.3 自適應(yīng)匹配流程

將灰度特征匹配與運(yùn)動(dòng)結(jié)構(gòu)幾何特征匹配融合在一個(gè)匹配框架中，已知具有一定重疊度的兩幅全景影像（I和I′），則本文自適應(yīng)匹配算法流程如下：

（1）影像I上提取采樣點(diǎn)。采用角點(diǎn)、SIFT等方法在尺度空間提取足夠多的初始特征點(diǎn)作為采樣點(diǎn)，并建立SIFT描述子。

（2）構(gòu)建種子待選點(diǎn)。按2.2.4節(jié)描述方法，取Rs＝50構(gòu)建影像I初始特征點(diǎn)的密度參數(shù)。

（3）初始特征匹配。選擇最大密度種子點(diǎn)為中心，影像I、I′上分別取初始帶寬h0和2h0的窗口。在影像I′窗口內(nèi)采用步驟（1）相同方法提取和描述特征點(diǎn)，并進(jìn)行影像I、I′窗口內(nèi)特征點(diǎn)的相似性度量。相似性度量方法仍然采用128維特征向量的距離度量，通過(guò)設(shè)置一個(gè)比較寬松的最小距離比值SIFT＿ratio1（一般設(shè)置為0.6～0.9）獲取初始匹配點(diǎn)。

（4）自適應(yīng)運(yùn)動(dòng)結(jié)構(gòu)特征計(jì)算。利用步驟（3）匹配點(diǎn)構(gòu)建四維特征向量，在初始窗口內(nèi)統(tǒng)計(jì)局部帶寬的空間結(jié)構(gòu)因子，利用式（4）、式（5）計(jì)算空域和光流域的當(dāng)前最佳帶寬Hp，利用式（6）計(jì)算wi，采用式（7）求解均值漂移向量可得最佳均值中心。

（5）以步驟（4）的最佳均值中心為種子點(diǎn)，按式（8）計(jì)算可變帶寬Hp＋1，重復(fù)步驟（3）、（4）。采用巴氏距離度量增量前后匹配點(diǎn)的相似性分布，直到差異性大于某個(gè)閾值為止，并標(biāo)記聚類(lèi)的特征點(diǎn)。

（6）在未標(biāo)記的特征點(diǎn)中，尋找下一個(gè)最大密度種子待選點(diǎn)，重復(fù)步驟（3）、（4）、（5），并判斷是否合并聚類(lèi)，即聚類(lèi)中心小于某個(gè)閾值合并聚類(lèi)，直到所有特征點(diǎn)被標(biāo)記后，程序終止。

（7）匹配粗差篩選。判斷聚類(lèi)點(diǎn)數(shù)小于閾值T的聚類(lèi)為可能的粗差點(diǎn)，即與鄰域運(yùn)動(dòng)結(jié)構(gòu)不一致的聚類(lèi)點(diǎn)。在此基礎(chǔ)上反向判斷其特征度量，當(dāng)有一個(gè)特征點(diǎn)對(duì)應(yīng)的最小距離比值大于SIFT＿ratio2閾值時(shí)（一般設(shè)置為0.1～0.4），則認(rèn)定聚類(lèi)內(nèi)的點(diǎn)均為粗差點(diǎn)。

3 試驗(yàn)及其結(jié)果分析

試驗(yàn)采用拓普康IP－S2車(chē)載移動(dòng)測(cè)量系統(tǒng)，獲取某城市街景的球全景序列影像，影像數(shù)據(jù)的采樣間隔大約為2m，寬高大小為5400像素×2700像素，主距為3.3mm，像元大小為4.4μm（H）×4.4μm（V）。采用正確匹配點(diǎn)數(shù)和正確匹配率指標(biāo)評(píng)價(jià)試驗(yàn)結(jié)果。算法中涉及的參數(shù)，由經(jīng)驗(yàn)值給出：h0＝50、SIFT＿ratio2＝0.1、hu＝hv＝hr＝h0、λ＝1.5、q＝4。

3.1 不同內(nèi)點(diǎn)率下的匹配試驗(yàn)

選擇建筑物密集區(qū)的兩幅球全景立體像對(duì)（見(jiàn)圖1），通過(guò)控制2.3節(jié)步驟（3）中相似性度量的比值參數(shù)，可以近似模擬出不同內(nèi)點(diǎn)率［16］的初始匹配結(jié)果。這里設(shè)定比值參數(shù)SIFT＿ratio1為0.6和0.9，分別代表高內(nèi)點(diǎn)率和低內(nèi)點(diǎn)率兩種情況。固定帶寬參數(shù)設(shè)置為：h＝50、100、150、250。

圖1（a）、（b）顯示兩幅經(jīng)過(guò)球投影的全景拼接影像，可以看出建筑物存在大量的墻面和窗戶等重復(fù)紋理特征，圖2為影像1提取的24 549個(gè)初始特征點(diǎn)。特征點(diǎn)在建筑物區(qū)域非常密集，但受道路均質(zhì)特征的影響，特征點(diǎn)較稀疏。圖4為初始特征點(diǎn)對(duì)應(yīng)的密度參數(shù)分布圖（Rs＝50），為了直觀地顯示種子待選點(diǎn)的密度分布情況，采用Renka Cline三角網(wǎng)內(nèi)插方法生成密度分布等高線圖，其中密度采用16級(jí)灰度分類(lèi)顯示，從黑到白代表密度從高到低，無(wú)特征區(qū)域的密度參數(shù)采用內(nèi)插估計(jì)方法僅為顯示用。對(duì)比圖2和圖4，可以看出本文種子點(diǎn)的初始密度估計(jì)還是比較準(zhǔn)確的，為增量法可變帶寬提供了可靠的初始均值中心，可有效提高算法的收斂性和精度。

圖4 種子點(diǎn)密度參數(shù)分布圖（Rs＝50）Fig.4 The initial feature points and seed point density parameter distribution

表1、表2顯示不同內(nèi)點(diǎn)率下，固定帶寬與本文自適應(yīng)匹配的統(tǒng)計(jì)對(duì)比結(jié)果。表1為高內(nèi)點(diǎn)率情況（SIFT＿ratio1＝0.6）。首先觀察固定帶寬下的匹配表現(xiàn)，隨著帶寬的增大，平均聚類(lèi)方差、匹配點(diǎn)數(shù)和正確匹配點(diǎn)數(shù)均增大，但正確匹配率在減少。這是因?yàn)殡S著影像1帶寬的增大，影像2中的匹配窗口隨之按比例放大，可獲得更多的匹配點(diǎn)，但也提高了重復(fù)性紋理等粗差的概率，因此匹配率下降。本文提出的自適應(yīng)方法、加權(quán)自適應(yīng)方法在各項(xiàng)指標(biāo)中均表現(xiàn)較好，總體平衡了正確匹配點(diǎn)數(shù)和匹配率之間的關(guān)系，在保證較高正確匹配率的基礎(chǔ)上，又獲得了較高的正確匹配點(diǎn)數(shù)。另外匹配精度與聚類(lèi)閾值T相關(guān)，在高內(nèi)點(diǎn)率情況下，T越小，匹配點(diǎn)數(shù)和匹配率更好，而且試驗(yàn)發(fā)現(xiàn)本文方法對(duì)于T的依賴(lài)性相比固定帶寬更弱。建議在高內(nèi)點(diǎn)率情況下T取值范圍為1～5，說(shuō)明在加權(quán)自適應(yīng)匹配中，隨著帶寬的增大，粗差也隨之增大，但通過(guò)光流運(yùn)動(dòng)結(jié)構(gòu)的加權(quán)，提高了尋找正確聚類(lèi)中心的概率，因此可以很好地控制聚類(lèi)的精度，達(dá)到自適應(yīng)控制粗差的目的。

表1 固定帶寬與本文自適應(yīng)匹配結(jié)果統(tǒng)計(jì)（SIFT＿ratio1＝0.6）Tab.1 Fixed and adaptive matching results（SIFT＿ratio1＝0.6）

表2 固定帶寬與本文自適應(yīng)匹配結(jié)果統(tǒng)計(jì)（SIFT＿ratio1＝0.9）Tab.2 Fixed and adaptive matching results（SIFT＿ratio1＝0.9）

表2為低內(nèi)點(diǎn)率情況（SIFT＿ratio1＝0.9）?？梢钥闯霰疚淖赃m應(yīng)匹配的方法，在抗粗差方面表現(xiàn)十分出色，正確匹配點(diǎn)數(shù)和匹配率優(yōu)勢(shì)非常明顯。對(duì)比表1和表2的統(tǒng)計(jì)結(jié)果，本文方法正確匹配率并沒(méi)有受內(nèi)點(diǎn)率的變化影響，表1加權(quán)自適應(yīng)法（T＝5）為99.1%，表2加權(quán)自適應(yīng)法（T＝12）為99.0%，但在內(nèi)點(diǎn)率很低的情況下獲得了更多的正確匹配點(diǎn)數(shù)，正確匹配點(diǎn)數(shù)從3036個(gè)增加到3994個(gè)，多獲取了近1000個(gè)正確匹配點(diǎn)。由于低內(nèi)點(diǎn)率下粗差也有可能表現(xiàn)為大聚類(lèi)的特征，因此應(yīng)適當(dāng)增大聚類(lèi)閾值T，試驗(yàn)表明在低內(nèi)點(diǎn)率情況下，閾值變化范圍以5～12為宜。

圖5為低內(nèi)點(diǎn)率下的匹配聚類(lèi)結(jié)果（顯示為匹配點(diǎn)間的位移矢量線）與影像1疊加顯示圖。圖5（a）—5（d）顯示不同固定帶寬下的匹配結(jié)果，不同聚類(lèi)采用顏色區(qū)分，即每一種聚類(lèi)代表其采樣點(diǎn)具有局部運(yùn)動(dòng)結(jié)構(gòu)的相似性特征。對(duì)比紅色矩形框標(biāo)識(shí)區(qū)域，可以發(fā)現(xiàn)隨帶寬增加每個(gè)聚類(lèi)半徑增大，包含了更多的特征點(diǎn)。以“A”標(biāo)識(shí)區(qū)域?yàn)槔▽?duì)應(yīng)影像區(qū)域見(jiàn)圖5（e）），在物方為一獨(dú)立建筑物，但相對(duì)于像平面的垂直方向有一點(diǎn)向右傾斜，按深度方向可分為左、中、右3個(gè)子區(qū)域，各子區(qū)域表現(xiàn)為近似共面特征。建筑物在像方的投影，基本位于全景影像左視圖的正中心位置，該區(qū)域光流運(yùn)動(dòng)較為穩(wěn)定，光流方向近似平行于水平方向，并有輕微向右傾斜，大小隨深度不同（3個(gè)子區(qū)域）有輕微的變化。對(duì)比固定帶寬匹配結(jié)果，可以很明顯地看出，帶寬過(guò)小造成的過(guò)分類(lèi)現(xiàn)象（h＝50），有17個(gè)聚類(lèi)。帶寬過(guò)大造成的過(guò)平滑現(xiàn)象（h＝250），丟失了精度，僅1個(gè)聚類(lèi)。加權(quán)自適應(yīng)帶寬獲得4個(gè)聚類(lèi)，在保證精度基礎(chǔ)上，較準(zhǔn)確地表達(dá)了該區(qū)域的真實(shí)結(jié)構(gòu)特征，而且本文算法中的加權(quán)自適應(yīng)終止條件與運(yùn)動(dòng)結(jié)構(gòu)的精度相關(guān)，可以根據(jù)精度要求來(lái)修改自適應(yīng)條件。圖5（g）和圖5（h）為本文加權(quán)自適應(yīng)匹配前后的聚類(lèi)結(jié)果顯示，從“C”標(biāo)識(shí)區(qū)域的放大圖可以看出低內(nèi)率下的粗差非常復(fù)雜，但本文算法表現(xiàn)了極強(qiáng)的粗差檢測(cè)能力和算法的穩(wěn)鍵性。

3.2 序列數(shù)據(jù)的匹配試驗(yàn)

本文車(chē)載序列影像數(shù)據(jù)的相機(jī)采樣間隔為2s，可獲取高重疊度的視頻影像，相鄰重疊度大約在90%。選擇50幅全景序列影像，采用兩兩匹配策略，序列影像間設(shè)置5°重疊，僅匹配最大5幅影像，共計(jì)190個(gè)匹配像對(duì)。由于在序列影像上兩兩匹配，因此基線寬度是變化的，可以驗(yàn)證算法在物方尺度變化情況下的自適應(yīng)性。試驗(yàn)數(shù)據(jù)在道路右側(cè)區(qū)域紋理較缺乏，建筑物背光且受樹(shù)木遮擋較嚴(yán)重，部分序列影像見(jiàn)圖6，匹配中的SIFT＿ratio1設(shè)置為0.8。

圖7、圖8為序列影像的正確匹配率和正確匹配點(diǎn)數(shù)的對(duì)比結(jié)果。圖7（a）、圖8（a）為具有較高重疊度相鄰影像間的匹配，由于相鄰影像時(shí)間間隔最短，重疊度最高，因此局部正確匹配點(diǎn)數(shù)量較高，使得影像間的局部運(yùn)動(dòng)結(jié)構(gòu)更穩(wěn)定，可提高均值漂移估計(jì)算法的快速收斂和精度，從結(jié)果可以看出運(yùn)動(dòng)結(jié)構(gòu)相似性匹配方法表現(xiàn)非常出色，正確匹配率均高于88%。固定帶寬下的匹配仍然呈現(xiàn)以下現(xiàn)象，帶寬越小正確匹配點(diǎn)數(shù)越少，但匹配率越高。如h＝50時(shí)，正確匹配點(diǎn)數(shù)大約在1000～2500之內(nèi)浮動(dòng)，正確匹配率在91%～99%之間；而本文自適應(yīng)匹配方法在兩方面取得了較好的平衡，正確匹配點(diǎn)數(shù)大約在2000～4000，正確匹配率也保持在92%～99%之間。圖7（b）、圖8（b）為較低重疊度的序列影像間匹配（認(rèn)為物方尺度上有較大的變化），由于低重疊度和尺度的劇烈變化影響，運(yùn)動(dòng)結(jié)構(gòu)的相似性下降，因此整體表現(xiàn)不如相鄰匹配結(jié)果，在最大的5°重疊影像間這種現(xiàn)象尤其明顯，最差匹配率為63%。但大部分情況下，本文方法仍表現(xiàn)可觀，正確匹配率總體在90%左右浮動(dòng)，在紋理缺乏區(qū)域?yàn)?0%左右。因此可以看出基于運(yùn)動(dòng)結(jié)構(gòu)特征的匹配方法，隨著尺度的增大，總體匹配可靠性下降，尤其在紋理缺乏區(qū)域，更無(wú)法獲得足夠的鄰域相似性匹配點(diǎn)，這種情況下往往需要在后處理中，增加全局的約束條件［7］。

圖5 固定帶寬與自適應(yīng)匹配結(jié)果Fig.5 Fixed and adaptive matching results

圖6 部分序列影像Fig.6 Part of the sequence images

圖7 序列影像的正確匹配率對(duì)比Fig.7 The experiment contrast of correct matching rate

圖8 序列影像的正確匹配點(diǎn)數(shù)對(duì)比Fig.8 The experiment contrast of correct matching points

4 結(jié)束語(yǔ)

本文研究了一種自適應(yīng)匹配方法，提出了多尺度的特征度量與運(yùn)動(dòng)結(jié)構(gòu)相似性度量相融合的自適應(yīng)匹配方法，并詳細(xì)探討了自適應(yīng)參數(shù)的定義方法。試驗(yàn)表明在內(nèi)點(diǎn)率變化、物方尺度變化等情況，本文方法可以實(shí)現(xiàn)自適應(yīng)的匹配，提高了匹配的正確點(diǎn)數(shù)和匹配率。

基于局部運(yùn)動(dòng)結(jié)構(gòu)的一致性假設(shè)，要求鄰域范圍內(nèi)有足夠的特征匹配點(diǎn)。理想情況下應(yīng)該是均勻且密集分布的，但不適用如下兩個(gè)條件：一種是獨(dú)立特征點(diǎn)，由于無(wú)法建立其鄰域運(yùn)動(dòng)結(jié)構(gòu)的支撐度量，這類(lèi)點(diǎn)往往被孤立；另一種是當(dāng)重復(fù)紋理或運(yùn)動(dòng)粗差顯現(xiàn)出局部聚類(lèi)特征情況。因此目前全景自適應(yīng)匹配的難點(diǎn)仍在于匹配邊界的自適應(yīng)，以及短基線下的運(yùn)動(dòng)粗差檢測(cè)和實(shí)時(shí)匹配等問(wèn)題。研究多特征融合的自適應(yīng)多視匹配方法解決上述問(wèn)題是今后研究的主要方向。

［1］MICUSIK B，KOSECKA J.Piecewise Planar City 3D Modeling from Street View Panoramic Sequences［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Miami，F(xiàn)L：IEEE，2009：2906－2912.

［2］TORII A，HAVLENA M，PAJDLA T.From Google Street View to 3DCity Models［C］∥IEEE 12th International Conference on Computer Vision Workshops.Kyoto：IEEE，2009：2188－2195.

［3］SATO T，YOKOYA N.Multi－baseline Stereo by Maximizing Total Number of Interest Points［C］∥Annual Conference SICE.Takamatsu：IEEE，2007：1471－1477.

［4］MATSUHISA R，ONO S，KAWASAKI H，et al.Image－based Ego－motion Estimation Using On－vehicle Omnidirectional Camera［J］.International Journal of Intelligent Transportation Systems Research，2010，8（2）：106－117.

［5］SATO T，PAJDLA T，YOKOYA N.Epipolar Geometry Estimation for Wide－baseline Omnidirectional Street View Images［C］∥IEEE International Conference on Computer Vision Workshops.Barcelona：IEEE，2011：56－63.

［6］JI Shunping，SHI Yun.Image Matching and Bundle Adjustment Using Vehicle－based Panoramic Camera［J］.Acta Geodaetica et Cartographica Sinica，2013，42（1）：94－100.（季順平，史云.車(chē)載全景相機(jī)的影像匹配和光束法平差［J］.測(cè)繪學(xué)報(bào)，2013，42（1）：94－100.）

［7］ZHANG Zhengpeng，JIANG Wanshou，ZHANG Jing.A Gross Error Detection Method of Vehicle－borne Cubic Panoramic Image Sequence［J］.Geomatics and Information Science of Wuhan University，2014，39（10）：1208－1213.（張正鵬，江萬(wàn)壽，張靖.車(chē)載立方體全景影像匹配點(diǎn)的粗差檢測(cè)方法［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2014，39（10）：1208－1213.）

［8］ZHANG Zhengpeng，JIANG Wanshou，ZHANG Jing.An Image Match Method Based on Optical Flow Feature Clustering for Vehicle－borne Panoramic Image Sequence［J］.Acta Geodaetica et Cartographica Sinica，2014，43（12）：1266－1273.（張正鵬，江萬(wàn)壽，張靖.光流特征聚類(lèi)的車(chē)載全景序列影像匹配方法［J］.測(cè)繪學(xué)報(bào)，2014，43（12）：1266－1273.）

［9］DEVROYE L，LUGOSI G.Variable Kernel Estimates：on the Impossibility of Tuning the Parameters［C］∥GINé E，MASON D M，WELLNER J A.High Dimensional Probability II.Birkh?user Boston：Springer，2000：405－424.

［10］BERLINET A，BIAU G，ROUVIèRE L.Optimal L1 Bandwidth Selection for Variable Kernel Density Estimates［J］.Statistics ＆Probability Letters，2005，74（2）：116－128.

［11］TURLACH B A.Bandwidth Selection in Kernel Density Estimation： A Review［M］.［S.l.］： Université Catholique De Louvain，1993.

［12］ZHOU Fangfang，F(xiàn)AN Xiaoping，YE Zhen.Mean Shift Research and Applications［J］.Control and Decision，2007，22（8）：841－847.（周芳芳，樊曉平，葉榛.均值漂移算法的研究與應(yīng)用［J］.控制與決策，2007，22（8）：841－847.）

［13］ZHOU Jiaxiang，ZHU Jianjun，MEI Xiaoming，et al.An Adaptive Mean Shift Segmentation Method of Remote Sensing Images Based on Multi－dimension Features［J］.Geomatics and Information Science of Wuhan University，2012，37（4）：419－422，440.（周家香，朱建軍，梅小明，等.多維特征自適應(yīng) MeanShift遙感圖像分割方法［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué) 版，2012，37（4）：419－422，440.）

［14］COMANICIU D.An Algorithm for Data－driven Bandwidth Selection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（2）：281－288.

［15］COMANICIU D，RAMESH V，MEER P.The Variable Bandwidth Mean Shift and Data－driven Scale Selection［C］∥8th IEEE International Conference on Computer Vision.Vancouver，BC：IEEE，2001：438－445.

［16］GILANI S Z A，RAO N I.Data Driven Bandwidth for Medoid Shift Algorithm［C］∥MURGANTE B，GERVASI O，IGLESIAS A，et al.Computational Science and Its Applications.Berlin：Springer，2011：534－546.

［17］MAYER A，GREENSPAN H.An Adaptive Mean－shift Framework for MRI Brain Segmentation［J］.IEEE Transactions on Medical Imaging，2009，28（8）：1238－1250.

［18］COLLINS R T.Mean－shift Blob Tracking through Scale Space［C］∥DANIELLE M.IEEE Computer Society Conference on Computer Vision and Pattern Recognition：Vol 2.Baltimore：Victor Graphics，2003：234－240.

［19］COMANICIU D，RAMESH V，MEER P.Kernel－based Object Tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：564－575.

［20］WANG Jue，THIESSON B，XU Yingqing，et al.Image and Video Segmentation by Anisotropic Kernel Mean Shift［C］∥PAJDLA T，MATAS J.Proceedings of the 8th European Conference on Computer Vision.Berlin：Springer，2004：238－249.

［21］LOWE D G.Distinctive Image Features from Scale－invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［22］SUN Deqing，ROTH S，BLACK M J.Secrets of Optical Flow Estimation and Their Principles［C］∥IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，CA：IEEE，2010：2432－2439.