無人機(jī)核線影像的稀疏匹配與稠密匹配

張 漫，沈盛彧，胡 騰

(1. 北京信息職業(yè)技術(shù)學(xué)院，北京 100015； 2. 長江水利委員會(huì)長江科學(xué)院，湖北 武漢 430010；3. 中國地質(zhì)大學(xué)(北京)，北京 100083)

無人機(jī)核線影像的稀疏匹配與稠密匹配

張 漫1，沈盛彧2，胡 騰3

(1. 北京信息職業(yè)技術(shù)學(xué)院，北京 100015； 2. 長江水利委員會(huì)長江科學(xué)院，湖北 武漢 430010；3. 中國地質(zhì)大學(xué)(北京)，北京 100083)

無人機(jī)影像轉(zhuǎn)化為水平核線影像后，能夠有效地減少同名點(diǎn)的搜索空間。在此基礎(chǔ)上，本文使用SIFT算子進(jìn)行了稀疏匹配，并用BP算法進(jìn)行了稠密匹配。結(jié)果表明：①SIFT算子獲取的同名點(diǎn)比較少，但是計(jì)算方法簡(jiǎn)單，同名點(diǎn)空間坐標(biāo)精確，適用于大范圍獲取簡(jiǎn)要的空間三維信息；②BP算法計(jì)算復(fù)雜度高，可以獲取地物大量的同名點(diǎn)，適用于小范圍的地物三維重建?？傮w而言，兩者各有優(yōu)缺點(diǎn)，在實(shí)際的應(yīng)用中可互補(bǔ)。

SIFT算子；稀疏匹配；BP算法；稠密匹配

大規(guī)模使用無人機(jī)進(jìn)行遙感測(cè)量已經(jīng)是航空測(cè)繪發(fā)展的一個(gè)重要趨勢(shì)，總的來說，無人機(jī)遙感系統(tǒng)[1-2]具有運(yùn)行成本低、反應(yīng)速度快、人員安全性高等多種優(yōu)點(diǎn)，從某種意義上講，無人機(jī)已經(jīng)是遙感數(shù)據(jù)獲取的重要工具。近年來，隨著技術(shù)的成熟發(fā)展，各種性能優(yōu)異的無人機(jī)開始廣泛地應(yīng)用于軍用戰(zhàn)場(chǎng)偵察監(jiān)視、民用資源調(diào)查等，隨之而來的是大量具有高時(shí)效性、高精確度的地理影像數(shù)據(jù)；與此同時(shí)，各種具體應(yīng)用已經(jīng)不再是幾張簡(jiǎn)單的圖像信息就可以滿足的了，人們需要從中獲取更多的、更加詳細(xì)的空間三維信息，這就需要研究人員加大無人機(jī)影像研究力度，以便更好更快地獲取有效的空間三維地理信息。

在攝影測(cè)量[3]中，空間點(diǎn)需要在兩張立體像對(duì)中找到同名點(diǎn)后進(jìn)行交匯得到，而特征同名點(diǎn)的查找可以通過多種特征點(diǎn)檢測(cè)算子得到，但是特征點(diǎn)檢測(cè)算子進(jìn)行匹配時(shí)整體效率低且缺乏有效的約束條件，也難以在匹配結(jié)果上進(jìn)行進(jìn)一步的精華校正。為了提高特征點(diǎn)匹配效率，減小匹配錯(cuò)誤率，同時(shí)能有效進(jìn)一步研究稠密匹配，在實(shí)際的無人機(jī)同名點(diǎn)匹配中，有必要預(yù)先對(duì)其進(jìn)行核線影像[4]生成處理。與此同時(shí)，計(jì)算機(jī)視覺領(lǐng)域[5]近些年取得了一些突破性的研究成果，針對(duì)核線改正影像，計(jì)算機(jī)視覺領(lǐng)域采用了Graphic Cut圖割[6]、belief propagation置信度傳播[7-9]、聯(lián)合區(qū)域優(yōu)化[10]等算法，取得了良好的匹配結(jié)果，為稠密匹配提供了良好的理論基礎(chǔ)，因此，有必要在核線同名點(diǎn)匹配方面引入計(jì)算機(jī)視覺稠密匹配的方法。

本文選取兩張普通的含有重疊區(qū)域的無人機(jī)立體像對(duì)，對(duì)立體像對(duì)提取核線后進(jìn)行核線重排生成核線影像，部分重疊區(qū)域如圖1所示，分辨率都為1000×1000像素；然后用尺度不變特性變換(scale invariant feature transform，SIFT)算子[11-13]和BP(belief propagation)算法[7-9]分別進(jìn)行稀疏匹配與稠密匹配，對(duì)于獲取的同名點(diǎn)，將其返回原始圖像后結(jié)合投影矩陣可以進(jìn)行同名點(diǎn)空間位置解算，最后兩種方法都獲取一組帶顏色信息的空間點(diǎn)云。

圖1 核線立體像對(duì)

1 基于SIFT算子的稀疏匹配方法

SIFT算子[11-13]是G.Lowe總結(jié)了當(dāng)時(shí)已有的基于不變量技術(shù)的特征檢測(cè)方法后提出的一種基于尺度空間、圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變形的圖像局部特征描述算子。具體而言，SIFT算法是基于圖像特征尺度選擇的思想，SIFT算子首先建立圖像的多尺度空間；然后在不同尺度下檢測(cè)到同一個(gè)特征點(diǎn)，確定特征點(diǎn)位置的同時(shí)確定其所在尺度，以達(dá)到尺度抗縮放的目的；最后剔除一些對(duì)比度較低的點(diǎn)及邊緣響應(yīng)點(diǎn)，并提取旋轉(zhuǎn)不變特征描述符，以達(dá)到抗仿射變換的目的。

在實(shí)際的處理過程中，SIFT算子處理能力較強(qiáng)，能快速獲取少量同名點(diǎn)，若不加入核線約束、水平誤差約束等條件，計(jì)算結(jié)果會(huì)出現(xiàn)不少錯(cuò)誤匹配點(diǎn)。使用SIFT算子進(jìn)行處理后，圖1中左片獲取了4185個(gè)特征點(diǎn)，而右片得到了4103個(gè)特征點(diǎn)，在沒有核線約束與水平誤差約束的情況下，對(duì)左右影像的特征點(diǎn)進(jìn)行匹配處理后可以得到420個(gè)匹配點(diǎn)。將同名匹配點(diǎn)兩兩間聯(lián)立起來，其結(jié)果顯示效果如圖2所示。

圖2 SIFT算子提取結(jié)果

從圖2可以看出，大部分正確匹配點(diǎn)都處于同一水平線上，但部分匹配點(diǎn)出現(xiàn)了較大的偏差，通過限定特征點(diǎn)的垂直誤差閾值及最大視差范圍，可以消除掉大部分的錯(cuò)誤匹配點(diǎn)。若以圖2中兩幅影像為例，限定同名點(diǎn)的匹配結(jié)果垂直誤差為上下一個(gè)像素，水平視差為30個(gè)像素，處理可刪除部分匹配點(diǎn)，最后可得到268對(duì)匹配點(diǎn)，結(jié)果如圖3所示。

圖3 核線約束下的SIFT算子特征點(diǎn)計(jì)算結(jié)果

從圖3可以看出，SIFT算子處理速度快，精度比較高，但是其處理效率低，對(duì)影像信息的利用率比較低。圖3中原始影像包含100萬個(gè)像素，SIFT算子僅僅匹配了268對(duì)同名點(diǎn)，在這種情況下，若要獲取更多的同名點(diǎn)，只能通過兩種方法來實(shí)現(xiàn)：①增加影像的數(shù)目。雖然單獨(dú)的立體像對(duì)獲取的同名點(diǎn)數(shù)目較少，但如果立體像對(duì)數(shù)目增加了，最終獲取的同名點(diǎn)對(duì)數(shù)也會(huì)隨之增加，在本次研究中，基于400余幅兩兩相鄰的影像使用SIFT算子批次處理后最終獲取了265 864對(duì)同名點(diǎn)，提取出了大范圍區(qū)域的概要輪廓空間信息。②對(duì)影像信息進(jìn)行更深層次的挖掘。雖然增加影像的數(shù)目可以有效增加同名點(diǎn)的對(duì)數(shù)，但是對(duì)于小范圍的地物而言同名點(diǎn)對(duì)數(shù)還是過少，這導(dǎo)致了地物三維重建時(shí)信息不足，因此在實(shí)際應(yīng)用中有必要研究立體像對(duì)的稠密匹配技術(shù)，在立體像對(duì)中提取大量的同名點(diǎn)，從而有效提高影像的信息利用率。

2 基于BP算法[7-9]的稠密匹配

BP算法是基于可爾可夫隨機(jī)場(chǎng)(Markov random field，MRF)的一種最優(yōu)化求解方法。假設(shè)每幅影像是一個(gè)規(guī)則排列的像素場(chǎng)，在計(jì)算機(jī)視覺領(lǐng)域中經(jīng)常使用MRF來模擬像素場(chǎng)的像素排列方式與賦值情況，對(duì)于核線立體像對(duì)同名點(diǎn)匹配而言，參考影像上每個(gè)像素均會(huì)有多種候選值，將每一個(gè)像素的取值情況均轉(zhuǎn)化為相應(yīng)的MRF能量，然后聯(lián)立所有的像素取值情況整體求解，按照某種最優(yōu)化方法求解后就能得到像素場(chǎng)的整體最優(yōu)解。

使用BP算法，以圖1中的兩幅核線影像為試驗(yàn)對(duì)象，限定最大視差為30個(gè)像素，以右圖為參考、左圖為目標(biāo)，可以計(jì)算出右圖中每一個(gè)點(diǎn)與左圖中同名點(diǎn)的水平距離差(即視差)；隨后把水平距離值乘以8就能得到一個(gè)灰度值，將每個(gè)像素的灰度值都求解出來，就能算出以右圖為參考對(duì)象的視差圖，如圖4所示。

圖4 視差空間(灰度值=同名點(diǎn)水平差異×8)

可以看出，視差圖與右核線圖實(shí)際情況相符合，整體上包含了兩層樓頂、地面背景的三層視差結(jié)構(gòu)，4個(gè)屋頂?shù)囊暡顖D都比較平整，可以看成一個(gè)整體，背景區(qū)域結(jié)算與實(shí)際區(qū)域也較符合，整體上也體現(xiàn)出了視差的真實(shí)排列情況，但是在視差圖中左邊緣不清晰，部分區(qū)域出現(xiàn)了整體性的結(jié)算錯(cuò)誤，這也就給下一步的空間點(diǎn)坐標(biāo)計(jì)算帶來了誤差。

3 試驗(yàn)結(jié)果

在核線影像上獲取同名點(diǎn)后，可以將兩個(gè)點(diǎn)返回立體像對(duì)，通過立體像對(duì)的兩個(gè)攝像機(jī)矩陣就能直接求解出同名點(diǎn)的空間坐標(biāo)，同時(shí)通過雙線性插值方法也能得到同名點(diǎn)的顏色信息。在本文研究中使用SIFT算子來進(jìn)行稀疏匹配時(shí)，處理了包含上述立體像對(duì)在內(nèi)的5個(gè)航帶的400余幅無人機(jī)影像，影像間隔約50 m，編寫程序批次處理后獲取了265 864個(gè)空間點(diǎn)，稀疏點(diǎn)云在Meshlab軟件的顯示效果如圖5所示。整個(gè)區(qū)域可以看出大致的空間結(jié)構(gòu)，主要的地物框架都有所體現(xiàn)。

圖5 基于SIFT算子的稀疏匹配結(jié)果

使用BP算法進(jìn)行稠密匹配時(shí)，以圖2中的核線立體像對(duì)為例可以計(jì)算出一個(gè)包含了大量匹配點(diǎn)的密集點(diǎn)云，對(duì)每一對(duì)同名點(diǎn)進(jìn)行簡(jiǎn)單的RGB差異控制后能夠獲取約635 275個(gè)空間點(diǎn)，其空間效果如圖6所示?？梢悦黠@看出，地物的空間結(jié)構(gòu)包含了6個(gè)獨(dú)立的樓頂和相對(duì)完整的地表面,而視差圖中的錯(cuò)誤部分也造成了空間點(diǎn)的計(jì)算錯(cuò)誤，出現(xiàn)了不少缺失與空洞。

圖6 基于BP算法的稠密匹配結(jié)果

4 討論與分析

在試驗(yàn)中，兩種方法都能夠有效地獲取同名點(diǎn)，根據(jù)相應(yīng)的攝像機(jī)矩陣計(jì)算后都能夠獲取到有效的三維點(diǎn)云，具體而言，兩種方法存在以下不同：

(1) 影像信息利用率不同，整體上而言，使用SIFT算子獲取的同名點(diǎn)對(duì)數(shù)較少，而使用BP算法進(jìn)行稠密匹配得到的同名點(diǎn)對(duì)數(shù)遠(yuǎn)遠(yuǎn)超過了SIFT算子的效果。圖2中包含了屋頂和四邊形廣場(chǎng)兩種典型的空間地圖結(jié)構(gòu)，單幅核線影像包含100萬個(gè)像素，其中6個(gè)屋頂由約30萬個(gè)像素組成，垂直方向上分為兩層，四邊形廣場(chǎng)由約19萬個(gè)像素構(gòu)成，使用SIFT算子和BP算法分別進(jìn)行稀疏匹配和稠密匹配后的結(jié)果見表1。

表1 SIFT算子與BP算法匹配結(jié)果對(duì)比

可以看到，使用BP算法后，從影像中獲得的同名點(diǎn)對(duì)數(shù)遠(yuǎn)遠(yuǎn)超過了SIFT算法所得到的，SIFT算子所得到的結(jié)果對(duì)影像的利用率不到千分之一，而BP算法得到的結(jié)果對(duì)影像的利用率達(dá)到了63.5%。雖然BP算法的結(jié)果還存在許多誤差匹配點(diǎn)，但是在龐大的匹配基數(shù)支持下，即使使用各種檢驗(yàn)方法剔除了大量無匹配點(diǎn)，其結(jié)果信息利用率也會(huì)遠(yuǎn)遠(yuǎn)大于SIFT算子。

(2) 計(jì)算復(fù)雜度不同，SIFT算子進(jìn)行處理時(shí)所耗費(fèi)的時(shí)間遠(yuǎn)遠(yuǎn)少于BP算法。在SIFT算子進(jìn)行處理的過程中，每張相片的像素都只會(huì)進(jìn)行一次計(jì)算而不會(huì)進(jìn)行迭代計(jì)算，以圖2為例，SIFT算子先處理左影像得到4185個(gè)特征點(diǎn)，隨后處理右影像得到4103個(gè)特征點(diǎn)，在后面的計(jì)算中，SIFT算子進(jìn)行匹配的時(shí)候只是在特征點(diǎn)間進(jìn)行匹配而不會(huì)處理剩下的像素點(diǎn)；而上述像對(duì)在BP算法處理時(shí)，對(duì)于參考影像上的每一個(gè)像素點(diǎn)都會(huì)進(jìn)行迭代處理，假設(shè)每個(gè)點(diǎn)的求解空間為30個(gè)像素，那么在計(jì)算時(shí)100萬個(gè)像素點(diǎn)每個(gè)都會(huì)有30種求解候選值，每一個(gè)候選值的概率都會(huì)受上下左右4個(gè)方向上的傳遞消息的影響，每迭代一次，消息更新一次，每個(gè)候選值的概率也會(huì)隨之更新，在這個(gè)過程中所耗費(fèi)的計(jì)算資源遠(yuǎn)遠(yuǎn)大于SIFT算子計(jì)算處理方法，處理時(shí)間也大大超過了SIFT算子。

(3) 點(diǎn)云準(zhǔn)確度不同，雖然SIFT算子處理得到的結(jié)果點(diǎn)較少，但其匹配點(diǎn)準(zhǔn)確度要超過BP算法結(jié)果。SIFT算子在進(jìn)行特征點(diǎn)計(jì)算時(shí)每一個(gè)特征點(diǎn)包含了128種信息，坐標(biāo)計(jì)算可以達(dá)到亞像素級(jí)，這樣每一對(duì)同名點(diǎn)在進(jìn)行三維空間坐標(biāo)計(jì)算時(shí)能夠達(dá)到更好的精度；而BP算法在進(jìn)行同名點(diǎn)計(jì)算時(shí)，受制于計(jì)算復(fù)雜度，每個(gè)像素點(diǎn)的求解區(qū)域只能達(dá)到像素級(jí)，這在后續(xù)的空間點(diǎn)坐標(biāo)計(jì)算時(shí)產(chǎn)生了不利的影響。

(4) 適用范圍不同，SIFT算法可以快速而有效地獲取大范圍的主要輪廓圖，而BP算法能夠獲取到地物的詳細(xì)空間信息。SIFT算法計(jì)算快速而準(zhǔn)確，能夠大批量處理影像，從而快速提取到大范圍的主要空間信息；而BP算法在處理時(shí)會(huì)耗費(fèi)大量的計(jì)算資源，雖然它能夠獲取到遠(yuǎn)遠(yuǎn)多于SIFT算子的空間點(diǎn)數(shù)，但是在處理相同多的影像時(shí)，BP算法耗時(shí)耗力，無法滿足時(shí)效性的需求。

5 結(jié)論與展望

(1) 無人機(jī)影像經(jīng)過水平核線影像生成處理后能夠有效減少空間同名點(diǎn)的搜索空間，在實(shí)際處理時(shí)給稀疏匹配與稠密匹配打下了良好的基礎(chǔ)。

(2) SIFT特征算子在處理大范圍的無人機(jī)影像數(shù)據(jù)時(shí)，可以準(zhǔn)確有效地處理無人機(jī)影像數(shù)據(jù)，獲取所在地區(qū)的簡(jiǎn)要三維輪廓信息，部分滿足實(shí)際的需求。但是稀疏匹配中影像的信息利用率過低，在本次研究中使用了400余幅千萬像素的影像，最后只獲取了不足30萬個(gè)特征點(diǎn)，雖然計(jì)算出來的三維空間點(diǎn)位置信息較為精確，但是點(diǎn)云分布極為稀疏，導(dǎo)致后續(xù)的三維物體重建信息量不足。

(3) BP算法在處理小范圍的空間地物時(shí)能夠最大限度地挖掘出影像的信息，在本次試驗(yàn)中，BP算法獲取了遠(yuǎn)多于SIFT算法的空間點(diǎn)數(shù)，雖然匹配結(jié)果中存在較多的錯(cuò)誤匹配點(diǎn)，且具有匹配點(diǎn)精度不夠的缺點(diǎn)，但是結(jié)果點(diǎn)云已經(jīng)能夠較好地反映出地物的空間結(jié)構(gòu)情況。在后續(xù)的研究中需要改進(jìn)視差圖，并且研究能夠更好檢驗(yàn)與消除錯(cuò)誤匹配點(diǎn)方法。

(4) 在實(shí)際應(yīng)用中，SIFT算法能夠快速獲取大范圍的空間信息，而BP算法能夠很好地計(jì)算出典型地物的空間點(diǎn)云圖，兩者可以互補(bǔ)，從而在生產(chǎn)研究中得到更好的空間數(shù)據(jù)產(chǎn)品。

[1] 韓杰,王爭(zhēng).無人機(jī)遙感國土資源快速監(jiān)察系統(tǒng)關(guān)鍵技術(shù)研究[J].測(cè)繪通報(bào), 2008(2): 4-15.

[2] 崔紅霞,林宗堅(jiān),孫杰.大重疊度無人機(jī)遙感影像的三維建模方法研究[J].測(cè)繪科學(xué), 2005, 30(2): 37-39.

[3] 張祖勛,張劍清.數(shù)字?jǐn)z影測(cè)量[M].武漢:武漢測(cè)繪科技大學(xué)出版社,1996.

[4] 張祖勛.數(shù)字影像定位及核線排列[J].武漢測(cè)繪學(xué)院學(xué)報(bào),1983(1):12-14.

[5] SCHARSTEIN D, SZELISKI R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7-42.

[6] BLEYER M, GELAUTZ M. Graph Cut Based Stereo Matching Using Image Segmentation with Symmetrical Treatment of Occlusions[J]. Signal Processing: Image Communication, 2007, 22 (2): 127-143.

[7] SUN J, ZHENG N N, SHUM H Y. Stereo Matching Using Belief Propagation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(7): 787-800.

[8] FELZENSZWALB P F, HUTTENLOCHER D P. Efficient Belief Propagation for Early Vision[J]. International Journal of Computer Vision, 2006, 70(1): 41-54.

[9] YANG Q, WANG L, YANG R, et al. Stereo Matching with Color-weighted Correlation, Hierarchical Belief Propagation, and Occlusion Handling[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 492-504.

[10] WANG Z F, ZHENG Z G. A Region Based Stereo Matching Algorithm Using Cooperative Optimization[C]∥IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE, 2008: 1-8.

[11] LOWE D G. Object Recognition from Local Scale-invariant Features[C]∥Proceedings of the Seventh IEEE International Conference on Computer Vision.[S.l.]：IEEE, 1999: 1150-1157.

[12] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[13] 王國美,陳孝威. SIFT算法研究[J].鹽城工學(xué)院學(xué)報(bào)(自然科學(xué)版), 2007, 20(2): 1-5.

Sparse Matching and Dense Matching of UAV Epipolar Images

ZHANG Man1,SHEN Shengyu2,HU Teng3

(1. Beijing Information Technology College, Beijing 100015, China; 2. Changjiang River Scientific Research Institute of Changjiang Water Resources Commission, Wuhan 430010， China; 3. China University of Geosciences (Beijing), Beijing 100083， China)

Converting UAV images to epipolar images, makes a good effect on reducing the search space of corresponding point matching. On this basis, SIFT operator based sparse stereo matching and BP algorithm based dense stereo matching were presented in this paper. The result indicated that: Less corresponding points, simple calculation and accurate spatial coordinates were shown in the results of SIFT operator, so SIFT operator was suitable to acquire summary spatial information in a big-scale area. The computation of BP algorithm was complex but a large number of same points were outputted, which indicated that BP algorithm applied to 3D reconstruction in a small range. In a word, each of them has its own advantages and disadvantages, and they can be complementary.

SIFT operator; sparse stereo matching; BP algorithm; dense stereo matching

張漫，沈盛彧，胡騰.無人機(jī)核線影像的稀疏匹配與稠密匹配[J].測(cè)繪通報(bào)，2017(5)：39-42.

10.13474/j.cnki.11-2246.2017.0150.

2017-01-09

國家自然科學(xué)基金(41601298)

張 漫(1984—)，女，碩士，講師，主要從事圖像處理技術(shù)和嵌入式技術(shù)研究。E-mail:zhangm@bitc.edu.cn

P237

A

0494-0911(2017)05-0039-04