序列無人機(jī)影像拼接方法研究

唐 敏，楊 鋒，黃華平

（中國中鐵二院集團(tuán)有限責(zé)任公司，四川成都610031）

?

序列無人機(jī)影像拼接方法研究

唐 敏，楊 鋒，黃華平

（中國中鐵二院集團(tuán)有限責(zé)任公司，四川成都610031）

摘 要：無人機(jī)影像具有數(shù)量多、畸變大、POS數(shù)據(jù)不準(zhǔn)確等特點，導(dǎo)致其在拼接過程中會產(chǎn)生大量的累積誤差，要快速地獲得大范圍準(zhǔn)確的全景圖有一定的困難?；诖?，提出一種既精確又高效的無人機(jī)序列影像拼接方法。首先計算大致的影像匹配區(qū)域，減少特征搜索和匹配的時間，同時記錄匹配區(qū)域中心位置的特征點坐標(biāo)，引入平差理論，區(qū)分平地、丘陵、山區(qū)等不同區(qū)域加權(quán)糾正匹配特征點的坐標(biāo)位置。同時針對航帶間重疊率小、姿態(tài)差異大等特點，采用”先航帶間再航帶內(nèi)、旁邊航帶向中間航帶靠攏”的拼接方式，減少整體區(qū)域的累積誤差產(chǎn)生，最終完成全局影像的拼接。

關(guān)鍵詞：無人機(jī)影像；拼接；航帶；累積誤差；分區(qū)域加權(quán)

隨著遙感技術(shù)的不斷發(fā)展，作為方便、快捷、成本低的無人機(jī)遙感手段也越來越多地應(yīng)用到民用領(lǐng)域［1－3］。在抗災(zāi)救災(zāi)、遙感監(jiān)測等方面無人機(jī)相對于其它航空遙感具有一定的優(yōu)勢，它能夠快速地獲得災(zāi)區(qū)的高分辨率影像，但是無人機(jī)影像的質(zhì)量與外界條件有著非常密切的關(guān)系，當(dāng)拍攝的影像質(zhì)量不高時，就會給后續(xù)的影像處理帶來極大的困難。特別是在獲取災(zāi)區(qū)影像方面，如何快速準(zhǔn)確地拼接出全景圖對救災(zāi)管理、規(guī)劃、調(diào)配救援等工作具有重要意義［4－7］。目前國內(nèi)外學(xué)者在影像拼接方面進(jìn)行了大量的研究，獲得許多研究成果［8－11］。

本文針對無人機(jī)影像的數(shù)量多、畸變大，在影像拼接過程中會產(chǎn)生大量的累積誤差等特點，提出記錄影像匹配中心點（兩幅影像重疊區(qū)域的中心點），利用它計算大致的匹配區(qū)域，為后面拼接過程中的平差做好前期準(zhǔn)備。并根據(jù)序列無人機(jī)影像航帶間重疊度低且飛行姿態(tài)差異大等特點，提出使用先航帶間匹配再航帶內(nèi)匹配、旁邊航帶向中間航帶靠攏的策略。由于地勢起伏越大的區(qū)域，其影像變形及匹配特征點的位置偏移也會大，通過兩兩影像間獲得的匹配同名點數(shù)目近似的把影像分為平地、丘陵、山區(qū)等不同區(qū)域，分別對它們的匹配中心點進(jìn)行加權(quán)平差，完成影像拼接。

1　序列無人機(jī)影像的相交區(qū)域估計

無人機(jī)獲取影像前，根據(jù)設(shè)計的航高和航線確定航向及旁向重疊度，主要是通過航高、航線間距及飛行速度計算出來的。但是在后期的拼接過程中，為了節(jié)省拼接時間、減少拼接難度，經(jīng)常會對獲取的影像做一些預(yù)處理，例如刪除一些轉(zhuǎn)彎處畸變大的影像，把影像周圍畸變大的部分裁剪掉等。所以不能直接按照飛行設(shè)計的影像重疊度來判斷立體像對的相交區(qū)域。本文通過記錄匹配特征點集中心點（每張影像匹配特征點集合的最中心點）的位置來計算大致的相交區(qū)域，便于進(jìn)行后續(xù)平差。

設(shè)第k次拼接的兩幅影像為Mi和Mj，Tk為Mi和Mj的間距，它近似等于影像Mi和Mj的匹配中心點的距離。當(dāng)飛行在只有輕微振動和偏移的情況下，航拍序列影像中待拼接的影像對的匹配區(qū)域基本相同，下一次用于拼接的兩幅影像Mj和Mm之間的間距Tk＋1近似等于Tk，影像Mm的匹配中心點可以通過Mj的匹配中心點近似求出，這樣，匹配范圍也能夠近似得到，同時記錄這些匹配中心點坐標(biāo)的位置。一旦找到大概的匹配范圍就足夠拼接所用，當(dāng)預(yù)測區(qū)域失敗時，再利用兩幅鄰近影像全圖匹配的方式進(jìn)行，匹配中心點設(shè)為整個影像的中心點位置。具體計算過程如下：

設(shè)第k次拼接結(jié)果為RMk，它是由上一次的拼接結(jié)果RMk－1和影像Mj拼接而成，（ck，x，ck，y）為RMk－1的匹配特征點集中心點在影像中的坐標(biāo)位置，（c′k，x，c′k，y）為Mj的匹配特征點集中心點在影像中的坐標(biāo)位置，那么在第k＋1次拼接過程中，待拼接圖像為RMk和Mm，則特征查詢區(qū)域的中心區(qū)可以近似由匹配特征的中心點來表示，即（ck＋1，x，ck＋1，y）為RMk的匹配特征點集中心點在影像中的坐標(biāo)位置，（c′k＋1，x，c′k＋1，y）為Mm的匹配特征點集中心點在影像中的坐標(biāo)位置，（vk＋1，x，vk＋1，y）為Mj和Mm之間的飛行速度，則可以得到

式中：vk，x，vk，y分別為飛機(jī)在影像的x軸和y軸上的分速度；Δt＝Tk＋1－Tk；wx和wy分別為飛機(jī)側(cè)擺、振動引起的噪聲。由此分別記錄每個匹配特征點集中心點在影像中的坐標(biāo)，X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y，…），預(yù)測下一個參加拼接的影像的匹配區(qū)域，利用SIFT［11］特征搜索進(jìn)行匹配。利用以上方法對影像匹配區(qū)域進(jìn)行預(yù)測可以使得匹配時間大大降低，如果搜索區(qū)域為原影像的1／n，則該方法的特征搜索時間為對整幅影像進(jìn)行搜索的時間的1／n。圖1中綠色矩形框為確定的搜索窗口。

圖1　搜索窗口的確定

對立體影像的恢復(fù)，難點是匹配兩圖中的對應(yīng)點。首先要確定搜索窗口，當(dāng)從待糾正影像上的特征點出發(fā)，到參考影像上去搜索它的同名點時，搜索范圍的大小很大程度上影響著匹配的效率。搜索范圍大，需要的計算時間就大；搜索范圍小，搜索的時間就少。因此，合理確定正確的搜索范圍對匹配效果起著非常重要的作用。

2　匹配中心點分區(qū)域加權(quán)平差

尋找到匹配區(qū)域，并記錄每個匹配特征點集中心點在影像中的坐標(biāo)：X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y．．．．．．），利用這些坐標(biāo)進(jìn)行分區(qū)域加權(quán)平差，具體的方法如下所述。

2．1 平差方法

對于匹配得到的同名點P，在左影像中的影像坐標(biāo)為（x1，y1），在右影像中的影像坐標(biāo)為（x2，y2），由于正行變換能夠保持變換前后任意空間曲線之間的夾角不變，因此用正行變換多項式來模擬幾何變形，在（x2，y2）上加上變形改正

δx＝a1＋a3x2－a4y2＋a5［x22－y22］－2a6x2y2，（5）

則對P點有

式中：θx，θy表示點（x2，y2）的誤差。同理，對所有的同名點可以列出

其中

它的最小二乘解為

2．2 平差過程

根據(jù)式（11）解算出X后，則可以計算出右影像中每個像素的新坐標(biāo)為（x2＋δx，y2＋δy），然后進(jìn)行影像拼接，具體的平差過程如圖2所示。

首先進(jìn)行區(qū)域網(wǎng)概算，為區(qū)域網(wǎng)平差提供較好的初值，剔除觀測數(shù)據(jù)和控制數(shù)據(jù)中的粗差。其實質(zhì)是建立自由比例尺的航帶網(wǎng)，并確定每一航帶在區(qū)域中的概略位置，以拼成一個松散的區(qū)域網(wǎng)。先要建立區(qū)域的地輔坐標(biāo)系，確定全區(qū)的中心即原點，一般選擇中間航帶的中心處。然后確定X軸，可設(shè)定第一條航帶為X軸。利用第一航帶的首末兩端的平面控制點，計算兩點變換的參數(shù)，將區(qū)域中所有控制點的坐標(biāo)按兩點變換參數(shù)均變換到該地輔坐標(biāo)系中。

如果航帶中沒有合適的控制點，可利用與該航帶接邊的上一條航帶中適當(dāng)?shù)倪B接點作為空間相似變換的依據(jù)。另外要保持各航帶模型坐標(biāo)的獨立性，不能將相鄰航帶的連接點的坐標(biāo)取中數(shù)，這樣會使得平差結(jié)果不夠理想，如圖3所示為區(qū)域網(wǎng)概算的示意圖。

圖2　平差流程

圖3　區(qū)域網(wǎng)概算示意圖

區(qū)域網(wǎng)概算之后，充分利用相鄰航帶間的公共連接點及控制點，列出誤差方程，進(jìn)行整體平差運算，確定各航帶的模型變形改正參數(shù)，分別按航帶改正模型變形，計算出各加密點的坐標(biāo)。

由于平地控制點相對精確，而山區(qū)地形畸變相對較大，很多點位不夠精確，則需要針對不同地域的控制點賦予不同的權(quán)值。根據(jù)控制點的位置，把它們分成不同區(qū)域作為具有一定權(quán)值的觀測值，有利于提高定位精度和減少控制點的粗差。圖4為記錄匹配中心點位置參與區(qū)域網(wǎng)平差的示意圖。

2．3 分區(qū)域加權(quán)平差

由于無人機(jī)影像本身畸變較大，其不同區(qū)域?qū)ζ唇泳鹊挠绊懚疾幌嗤?，所以為了使平差結(jié)果更加準(zhǔn)確，需要分不同區(qū)域進(jìn)行加權(quán)平差。平地區(qū)域點位坐標(biāo)更準(zhǔn)確應(yīng)賦予更高的權(quán)重，山地區(qū)域賦予相對較小的權(quán)重。通過大量實驗發(fā)現(xiàn)一般山地區(qū)域?qū)で蟮降耐c較少，而平地會獲得更多的同名點，這是由于山區(qū)畸變大、影像特征少導(dǎo)致。因此，采用直接計算獲得的特征點數(shù)目來確定每張影像所包含區(qū)域的特征情況來確定它的權(quán)重，這樣能夠減少計算時間，而且比較精確，把所有影像的匹配同名點數(shù)目單獨記錄，以中間數(shù)同名點的權(quán)重為1，其它的根據(jù)同名點數(shù)目賦予相應(yīng)權(quán)重，參與區(qū)域網(wǎng)平差。通過大量實驗總結(jié)，能匹配較多同名點的區(qū)域一般為平地或者影像質(zhì)量好的影像，在拼接過程中如果能充分利用這些影像的優(yōu)勢對影像拼接具有重要作用，

圖4　匹配中心點參與區(qū)域網(wǎng)平差示意圖

3　計算步驟

設(shè)無人機(jī)飛行獲得的序列影像為M，RMk－1為第（k－1）次拼接的結(jié)果，Mi為第（k－1）次拼接的圖像，當(dāng)前第k次拼接的兩幅圖像為RMk－1和Mj，設(shè)PMSk－1（x，y）和PMk（x，y）分別為第k次拼接時RMk－1和Mj中匹配特征集的中心點。主要計算步驟如下：

1）為了使得相互約束條件較差的航帶間獲得更多的連接點，采用先航帶間再航帶內(nèi)的方式進(jìn)行拼接，并確定具體的拼接順序。

2）依據(jù)拼接順序獲得第k次拼接的影像Mj。

3）根據(jù)PMSk－2（x，y）和PMSk－1（x，y）預(yù)測第k次拼接的兩幅影像RMk－1和Mj的匹配特征點集的中心點PMSk－1（x，y）和PMk（x，y），并進(jìn)行記錄。

4）以PMSk－1（x，y）為中心點的矩形區(qū)域和以PMk（x，y）為中心的矩形區(qū)域進(jìn)行特征匹配和誤匹配點刪除，得到最終的匹配點集。

5）利用記錄的這些特征點集中心點坐標(biāo)，根據(jù)它們的所在地是平地、丘陵或山地的情況對它們分別賦權(quán)，同時，以中間航帶為基準(zhǔn)、旁邊航帶向它們靠攏的方式進(jìn)行拼接，并對它們中心點集也賦予相對較高的權(quán)重。然后進(jìn)行區(qū)域網(wǎng)平差計算，得到所有特征點的誤差模型并進(jìn)行改正。

6）完成圖像的拼接過程。由于現(xiàn)行拼接方法主要為增量式拼接，因此本文方法相較于其他方法的效率從根本上區(qū)別不大，同時，本文拼接方法能根據(jù)飛行速度及姿態(tài)來調(diào)整提取特征區(qū)域，能在不同情況下在待匹配圖像上搜索到足夠的匹配特征，在拼接之前首先對影像拼接區(qū)域進(jìn)行預(yù)測，能夠節(jié)省特征搜索和匹配的時間，如果搜索區(qū)域為原影像的1／n則特征搜索時間為整幅影像搜索時間的1／n。

4　實驗及分析

實驗影像為四川某地區(qū)無人機(jī)拍攝下來的序列影像，航拍高度為相對高度500m，地面分辨率為0．2m，包含15個航帶，但由于該次飛行時風(fēng)力較大，飛機(jī)的姿態(tài)不夠穩(wěn)定，左右擺動明顯，特別是相鄰航帶間拍攝時飛機(jī)的航行方向相反，而風(fēng)向基本不變就導(dǎo)致相鄰航帶間拍攝出的影像差異更大。為了證明本文方法的有效性，利用同樣的影像做兩組實驗，對比它們的拼接效果。

由于每條單獨航帶的重疊度較高，拼接起來更加容易，也能通過各條航帶的拼接圖了解飛行作業(yè)時候的風(fēng)向影響及各航帶影像的畸變特征。實驗利用三條航帶的影像數(shù)據(jù)，先單獨對它們進(jìn)行拼接，最后的效果圖如圖5～圖7所示。通過分析可知：由于第一航帶和第三航帶飛行方向相同，形成往上凸的現(xiàn)象，而第二航帶是相反飛行方向就形成了向下凹的現(xiàn)象，體現(xiàn)飛行軌跡及影像畸變的特征。同時，第一條航帶與第二條航帶之間相同區(qū)域部分，越是往圖5下方和圖6上方的重疊區(qū)域它們之間的差異越大，如果僅通過同名點匹配進(jìn)行拼接，則難以滿足所有同名點的配對、拼接，因為如果滿足圖5上方區(qū)域的拼接，則會在滿足該區(qū)域拼接的同時把影像強行的定位到該區(qū)域，圖5下方區(qū)域與圖6上方區(qū)域的拼接將會特別困難，如果強行拼接的話將會產(chǎn)生大量的影像變形和畸變，直接影響拼接效果。

圖5　第一條航帶拼接圖

圖6　第二條航帶拼接圖

圖7　第三條航帶拼接圖

通過上面三條航帶的單獨拼接效果圖可以發(fā)現(xiàn)影像拼接過程中會產(chǎn)生誤差累積現(xiàn)象，如果不考慮這點則會產(chǎn)生扭曲、錯位、重疊等現(xiàn)象，以至于不能繼續(xù)拼接下去。本文提出的首先記錄每個拼接影像匹配中心點集合，對它們進(jìn)行區(qū)域網(wǎng)平差糾正每個影像的位置，同時采用先航帶間再航帶內(nèi)、旁邊航帶向中間航帶靠攏的方式進(jìn)行拼接能夠明顯地減少拼接結(jié)果錯位、重疊的情況。圖8為直接拼接效果圖，存在三個明顯的錯位、重疊處，這是由于新影像往已拼接的影像上拼接時，能找到一些拼接同名點，但是已拼接影像已經(jīng)累積了大量畸變，導(dǎo)致拼接影像重疊、錯位。圖9為直接拼接3個區(qū)域放大效果圖。

圖8　直接拼接效果圖

圖9　直接拼接法中3個區(qū)域放大圖

圖10　本文方法拼接結(jié)果圖

如圖10所示為利用本文方法對同樣的影像進(jìn)行拼接后的效果圖，在圖8中的相同3個區(qū)域最終的拼接效果可以通過圖11的放大圖進(jìn)行對比，基本沒有出現(xiàn)重疊、錯位的情況。同時對比圖8和圖10可以發(fā)現(xiàn)，本文方法拼接出的影像能充分利用已有影像，拼接的范圍也更大，圖8中很多邊緣區(qū)域都不能顯示，這是因為影像拼接過程中的累積誤差過大導(dǎo)致邊緣影像不能拼接上。對比圖8與本文方法拼接的圖10三塊區(qū)域，再選取部分特征點位，總結(jié)出兩種方法的精度誤差如表1所示。

表1　部分點位誤差統(tǒng)計　m

圖11　本文方法拼接圖中3個區(qū)域放大圖

5　結(jié) 論

由于無人機(jī)受風(fēng)力影響較大，其不同航帶的影像會形成各自的畸變及軌跡，對它們進(jìn)行直接拼接會形成大量的累積誤差，出現(xiàn)重疊、錯位等現(xiàn)象，難以拼接出全景圖。本文方法能夠較好地解決這個問題，利用所有影像拼接出質(zhì)量較高的全景圖。今后需要繼續(xù)深入研究的問題是進(jìn)行區(qū)域網(wǎng)平差會增加處理時間，需要進(jìn)一步優(yōu)化算法及計算軟件。

參考文獻(xiàn)：

［1］ 何敬，李永樹，徐京華，等．無人機(jī)影像制作大比例尺地形圖實驗分析［J］．測繪通報，2009（8）：24－27．

［2］ 張萬強，趙俊三，唐敏．無人機(jī)影像構(gòu)建三維地形研究［J］．測繪工程，2014，23（3）：36－41

［3］ 劉軍，許志華，劉小陽，等．基于無人機(jī)遙感影像拓?fù)浞治龅娜S重建［J］．測繪工程，2014，23（8）：32－35．

［4］ 臧克，孫永華，李京，等．微型無人機(jī)遙感系統(tǒng)在汶川地震中的應(yīng)用［J］．自然災(zāi)害學(xué)報，2010，19（3）：162－166．

［5］ 魯恒，李永樹，李何超，等．無人機(jī)影像數(shù)字處理及在地震災(zāi)區(qū)重建中的應(yīng)用［J］．西南交通大學(xué)學(xué)報，2010，45 （4）：533－538．

［6］ 魯恒，李永樹．無人機(jī)低空遙感影像數(shù)據(jù)的獲取與處理［J］．測繪工程，2011，20（1）：51－54．

［7］ 樊慶文，王小龍．基于等距序列圖像的快速拼接技術(shù)［J］．四川大學(xué)學(xué)報（工程科學(xué)版），2005，37（1）：139－142．

［8］ 張珍梅．無人飛行器遙感影像飛行質(zhì)量檢查及影像快速拼接方法研究［D］．北京：首都師范大學(xué)，2011．

［9］ 李勝睿，李翠華．基于梯度濾波的彩色圖像快速拼接與實現(xiàn)技術(shù)［J］．廈門大學(xué)學(xué)報，2003，42（1）：29－34．

［10］ZHOU Guoqing．Near real time ortho rectification and mosaic of small UAV video flow for time critical event response［J］．IEEE Transactions on Geoscience and Remote Sensing，2009，47（3）：739－747．

［11］LOWE D G．Distinctive image features from scale－invariant key points［J］．International Journal of Computer Vision，2004，60（2）：91－110．

［責(zé)任編輯：張德福］

Sequence UAV image mosaic method

TANG Min，YANG Feng，HUANG Huaping

（China Railway Eryuan Engineering Group Co．Ltd，Chengdu 610031，China）

Abstract：UAV images have large number of quantities，big distortion and other characteristic，which makes a large amount of accumulated errors in the splicing process．The access to a wide range of accurate panorama will face certain difficulties．Based on this，this paper presents an accurate and efficient method of UAV image sequence stitching．Firstly，it calculates the approximate area of image matching，reduces the time of feature search and matching，and at the same time，records the coordinates of feature point，which is at the location of regional centers．

Key words：UAV image；stitching；flight strips；cumulative error；sub regional weighted

作者簡介：唐 敏（1986－），男，工程師，博士研究生．

收稿日期：2015－04－28

中圖分類號：P231

文獻(xiàn)標(biāo)識碼：A

文章編號：1006－7949（2016）01－0010－07