基于控制點配準算法的無人機遙感影像自動無縫拼接技術(shù)

唐甜甜，陳炳才，2，寧 芊

(1.新疆師范大學(xué) 計算機科學(xué)技術(shù)學(xué)院，烏魯木齊 830002;2.大連理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024)

0 引言

無人機遙感作業(yè)相對于傳統(tǒng)航空遙感作業(yè)成本較低[1]，同時，由于無人機便于運輸、起降和著陸，使無人機的遙感操作更加靈活，能夠快速、實時獲取小面積、分散作業(yè)區(qū)域的圖像，使用該技術(shù)能夠改善獲取時間長、圖像缺乏靈活性等問題[2]。無人機遙感影像幾何校正與拼接技術(shù)是快速獲得完整監(jiān)視區(qū)域影像的關(guān)鍵，通過參數(shù)聯(lián)合獲取圖像外部定位元素，能夠快速對圖像進行定位[3]。

傳統(tǒng)方法通常采用基于圖像匹配的方法對無人機遙感影像進行拼接，利用所提取匹配信息建立影像間最佳轉(zhuǎn)換模型，完成影像間的對齊；影像配準后對其進行拼接平滑處理，使合成影像色澤一致。盡管新技術(shù)對尺度變化具有良好的魯棒性，但是當圖像之間存在較大未知畸變時，上述方法就不再適用于這種情況。因此，提出基于控制點配準算法的無人機遙感影像自動無縫拼接技術(shù)，解決上述傳統(tǒng)技術(shù)存在的問題，即使在影像間存在較大未知變量時，也能保證良好拼接結(jié)果。

1 無人機遙感影像獲取

根據(jù)生態(tài)環(huán)境監(jiān)測標準選擇的無人機機長1.8 m、翼展2.4 m，最大飛行時間3.5 h、最高水平飛行速度145 km/h；最高限制2 500 km/h，擬載入此類無人機遙感設(shè)備可替換可見光CCD成像設(shè)備，其主要目的是作為遙感監(jiān)測平臺[4-5]。

無人機影像成像原理如圖1所示。

圖1 無人機影像成像原理

所用無人機遙感系統(tǒng)主要包括空中、地面和數(shù)據(jù)處理3個部分，其中空中部分主要是將提前規(guī)劃好的航線上傳到無人機控制器之中[6]。因為無人機實時控制和接收飛行姿態(tài)數(shù)據(jù)會影響遙感圖像的顯示，因此使用監(jiān)測器監(jiān)測無人機飛行狀態(tài)，當數(shù)據(jù)可以可靠地傳送時，一些控制參數(shù)就會發(fā)生變化；地面部分主要是航路規(guī)劃設(shè)計，統(tǒng)計單幅圖像重疊率、航跡數(shù)、轉(zhuǎn)彎角度等參數(shù)，顯示地面控制面板和數(shù)據(jù)接收情況；數(shù)據(jù)處理部分，需要考慮通過預(yù)設(shè)的航跡自動采集圖像，實現(xiàn)圖像快速處理[7-9]。

無人機遙感圖像采集方法主要是自動定點拍攝，以無人機為基礎(chǔ)，通過數(shù)據(jù)采集、數(shù)據(jù)解包和數(shù)據(jù)傳輸3個環(huán)節(jié)，實現(xiàn)了通信數(shù)據(jù)實時下載[10]。無人機遙感系統(tǒng)上端接口為地面測控系統(tǒng)數(shù)據(jù)通訊接口，所有采集到的數(shù)據(jù)都是由地面測控系統(tǒng)向外分發(fā)的。全部數(shù)據(jù)分發(fā)后，從管道服務(wù)器數(shù)據(jù)流中檢索出地面?zhèn)鬏斝诺罉酥?，并下載，存入硬件包中。在遙感傳輸過程中實時顯示相關(guān)信息，并在遙感通信接口上實現(xiàn)數(shù)據(jù)傳輸，數(shù)據(jù)將以圖像格式文件形式存儲[11]。

2 基于控制點配準算法的圖像配準

為了減少圖像配準過程復(fù)雜性，在圖像配準中采用了基于控制點配準算法。在所采集到的控制點中，可能存在兩幅圖像非重疊區(qū)域或者只在其中一幅圖像的控制點，所以要排除這些控制點[12]。該方法通過設(shè)置閾值，將不具有良好匹配關(guān)系的控制點剔除，篩選出相對穩(wěn)定且易于識別的控制點。計算最鄰近域和次鄰域的比值來選擇易于識別的控制點，如果比值小于設(shè)定的閾值，則說明該控制點有效，將其保留，否則將其剔除。具體步驟如下：

1)從兩個影像中至少選擇4對控制點相對應(yīng)，在粗匹配圖像中隨機抽取4對控制點，以確定是否有3對有一條線，如果有，則丟棄這組匹配點，否則，需再次隨機選擇，直到?jīng)]有3對匹配點對匹配為止。

2)將所選的4對控制點進行數(shù)據(jù)標準化處理，其中包括圖像坐標平移和縮放。數(shù)據(jù)標準化處理不僅能提高結(jié)果準確性，而且對任意坐標原點的變化是具有不變性的，能夠徹底消除坐標變換對圖像配準的影響。

(1)

式(1)中,scale表示變換尺度，計算公式如下所示：

(2)

(3)

式中,n表示變換次數(shù)。

(4)

(5)

變換矩陣是一個齊次矢量方程，因此三維空間矢量方向一致，由此說明H是一個線性解。

1)粗配準。依據(jù)此設(shè)計粗配準和細配準，其中粗配準以檢測重疊區(qū)域為主,無人機由于受到天氣、氣流等因素影響，實際航向始終與預(yù)定航向有一定航測偏差，使重疊圖像呈現(xiàn)出不同形狀。這就使得兩幅圖像重疊區(qū)域難以確定，因此，必須通過粗配準進行匹配。

粗配準注意事項如下所示：

(1)為避免計算過程繁瑣，應(yīng)提前確定重疊區(qū)域，降低不匹配率，保證配準質(zhì)量。

(2)通過上述檢測步驟，能夠快速確定相鄰圖像之間匹配關(guān)系。若圖像失真過高，或因意外情況而造成航線模糊，應(yīng)避免人工干預(yù)，使用人工自動計算方法。

(3)對于不同模式匹配，在對時間要求過高的情況下，需達到一定的匹配精度。

2)精配準。由于粗配得到的結(jié)果僅僅是兩幅圖像之間控制點對應(yīng)關(guān)系，無法用于記錄影像細節(jié)。如果在粗匹配后直接拼接圖像，則結(jié)果將在影像出現(xiàn)錯位現(xiàn)象。因此，在完成粗配準后，進入精細匹配階段。

精配準注意事項如下所示：

(1)選擇穩(wěn)定且顯著的控制點，增強區(qū)分能力；

(2)遵守配準均勻性；

(3)選擇的控制點要方便匹配，為后續(xù)影像拼接提供幫助。

3 自動無縫拼接技術(shù)實現(xiàn)

3.1 最佳拼接線搜索

根據(jù)幾何坐標信息，確定圖像間的交疊區(qū)域，尋找最優(yōu)拼接線；通過動態(tài)規(guī)劃方法，確定重疊區(qū)域后，在其內(nèi)部尋找最優(yōu)無縫拼接線，并確定最佳縫線標準。

在此基礎(chǔ)上，從重疊區(qū)域生成差值影像，再從差值影像中尋找最優(yōu)無縫拼接線，可減小兩幅原始圖像在拼接線上不同影像點間色差和結(jié)構(gòu)差異。

1)強度初始化:像素對應(yīng)的無縫拼接線的強度值為每一像素判據(jù)值，無縫拼接線當前控制點對應(yīng)其所在的列值；

2)擴展:比較標準的三個像素數(shù)值，添加當前控制點強度值，通過比較相應(yīng)像素點最小強度來確定實際擴展方向，并更新圖像拼接線列值點；

3)最佳縫合線確定:在所有無縫拼接線中，找出強度值最小的線，控制像素點的色差和結(jié)構(gòu)達到統(tǒng)一。

3.2 消除拼接縫

搜索出最優(yōu)無縫拼接線后，按照該線拼接影像。由于影像之間色調(diào)不同，如果在影像拼接時采用最優(yōu)無縫拼接線作為邊界，則影像的內(nèi)容將直接從影像兩面提取出來。使用最佳的拼接線為中心，設(shè)置有一定寬度緩沖帶，將其與影像的交疊區(qū)域緩沖后，消除明顯縫隙，從而使最優(yōu)無縫拼接線的信息能夠在影像間順利過渡。

使用加權(quán)平均融合法，將兩幅影像重疊區(qū)域的像素值乘以各自權(quán)值，再疊加平均融合，由此獲取的重疊區(qū)域加權(quán)融合結(jié)果：

(6)

公式(6)中：ω1、ω2分別表示兩幅影像重疊區(qū)域各自權(quán)值，且滿足：

ω1+ω2=1

(7)

使用該方法能夠快速得到結(jié)果，通過權(quán)值融合，使重疊區(qū)域色調(diào)平滑過渡，能消除較為明顯的拼接縫。

3.3 無縫拼接

影像拼接分為無人機運行航線拼接和側(cè)面拼接兩個步驟。通過航線拼接生成航向拼接序列影像；通過側(cè)面拼接將不同路徑對應(yīng)的航線拼接，最終生成無縫拼接影像。具體拼接過程如下所示：

1)將最優(yōu)無縫拼接線作為邊界，只取兩幅影像的內(nèi)容，即最優(yōu)無縫拼接線相鄰影像內(nèi)容；

2)以所拼接生成的影像為左影像，以航線影像為右影像，根據(jù)最優(yōu)無縫拼接線拼接相鄰影像；

3)重復(fù)步驟1)～2)，直之航線圖像全部拼接完畢，最終生成拼接影像。

4 實驗結(jié)果與分析

在面對基于控制點配準算法的無人機遙感影像自動無縫拼接技術(shù)研究過程中，充分考慮算法優(yōu)劣及使用效果，做了驗證實驗，并以此為基礎(chǔ)得到驗證結(jié)論。

4.1 實驗步驟和方法

分別設(shè)計實驗平臺、實驗對象及實驗參數(shù)，選取無人機遙感影像圖，選取圖像的相同特征匹配控制點，采用不同方法匹配控制點，測試不同方法的影像分辨率及拼接效果。

4.1.1 實驗平臺

使用C++語言，調(diào)用opencv庫函數(shù)作為實驗影像處理的接口函數(shù)。在Windows7 Ultimate操作系統(tǒng)支持下，將影像傳入到CPU為Intel Core2 i5-430M的計算機之中，使用NVIDIA GeForce GT 420M顯卡將影像處理結(jié)果顯示在界面上，最后再利用MATLAB R2008b工具統(tǒng)計結(jié)果，待實驗完成后再轉(zhuǎn)向C/C++開發(fā)平臺。

4.1.2 實驗對象

實驗研究主要針對無人機遙感影像拼接，因此選取了某村莊的遙感影像圖，如圖2所示。

圖2 遙感影像圖

通過低空遙感飛行調(diào)查該區(qū)域格局，分別從兩條飛行帶上相鄰影像圖像中選取至少15～25對相同特征控制點，如圖3所示。

圖3 相鄰影像圖像相同特征控制點選取

4.1.3 實驗參數(shù)說明

對該地區(qū)航拍影像相關(guān)參數(shù)說明如表1所示。

表1 該地區(qū)航拍影像相關(guān)參數(shù)說明

4.2 控制點匹配

為了改善控制點分布不均勻情況，需將重疊區(qū)域分塊處理，之后再提取控制點，并將分塊中心加入控制點序列中，得到的控制點匹配結(jié)果如圖4所示。

圖4 控制點匹配結(jié)果示意圖

將分塊中心作為控制中心，能夠改善無控制點分布情況，在沒有控制點分布區(qū)域通過所有連接線建立起來的匹配信息，可確定區(qū)域格局情況。

4.3 影像分辨率檢測

匹配控制點后，分兩次檢測影像分辨率，第一次檢測結(jié)果如圖5所示。

圖5 第一次檢測結(jié)果

采用的原始影像分辨率為3 455*2 302，設(shè)縮放因子為0.2，那么第一次檢測到的影像分辨率為690*460，得到平移參數(shù)為(156，40)，旋轉(zhuǎn)參數(shù)為2.5°。

第二次檢測到的圖像如圖6所示。

圖6 第二次檢測結(jié)果

第二次檢測的影像，無縮放因子，分辨率為1 000*800，平移參數(shù)為(15,5)，旋轉(zhuǎn)參數(shù)為0°。

結(jié)合這兩次檢測結(jié)果，給出了如表2所示匹配數(shù)據(jù)。

表2 匹配數(shù)據(jù)

結(jié)合圖6、7和表2可得到較為精確數(shù)據(jù)匹配關(guān)系。

4.4 拼接效果分析

分別使用基于圖像匹配方法和基于控制點配準算法拼接無人機遙感影像，拼接效果如圖7所示。

圖7 兩種技術(shù)拼接效果對比分析

由圖7可知，使用基于圖像匹配方法出現(xiàn)明顯的拼接縫隙，在縫隙處容易丟失影像信息，因此，使用該技術(shù)拼接效果較差。而使用基于控制點配準算法沒有明顯的拼接縫隙，獲取的影像信息較為完整，由此可知，使用該技術(shù)拼接效果較好。

5 結(jié)束語

5.1 結(jié)論

研究了一種基于控制點配準算法的無人機遙感影像自動無縫拼接技術(shù)，在特征點檢測過程中，通過控制點配準算法檢測關(guān)鍵點，獲得關(guān)鍵點主要方向，在匹配速度相當情況下，獲取精準匹配結(jié)果。使用該技術(shù)即使在無地面控制點情況下，也可通過基于特征點匹配獲取一幅良好無縫拼接影像，避免使用傳統(tǒng)技術(shù)相對復(fù)雜且不定性的測量技術(shù)。通過該技術(shù)得到的主要研究結(jié)論如下所示：

1)通過控制點配準算法，消除影像邊緣因相機鏡頭而引起的畸變問題，能夠獲取真實影像外方位元素；

2)使用該拼接技術(shù)，與傳統(tǒng)技術(shù)相比，拼接精度獲得了提高；

3)解決了影像上拼接錯位問題，避免拼接影像重疊，通過融合處理得到良好拼接消縫效果。

5.2 展望

由于無人機機艙空間有限，只能搭載質(zhì)量較輕的普通功能終端，而這種終端測量結(jié)果與理想測量結(jié)果還是存在一定差距的，達不到高精準測繪精度要求。如果將性能好的功能終端與無人機遙感集成在一起，可以很大程度地提高影像拼接效果。