鍍膜雙鏡頭多光譜相機的波段配準(zhǔn)方法*

鄭佳怡，方俊永，王瀟，張曉紅，劉學(xué)

(1 中國科學(xué)院空天信息創(chuàng)新研究院， 北京 100094； 2 中國科學(xué)院大學(xué)， 北京 100049) (2020年2月24日收稿； 2020年5月22日收修改稿)

多光譜相機具有可同時獲得地物目標(biāo)空間信息和光譜信息的優(yōu)勢，被廣泛應(yīng)用于地質(zhì)災(zāi)害評估、農(nóng)作物和環(huán)境監(jiān)測以及地圖測繪領(lǐng)域[1]。目前常見的多光譜相機根據(jù)分光原理可分為光路分光式、多鏡頭分離式和濾光片轉(zhuǎn)輪式，這些相機大多配備復(fù)雜的機械分光設(shè)備，靈活性低。鍍膜雙鏡頭多光譜相機利用探測器單元鍍膜的方式簡化了多光譜相機結(jié)構(gòu)，獲取數(shù)據(jù)速度快且體積小重量輕，適合無人機平臺搭載或手持。

多光譜影像不同波段之間的配準(zhǔn)是航空遙感數(shù)據(jù)處理的關(guān)鍵步驟，影響著遙感數(shù)據(jù)產(chǎn)品的質(zhì)量。目前圖像配準(zhǔn)方法大致可分為基于灰度、基于特征2類?；诨叶鹊呐錅?zhǔn)方法對非線性灰度變換十分敏感，容易造成大的配準(zhǔn)誤差，因此波段配準(zhǔn)常用適應(yīng)度和通用度更強的基于特征的配準(zhǔn)方法。目前特征配準(zhǔn)領(lǐng)域應(yīng)用最多的是Lowe提出的SIFT(scale invariant feature transform)算法[2]，SIFT算法具有尺度、旋轉(zhuǎn)不變性，定位精度高且對噪聲和光照變化的容忍度高，但算法計算量較大。不少研究將SIFT算法進行改進[3-4],提高了配準(zhǔn)精度及效率，但仍無法滿足數(shù)據(jù)量大、時效性要求高的配準(zhǔn)場景。SIFT算法出現(xiàn)之后，涌現(xiàn)了一系列不同的局部特征配準(zhǔn)算法，Herbert Bay提出的SURF (speeded up robust features) 算法[5]繼承了SIFT算法的不變性，計算成本較SIFT減少3/4，學(xué)者們針對不同的應(yīng)用場景對SURF算法進行了適應(yīng)性改進，如利用顏色不變量邊緣特征及顏色直方圖提高SURF算法對彩色圖像的配準(zhǔn)效率[6]，利用全局匹配和像元局部配準(zhǔn)模型相結(jié)合提高SURF算法城市遙感影像配準(zhǔn)精度[7]等。在特征快速提取方面，Rosten等[8]提出FAST算子，效率很高但不變性較差。在特征點描述方面，Michael Calonder等提出二進制描述子BRIEF(binary robust independent elementary features)算法[9]，一定程度上解決了主成分分析(principal componerots analysis,PCA)等降維方法[10]無法很好解決計算描述子耗時的問題。目前計算機視覺領(lǐng)域應(yīng)用最廣泛的ORB(oriented brief)算法[11]是在FAST、BRIEF算法的基礎(chǔ)上進行了改進，彌補了傳統(tǒng)FAST算法不具備旋轉(zhuǎn)不變性的缺點，效率較SIFT算法提高了100倍，但ORB不具備尺度不變性，不適用于涉及尺度變換的配準(zhǔn)場景。此外，Leutenegger等提出的BRISK(binary robust invariant scalable keypoints)算法[12]，Alahi等受視網(wǎng)膜啟發(fā)提出的FREAK(fast retina keypoint)算法[13]等都大大縮短了配準(zhǔn)時間。運用二進制描述子的ORB、BRISK、FREAK等算法雖能極大提高算法效率，但相對于傳統(tǒng)的浮點型SIFT、SURF描述子可區(qū)分性和魯棒性較差[14]，在圖像匹配的過程中易產(chǎn)生大量的誤匹配?？紤]到鍍膜雙鏡頭多光譜相機波段數(shù)目多光譜范圍廣，配準(zhǔn)時涉及尺度變換的特點，本文選擇對效率及魯棒性較高的SURF算法進行改進，完成波段配準(zhǔn)。

SURF算法能夠產(chǎn)生大量特征點，但由于波段影像之間差異較大，配準(zhǔn)時大規(guī)模的特征點中會存在很多無效特征點，拖慢匹配速度的同時造成誤匹配。針對上述問題，本文提出一種快速版的SURF算法(F-SURF)，在充分繼承SURF算法不變性與魯棒性的前提下剔除無效特征點與誤匹配，增強算法的實時性。本文將介紹鍍膜雙鏡頭多光譜相機成像原理，配準(zhǔn)前的畸變校正預(yù)處理，重點探討F-SURF算法配準(zhǔn)原理與流程并設(shè)計實驗進行分析。

1 相機成像原理

本文研究的多光譜相機利用在探測器單元上鍍不同中心波長帶通薄膜的方式完成分光。不同中心波長的帶通薄膜按不同規(guī)格的像素矩陣排列成一個濾光單元，整齊鍍在探測器上，兩種鍍膜陣列如圖1所示。相機擁有2套子探測系統(tǒng)，子探測器之間僅鍍膜濾光陣列單元大小不同，外觀如圖2所示。一套子探測器配備4×4型鍍膜陣列負責(zé)采集波長465～630 nm范圍的可見光波段。另一套配備5×5型鍍膜陣列主要負責(zé)采集波長683～975 nm范圍的近紅外波段。相機選用CMOSIS CMV2000型探測器，數(shù)據(jù)采集速度最高可達170 cubes/s，影像覆蓋可見光到近紅外波段范圍，可廣泛應(yīng)用于農(nóng)林業(yè)監(jiān)測、環(huán)境監(jiān)測、災(zāi)害評估等領(lǐng)域。

子探測器采集的原始影像的分辨率均為2 048像素×1 088像素，一幅原始影像包含所有波段信息，需要根據(jù)鍍膜陣列的規(guī)格，對原始影像進行采樣得到單波段影像。4×4型探測器采樣步長為4，采樣得到16個分辨率為512像素×272像素的單波段影像。5×5型探測器采樣步長為5，采樣得到25個分辨率為409像素×217像素的單波段影像。

2 數(shù)字畸變模型采樣畸變校正法

該相機屬于非量測型相機，初始配備5 mm短焦鏡頭，內(nèi)方位元素與鏡頭畸變參數(shù)未知。在波段配準(zhǔn)前需對各波段影像畸變進行校正，消除畸變對后續(xù)波段配準(zhǔn)的影響。鍍膜雙鏡頭多光譜相機畸變校正的對象是原始影像采樣后的單波段影像，不能直接利用原始影像的各項畸變參數(shù)，因此需要找到原始影像畸變與單波段影像畸變之間的關(guān)系，進而完成各波段的畸變校正。

圖1 鍍膜陣列示意圖Fig.1 Coated array of the coated multispectral camera

圖2 相機外觀Fig.2 Appearance of the coated multispectral camera

本文采用的數(shù)字畸變模型采樣法是通過數(shù)字畸變模型建立各波段影像與原始影像畸變的關(guān)系，進而實現(xiàn)單波段影像的校正。數(shù)字畸變模型(digital distortion model, DDM)是一種有起伏的三維幾何模型，與數(shù)字高程模型(digital elevation model,DEM)形制類似，其平面坐標(biāo)為數(shù)字影像行陣和列陣的編號, 高程是相應(yīng)像素的總體畸變[15]。

建立單波段數(shù)字畸變模型完成畸變校正的步驟如下：

1)利用多片后方交會法[16]分別完成2個子探測器的檢校，得到各自的內(nèi)方位元素和畸變系數(shù)，根據(jù)式(1)的經(jīng)典畸變模型計算出子探測器原始影像每個像元的X、Y方向的畸變值大小，分別建立起原始影像的X方向和Y方向的DDM。

(1)

2)對各子探測器建立好的X，Y方向的2個DDM按各波段對應(yīng)的像元位置進行采樣，并將畸變值按采樣比例縮小后即可得到各個波段影像的X方向和Y方向的DDM。4×4型子探測器從原始影像X，Y方向DDM模型中采樣出各波段對應(yīng)位置的畸變差，重新排列后將畸變差數(shù)值縮小為1/4得到各波段影像的X，Y方向畸變差模型，同理，5×5型子探測器單波段畸變差數(shù)值需要縮小為1/5。

3)利用各波段DDM的畸變差值計算出各波段去畸變影像與存在畸變的各波段原始影像之間的關(guān)系，反解法求得坐標(biāo)后選用雙線性內(nèi)插法得到畸變校正后的各波段影像。

3 SURF算法

3.1 特征點提取

SURF使用的是Hessian矩陣行列式近似值圖像，Hessian矩陣是SURF算法的核心[17]。設(shè)(x,y)為圖像I上某一點坐標(biāo)，Hessian矩陣在尺度σ上可以表示為

(2)

det(H)=DxxDyy-(0.9Dxy)2.

(3)

SURF算法用不斷增大的盒子濾波器與圖像卷積構(gòu)建出多組多層的尺度空間。在不同的尺度圖像上尋找特征點，當(dāng)待定點比周圍26個領(lǐng)域的Hessian矩陣行列式值都大或者都小時，將該待定點作為特征點，最后通過在尺度空間進行三維二次函數(shù)擬合得到特征點的準(zhǔn)確位置。

3.2 特征點描述

確定特征的主方向。以特征點為中心，計算以6σ為半徑的領(lǐng)域內(nèi)的點在X,Y方向的Haar小波響應(yīng)，并對響應(yīng)值進行高斯加權(quán)，使越靠近中心特征點的點貢獻率越大?；瑒?0°范圍的窗口，計算范圍內(nèi)的所有響應(yīng)組成的新矢量，以5°為步長遍歷整個圓形鄰域，選擇最長矢量的方向為特征點主方向。

生成描述符。以主方向為坐標(biāo)軸基準(zhǔn)，在特征點周圍取一個邊長為20σ的正方形區(qū)域。將該區(qū)域分為4×4個子區(qū)域，統(tǒng)計每個子區(qū)域水平方向和垂直方向的Haar小波響應(yīng)值，并對其進行高斯加權(quán)。計算每個子區(qū)域所有響應(yīng)值的水平、垂直方向之和以及水平、豎直方向絕對值之和，作為4個描述向量。最后生成特征點周圍區(qū)域的64個向量。

3.3 特征匹配

首先對所有特征點Hessian矩陣跡進行正負檢測，若異號則不進行后續(xù)的相似性判斷，以此加快匹配速度。對同號的特征點計算歐式距離利用最近鄰比率法進行匹配，即待匹配特征點到參考圖像特征點的最近距離與次近距離之比小于閾值(推薦閾值0.7)，則認為該特征點與最小距離對應(yīng)的特征點是最佳匹配點。

4 改進的SURF算法

4.1 優(yōu)化SURF算法組數(shù)

由SURF算法可知特征點匹配時需要計算64維向量之間的歐式距離，計算量龐大，因此在進行特征點匹配之前，要盡可能多地提取出能夠參與最終正確匹配的有效特征點。SURF算法不同的尺度空間組數(shù)設(shè)置決定著特征點的尺度、數(shù)量規(guī)模，經(jīng)典SURF算法一般采用4組的參數(shù)設(shè)置。鍍膜雙鏡頭多光譜相機41個波段雖灰度差異稍大，但圖像的邊緣結(jié)構(gòu)等細節(jié)信息一致性較高，這些信息大多存在于圖像金字塔的小尺度空間中，因此可以適當(dāng)調(diào)整SURF算法的組數(shù)，盡可能多地保留待配準(zhǔn)波段影像穩(wěn)定的強特征點，剔除對正確匹配無用的特征點，提升算法效率。

利用各組特征點匹配貢獻度為基準(zhǔn)優(yōu)化組數(shù)。某組特征點匹配貢獻度定義為最終被判定為正確匹配的特征點中該組特征點所占比值。特征點匹配貢獻度越高，說明該組提取出的有效特征點越多。表1為配準(zhǔn)后統(tǒng)計出的該新型相機多組影像的各組特征點平均匹配貢獻度。實驗使用組數(shù)為4的經(jīng)典SURF算法對波段影像進行特征點提取，并利用RANSAC算法剔除誤匹配點的方法進行配準(zhǔn)，此處將RANSAC算法剔除誤匹配后的匹配點對視為正確點對。由于2個子探測器獲得的波段圖像分辨率不同，因此波段配準(zhǔn)時涉及同分辨率配準(zhǔn)與異分辨率配準(zhǔn)2種匹配類型，參考波段選擇圖像分辨率高且圖像熵值最大的4×4子探測器的第7波段。

表1 各組特征點匹配貢獻度Table 1 The matching contribution of each octave %

從表1數(shù)據(jù)可以看出2種類型的圖像配準(zhǔn)均呈現(xiàn)出正確匹配點中第1組特征點占比最多，隨著尺度增大，特征點對正確匹配的貢獻越少的特點。同分辨率配準(zhǔn)第1組和第2組對正確匹配貢獻率合計超過95.6%，異分辨率第1組和第2組對正確匹配貢獻率合計超過98%，第3組與第4組特征點對正確匹配的貢獻率均不超過5%，因此可以根據(jù)新型相機圖像特征及圖像配準(zhǔn)呈現(xiàn)的規(guī)律將SURF算法組數(shù)設(shè)置為2組，保留小尺度第1、2兩組特征點。

4.2 舍棄旋轉(zhuǎn)不變性簡化算法

同一子探測器各波段影像是從同一原始影像采樣而來的，圖像分辨率相同，涉及的旋轉(zhuǎn)角度可以忽略不計，2個子探測器安裝時嚴格平行且通過剛體連接，因此2個子探測器波段之間的旋轉(zhuǎn)角度同樣很小。由SURF算法原理可知特征點的旋轉(zhuǎn)不變性是由以主方向為零方向描述關(guān)鍵點來保證的，若配準(zhǔn)圖像之間旋轉(zhuǎn)角度很小(-15°～+15°)時，可以將SURF算子簡化為不考慮旋轉(zhuǎn)不變性的版本，不計算特征點主方向，直接進行后續(xù)的步驟，在提高特征點提取速度的同時不會降低匹配精度。

4.3 漸進采樣一致性算法剔除誤匹配

引入漸進采樣一致性算法(PROSAC)進行精細配準(zhǔn)。最近鄰比率法匹配后會存在較多的誤匹配，大部分研究利用隨機一致性算法(RANSAC)剔除誤配準(zhǔn)[19-20]，能夠很好地提高配準(zhǔn)精度，但RANSAC算法穩(wěn)定性低耗時高。PROSAC算法[21]是對RANSAC算法的改進，實驗證明相比于RANSAC算法及其他改進算法，PROSAC算法的精度及效率有了較大的提升[22-23]。

PROSAC算法步驟如下：

1)判斷當(dāng)前迭代次數(shù)是否大于設(shè)置的最大迭代次數(shù)，若是返回內(nèi)點數(shù)最多的點對集，若不是則進行步驟2)。

2)將當(dāng)前匹配點對按匹配質(zhì)量(最近鄰比值越小質(zhì)量越高)從高到低排列。

3)選取排序在前的M個的匹配子集，從M個匹配子集中隨機選取K個匹配點計算變換矩陣。遍歷匹配集中所有的匹配點對，利用當(dāng)前變換矩陣計算投影誤差，設(shè)置投影誤差閾值，小于閾值的點對則判定為內(nèi)點。

4)判斷內(nèi)點數(shù)目是否大于設(shè)置的最大內(nèi)點數(shù)目，若是返回當(dāng)前的點對集，若不是返回步驟1)完成一次迭代。

通過PROSAC算法剔除誤匹配點計算變換矩陣，得到2幅圖像的投影關(guān)系，將待配準(zhǔn)圖像變換到參考圖像的坐標(biāo)系下。本文選擇單應(yīng)矩陣為變換模型，圖像I(x,y)與I(x′,y′)的投影關(guān)系如下

(4)

5 實驗與分析

5.1 畸變校正實驗

在相機相同的狀態(tài)和模式下從4個不同方向?qū)I(yè)級的室內(nèi)三維幾何標(biāo)定場進行拍攝，分別獲得2個子探測器不同方位的影像。使用控制點提取軟件高精度地半自動識別出原始影像的特征點坐標(biāo)，采用多片后方交會法對相機進行檢校，獲取數(shù)字畸變模型采樣法所需的各類畸變參數(shù)，表2為多片后方交會檢校結(jié)果。

得到各子探測器的內(nèi)方位元素和畸變系數(shù)后，利用上文所選定的畸變模型，計算各子探測的原始影像各像素在X、Y方向上的畸變差，完成各探測器原始影像的X、Y方向DDM的構(gòu)建。對構(gòu)建好的原始影像DDM按各波段位置進行采樣，對畸變值按子探測器類型進行縮放，得到41個單波段影像的DDM，分別以每個子探測器的第一個波段為例展示單波段影像DDM如圖3。

表2 相機各子探測器檢校結(jié)果Table 2 Calibration results of each camera sub-detector

圖3 單波段示例影像DDMFig.3 The DDM of single band sample image

4×4型探測器單波段影像(以465 nm波段為例)X方向畸變在0.4像素之內(nèi)，最大畸變?yōu)?.364 7像素；Y方向畸變在0.3像素之內(nèi)，最大畸變?yōu)?.239 0像素。5×5型探測器單波段影像(以683 nm波段為例)X方向畸變在0.4像素之內(nèi)，最大畸變?yōu)?.340 1像素；Y方向畸變在0.2像素之內(nèi)，最大畸變?yōu)?.180 9像素。從單波段影像DDM數(shù)據(jù)中可以看出該相機鏡頭存在一定程度的畸變，畸變會造成一定程度的像點誤差，破壞正確的攝影光束形狀并且會對后續(xù)的影像配準(zhǔn)等流程產(chǎn)生影響。因此在處理本相機的影像時，首先利用數(shù)字畸變模型采樣法對相機影像進行畸變校正，再進行波段配準(zhǔn)的流程是合理的。

5.2 波段配準(zhǔn)實驗

完成畸變校正后對去畸變的多光譜影像各波段進行配準(zhǔn)。選擇一組無人機飛行影像如圖4(a)、4(b)，一組手持拍攝影像如圖4(c)、4(d)共90余對(40對同分辨率波段配準(zhǔn)，50對異分辨率波段配準(zhǔn))波段影像對提出的改進的SURF算法進行驗證。

本文選擇高分辨率4×4型探測器的圖像熵最高的第7波段為基準(zhǔn)影像。利用F-SURF算法完成與基準(zhǔn)影像同分辨率4×4型剩余15個波段的配準(zhǔn)以及與基準(zhǔn)影像異分辨率的5×5型25個波段的配準(zhǔn)。為了驗證改進算法的有效性，進行SURF-RANSAC算法、FAST-SURF[24]快速配準(zhǔn)方法與本文F-SURF算法的比較，由于SURF原算法沒有引入剔除誤匹配點的機制，導(dǎo)致在處理本相機多光譜波段影像時配準(zhǔn)平均誤差超過了3個像素，此處不作為實驗比較對象。表3展示了幾種算法的配準(zhǔn)效率，圖5展示了以均方根誤差(root mean square error, RMSE)衡量的配準(zhǔn)結(jié)果。

由上述實驗可看出：

1)圖5(a)、5(b)展示了手持拍攝影像與無人機拍攝影像2組數(shù)據(jù)在同分辨率維度下4×4型探測器剩余15個波段與基準(zhǔn)波段之間的配準(zhǔn)結(jié)果。地面數(shù)據(jù)SURF-RANSAC算法配準(zhǔn)平均RMSE為0.461，F(xiàn)AST-SURF算法為0.49，F(xiàn)-SURF算法為0.456；飛行數(shù)據(jù)SURF-RANSAC算法配準(zhǔn)平均RMSE為0.366，F(xiàn)AST-SURF為0.388，F(xiàn)-SURF為0.355。在4×4型同分辨率配準(zhǔn)時，F(xiàn)-SURF算法配準(zhǔn)精度最高。

圖4 畸變校正后的各子探測器示例單波段影像Fig.4 Single band image after distortion correction

表3 配準(zhǔn)效率表Table 3 Efficiency of registration

圖5 波段配準(zhǔn)RMSEFig.5 RMSE of band registration

2)圖5(a)、5(b)展示了2組數(shù)據(jù)在異分辨率維度下5×5型探測器25個波段與4×4型基準(zhǔn)波段之間的配準(zhǔn)結(jié)果。地面數(shù)據(jù)SURF-RANSAC算法配準(zhǔn)平均RMSE為0.57，F(xiàn)AST-SURF算法為0.614，F(xiàn)-SURF算法為0.555；飛行數(shù)據(jù)SURF-RANSAC算法配準(zhǔn)平均RMSE為0.531，F(xiàn)AST-SURF為0.61，F(xiàn)-SURF為0.515。對5×5型與4×4基準(zhǔn)波段配準(zhǔn)時，由于待配準(zhǔn)圖像與基準(zhǔn)影像分辨率不同涉及到尺度變換，因此尺度不變性較差的FAST-SURF算法的配準(zhǔn)精度較低。3種算法中F-SURF算法配準(zhǔn)精度最高。

3)對比2個類型的配準(zhǔn)結(jié)果可以看出同分辨率波段配準(zhǔn)精度略高于異分辨率波段配準(zhǔn)，這是由于參與同分辨率配準(zhǔn)的是4×4型探測器影像的15個波段(除基準(zhǔn)波段)，這15個波段與被選為基準(zhǔn)影像的4×4型第7波段是從同一原始圖像采樣得來的，特征一致性高更易配準(zhǔn)。而參與異分辨率配準(zhǔn)波段影像是5×5型探測器波段，這25個波段與基準(zhǔn)影像來自于不同的子探測器，波段差異較大，特征一致性較低。

從上述配準(zhǔn)誤差與配準(zhǔn)效率數(shù)據(jù)中可以看出本文提出的F-SURF算法的配準(zhǔn)精度優(yōu)于SURF-RANSAC算法與FAST-SURF算法，在配準(zhǔn)速度方面F-SURF算法相比于SURF-RANSAC有了較大提升，并與FAST-SURF快速配準(zhǔn)算法效率相當(dāng)。因此F-SURF算法能夠更好地適用于波段多、數(shù)據(jù)量龐大的多光譜相機，保證配準(zhǔn)精度的前提下增強數(shù)據(jù)處理及時性。

6 結(jié)論

本文介紹新型鍍膜雙鏡頭多光譜相機的原理，詳細探討了其波段配準(zhǔn)方法。首先利用數(shù)字畸變模型采樣法完成單波段影像校正，消除了影像畸變對波段配準(zhǔn)的影響；接著對畸變校正后的波段影像運用F-SURF算法進行圖像配準(zhǔn)。該算法主要從以下3個方面進行改進：特征提取方面，該算法結(jié)合相機影像特征，利用特征點匹配貢獻度優(yōu)化了尺度空間組數(shù)的設(shè)置；特征點描述方面，利用相機各波段影像之間旋轉(zhuǎn)角度極小的特點，舍棄了原SURF算法的旋轉(zhuǎn)不變性；特征點匹配方面，引入PROSAC算法剔除誤匹配。實驗結(jié)果表明，本文提出的波段配準(zhǔn)處理流程和方法，在對同分辨率波段影像和異分辨率波段影像進行配準(zhǔn)時，配準(zhǔn)精度均遠高于SURF原算法，優(yōu)于經(jīng)典SURF-RANSAC算法與FAST-SURF快速配準(zhǔn)算法，并且配準(zhǔn)效率有了較大的提升，證明本文提出的流程與方法適用于新型鍍膜雙鏡頭多光譜相機的波段配準(zhǔn)。