席順忠,李 勇※,葛 瑩,吳 彤,任孟杰,袁曉慧,莊翠珍
(1. 河海大學地球科學與工程學院,南京 211100;2. 河海大學水文水資源學院,南京 210098;3. 新平褚氏農業(yè)有限公司,新平 653407)
隨著國民經濟及社會可持續(xù)發(fā)展對遙感數(shù)據(jù)的需求日益提高,無人機(UAV)遙感得到了廣泛的關注和應用,成為對地觀測數(shù)據(jù)的有效采集手段。由于其可以在短時間內到達感興趣的區(qū)域,因此對地物的觀測和監(jiān)測變得更加容易和快捷,無人機已廣泛應用于多個領域,如植被監(jiān)測、精準農業(yè)和考古遺址的異常檢測等。然而,無人機獲取的數(shù)據(jù)由于環(huán)境因素也常常會遇到一些問題,如由于光照度的劇烈變化引起同一架次的影像亮度不均勻。即便是在晴朗無云的天氣下,當?shù)孛嬗兴w等反光地物時,由于拍攝角度的不同,有些影像中會產生耀斑,出現(xiàn)除反光區(qū)域外其他區(qū)域整體偏暗的現(xiàn)象。這會導致同一地物在不同影像中呈現(xiàn)嚴重的光譜特征不一致,在后續(xù)無人機影像拼接結果中出現(xiàn)地物光譜失真現(xiàn)象。
多光譜無人機在農作物的水分、長勢、氮素含量和病蟲害監(jiān)測等研究中發(fā)揮著重要作用。輻射校正是遙感定量化的基礎,其精度決定了后續(xù)遙感定量化分析的準確性。因此對無人機多光譜相機采集的影像進行輻射校正,其重要性不言而喻。目前在無人機低空遙感領域研究最多的輻射校正方法是場地替代定標法。該方法是在無人機影像目標區(qū)域范圍內放置已知反射率信息的參照板,建立影像DN(Digital number,DN)值與參照板反射率的線性關系,從而得到整張影像內地物的反射率。但是,一個架次的無人機影像通常有上千張,并且每張影像的輻射條件因環(huán)境而不盡相同,若為每幅影像設置參照板,工作量巨大難以實現(xiàn)。因此,在輻射校正前應該以含有已知反射率參照物的影像為基準,對其余影像進行相對輻射一致性校正這樣只需在有限幾幅影像中設置參考板,就可以得到整個架次內地物的反射率。常用的相對輻射一致性校正方法可以分為以下兩類:1)非線性校正法,如直方圖匹配法(Histogram matching,HM)、基于實時照度信息的校正方法等。直方圖匹配法通過調整校正影像和參考影像的灰度直方圖,使兩者的灰度概率分布盡量接近。該方法快速簡單,但只考慮了影像間的亮度差異,導致原始影像中地物的輻射特性被破壞,造成影像灰階丟失,整體灰度分布失真?;趯崟r照度信息的校正方法,可以根據(jù)環(huán)境照度變化劇烈程度選擇線性或非線性模型,而且能在不破壞灰度級的情況下完成對影像的輻射一致性校正,但是這種方法只適用于無反光地物的影像中。2)線性校正法,有不變目標法(Pseudo invariant Features)、基于統(tǒng)計回歸的校正方法(Statistic regression,SR)和楊貴軍等提出的基于SIFT(Scale invariant feature transform,SIFT)特征點匹配的多光譜影像輻射一致性校正方法。以上方法通過影像統(tǒng)計信息、人工選取樣本建立樣本集或算法自動選擇樣本集,建立影像之間的輻射校正模型,從而實現(xiàn)輻射一致性校正。這些方法校正光照度變化引起的同一架次輻射不一致問題,往往達到相對良好的效果。但是,在處理水體反光形成的低照度影像時,由于影像整體對比度低、可視化細節(jié)少、平均亮度低,上述方法無法選取足夠的樣本點,并且難以抵抗樣本點中的粗差,因而上述方法在處理這類影像時效果通常并不理想。
為此,本研究提出一種無人機多光譜影像輻射一致性校正方法。該方法首先根據(jù)基準影像對待校正影像做相對輻射一致性校正,然后進行輻射定標,將影像的DN值轉化為反射率,最終實現(xiàn)輻射一致性校正。其中本研究的重點為相對輻射一致性校正,主要包含暗角校正、影像特征提取與匹配、校正模型構建和雙邊濾波四個步驟。通過本文方法能夠有效解決水體反光造成的光譜失真問題,提高受水體反光影響遙感圖像的利用率,為后續(xù)定量化研究提供精確的數(shù)據(jù)保障。
試驗在云南省中部的玉溪市新平縣褚橙莊園(23°19′~24°53′°°N,101°16′~103°09'E)進行。于2021年4月15日當?shù)貢r間12:00-13:00采集影像,所用無人機為大疆精靈4多光譜無人機(Phantom4-Multispectral,P4M)。該無人機搭載了一體式的多光譜成像系統(tǒng),集成了1個可見光傳感器及5個多光譜傳感器,其中多光譜相機成像波段參數(shù)如表1所示。每個傳感器均擁有200 萬像素解析度并配備全局快門,整套的成像系統(tǒng)搭載于三軸云臺上,可輸出高質量的數(shù)據(jù)。無人機飛行高度為120 m,所拍攝影像的旁向和航向重疊率分別設定為60%和80%。
表1 P4M各波段的基本參數(shù) Table 1 The basic parameters of each band of P4M
在飛行區(qū)域內選取地勢平坦無陰影的位置布設1.5 m×1.5 m黑、白無紡布,做為輻射校正的標定布如圖 1所示。圖1中10英寸白板為ASD-2000光譜儀自帶光強標定白板。在無人機飛行前用光譜儀測定黑、白標定布的反射率。
圖1 兩塊標定布各波段影像 Fig.1 Two calibrated images of each band
本研究實驗所用的計算機配置如下,CPU:(英特爾)Intel(R) Core(TM) i3-10100F CPU @ 3.60 GHz(3 600 MHz);內存:16.00 GB(2 666 MHz);顯卡:NVIDIA GeForce GTX 1650(4 096 MB);操作系統(tǒng):Microsoft Windows 10 專業(yè)版(64位);運行環(huán)境:Python 3.7。
本文提出一種水體強反光環(huán)境中無人機多光譜影像的輻射一致性校正方法,該方法以含有標定布、無水面耀斑且經過暗角校正的影像為基準,對一個架次其余影像進行相對輻射一致性校正,然后進行輻射定標。主要包括以下步驟:
1)采集無人機影像數(shù)據(jù)的同時,用地物光譜儀測量標定布反射率。
2)對初始基準影像的相鄰影像做相對輻射一致性校正。具體程序流程圖如圖2所示。
圖2 相對輻射一致性校正流程圖 Fig.2 Relative radiation consistency correction flowchart
① 暗角校正。減弱單幅影像由于相機鏡頭原因造成的漸暈現(xiàn)象。
② 利用SIFT算法提取相鄰像對重疊區(qū)域的特征點并匹配出同名點。其中像對的最近鄰特征點歐氏距離與次近鄰特征點歐氏距離比值閾值設為0.5。
③ 統(tǒng)計同名點個數(shù),若同名點數(shù)小于閾值則執(zhí)行④、⑤,否則跳過。其中值至少為2,本研究設定為20。
④ 對待校正影像做直方圖對比度拉伸。
⑤ 利用SIFT算子對基準影像和拉伸后的待校正影像提取特征點并匹配出同名點。因直方圖對比度拉伸不改變影像的幾何位置,故將該組同名點作為基準影像和待校正影像的同名點。
⑥ 提取同名點的DN值。
⑦ 判斷同名點DN值的MAE(Mean absolute error,MAE)是否大于5,是則執(zhí)行⑧、⑨,否則跳過。
⑧ 根據(jù)RANSACS算法構建相對輻射一致性校正模型。
⑨ 根據(jù)校正模型,對待校正影像進行校正,并對校正后的影像雙邊濾波,去除噪聲點。
3)基于航線信息,將校正后影像作為參考影像,繼續(xù)執(zhí)行步驟2),直到所有影像完成校正。
4)根據(jù)初始基準影像上標定布每個波段的反射率和DN值,構建各自波段的輻射定標方程。
5)利用步驟4)構建的輻射定標方程,將所有影像的DN值轉化為反射率。
當相機對著亮度均勻的目標進行數(shù)據(jù)采集時,影像四角有變暗的現(xiàn)象稱為“暗角效應(Vignetting)”。這種效應對于任何成像鏡頭都是不可避免的,僅是在嚴重程度上有所差異。
這種暗角效應產生的原因主要有以下三點:一是邊角的成像光線與鏡頭光軸有較大的夾角。沿著視場邊緣光線的前進方向看光圈,由于光線與光圈所在的平面有夾角,看到的光圈是橢圓的,所以通光面積減小。鏡頭光心到膠片的邊緣距離較大,同樣的光圈直徑到達底片的光線夾角較小,亮度必然減小。二是小直徑鏡片造成邊角成像光線不能完全通過,降低了邊角的亮度。三是為了提高影像質量,有些鏡片的邊緣或專門設置的光闌有意擋住部分影響成像質量的邊緣光線,造成邊角失光。
本研究中的P4M無人機拍攝的影像同樣也存在暗角,如圖3a所示。因此,暗角校正是對影像做輻射一致性校正不可忽視的一步。
本研究采用廠商提供的輻射狀暗角補償模型進行影像的暗角校正,該模型如下:
其中 ()為影像的像素坐標,為暗角校正后的像素的DN值,(x,y)為暗角補償?shù)脑鲆婧瘮?shù):
其中,, ....,,為光學參數(shù),由廠商給定,可以在影像元數(shù)據(jù)信息中讀取,為像素點 ,(x,y)到補償中心的像素距離:
其中和是暗角補償?shù)挠跋裰行淖鴺恕?/p>
為了提高計算效率,本文直接使用無人機廠商提供的6個暗角校正參數(shù),對影像做校正。校正后的效果如圖3b所示,從圖中可以看出,校正暗角效應后,影像中心部位的亮斑被顯著弱化,四周亮度明顯提升,整體明暗趨于一致。
圖3 暗角校正效果 Fig.3 Vignetting correction effect
影像間的相對輻射一致性校正主要是確定相鄰影像同名點的DN值關系,建立校正模型。因此,同名點的匹配尤為重要。常用的特征點匹配算法有SIFT、SURF(Speed Up Robust Feature,SURF)和ORB(Oriented Fast and Rotated Brief,ORB)等。對于不同亮度的影像,SIFT匹配的最好,ORB的匹配準確率最低。本研究需要做特征匹配的兩張影像亮度差異較大,因此選用SIFT算法做特征點匹配。
水體強反光造成的寬動態(tài)范圍低照度影像,除了水面耀斑部分,其他部分整體偏暗。由于這種影像對比度低,并且影像中的地物主要是植被,其紋理相對建筑物而言不夠突出。直接對這種低照度影像使用SIFT算法做同名點提取效果并不理想。以Blue波段影像為例,將含有已知反射率標定布、無水面耀斑且經過暗角校正的影像作為參考影像如圖4a,有水面耀斑的影像作為待校正影像如圖4b,用SIFT算法提取同名點。當像對的最近鄰特征點歐氏距離與次近鄰特征點歐氏距離比值小于0.5時,只匹配到了2對同名點,如圖4c所示。因此,在對影像特征提取與匹配前,有必要先對低照度影像做增強處理。
常用的影像增強算法有灰度變換類、基于直方圖類和基于Retinex算法類。其中灰度變化類主要包括:對數(shù)變化和Gamma變化等,直方圖類主要包括:直方圖對比度拉伸、直方圖均衡和自適應直方圖均衡等,基于Retinex算法主要包括:單尺度Retinex和多尺度Retinex等。
對圖4b分別使用上述7種不同影像增強算法進行信息增強。然后利用SIFT算法對信息增強后的影像與圖4a進行特征提取并匹配,結果如表2所示。根據(jù)表 2可以看出,經過算法增強處理后的影像,使用SIFT提取到的特征點數(shù)量顯著增加。其中直方圖對比度拉伸后的影像與參考影像特征匹配后同名點數(shù)量在這幾種方法中最多,達到了793個,并且該影像增強算法程序運行時間只需0.053 s;Gamma變換后的影像與參考影像特征匹配點數(shù)量最少只有14個;直方圖均衡類算法、Retinex類算法以及對數(shù)變換雖然有助于提升SIFT算法獲取影像特征點,但是與直方圖對比度拉伸算法相比仍有差距。
圖4 相鄰影像及其同名點匹配結果 Fig.4 Adjacent-image pairs and their homologous points
表2 不同方法增強影像信息后匹配結果 Table 2 Evaluation of matching results after different methods of image enhancement
為了驗證直方圖對比度拉伸算法在其余4個波段對影像信息增強的有效性,用其對待校正影像進行信息增強,然后將信息增強后的影像與參考影像特征匹配。Green、Red、RedEdge和NIR波段的像對同名點數(shù)量分別由原來的1、16、5和18增加到了1 230、3 037、1 521和3 197。
因此,本研究在利用SIFT算法提取特征點前先對水體強反光干擾的影像進行直方圖對比度拉伸增強信息,從而為后續(xù)相對輻射一致性校正模型構建提供足量的同名點。
影像之間的相對輻射一致性校正,就是在影像重疊區(qū)域找到同名點,然后根據(jù)同名點的DN值建立回歸模型,將待校正影像中所有的像素點根據(jù)回歸模型進行校正。因為直方圖對比度拉伸改變的是影像的像素值,不改變其幾何位置,所以以上一節(jié)中Blue波段待校正影像直方圖對比度拉伸后與參考影像特征匹配得到的793對同名點作為參考影像與原始待校正影像的同名點。其中,隨機選取70%同名點作為回歸數(shù)據(jù)集,構建校正模型,剩余30%同名點作為驗證數(shù)據(jù)集。提取回歸數(shù)據(jù)集的DN值,利用公式(4)建立線性校正模型。
其中y為參考影像DN值,x為待校正影像DN值,為同名點序數(shù),和為模型的增益和偏置。
最小二乘(Least Square,LS)是常用的線性回歸方法,但由于其對粗差敏感,當數(shù)據(jù)集中存在噪聲時回歸效果不佳。本研究中的待校正影像是一種低照度影像,不可避免的會存在噪聲點,因此選用抗差能力強的RANSAC算法作為線性回歸的算法。RANSAC算法的流程如下:
1)隨機選擇一定數(shù)量的樣本作為內點。
2)計算適合內點的模型。
3)用模型測試其他所有的點,把落在給定范圍內的點放入內點集。
4)記錄內點個數(shù)。
5)重復以上步驟,直至迭代次數(shù)大于。的計算式如(5)式所示:
其中為RANSAC得到正確模型的概率,本研究中設其為0.98;為計算模型參數(shù)所需的最小樣本數(shù)量,本研究設其為2;為內點在數(shù)據(jù)集中的占比,本研究采用自適應值方法,即一開始設定一個無窮大的迭代次數(shù),然后每次更新模型參數(shù)估計的時候,用當前的“內點”比值作為的值。
6)將內點數(shù)量最多的模型作為最終的回歸模型。
步驟1)~6)中若為粗差則定義為外點,反之定義為內定點用最小二乘法做線性回歸,并按式(6)計算決定系數(shù)。
將圖4中的參考影像與待校正影像同名點的DN值分別用LS和RANSAC算法做回歸分析,結果如圖5所示。圖5中空心點為RANSAC算法定義的外點,即影像中的噪聲;實心點為內點,即用來做擬合的點集。從圖5可以看出,RANSAC算法將離群點定義為了外點,沒有參與擬合,因此回歸模型的決定系數(shù)為0.946,要高于最小二乘回歸模型的決定系數(shù)0.925。繼而說明RANSAC算法有效的降低了影像中的噪聲點干擾,提高了模型的解釋能力。
圖5 同名點DN值的相關關系 Fig 5 Correlativity between DN value of homologous points in image pairs
基于SIFT提取出其余4波段像對的同名點,利用RANSAC構建相對輻射一致性校正模型,如表3所示。從表3可以看出,各波段校正模型擬合效果良好,都大于0.94。
表3 各波段相對輻射一致性校正模型 Table.3 Calibration model for relative radiation consistency of each band
本文研究的影像是一種由于地物反光造成的寬動態(tài)范圍低照度影像,影像暗光區(qū)域會受到噪聲污染,因此需要對校正后的影像做濾波消除噪聲。
常用的濾波算法有中值濾波、均值濾波、高斯濾波等,但是這些濾波算法在消除噪聲的同時,也會使影像變得模糊。雙邊濾波與上述算法相比在保證去噪效果的同時最大限度地保存了邊緣信息,且校正后影像的色彩變化相對較小。雙邊濾波是一種非線性濾波器,采用基于高斯分布的加權平均方法,用周邊像素亮度值的加權平均代表某個像素的強度。其權重不僅考慮了像素的歐氏距離,還考慮了像素范圍域中的輻射差異。因此,本研究利用雙邊濾波去除相對輻射一致性校正后影像中的噪聲點。
本研究將相對輻射一致性校正后的影像,采用偽標準地物輻射糾正法,通過地面目標測得的反射率將多光譜影像DN值轉化為反射率。在無人機拍攝影像的同時,在柑橘地塊周邊選取合適位置布設2個不同灰度的標定布,使用ASD-2000光譜儀測定標定布地面反射率。在多光譜影像中統(tǒng)計標定布在各波段的DN值,利用公式(7)進行多光譜影像的輻射校正,將整張影像DN值轉化為反射率。
其中ρ和DN分別為標定布波段的反射率和影像DN值,gain和bias分別為波段標定系數(shù)中的增益和偏置。
為驗證校正精度,以像對參考影像為準,統(tǒng)計Blue、Green、Red、RedEdge和NIR波段反射率及GNDVI(Green Normalized Difference Vegetation Index,GNDVI)的平均絕對誤差(Mean Absolute Error,MAE)作為評價指標。
GNDVI是表征果樹生長狀況的植被指數(shù),是葉片葉綠素濃度、氮、蛋白質和水分含量的良好指標,其計算式如(8)所示。
式中為近紅外波段的反射率,為綠波段反射率。
MAE能在一定程度上衡量校正后影像和參考影像之間的接近程度,MAE值越小,表明校正的效果越好。其計算見式(9)。
式中為驗證數(shù)據(jù)集同名點總數(shù);y和y分別為第個同名點參考影像和校正后影像像元值。
為了驗證本文輻射一致性校正方法的有效性,以含有已知反射率標定布、無水面耀斑且經過暗角校正的影像為參考,分別用直方圖匹配法和本文方法對一景受水體強反光干擾的5個波段影像進行校正,校正結果如圖6所示。由圖6可以看出,直方圖匹配和本文校正方法校正后的影像,除水體外視覺特性與參考影像基本相似。這證明了本文提出的方法具有消除影像間輻射差異的能力。雖然直方圖匹配的校正結果與參考影像視覺上差異也很小,但是直方圖匹配會引起影像的灰度級嚴重缺失。將直方圖匹配結果與參考影像重新進行特征點匹配,并利用重新匹配得到的同名點像元值進行輻射一致性評價,如圖7a所示,直方圖匹配后的影像灰度級出現(xiàn)了明顯的缺失,進而導致地物反射率出現(xiàn)斷層,而本文方法較好地保持了原始圖像的輻射特性。
圖6 不同校正方法結果對比 Fig. 6 Results comparison of different correcting methods
圖7 不同方法校正后影像與參考影像同名點反射率關系 Fig.7 Correlativity between the reflectivity of homologous points in corrected image by different methods and its base image
為了進一步為比較校正變換的效果,將5個波段反射率以及GNDVI的MAE作為評判標準,結果見表4。從表4中可以看出,對于GDVI指標,校正前的MAE為11%,直方圖匹配校正后的MAE為0.6%,本文方法校正后的MAE為0.3%。對于各波段反射率,藍、綠、紅、紅邊和近紅外波段,校正前的MAE分別為9.4%、10.2%、3.8%、24.1%和26.5%,直方圖匹配校正后的MAE分別為1.7%、1.8%、1.2%、3.1%和4.7%,本文方法校正后的MAE分別為0.2%、0.5%、0.6%、1.7%和1.2%??梢钥闯鼋涍^校正后GNDVI和5個波段的反射率誤差都明顯減小,且本文方法效果最優(yōu),校正后的影像與參考影像間的MAE最小。
表4 不同方法的平均絕對誤差 Table 4 MAE of different methods %
為了研究暗角校正對輻射一致性校正結果的影響,將五個波段的參考影像和待校正影像分為有暗角校正和無暗角校正的兩組像對,分別進行輻射一致性校正。以參考影像為基準,統(tǒng)計5個波段反射率以及GNDVI的MAE。結果如表5所示。從表5中可以看出,無暗角校正的輻射一致性校正結果6項光譜信息的平均絕對誤差都比有暗角校正的校正結果大。分析原因,暗角效應造成單張影像輻射條件不均勻,且由于同一地物在相鄰影像中的像素位置不同,暗角效應對其影響程度也不同,導致像對同名點像元值相關性弱化,從而降低了輻射一致性校正結果的精度。
表5 暗角校正對輻射一致性校正結果的影響 Table 5 The effect of vignetting correction on the result of radiation consistency correction %
為了驗證本文方法的魯棒性,選另外兩景Blue波段受水體強反光干擾的影像進行輻射一致性校正,如圖8所示。從圖8中可以看出,待校正影像整體較暗,人眼視覺不能清楚的分辨影像中的地物,大范圍的黑暗區(qū)域遍布整幅影像,導致視覺效果極差。經過本文輻射一致性校正后影像整體亮度、對比度得到了提高,明顯地改善了影像的視覺效果,除水面耀斑外其余地物視覺上與參考影像基本趨于一致。
圖8 不同場景藍波段影像的輻射一致性校正結果 Fig.8 Radiation consistency correction results of Blue band images in different scenes
圖9a為原始影像拼接結果,可以看出整體亮度不均,水域周圍有明顯的暗影。圖9b為根據(jù)航線信息使用本文方法對一個架次82張影像校正結果。圖像的右上角為航線起點,按照橫向之字形飛行,到左下角為航線終點。經過本文輻射一致性校正后,整個架次的影像明暗趨于一致,無明顯色差。這證明了本文提出的方法,能夠按航線信息消除連續(xù)多張影像間因水體強反光造成的輻射差異。
圖9 Blue波段校正后影像拼接結果對比 Fig.9 Comparison of image mosaic results after Blue band correction
對無人機多光譜影像輻射校正是遙感定量化的基礎,其精度決定了后續(xù)遙感定量化分析的準確性。但是,一個架次的無人機影像因受水體強反光干擾,影像間輻射條件不盡相同,若為每幅影像設置參照板進行輻射校正,工作量巨大難以實現(xiàn)。因此,本研究針對上述問題,提出了一種水體強反光環(huán)境中無人機多光譜影像的輻射一致性校正方法。主要結論如下:
1)與其他常規(guī)影像增強算法相比,直方圖對比度拉伸算法在提升SIFT算法特征點檢測方面表現(xiàn)最優(yōu)。
2)暗角校正不僅可以消除單張影像內輻射不均一問題,而且可以增強像對同名點像元值相關性,從而提高輻射一致性校正的精度。
3)本文方法不僅校正了影像的輻射信息,而且消除了原始影像的噪聲點。使得校正后的影像在視覺上和光譜信息上都與參考影像達到了較高的吻合度。和直方圖匹配法相比,采用本研究方法具有較高精度,藍、綠、紅、紅邊和近紅外波段校正后的反射率平均絕對誤差僅為0.2%、0.5%、0.6%、1.7%和1.2%,GNDVI平均絕對誤差為0.3%。
本研究方法有效解決了水體反光造成的光譜失真問題,提高了受水體反光影響遙感圖像的利用率。但仍存一些問題有待在后續(xù)進一步研究:
1)本文研究的主要目的是為了無人機數(shù)據(jù)能夠更加準確地反映柑橘樹冠的光譜信息,為后續(xù)樹冠營養(yǎng)元素研究提供精度的遙感數(shù)據(jù)保障。因此,經過校正后柑橘樹等其他地物的輻射信息與參考影像達到了較高的一致性,但是沒能去除水面中的耀斑。所以在輻射一致性校正的同時去除水面耀斑是后續(xù)的研究方向。
2)本文對水體強反光造成的相鄰像對地物輻射信息不一致進行了校正,但反光地物除水體外還有不銹鋼、玻璃等地物,本文輻射一致性校正方法的普適性還有待進一步研究。