強(qiáng)迫擾動(dòng)下航拍圖像粗大邊緣特征點(diǎn)提取方法研究

鄧焰光

（梅州市勵(lì)圖空間信息技術(shù)有限公司，廣東 梅州 514000）

0.引言

無人機(jī)低空遙感應(yīng)用的領(lǐng)域很多，單幅圖像視野有限，且多幅圖像重疊區(qū)域較大，因此通常需要對(duì)圖像邊緣進(jìn)行特征點(diǎn)提取，以便于實(shí)際應(yīng)用?，F(xiàn)有的特征點(diǎn)提取方法都是從圖像中提取特征點(diǎn)，主要有基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法和基于尺度空間的特征點(diǎn)提取方法[1]。其中基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法，利用角點(diǎn)的特征函數(shù)對(duì)特征點(diǎn)進(jìn)行描述，得到特征點(diǎn)的角幅度。盡管該方法能夠提取特征點(diǎn)的幾何信息，但計(jì)算過程復(fù)雜，使用該方法無法高效處理航拍圖像，因此，難以應(yīng)用到強(qiáng)迫擾動(dòng)情況下的處理系統(tǒng)之中。使用基于尺度空間的特征點(diǎn)提取方式，雖然可以獲取特征點(diǎn)屬性信息，但航拍圖像粗大邊緣特征點(diǎn)是以不同尺度形式出現(xiàn)的，表現(xiàn)出的特征也不同，所以使用該方法無法同時(shí)提取粗大特征點(diǎn)尺度特征，且整個(gè)過程耗時(shí)長(zhǎng)，無法高效提取特征點(diǎn)。針對(duì)該問題，提出了強(qiáng)迫擾動(dòng)下航拍圖像粗大邊緣特征點(diǎn)提取方法研究。

1.強(qiáng)迫擾動(dòng)下圖像動(dòng)態(tài)校正

強(qiáng)迫干擾下提取粗大邊緣特征時(shí)，航拍到的圖像存在幾何畸變問題，因此，可根據(jù)航拍路線、角度（俯仰角、滾轉(zhuǎn)角和航向角），處理圖像旋轉(zhuǎn)問題。圖像在未經(jīng)校正情況下，直接提取粗大特征點(diǎn)是無法實(shí)現(xiàn)特征點(diǎn)精確提取的。所有航拍圖像都有對(duì)應(yīng)的坐標(biāo)參數(shù)，依據(jù)該參數(shù)提取粗大邊緣特征，及時(shí)對(duì)圖像點(diǎn)逐幀處理[2]。在進(jìn)行圖像校正時(shí)，需對(duì)每一幅坐標(biāo)上的圖像重疊區(qū)域估計(jì)，減少圖像搜索需要掃描特征點(diǎn)數(shù)量。無人機(jī)懸停于目標(biāo)表面時(shí)，圖像的旋轉(zhuǎn)可理解為坐標(biāo)的移動(dòng)和旋轉(zhuǎn)的結(jié)合（如圖1所示）：

圖1 圖像旋轉(zhuǎn)坐標(biāo)系

由圖1可知：D0（x0，y0）圍繞中心點(diǎn)O（xa，ya）旋轉(zhuǎn)，旋轉(zhuǎn)后角度對(duì)應(yīng)點(diǎn)D（x，y）坐標(biāo)，如公式（1）所示：

2.航拍圖像粗大邊緣特征點(diǎn)提取

2.1 方向信息提取

從無人機(jī)采集的航拍圖像中提取高頻信息，利用方向?yàn)V波器進(jìn)行圖像紋理、邊緣等特征的濾波處理，可在一定頻譜分布范圍內(nèi)面向不同方向進(jìn)行航拍圖像的分解，濾除噪聲，并增強(qiáng)圖像特征點(diǎn)信息。同時(shí)參考傅里葉變換的性質(zhì)將圖像旋轉(zhuǎn)一定角度，此時(shí)仍可借助方向?yàn)V波器進(jìn)行圖像分解，完成方向信息的提取。

基于非對(duì)稱性特征，借鑒扇形、鉆石型兩種濾波器對(duì)傳統(tǒng)方向?yàn)V波器的構(gòu)造方式進(jìn)行創(chuàng)新。先利用扇形濾波器沿x軸（水平）、y軸（垂直）兩個(gè)方向分別進(jìn)行圖像分解，明確頻域通帶范圍；再與鉆石型濾波器組合，利用其頻域選擇性特征在指定頻域范圍內(nèi)進(jìn)行各象限下頻域的分解，完成多方向?yàn)V波器組的構(gòu)造。當(dāng)航拍圖像呈ɑ°旋轉(zhuǎn)后，對(duì)應(yīng)的頻譜圖像也將旋轉(zhuǎn)ɑ°，此時(shí)引入多方向?yàn)V波器組對(duì)旋轉(zhuǎn)前后的圖像進(jìn)行頻域?yàn)V波處理，即可在相同區(qū)域范圍內(nèi)沿相同方向子帶內(nèi)呈現(xiàn)出濾波結(jié)果的差異，用于表示圖像旋轉(zhuǎn)，實(shí)現(xiàn)航拍圖像的多方向性分解。但該方法在處理實(shí)際航拍圖像時(shí)，易使低頻信息在不同方向的子帶中呈不均勻分布，無法有效捕捉方向信息，因此還需引入算法進(jìn)行低頻分量的移除，滿足多尺度空間的圖像分解要求。

2.2 航拍圖像粗大邊緣特征描述子構(gòu)建

因?yàn)镾IFT算法使用128d特征向量來描述特征點(diǎn)的信息，并且基于SIFT特征的性能評(píng)估，128d仿射描述子在尺度、光照和模糊度等方面都有很好的性能，所以SIFT算法可以用來構(gòu)造特征描述子。具體實(shí)現(xiàn)過程為：

（1）在任意特征點(diǎn)的鄰域中，為了保證其旋轉(zhuǎn)不變性，根據(jù)點(diǎn)a的主方向，初始坐標(biāo)系的旋轉(zhuǎn)角度為a，建立新的坐標(biāo)系；

（2）將16×16像素模板作為鄰域窗口，描述特征點(diǎn)中心，將像素鄰域窗口分成16個(gè)4×4子區(qū)域，并構(gòu)建梯度柱形圖，統(tǒng)計(jì)每個(gè)子區(qū)域幅度[3]；

（3）8個(gè)方向的梯度直方圖在4×4子區(qū)域中按位置順序排列，共有128個(gè)數(shù)據(jù)，因?yàn)?×4子區(qū)域的存在，故最終形成128維特征向量（如圖2所示）：

圖2 高斯二階差分近似模型

（4）用標(biāo)準(zhǔn)高斯函數(shù)對(duì)特征向量進(jìn)行加權(quán)，然后歸一化，這樣消除了光線變化的影響，使得特征向量在一定程度上不隨光線變化而改變，降低了對(duì)亮度變化的敏感性；

（5）通過對(duì)特征向量的歸一化處理，提高了特征識(shí)別效率。

2.3 特征點(diǎn)定位

利用高斯差分金字塔算法極值點(diǎn)粗定位特征點(diǎn)，計(jì)算特征點(diǎn)Hessen矩陣行列式，構(gòu)造金字塔，以此粗定位特征點(diǎn)。Hessen矩陣行列式，如公式（2）所示：

由于濾波器方差較小，所以該方差可以表示變換圖像最小尺度，并在兩個(gè)方向上，表示出Hessen矩陣（如圖2所示）：由圖2可知：原始圖像受到強(qiáng)迫擾動(dòng)影響，圖像模糊，但經(jīng)過Hessen矩陣行列式的兩個(gè)方向建立出不同圖層結(jié)構(gòu)，可以改變?cè)寄：Ч?，基于此?gòu)建的金字塔模型（如圖3所示）：

圖3 金字塔模型

由圖3可知：在整個(gè)金字塔中，每個(gè)點(diǎn)均在同一層次上，且都為極值點(diǎn)。利用二元三次擬合方法，剔除不穩(wěn)定點(diǎn)和邊緣點(diǎn)，由此實(shí)現(xiàn)特征點(diǎn)精準(zhǔn)定位。

2.4 特征點(diǎn)提取

圖像的拉氏分解是連續(xù)地將帶通圖像分解為子帶，在方向?yàn)V波過程中，可以將子帶分解為多個(gè)方向，以獲得有效的方向信息[4]。構(gòu)造拉普拉斯金字塔，去除不同方向上的低頻分量，對(duì)不同方向上的各層進(jìn)行多方向分解，進(jìn)而提取各方向上的子帶特征點(diǎn)，提取不同方向上的特征點(diǎn)。

濾波器組頻域分解情況（如圖4所示）：

圖4 濾波器組頻域四級(jí)分解

由圖4可知：分解頻域子帶，構(gòu)造新的濾波器不僅在方向上具有選擇性，而且在頻域方面也具有選擇性，能夠更好運(yùn)用到多尺度空間中。通過濾波處理后，能夠獲取不同方向特征點(diǎn)，使每個(gè)特征點(diǎn)都能在不同方向上得到特征提取響應(yīng)反饋[5]。

為避免位置偏移，需要對(duì)特征點(diǎn)進(jìn)行組合優(yōu)化。第一，設(shè)定滑動(dòng)視窗大小。若窗口的大小與各方向的候選特征點(diǎn)不匹配，則在提取結(jié)果上存在較大誤差。通常有兩種情形：（1）窗口值小，不同方向的候選特征點(diǎn)不可能被完全合并；（2）窗口值大，融合特征點(diǎn)中有噪點(diǎn)。所以，選擇適當(dāng)?shù)幕瑒?dòng)窗口，不但能隔離噪聲點(diǎn)，而且能較好地結(jié)合各方向特征點(diǎn)（如圖5所示）：

圖5 合并不同方向提取的點(diǎn)

由圖5可知：設(shè)窗口內(nèi)包含ρ個(gè)粗大邊緣的特征點(diǎn)，這些特征點(diǎn)選取來自α個(gè)方向，則在濾波器方向上提取候選特征點(diǎn)并合并，得到的亞像素坐標(biāo)如公式（3）所示：

式（3）中，i＝1，2，…，αρ。確定權(quán)重后，在同一方向上候選特征點(diǎn)合并后，再由不同方向上合并點(diǎn)確定候選特征點(diǎn)的亞像素坐標(biāo)，如公式（4）所示：

將ρ1ρ2…ρ8表示為特征點(diǎn)方向，由此建立特征點(diǎn)描述符。圖像經(jīng)過拉普拉斯變換獲取高頻部分，在濾波器處理過程中的一部分特征點(diǎn)在某一方向內(nèi)單獨(dú)響應(yīng)，此時(shí)特征點(diǎn)方向?yàn)?，即ρ＝1，在其他方向上不能提取該點(diǎn)，即為孤立點(diǎn)，由此確定最終特征點(diǎn)集，如公式（5）所示：

在各個(gè)層次的拉普拉斯圖像中提取特征點(diǎn)，獲取原始航拍圖像在不同尺度下的特征點(diǎn)，通過構(gòu)建非均勻?yàn)V波器濾波，將圖像分解到8個(gè)不同方向上，并提取局部極值，得到候選特征點(diǎn)集。

2.5 算法流程

建立拉普拉斯金字塔特征點(diǎn)提取算法，主要包含以下五項(xiàng)流程：（1）取無人機(jī)航拍原始圖像，經(jīng)由拉普拉斯變換后獲取不同尺度下的分層圖像；（2）取分層圖像，利用二維正交Log-Gabor濾波器對(duì)分層圖像求卷積，獲取不同方向、不同尺度的諧波分量；（3）取各尺度圖像，完成不同方向上局部能量、相位偏移量、噪聲估計(jì)、頻率擴(kuò)展等指標(biāo)的計(jì)算；（4）對(duì)各尺度中像素點(diǎn)的粗大邊緣特征進(jìn)行計(jì)算，獲取圖像；（5）根據(jù)現(xiàn)有特征點(diǎn)集，將各層次的拉普拉斯圖像進(jìn)行融合、輸出，生成不同尺度的金字塔邊緣特征圖，完成圖像粗大邊緣特征提取。

3.實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)指標(biāo)

實(shí)驗(yàn)采用的圖像是航拍地貌特征中隨機(jī)抽取的圖像，分別使用基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法和基于尺度空間的特征點(diǎn)提取方法和拉普拉斯特征點(diǎn)提取方法在不同尺度上對(duì)圖像多方向特征點(diǎn)檢測(cè)，同時(shí)從特征點(diǎn)正確匹配率、正確提取率兩個(gè)指標(biāo)評(píng)價(jià)所研究方法的性能和精度。

正確匹配率和正確提取率計(jì)算如公式（6）、公式（7）所示：

公式（6）、（7）中，n（correct_matched_points）為成功匹配特征點(diǎn)數(shù)；n（matchingpoints）為參與匹配特征點(diǎn)數(shù)；為經(jīng)過n（matchedpoints）計(jì)算得到的特征點(diǎn)數(shù)。

從8個(gè)方向上提取候選特征點(diǎn)，提取結(jié)果（如圖6所示）：

圖6 8個(gè)方向上提取的候選特征點(diǎn)

3.2 實(shí)驗(yàn)結(jié)果與分析

將分別使用基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法、基于尺度空間的特征點(diǎn)提取方法和基于拉普拉斯特征點(diǎn)提取方法提取的特征點(diǎn)進(jìn)行對(duì)比（如圖7所示）：由圖7（a）可知：利用曲線累加弦長(zhǎng)的角點(diǎn)提取方法，可以提取出8種不同方向的特征點(diǎn)，但同一方向的特征點(diǎn)在圖像紋理中卻會(huì)出現(xiàn)不同的方向。由圖7（b）可知：在尺度空間上進(jìn)行特征點(diǎn)提取，能更好地提取特征點(diǎn)。圖像紋理豐富，特征點(diǎn)多分布于圖像中，平坦區(qū)域特征提取較少。由圖7（c）可知：使用拉普拉斯法提取特征點(diǎn)在圖像上均勻體現(xiàn)。

圖7 三種方法提取特征點(diǎn)對(duì)比分析

為了進(jìn)一步驗(yàn)證使用拉普拉斯法特征點(diǎn)正確匹配率和正確提取率較高，再次進(jìn)行實(shí)驗(yàn)驗(yàn)證分析，對(duì)比結(jié)果（如表1、表2所示）。由表1、表2可知：使用基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法，特征點(diǎn)正確匹配率和正確提取率均在50%以上，但在62%以下；使用基于尺度空間的特征點(diǎn)提取方法，特征點(diǎn)正確匹配率和正確提取率均在40%以上，但在58%以下；使用拉普拉斯法特征點(diǎn)正確匹配率和正確提取率都在90%以上，具有精準(zhǔn)匹配和提取效果。

表1 三種方法正確匹配率對(duì)比分析

表2 三種方法正確提取率對(duì)比分析

3.3 三種提取方法綜合性能評(píng)價(jià)

在完成三種方法匹配率、精確度驗(yàn)證的基礎(chǔ)上，為進(jìn)一步判斷該提取方法的性能是否滿足實(shí)用需求，擬從主觀評(píng)價(jià)、客觀評(píng)價(jià)與運(yùn)算時(shí)間比較三個(gè)方面進(jìn)行方法性能比較。

首先，選取邊緣的連續(xù)性、細(xì)化程度與定位精度三項(xiàng)指標(biāo)進(jìn)行特征點(diǎn)性能的定性分析。其中連續(xù)性指邊緣特征具有連續(xù)特征，用于判斷是否受高頻信號(hào)和噪聲干擾；細(xì)化程度指邊緣特征點(diǎn)響應(yīng)情況，要求保持單像素特征；定位精度指以真實(shí)邊緣點(diǎn)為基準(zhǔn)進(jìn)行特征點(diǎn)判斷，防范發(fā)生錯(cuò)檢、漏檢問題。通過將上述三種方法進(jìn)行性能評(píng)價(jià)結(jié)果的比較，其綜合性能由高到低依次為：拉普拉斯>曲線累加弦長(zhǎng)>尺度空間，由此證明該特征點(diǎn)提取方法獲取圖像的邊緣特征更加完整、細(xì)節(jié)特征更加顯著，且具備良好定位精度。

其次，以信息熵、標(biāo)準(zhǔn)差、平均梯度為指標(biāo)進(jìn)行量化評(píng)價(jià)，其中信息熵用于判斷提取特征點(diǎn)信息的豐富度，標(biāo)準(zhǔn)差用于反饋特征點(diǎn)圖像灰度級(jí)分布情況，平均梯度用于衡量特征點(diǎn)提取結(jié)果的清晰度。觀察三種方法的比較結(jié)果可知，本文建立的拉普拉斯法信息熵為6.3972、標(biāo)準(zhǔn)差為80.2909、平均梯度達(dá)到7.1098，均顯著優(yōu)于其他兩種方法，可最大限度保留特征點(diǎn)及圖像的細(xì)節(jié)信息。

最后，將三種方法的運(yùn)算時(shí)間進(jìn)行比較，其他兩種方法的運(yùn)行時(shí)間分別為4.69s和4.98s，拉普拉斯法的運(yùn)行時(shí)間為5.07s，整體運(yùn)行耗時(shí)控制在可接受范圍內(nèi)，具備良好實(shí)用價(jià)值。

4.結(jié)束語

為了提高特征點(diǎn)正確匹配率和正確提取率，針對(duì)無人機(jī)航拍圖像存在的幾何畸變現(xiàn)象，提出了強(qiáng)迫擾動(dòng)下航拍圖像粗大邊緣特征點(diǎn)提取方法研究。在對(duì)航拍圖像處理時(shí)，通過以航拍圖像坐標(biāo)參數(shù)為切入點(diǎn)建立圖像旋轉(zhuǎn)坐標(biāo)系，完成粗大邊緣特征點(diǎn)的提取及圖像校正，并完成粗大邊緣特征描述、特征點(diǎn)定位與提取方法的構(gòu)建，致力于在快速有效提取圖像粗大邊緣特征點(diǎn)的同時(shí)保留特征點(diǎn)尺度信息。實(shí)驗(yàn)結(jié)果表明，用該提取方法提取到的特征點(diǎn)能夠?qū)崿F(xiàn)航拍圖像高效匹配，適用于不同方向、不同尺度特征點(diǎn)的處理，且將其與基于曲線累加弦長(zhǎng)的角點(diǎn)提取方法、基于尺度空間的特征點(diǎn)提取方法進(jìn)行比較可知，拉普拉斯特征點(diǎn)提取方法的特征點(diǎn)平均匹配率為98%、平均正確率達(dá)到91%，滿足實(shí)用要求，能夠?yàn)楹罄m(xù)無人機(jī)追蹤提供保障。