航攝影像特征點(diǎn)提取算法研究

馮宇 朱大明 胡琳 張勇

摘 要：隨著無(wú)人機(jī)在測(cè)繪領(lǐng)域的廣泛應(yīng)用，航攝影像處理已成為國(guó)內(nèi)外關(guān)注的熱點(diǎn)。為尋求更適合航攝影像特征點(diǎn)提取的算法，對(duì)目前國(guó)內(nèi)外幾種常用特征點(diǎn)提取算法進(jìn)行對(duì)比分析，結(jié)果表明，Moravec算子相較于其它算子，原理最為簡(jiǎn)單，但圖像處理效果不佳。為此，利用C#工具實(shí)現(xiàn)Moravec算子，并通過(guò)圖像處理實(shí)驗(yàn)，從計(jì)算速度、提取質(zhì)量、定位精度、抗噪能力等方面對(duì)其進(jìn)行全面分析，得出該算子在提取質(zhì)量、定位精度與抗噪能力等方面均性能較差，該結(jié)論為今后對(duì)其優(yōu)化改進(jìn)提供了明確的研究方向。

關(guān)鍵詞：航攝影像;圖像特征;特征點(diǎn)提取;Moravec算子

DOI：10. 11907/rjdk. 182866 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP312 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）008-0066-05

Research on Feature Point Extraction Algorithm

Based on Aerial Photography Image

FENG Yu， ZHU Da-ming， HU Lin， ZHANG Yong

（Faculty of Land and Resources Engineering， Kunming University of Science and Technology， Kunming 650093，China）

Abstract：With the wide application of UAV in the field of surveying and mapping， aerial image processing has become a hot topic at home and abroad. In order to find an algorithm suitable for feature extraction of aerial photography features， this paper extracts several common feature points at home and abroad. The algorithm performs in-depth comparative analysis and research. The results show that the Moravec operator algorithm is the simplest compared to other algorithm principles， but the image processing effect is not good. For this reason， for the performance of Moravec operator， the operator implementation is carried out by using C# tool， and the experimental research of image processing is carried out by using this operator. From the aspects of calculation speed， extraction quality， positioning accuracy and anti-noise ability， The analysis shows that the operator has poor performance in terms of extraction quality， positioning accuracy and anti-noise ability. This conclusion provides a clear research direction for the algorithm of optimizing Moravec operator in the future.

Key Words： aerial photography;image feature;feature point extraction;Moravec operator

作者簡(jiǎn)介：馮宇（1994-），男，昆明理工大學(xué)國(guó)土資源工程學(xué)院碩士研究生，研究方向?yàn)榈乩硇畔⒓夹g(shù)開(kāi)發(fā)與應(yīng)用;朱大明（1970-），男，博士，昆明理工大學(xué)國(guó)土資源工程學(xué)院副教授，研究方向?yàn)榈乩硇畔⒐こ獭?S集成、土地規(guī)劃。本文通訊作者：朱大明。

0 引言

如今，航攝技術(shù)已得到了廣泛應(yīng)用，對(duì)航攝圖像的處理技術(shù)也不斷更新。圖像處理技術(shù)主要分為3類：①傳輸與儲(chǔ)存圖像信息;②改善圖像質(zhì)量;③提取圖像特征[1]。圖像特征點(diǎn)提取是圖像處理的基本操作，而點(diǎn)特征是圖像最基本的特征。提取點(diǎn)特征的算子稱為興趣算子。近年來(lái)，國(guó)內(nèi)外學(xué)者研究的提取算法可大致分為兩類：①基于模板匹配的方法，需要設(shè)定一系列特征點(diǎn)模板（如角點(diǎn)、交叉點(diǎn)等），根據(jù)模板與所有圖像子窗口的相似性，判斷位于窗口中心的像元是否為特征點(diǎn)[2];②基于幾何特征的方法[3]，該算法有兩種獲取途徑：一是依據(jù)圖像邊界曲率進(jìn)行提取，二是直接依據(jù)圖像灰度信息提取特征點(diǎn)。該方法簡(jiǎn)單易行，通常利用興趣算子提取特征點(diǎn)。常用特征點(diǎn)提取算子有：Moravec算子、Forstner算子、Harris算子、SUSAN算子與SIFT算子等。然而，目前關(guān)于以上幾種算法的性能比較研究很少。因此，本文對(duì)幾種常用算法進(jìn)行實(shí)驗(yàn)對(duì)比與分析，對(duì)算子性能進(jìn)行評(píng)估，同時(shí)對(duì)Moravec算子進(jìn)行深入分析，從而為算子優(yōu)化提供方向。

1 圖像特征點(diǎn)提取算子

圖像特征點(diǎn)提取算子是用來(lái)提取數(shù)字圖像中點(diǎn)特征信息而采用的方法，圖像處理技術(shù)發(fā)展至今，學(xué)者們已提出了Forstner、Moravec、SUSAN等多種算子[4]。這些算子各有優(yōu)劣，以各自的優(yōu)勢(shì)在圖像處理中發(fā)揮著作用，同時(shí)也因自身缺陷而影響其使用范圍的拓展。本文將對(duì)Forstner、Moravec、SUSAN、Harris 4種算子進(jìn)行深入研究與分析。

1.1 SUSAN算子

SUSAN的原理是在事先經(jīng)過(guò)灰度化處理的數(shù)字圖像上，使用曲率和度檢測(cè)圖像特征點(diǎn)[3]。將圓形窗口中心內(nèi)未被檢測(cè)的像素點(diǎn)作為核心點(diǎn)，將窗口中心的像素灰度值與其鄰域內(nèi)其它像素的灰度值作差，如果差值小于設(shè)定閾值，即可認(rèn)為該點(diǎn)與核心點(diǎn)灰度相同。按照該原理得到以下計(jì)算步驟：

（1）首先通過(guò)計(jì)算灰度值找出與窗口中心像素相近的像素個(gè)數(shù)[n（x0，y0）]：

[c（x，y）=exp-Ix，y-Ix0，y0T6]

[n（x0，y0）=x，y≠（x0，y0）c（x，y）]? ? （1）

（2）求得角點(diǎn)響應(yīng)函數(shù)以獲得特征點(diǎn)：

[R（x0，y0）=g-n（x0，y0），n（x0，y0）

g為閾值，一般為窗口模板大小的3/4，以獲取的特征點(diǎn)為中心，與領(lǐng)域其它點(diǎn)進(jìn)行比較，保留灰度值最大的點(diǎn)，得出特征點(diǎn)。

1.2 Moravec算子

Moravec算子對(duì)像素點(diǎn)沿上下左右及45°斜對(duì)角方向共8個(gè)方向進(jìn)行灰度變化的方差計(jì)算，具有最小方差的值被作為興趣點(diǎn)，根據(jù)興趣值設(shè)置的閾值作為判斷特征點(diǎn)的基礎(chǔ)依據(jù)，即利用“興趣算子”提取特征點(diǎn)[6]，具體步驟如下：

（1）計(jì)算像元興趣值，假設(shè)像素中心（p，q），計(jì)算4個(gè)方向灰度差的平方和。

[I1=j=-kk=1（gp+j-gp+j+1，q）2I2=j=-kk=1（gp+j，q+j-gp+j+1，q+j+1）2I3=j=-kk=1（gp，q+j-gp，q+j+1）2I4=j=-kk=1（gp+j，q-j-gp+j+1，q-j-1）2] （3）

其中，K=INT（M/2），興趣值取以上值（[I1、I2、I3、I4]）的最小值。

（2）將小于該閾值的興趣點(diǎn)作為待選點(diǎn)。

（3）選擇待選點(diǎn)中的極值點(diǎn)作為特征點(diǎn)，在設(shè)定的窗口模板中，在待選點(diǎn)中去掉非最大興趣值的點(diǎn)，只留下一個(gè)最大值，確認(rèn)該最大值為特征點(diǎn)[7]。

1.3 Harris算子

Harris算子是在Moravec算子基礎(chǔ)上改進(jìn)的一種算子。Moravec算子可分析圖像上某區(qū)域在水平、垂直、正負(fù)對(duì)角線幾個(gè)方向上的位移，并計(jì)算每個(gè)像素點(diǎn)灰度，Harris算子在此基礎(chǔ)上拓寬了研究思路。

基本方法為：以目標(biāo)像素點(diǎn)為中心并沿著其周圍“↑↗→↘↓↙←↖”8個(gè)方向移動(dòng)，計(jì)算8個(gè)方向上的灰度變化，以這些值的最小值作為與閾值比較的對(duì)象。具體步驟如下：

（1）使用（-1，0，1）（-1，0，1）T算子計(jì)算圖像像素點(diǎn)在水平與垂直方向上的梯度Ix、Iy，并獲得自相關(guān)矩陣[M1]。

[M1=I2xIyxIyxI2y] （4）

（2）求得[M1]中4個(gè)元素的值，并獲得自相關(guān)矩陣[M2]。

[M2=M1？φxy=I2xIyxIyxI2y？φxy] （5）

（3）計(jì)算高斯濾波與角點(diǎn)函數(shù)值。

[R=Det（M2）-kTr2（M2）] （6）

Det（[M2]）為矩陣[M2]的行列式，tr（[M2]）為矩陣[M2]的軌跡，k為默認(rèn)常數(shù)，一般取值為0.04～0.06。

（4）采用非極大值抑制法得到的極值點(diǎn)即為特征點(diǎn)。

1.4 Forstner算子

Forstner算子選取角點(diǎn)、圓點(diǎn)等作為特征點(diǎn)，在選擇圖像中盡可能小的點(diǎn)、圓點(diǎn)以及近似圓點(diǎn)作為特征點(diǎn)過(guò)程中，需要計(jì)算各像素點(diǎn)的羅伯特梯度與灰度協(xié)方差矩陣，以及圖像中提取的興趣值，然后抑制局部極小點(diǎn)[8]。具體算法如下：

（1）計(jì)算差分算子，計(jì)算像素（x，y）在左右上下方向的灰度差分絕對(duì)值dg1～dg4。

[dg1=gx，y-gx+1，ydg2=gx，y-gx，y+1dg3=gx，y-gx-1，ydg4=gx，y-gx，y-1] （7）

（2）將dg1～dg4按從低到高進(jìn)行排序：

[M=mindg1，dg2，dg3，dg4] （8）

根據(jù)設(shè)定的閾值提取初選點(diǎn)，若M>T，（x，y）則為初選點(diǎn)。

（3）計(jì)算“羅伯特梯度”：

[Gu=？g∕？uGv=？g∕？v] （9）

（4）計(jì)算協(xié)方差陣：

[N=G2uGuGvGuGvG2V] （10）

（5）確定初選點(diǎn)：

[q=4detN（trN）2w=detNteN] （11）

det N表示N的行列式，tr N表示N的軌跡。若q比假設(shè)閾值大，則該像素為初選點(diǎn)。最后，選取極值點(diǎn)作為特征點(diǎn)。基于權(quán)重ω，選取最大的初選點(diǎn)作為合適大小窗口ω中的特征點(diǎn)[9]。

2 特征點(diǎn)提取方法對(duì)比

采用不同算法提取特征點(diǎn)，實(shí)驗(yàn)結(jié)果對(duì)比得如表1所示。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

3 Moravec算子程序?qū)崿F(xiàn)

經(jīng)過(guò)實(shí)驗(yàn)比較，可明顯看出Moravec算子略遜色于其它算子。使用C#程序語(yǔ)言作為工具對(duì)該算子進(jìn)行更深入的研究，以便于之后對(duì)其進(jìn)行優(yōu)化。

根據(jù)Moravec算法實(shí)現(xiàn)流程，運(yùn)用C#程序設(shè)計(jì)語(yǔ)言，在分析算法原理的基礎(chǔ)上，梳理出程序?qū)崿F(xiàn)的基本步驟，具體步驟為：創(chuàng)建一個(gè)窗體應(yīng)用程序，對(duì)數(shù)字圖像獲取像素的三原色值進(jìn)行灰度計(jì)算。利用圖像處理技術(shù)中提取像素點(diǎn)法，首先使用GDI+中的GetPixel方法，讀取當(dāng)前像素顏色，再按照公式[Gray（i，j）=0.299×R（i，j）+0.587×][G（i，j）+0.114×B（i，j）]計(jì)算灰度值?；叶然幚砜梢越档统绦蜻\(yùn)算量。按照Morvaec算子的算法原理，通過(guò)計(jì)算4個(gè)方向的灰度差平方和尋求極值，并求取特征點(diǎn)。Moravec算法實(shí)現(xiàn)流程如圖1所示。

關(guān)鍵代碼如下：

toolStripProgressBar1.Value=0;

toolStripProgressBar1.Maximum=10;

toolStripProgressBar1.Value=1;

double[，]Value2=newdouble[curBitmap.Height，curBitmap.Width];

for（inti=2;i

{for（intj=2;j

{doubleV1=0;

for（intm=0;m<4;m++）

{V1=V1+Math.Pow（Value1[i-2+m，j]-Value1[i-1+m，j]，2）;}

//計(jì)算V1方向相鄰像素灰度差平方和

Value2[i，j]=Math.Min（Math.Min（Math.Min（

V1，V2），V3），V4）;

toolStripProgressBar1.Value=3;

doublesum=0;

for（inti=0;i

{for（intj=0;j

{sum+=Value2[i，j];}}

intp=0，Strength=0;u=1100;doublerange;

Co=newint[img1.Height*img1.Width/9，2];

double[，]Value3=newdouble[img1.Height，img1.Width];

doubleavg1=sum/（（img1.Height-2）*（img1.Width-2））;

range=avg1;

while（u>1 000||u<1）

{if（u>1 000）

{Strength++;range=avg1*Strength;}

else

{range=range*（（2*Strength-1）/2*Strength）;}

for（inti=0;i

for（intj=0;j

{if（i==0||i==1||i==img1.Height-2||i==img1.Height-1||j==0||j==1||j==img1.Width-2||j==img1.Width-1）

{Value3[i，j]=0;

continue;}

else

{if（Value2[i，j]>range）

{Value3[i，j]=1;p=p+1;}

else

Value3[i，j]=0;}//檢索圖像興趣點(diǎn)，存儲(chǔ)5*5模板灰度

if（MAX>0）

{Co[u，0]=a;Co[u，1]=b;u=u+1;}}}

toolStripProgressBar1.Value=8;

Templet=newdouble[u，25];

for（inti=0;i

{intt=0;

for（intm=0;m<5;m++）

{for（intn=0;n<5;n++）

{Templet[i，t]=Value1[Co[i，0]-2+m，Co[i，1]-2+n];//

t++;}

在上述過(guò)程中，通過(guò)給定閾值將大于閾值的點(diǎn)篩選出來(lái)，并在模板5*5窗口中選取極值點(diǎn)作為特征點(diǎn);然后利用函數(shù)GDI+中的Graphics類將提取的特征點(diǎn)繪制在圖像上，使用三次插值在圖像上繪制特征點(diǎn)，如圖2所示;最后，通過(guò)代碼實(shí)現(xiàn)同名像點(diǎn)匹配。本文采用相關(guān)系數(shù)法識(shí)別兩幅圖像中的特征點(diǎn)，并通過(guò)計(jì)算相關(guān)系數(shù)進(jìn)行圖像匹配，在此不再贅述[8]。測(cè)試運(yùn)行特征點(diǎn)提取結(jié)果與先經(jīng)過(guò)灰度處理再進(jìn)行圖像匹配的結(jié)果如圖3、圖4所示。

圖2 使用三次插值在圖像上繪制特征點(diǎn)效果

圖3 特征點(diǎn)提取結(jié)果

圖4 先經(jīng)過(guò)灰度處理再進(jìn)行圖像匹配結(jié)果

4 實(shí)驗(yàn)結(jié)果分析

操作菜單下有兩個(gè)選項(xiàng)，圖像特征點(diǎn)提取操作與同名點(diǎn)匹配操作。接下來(lái)采用建筑樓的航攝影像進(jìn)行實(shí)驗(yàn)，結(jié)果如圖5、圖6所示。

圖5 樓1圖像處理

圖6 樓2圖像處理

由圖5、圖6實(shí)驗(yàn)結(jié)果可知，對(duì)于采用相關(guān)系數(shù)法的圖像匹配，特征比較明顯的地方圖像配準(zhǔn)度較高，不明顯的地方則匹配不夠準(zhǔn)確。

對(duì)Forstner、SUSAN、Harris、Moravec 4種算子的優(yōu)點(diǎn)及不足進(jìn)行對(duì)比分析，對(duì)比結(jié)果如表2所示。

表2 各種算子對(duì)比結(jié)果

由以上實(shí)驗(yàn)結(jié)果可得，Moravec算子計(jì)算過(guò)程簡(jiǎn)單，但提取的特征點(diǎn)因受到噪聲影響變化很大;其次，閾值大小的設(shè)定是影響點(diǎn)提取效果的一個(gè)重要因素，圖像本身紋理特征對(duì)結(jié)果影響也較大。該程序?qū)τ谳^大圖像的處理速度比對(duì)比實(shí)驗(yàn)中使用的程序慢得多。

5 結(jié)語(yǔ)

圖像特征點(diǎn)提取是數(shù)字圖像處理中非常重要的步驟，目前已在遙感、醫(yī)學(xué)、計(jì)算機(jī)視覺(jué)甚至公安等領(lǐng)域得到了成功應(yīng)用。隨著現(xiàn)代科技的發(fā)展，圖像處理技術(shù)應(yīng)用也更加廣泛，同時(shí)也面臨新的挑戰(zhàn)。本文通過(guò)對(duì)各種特征點(diǎn)提取的算子原理進(jìn)行學(xué)習(xí)，然后對(duì)航拍影像的特征點(diǎn)提取進(jìn)行實(shí)驗(yàn)，對(duì)各種算子的優(yōu)點(diǎn)及不足進(jìn)行對(duì)比分析。其中，算法計(jì)算方式、閾值設(shè)置會(huì)對(duì)提取效果造成很大影響，其次圖像紋理、旋轉(zhuǎn)變換等也會(huì)影響提取效果。

通過(guò)對(duì)各算子的對(duì)比分析，F(xiàn)orstner、SUSAN、Harris算子在計(jì)算速度、提取質(zhì)量、定位精度、抗噪能力方面各有優(yōu)勢(shì)，但算法也相對(duì)復(fù)雜;Moravec算子最為簡(jiǎn)單，但其在圖像特征點(diǎn)提取質(zhì)量與抗噪能力方面表現(xiàn)最差。因此，下一步將結(jié)合Moravec算子原理簡(jiǎn)單的優(yōu)點(diǎn)，對(duì)其圖像特征點(diǎn)提取質(zhì)量與抗噪能力等進(jìn)行優(yōu)化。同時(shí)，對(duì)幾種算子進(jìn)行綜合與改進(jìn)，也是今后的重點(diǎn)研究方向。

參考文獻(xiàn)：

[1] 趙春江. C#數(shù)字圖像處理算法典型實(shí)例[M]. 北京：人民郵電出版社， 2009.

[2] 張祖勛，張劍清.? 數(shù)字?jǐn)z影測(cè)量學(xué)[M].? 武漢：武漢測(cè)繪科技大學(xué)出版社，1997.

[3] 劉陽(yáng)，鄒崢嶸. 攝影測(cè)量中幾種特征點(diǎn)提取算法比較[J]. 測(cè)繪與空間地理信息，2012，35（8）：219-221.

[4] 鮑軍肖. 基于特征點(diǎn)和互信息的醫(yī)學(xué)圖像配準(zhǔn)研究[D]. 秦皇島：燕山大學(xué)，2010.

[5] 肖飛. 基于圖像特征提取和特征點(diǎn)描述的匹配算法研究及其應(yīng)用[D]. 成都：電子科技大學(xué)，2013.

[6] 侯艷杰. 偵察圖像的拼接與地圖匹配技術(shù)研究[D]. 南京：南京航空航天大學(xué)，2011.

[7] 張曉芳. 基于雙目立體視覺(jué)非接觸物體測(cè)量的研究[D]. 大連：大連理工大學(xué)，2009.

[8] 潘啟龍. 無(wú)源毫米波探測(cè)成像系統(tǒng)目標(biāo)檢測(cè)與識(shí)別方法[D]. 成都：電子科技大學(xué)，2014.

[9] 官云蘭，張紅軍，劉向美. 點(diǎn)特征提取算法探討[J]. 東華理工學(xué)院學(xué)報(bào)，2007 （1）：42-46.

[10] 陳淑蕎. 數(shù)字圖像特征點(diǎn)提取及匹配的研究[D]. 西安：西安科技大學(xué)，2009.

[11] 肖若秀. 圖像匹配方法研究與應(yīng)用[D]. 昆明：昆明理工大學(xué)，2008.

[12] 李先怡. 特征點(diǎn)匹配技術(shù)在無(wú)人機(jī)影像匹配中的研究與應(yīng)用[D]. 西安：西安科技大學(xué)，2011.

[13] 趙悟. SIFT與Harris算法在圖像特征點(diǎn)提取中的適用性研究[D]. 濟(jì)南：山東師范大學(xué)，2016.

[14] 趙艷麗. 圖像特征提取與匹配算法研究[D]. 成都：電子科技大學(xué)，2011.

[15] 楊曉暉，寧彥俊，王文娟，等. GD09-069圖像特征點(diǎn)提取角點(diǎn)量閾值自適應(yīng)選取方法[C]. 第10屆全國(guó)光電技術(shù)學(xué)術(shù)交流會(huì)論文集，2012：263-263.

[16] 王舒鵬，方莉. 利用Moravec算子提取特征點(diǎn)實(shí)現(xiàn)過(guò)程分析[J]. 電腦知識(shí)與技術(shù)：學(xué)術(shù)交流，2006 （9）：125-126.

[17] 楊曉敏，吳煒，卿粼波，等. 圖像特征點(diǎn)提取及匹配技術(shù)[J]. 光學(xué)精密工程，2009，17（9）：2276-2282.

[18] RODRIGUEZ J J， AGGARWAL J K. Matching aerial images to 3-D terrain maps[J].? IEEE Transactions on Pattern Analysis & Machine Intelligence， 1990， 12（12）：1138-1149.

[17] BROWN L G. A survey of image registration techniques[J].? Acm Computing Surveys， 1992， 24（4）：325-376.

[18] 柴進(jìn). 航空攝影測(cè)量特征點(diǎn)提取與匹配算法研究[C]. 第七屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集，2012：44-53.

（責(zé)任編輯：黃 ?。?/p>