基于相位相關(guān)和Harris紋理分類的SIFT圖像拼接算法

摘"要：針對傳統(tǒng)尺度不變特征變換（SIFT）算法計算量大的問題，提出了一種基于相位相關(guān)和Harris紋理分類的SIFT圖像拼接算法。首先使用相位相關(guān)法獲取待拼接圖像的重疊區(qū)域，其次使用Harris角點(diǎn)響應(yīng)函數(shù)計算待拼接圖像的紋理復(fù)雜度，并且通過設(shè)定閾值將圖像分為強(qiáng)紋理區(qū)和弱紋理區(qū)，最后在強(qiáng)紋理區(qū)域使用SIFT算法進(jìn)行特征點(diǎn)的檢測、描述子的生成以及特征點(diǎn)的匹配，以實(shí)現(xiàn)圖像拼接。實(shí)驗結(jié)果表明，與傳統(tǒng)的SIFT算法相比，提出的算法平均拼接速度提升了85%；與現(xiàn)有的SIFT算法相比，提出的算法平均拼接速度提升了20%，因此該算法在對拼接效率有較高要求的領(lǐng)域具有潛在的應(yīng)用價值。

關(guān)鍵詞：相位相關(guān)；Harris紋理分類;"SIFT算法;"圖像拼接

中圖分類號：TP391""""""文獻(xiàn)標(biāo)識碼：A

SIFT"Image"Stitching"Algorithm"Based"on"Phase"Correlation"

and"Harris"Texture"Classification

TAO"Lei"，"HAO"Xiaoli"，"WANG"Songtao"，"ZHANG"Lei，"TANG"Zetian

（School"of"Physics"and"Electrical"Engineering，"Liupanshui"Normal"University，"Liupanshui，"Guizhou"553004，"China）

Abstract：Aiming"at"the"problem"of"large"computation"of"traditional"scale"invariant"feature"transform（SIFT）"algorithm，"this"paper"proposed"a"SIFT"image"stitching"algorithm"based"on"phase"correlation"and"Harris"texture"classification."Firstly，"the"phase"correlation"method"is"used"to"obtain"the"overlapping"region"of"the"image"to"be"stitched."Secondly，"the"Harris"corner"point"response"function"is"used"to"calculate"the"texture"complexity"of"the"image"to"be"stitched，"and"the"image"is"divided"into"strong"texture"region"and"weak"texture"region"by"setting"the"threshold."Finally，"the"SIFT"algorithm"is"used"in"strong"texture"areas"for"feature"point"detection，"descriptor"generation，"and"feature"point"matching"to"achieve"image"stitching."Experimental"results"show"that"compared"with"the"traditional"SIFT"algorithm，"the"average"stitching"speed"of"the"proposed"algorithm"is"increased"by"85%;"Compared"with"the"existing"SIFT"algorithm，"the"average"splicing"speed"of"the"proposed"algorithm"is"increased"by"20%."Therefore，"the"proposed"algorithm"has"potential"application"value"in"the"field"with"high"requirements"for"splicing"efficiency.

Key"words：phase"correlation;"Harris"texture"classification;"SIFT"algorithm;"image"stitching"

在現(xiàn)今人們的生活工作中，高分辨率超寬視角圖片越來越受到關(guān)注。然而現(xiàn)有的成像設(shè)備，由于鏡頭的限制，成像視角仍有局限性[1]。而圖像拼接可以解決這些問題，圖像拼接技術(shù)能夠有效解決單張圖像獲取信息不足的問題[2]，在醫(yī)學(xué)成像、遙感成像、圖像超分辨率重現(xiàn)等領(lǐng)域中也有著廣泛的應(yīng)用。

當(dāng)前圖像拼接最熱門的算法就是尺度不變特征變換（Scale"Invariant"Feature"Transform，"SIFT）算法，而SIFT算法[3][4]存在提取特征點(diǎn)數(shù)目較多、計算量較大等缺點(diǎn)，難以滿足工程實(shí)際中實(shí)時性的要求[5]。針對SIFT算法及算法復(fù)雜度大的問題，許多研究人員給出了解決方案。王昱皓等[5]利用相位相關(guān)粗略獲取拼接圖像重疊區(qū)域，在對其進(jìn)行紋理分析后使用SIFT檢測，加快圖像拼接速度，并與多個算法對比，該算法取得了最低的時間開銷。楊前華等[6]提出了基于SIFT特征的魚眼圖像拼接算法，利用（Random"Sample"Consensus，"RANSAC）魯棒算法對變換參數(shù)進(jìn)行估計，和加權(quán)平均法對圖像進(jìn)行拼接融合，減少計算量和拼接次數(shù)。趙立杰等[7]用最近鄰算法進(jìn)行匹配，使用投影變換模型進(jìn)行空間幾何變換，改善SIFT算法。王洪光等[8]提出使用統(tǒng)一計算設(shè)備架構(gòu)（Computing"Unified"Device"Architecture，"CUDA）的二叉樹來改進(jìn)圖像拼接技術(shù)。徐曉華等[9]通過建造尺度空間，對空間極值點(diǎn)進(jìn)行精確定位來提高圖像拼接速率。Fidalgo等［10］利用EdgeSIFT改進(jìn)圖像，在彩色圖像中使用compass算子后獲得的邊緣圖像中提取關(guān)鍵點(diǎn)，降低SIFT算子維度，加快圖像分類。Zhang等[11]利用非線性擴(kuò)散濾波構(gòu)建光學(xué)和合成孔徑雷達(dá)（Synthetic"Aperture"Radar，"SAR）圖像的非線性擴(kuò)散尺度空間并采用多尺度Sobel算子和多尺度指數(shù)加權(quán)平均比算子計算均勻梯度信息，從而加快圖像匹配速率。

目前計算復(fù)雜度仍是SIFT算法需要攻克的一大難點(diǎn)，SIFT算法通過遍歷整張圖片來尋找特征點(diǎn)和生成描述子，其計算復(fù)雜度與圖像的大小有著直接聯(lián)系，但圖像中并不是所有區(qū)域都對圖像拼接有幫助，因此本文提出了一種基于相位相關(guān)法和Harris算法紋理分類的SIFT圖像拼接算法，以減少圖像搜索空間，提升拼接速度。首先通過相位相關(guān)法獲取待拼接圖像的重疊區(qū)域，然后使用Harris算法將重疊部分圖像分為強(qiáng)紋理區(qū)和弱紋理區(qū)，進(jìn)一步減少SIFT算法提取特征點(diǎn)所需要計算的區(qū)域，最后在強(qiáng)紋理區(qū)使用SIFT算法。

1"基于SIFT的改進(jìn)算法

1.1"改進(jìn)算法流程

傳統(tǒng)的SIFT算法在特征點(diǎn)檢測時需要搜索整幅圖像，并且特征點(diǎn)往往聚集于紋理復(fù)雜的區(qū)域，搜索整幅圖像會增加算法復(fù)雜度，從而降低算法時效性。針對該問題，本文提出了基于相位相關(guān)和Harris紋理分類的SIFT圖像拼接算法，算法流程如圖1所示。算法首先采用相位相關(guān)算法將圖像分為重疊區(qū)域與非重疊區(qū)域并提取圖像的重疊區(qū)域，以減少非重疊區(qū)域的計算。然后在重疊區(qū)域使用Harris角點(diǎn)響應(yīng)函數(shù)對圖像進(jìn)行紋理分類，將圖像劃分為強(qiáng)紋理區(qū)域和弱紋理區(qū)域，強(qiáng)紋理區(qū)域存在較多的紋理信息，而弱紋理區(qū)域的圖像紋理信息較少，不能有效地提取特征點(diǎn)。因此，僅在強(qiáng)紋理區(qū)域進(jìn)行SIFT算法計算，從而加快算法的整體拼接速度。

1.2"基于相位相關(guān)算法獲取重疊區(qū)域

為了提取圖像的重疊區(qū)域，本文采用相位相關(guān)算法，通過這個方法計算圖像的重疊區(qū)域，并在重疊區(qū)域進(jìn)行特征點(diǎn)檢測能夠有效地避免搜索整幅圖像以尋找有效特征點(diǎn)，從而節(jié)省無關(guān)區(qū)域特征點(diǎn)的檢測時間和特征點(diǎn)的匹配時間，整體加快圖像的拼接速度。

該方法運(yùn)用傅立葉變換將圖像從時域變換到頻域，通過求取二者的交叉功率譜來得到一個狄拉克函數(shù)并將之用于獲取圖像間的最佳平移量，從而確定待拼接圖像的重疊區(qū)域。

首先，假設(shè)存在f1（x，y），f2（x，y）兩幅圖像，且f2（x，y）由f1（x，y）平移（dx，dy）所得，則

f1（x，y）=f2（x－dx，y－dy）（1）

將其映射到頻域，則

F2（u，v）=F1（u，v）e－i2π（udx+vdy）"（2）

將式（2）等式左邊除以等式右邊，得到功率譜形式如下所示：

H（u，v）=F1F2|F1||F2|=e－i2π（udx+vdy）（3）

將式（3）做傅立葉逆變換得到?jīng)_激響應(yīng)函數(shù)δ（x－dx，y－dy），尋找δ中最大點(diǎn)，即兩幅圖像的最佳平移量（dx，dy），即可得到圖像重疊區(qū)域。

1.3"基于Harris算法的紋理分類

在SIFT算法中，需要從高斯差分金字塔（Difference"of"Gaussian，"DOG）的極值位置找到相對穩(wěn)定且包含信息量較多的點(diǎn)作為特征點(diǎn)，一般灰度圖像灰度值波動較大的區(qū)域包含的信息量較多且能生成較為穩(wěn)定的特征點(diǎn)。圖像中不同區(qū)域所包含的紋理復(fù)雜度不同，因此對圖像進(jìn)行紋理分析，提取能產(chǎn)生有效特征點(diǎn)的較復(fù)雜紋理區(qū)域進(jìn)行SIFT算法計算。具體操作如下：獲取圖像的重疊區(qū)域之后，對此區(qū)域使用Harris算法進(jìn)行紋理分類。Harris角點(diǎn)響應(yīng)函數(shù)R以及角點(diǎn)檢測的自相關(guān)矩陣M（x，y）表示如下：

M=∑x，yω（x，y）IxIxIxIyIyIxIyIy（4）

R=det"（M）－k（trace（M））"（5）

式中，w（x，y）為高斯加權(quán)函數(shù)；Ix和Iy是在x方向和y方向的導(dǎo)數(shù)；det和trace分別指求矩陣M的秩和跡；k是經(jīng)驗常數(shù)，取值范圍通常為0.04～0.06。通過角點(diǎn)響應(yīng)函數(shù)可以獲取圖像的紋理變化程度，基于紋理變化程度進(jìn)行閾值設(shè)置，即可對圖像進(jìn)行紋理分類。

Harris設(shè)置閾值大小會影響紋理分類的情況，其角點(diǎn)響應(yīng)函數(shù)值對應(yīng)的區(qū)域如圖2所示。由圖2可知，R值較大的區(qū)域?qū)?yīng)為角點(diǎn)區(qū)域，該區(qū)域圖像有較豐富的紋理信息[12]，R值較小時，圖像存在部分平坦區(qū)域，該區(qū)域不適合提取特征點(diǎn)。R為28時，圖像既存在平坦區(qū)域也存在角點(diǎn)區(qū)域，R≥65時，圖像整體存在角點(diǎn)區(qū)域，因此本算法Harris角點(diǎn)響應(yīng)函數(shù)閾值設(shè)置為65。

2"實(shí)驗結(jié)果及分析

本次實(shí)驗的運(yùn)行環(huán)境是CPU為Intel（R）"Core（TM）"i510210U"CPU"@"1.60GHz"2.11"GHz、內(nèi)存為16"GB"RAM的64位Windows11操作系統(tǒng)。圖3為3組待拼接使用的原始圖片，其中（a）和（b）大小為1750像素×1750像素，（c）和（d）大小為1600像素×1600像素，（e）和（f）大小為1750像素×1750像素。

2.1"基于相位相關(guān)算法獲取重疊區(qū)域結(jié)果分析

為分析相位相關(guān)對于圖像非重疊區(qū)域的減少，本算法以圖3中三組待拼接圖像為例，采用相位相關(guān)算法計算圖像的重疊區(qū)域，所得重疊區(qū)域如圖4所示，重疊區(qū)域占比如圖5所示。由圖4和圖5可知，經(jīng)過相位相關(guān)算法的計算，圖像有效地減小了，重疊區(qū)域占比33.4%～35.8%，且重疊區(qū)域的相似度較高，有利于有效特征點(diǎn)的提取。

2.2nbsp;基于Harris算法的紋理分類結(jié)果分析

為分析使用Harris算法對圖像的紋理分類情況，以圖4中（a）、（b）、（c）三組圖像的重疊區(qū)域使用Harris算法進(jìn)行紋理分區(qū)，將其分為強(qiáng)紋理區(qū)域和弱紋理區(qū)域，分區(qū)結(jié)果如圖6所示，強(qiáng)弱紋理區(qū)域占比情況如圖7所示。由圖6和圖7可知，弱紋理區(qū)域在圖像中占比為29%～34%，并且該區(qū)域所含信息較少，不利于特征點(diǎn)的提取，可去除對弱紋理區(qū)特征點(diǎn)的檢測，能夠減小算法的時間開銷。強(qiáng)紋理區(qū)具有較多的紋理信息，是特征點(diǎn)的主要提供區(qū)域，因此采用該區(qū)域作為SIFT算法的輸入。

2.3"基于相位相關(guān)和Harris紋理分類的SIFT算

法時間效率統(tǒng)計分析

為驗證所提出算法的拼接質(zhì)量，引入結(jié)構(gòu)相似性（SSIM）和峰值信噪比（PSNR）指標(biāo)來分析圖像的拼接質(zhì)量，選用圖3中的圖像作為測試，并與傳統(tǒng)的SIFT拼接算法和文獻(xiàn)[5]（該方法具有代表性且在圖像的拼接速度上具有一定的優(yōu)勢）的算法進(jìn)行比較，結(jié)果如表1所示。

由表1可知，相較于傳統(tǒng)SIFT算法與文獻(xiàn)[5]的算法，本文算法提取圖像的特征點(diǎn)數(shù)量最少，但匹配率高，說明所提取的特征點(diǎn)是有效的特征點(diǎn)；在SSIM、PSNR方面，本文算法與其他算法無明顯差異，因此本文算法具有較好的拼接質(zhì)量。三種算法所得圖像的拼接結(jié)果如圖8所示。由圖8可知，三種算法的圖像拼接結(jié)果視覺觀感上無明顯差異，說明改進(jìn)的算法具有較好的拼接結(jié)果。

為驗證所提出算法的拼接速度，選用圖3中的圖像作為測試，并與傳統(tǒng)SIFT拼接算法和文獻(xiàn)[5]的算法進(jìn)行比較，圖像拼接時間如表2所示。由表2可知，在拼接速度方面，與另外兩種算法相比，本文算法計算了圖像的重疊區(qū)域并進(jìn)行紋理分類，增加了一定的時間開銷（占總拼接時間的2%～4%），在特征提取階段，由于相位相關(guān)和Harris紋理分類限制了特征點(diǎn)的搜索空間，速度相較于傳統(tǒng)SIFT、文獻(xiàn)[5]的算法分別提升了51%～63%和1%～4%，在匹配階段，減少了無用的特征點(diǎn)的提取，其速度相較于傳統(tǒng)SIFT、文獻(xiàn)[5]的算法分別提升了90%～97%和3%～33%。由此可見，雖然本文算法需要額外的計算時間，但明顯減少了無用特征點(diǎn)的搜索和匹配時間。算法整體拼接速度相較于傳統(tǒng)SIFT、文獻(xiàn)[5]的算法分別提升了90%～94%和5%～26%。綜合表1、表2數(shù)據(jù)可以看出，使用本文算法具有良好的圖像拼接質(zhì)量，同時圖像拼接的整體時間最少。因此本文算法在對圖像計算速度有較高要求的領(lǐng)域優(yōu)于傳統(tǒng)SIFT算法。

為進(jìn)一步驗證本文算法的拼接速度和質(zhì)量，測試了6組數(shù)據(jù)，其得到的結(jié)果如圖9所示。從圖9（a）、（b）中可知，在SSIM和PSNR數(shù)值上，本文算法和其他三種算法相差不大，說明本文算法具有與傳統(tǒng)SIFT算法相近的拼接質(zhì)量。進(jìn)一步從圖9（c）中可以看出，本文算法在整體拼接速度上有較大的提升，相較于傳統(tǒng)SIFT、文獻(xiàn)[5]的算法分別提升了85%、20%，因此，本文算法在維持拼接質(zhì)量的前提下有效地提升了圖像拼接的速度。

3"結(jié)"論

針對傳統(tǒng)的SIFT圖像拼接算法計算復(fù)雜程度過高的問題，提出了基于相位相關(guān)和Harris紋理分類的SIFT圖像拼接算法。首先使用相位相關(guān)法計算待拼接的重疊區(qū)域，其次使用Harris算法對重疊區(qū)域進(jìn)行紋理分類，將圖像劃分為強(qiáng)紋理區(qū)域和弱紋理區(qū)域。將紋理分類后的圖像作為SIFT算法的輸入，減少圖像搜索空間，提升拼接速度。實(shí)驗結(jié)果表明，本文提出的算法在良好拼接質(zhì)量的前提下，整體拼接速度有較大的提升，相較于傳統(tǒng)SIFT、文獻(xiàn)[5]的算法分別提升了85%、20%。由此可見，本文提出的算法在對拼接速度有較高要求的領(lǐng)域具有潛在的應(yīng)用價值。

參考文獻(xiàn)

［１］"何川."圖像拼接研究及應(yīng)用[D].上海：上海交通大學(xué)，"2018.

［2］"陳宗桂，董曉軍，曾令容，等.改進(jìn)SIFT算法在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用研究[J].計算機(jī)技術(shù)與發(fā)展，"2022，"32（8）："71-75.

［3］"LOWE"D"G."Object"recognition"from"local"scale-invarriant"features"[C]//The"Seventh"IEEE"International"Conference"on"Computer"Vision"Kerkyra，"1999，2：1150-1157.

［4］"LOWE"D"G."Distinctive"image"features"from"scale-invariant"keypoints"[J]."International"Journal"of"Computer"Vision，"2004，"60（2）："91-110.

［5］"王昱皓，唐澤恬，鐘岷哲，等.基于相位相關(guān)和紋理分類的SIFT圖像拼接算法[J].量子電子學(xué)報，2020，37（6）：650-658.

［6］"楊前華，王改革，趙力.基于SIFT特征的魚眼圖像拼接算法[J].電子器件，2019，42（3）：712-717."

［7］"趙立杰，吳志豪，黃明忠.基于SIFT特征匹配的活性污泥顯微圖像拼接方法[J].沈陽化工大學(xué)學(xué)報，2023，37（1）：74-79+86.

［8］"王洪光，黃北生，王學(xué)生.基于CUDA的二叉樹圖像拼接算法研究[J].地理空間信息，2019，17（12）：103-105，109，11.

［9］"徐曉華，熊顯名.改進(jìn)SIFT算法的手指靜脈特征提取和匹配研究[J].工業(yè)控制計算機(jī)，2023，36（5）：101-103.

［10］FIDALGO"E，"ALEGRE"E，"GONZALEZCASTRO"V，"et"al."Compass"radius"estimation"for"improved"image"classification"using"EdgeSIFT[J]."Neurocomputing，2016，197：119-135.

［11］ZHANG"W，"ZHAO"Y."An"improved"SIFT"algorithm"for"registration"between"SAR"and"optical"images[J]."Scientific"Reports，2023，13（1）："6346.

［12］馬韻琪，田明，劉陽，等.基于改進(jìn)Harris的消音壁亞像素級角點(diǎn)檢測算法[J].長春理工大學(xué)學(xué)報（自然科學(xué)版），2023，46（1）：44-51.

［13］王昱皓，唐澤恬，鐘岷哲，等.基于掩模搜索的快速尺度不變特征變換圖像匹配算法[J].激光與光電子學(xué)進(jìn)展，2021，58（4）：175-181.