基于半投影翹曲的無(wú)人機(jī)圖像拼接方法

陳珺 高海寬 李梓賢

摘 要：為了解決無(wú)人機(jī)圖像在拼接過(guò)程中出現(xiàn)的錯(cuò)位、重影等造成圖像失真的問(wèn)題，提出一種基于半投影翹曲的無(wú)人機(jī)圖像拼接方法。首先估計(jì)圖像的全局投影變換矩陣；然后根據(jù)待拼接圖像的重疊情況，以及投影變換和相似性變換的連續(xù)性，求解出過(guò)渡變換矩陣和相似性變換矩陣，得到最終的半投影變換矩陣；最后構(gòu)建圖像重疊區(qū)域的差異矩陣，以此為基礎(chǔ)獲取重疊區(qū)域的差異性區(qū)域。使用分區(qū)融合策略，在差異性區(qū)域進(jìn)行單采樣，在其他區(qū)域進(jìn)行距離加權(quán)融合。實(shí)驗(yàn)結(jié)果表明，該方法可以很好地拼接由于視角變化、地勢(shì)起伏等造成視差的無(wú)人機(jī)圖像，得到的拼接結(jié)果自然清晰，效果優(yōu)于其他先進(jìn)算法。該方法有效地解決了無(wú)人機(jī)圖像拼接錯(cuò)位、重影的問(wèn)題，在多項(xiàng)定量指標(biāo)上表現(xiàn)良好。

關(guān)鍵詞：圖像拼接；無(wú)人機(jī)圖像；圖像失真；半投影翹曲

中圖分類(lèi)號(hào)：TP391.41?? 文獻(xiàn)標(biāo)志碼：A?? 文章編號(hào)：1001-3695（2024）01-048-0301-05

doi：10.19734/j.issn.1001-3695.2023.05.0229

UAV image stitching method based on half-projection warping

Abstract：To solve the problems of distortion and ghosting in the stitching of UAV images，this paper proposed a UAV image stitching method based on half-projection warping.Firstly，it estimated the global projection transformation matrix of the image.Then it solved the transition transformation matrix and the similarity transformation matrix according to the overlap of the images，the continuity of the projection transformation and the similarity transformation，and obtained the final semi-projection transformation matrix.Finally，it constructed the difference matrix of the overlapping region of the images and obtained the different regions of the overlapping region based on the difference matrix.Using the partition fusion strategy，it performed single sampling in the different regions and distance-weighted fusion in other regions.The experimental results show that this method can splice the images caused by parallax due to the change of perspective and relief，and the result of the splicing is natural and clear，and the effect is better than other advanced algorithms.The method effectively solves the problems of misalignment and double image stitching of UAV images and performs well in many quantitative indexes.

Key words：image stitching；UAV image；image distortion；half-projection warping

0 引言

無(wú)人機(jī)遙感技術(shù)具有數(shù)據(jù)采集便捷、成本低、實(shí)時(shí)性強(qiáng)、靈活度高等優(yōu)勢(shì)，被廣泛應(yīng)用于目標(biāo)檢測(cè)［1］、工程測(cè)繪［2］和環(huán)境監(jiān)測(cè)［3］等多個(gè)領(lǐng)域。由于無(wú)人機(jī)飛行高度的限制以及成像設(shè)備視野范圍的局限，單張無(wú)人機(jī)遙感圖像覆蓋的地面區(qū)域有限，需要借助圖像拼接技術(shù)獲取含有全局信息的全景圖像。然而，受到視角轉(zhuǎn)換、場(chǎng)景中物體的深度差及地形起伏等因素的影響，通過(guò)無(wú)人機(jī)成像系統(tǒng)獲取的圖像數(shù)據(jù)通常存在較大視差。這將導(dǎo)致拼接生成的全景圖像中出現(xiàn)過(guò)大的形變和明顯的錯(cuò)位及重影，進(jìn)而影響后續(xù)的測(cè)繪、環(huán)境監(jiān)測(cè)、跟蹤識(shí)別等任務(wù)。因此，研究如何快速準(zhǔn)確地將具有重疊區(qū)域的無(wú)人機(jī)圖像拼接成無(wú)重影、無(wú)過(guò)大形變的全景圖像具有重要的實(shí)際應(yīng)用價(jià)值。

現(xiàn)有的圖像翹曲模型可以分為單視角和多視角兩類(lèi)。單視角翹曲使用投影的方法將對(duì)齊的圖像在同一坐標(biāo)系下進(jìn)行變換。AutoStitch［4］是一種經(jīng)典的基于全局投影模型的自動(dòng)拼接方法，但是該方法難以處理視角變換較大的無(wú)人機(jī)圖像。Zaragoza等人［5］提出了APAP （as-projective-as-possible）翹曲模型，它對(duì)圖像進(jìn)行網(wǎng)格化劃分，重疊部分的每個(gè)網(wǎng)格單元都獨(dú)立計(jì)算單應(yīng)矩陣來(lái)指導(dǎo)局部的翹曲對(duì)齊。Chen等人［6］提出了一種基于角度一致性的翹曲方法，它使用特征之間的角度限制對(duì)模型進(jìn)行約束來(lái)提高模型的對(duì)齊能力，最后使用加權(quán)的方式融合圖像，然而這種方法更適用于無(wú)視差的簡(jiǎn)單場(chǎng)景。線特征［7，8］也被應(yīng)用于單視角翹曲，以保持圖像的線性結(jié)構(gòu)。最近，Nie等人［9］提出了基于深度學(xué)習(xí)的全局翹曲模型，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征的提取和匹配，并進(jìn)行單應(yīng)性矩陣的估計(jì)。然而，單視角翹曲在處理非剛性的透視畸變時(shí)會(huì)產(chǎn)生較大誤差，導(dǎo)致圖像非重疊區(qū)域的縱向形變失真，不適合解決無(wú)人機(jī)圖像的拼接問(wèn)題。

為了獲得更加自然的全景圖像，多視角翹曲的方法被提出。Chang等人［10］以APAP模型為基礎(chǔ)提出了SPHP （shape-preserving half-projective warps）翹曲模型，在重疊區(qū)域使用單應(yīng)性翹曲，在非重疊區(qū)域使用相似翹曲，但是該方法過(guò)渡生硬、痕跡明顯。文獻(xiàn)［11］使用薄板樣條函數(shù)對(duì)SPHP方法進(jìn)行了改進(jìn)，增強(qiáng)了模型的對(duì)齊能力。文獻(xiàn)［12］提出了一種無(wú)人機(jī)圖像拼接重影消除算法，該算法將單應(yīng)性局部變換和旋轉(zhuǎn)角度最小的全局相似變換結(jié)合在一起，適合處理高重疊率圖像的拼接任務(wù)。Li等人［13］采用預(yù)翹曲對(duì)圖像進(jìn)行處理，并結(jié)合相似性翹曲得到自然的拼接結(jié)果。Wan等人［14］提出一種基于網(wǎng)格化和保形變換的模型，通過(guò)局部單應(yīng)性實(shí)現(xiàn)更加準(zhǔn)確的對(duì)齊，并使用保形變換減輕了無(wú)人機(jī)圖像的失真。準(zhǔn)單應(yīng)性翹曲［15］通過(guò)平衡非重疊區(qū)域的透視失真和投影失真，從而產(chǎn)生多視角拼接結(jié)果。多視角翹曲雖然限制了非重疊區(qū)域的形變，但是當(dāng)無(wú)人機(jī)圖像中物體深度差異較大時(shí)，此類(lèi)方法仍然難以精確對(duì)齊，結(jié)果中易出現(xiàn)錯(cuò)位和重影。

在處理無(wú)人機(jī)圖像時(shí)，適當(dāng)?shù)厥褂萌诤霞夹g(shù)可以減少重影現(xiàn)象［16］。目前多種圖像融合方法被應(yīng)用于智能手機(jī)全景［17］和航拍圖像［18］的拼接。基于深度學(xué)習(xí)的圖像重建框架［19，20］也被應(yīng)用到圖像拼接中來(lái)，它通過(guò)圖像顏色、紋理等差異損失的約束來(lái)規(guī)劃重疊區(qū)域的融合權(quán)重，達(dá)到了消除重影的效果。最優(yōu)接縫算法也能較好地消除視差和對(duì)準(zhǔn)引起的錯(cuò)位和重影。FARSE（fast and robust seam estimation）［21］通過(guò)定義灰度加權(quán)距離和差分梯度域作為差異代價(jià)來(lái)搜索最優(yōu)接縫。一些基于最優(yōu)接縫的算法［22，23］可以一定程度地避開(kāi)視差區(qū)域，但是當(dāng)視差區(qū)域較大時(shí)，最優(yōu)接縫的方法也會(huì)失敗。

綜上所述，目前無(wú)人機(jī)圖像拼接中出現(xiàn)失真現(xiàn)象主要有以下原因。首先，由于無(wú)人機(jī)低空遙感圖像拍攝視角偏差較大，同一物體在圖像中呈現(xiàn)不同的紋理細(xì)節(jié)，難以進(jìn)行對(duì)齊，導(dǎo)致拼接結(jié)果出現(xiàn)明顯的錯(cuò)位和重影。其次，無(wú)人機(jī)低空遙感圖像中的一些物體由于深度差異明顯，無(wú)法被視為處于同一平面，不滿足傳統(tǒng)圖像拼接的限制條件。SPHP算法通過(guò)線性約束實(shí)現(xiàn)投影翹曲和相似翹曲的過(guò)渡，來(lái)消除非重疊區(qū)域的縱向拉伸失真。然而，SPHP在變換矩陣計(jì)算和區(qū)域劃分階段使用固定數(shù)量的網(wǎng)格進(jìn)行參數(shù)估計(jì)的方法存在一些不足之處，尤其在處理不同類(lèi)型和大小的圖像時(shí)，這種方法可能導(dǎo)致重影和錯(cuò)位現(xiàn)象，并且半投影模型過(guò)渡時(shí)會(huì)產(chǎn)生生硬痕跡。本文提出自適應(yīng)動(dòng)態(tài)網(wǎng)格的方法，使用大小處于一定范圍內(nèi)、數(shù)量動(dòng)態(tài)選擇的網(wǎng)格來(lái)進(jìn)行參數(shù)估計(jì)，提高了模型的投影對(duì)齊能力和穩(wěn)定性，并且使得半投影模型的過(guò)渡更加平滑；本文還提出了一種新的融合策略，通過(guò)構(gòu)造重疊區(qū)域的差異矩陣，將該區(qū)域自動(dòng)劃分為大視差和小視差兩個(gè)部分，在大視差區(qū)域進(jìn)行像素單采樣，并使用線性加權(quán)方法在小視差區(qū)域進(jìn)行融合，最終生成無(wú)重影和錯(cuò)位的拼接結(jié)果。

1 無(wú)人機(jī)圖像拼接方法

1.1 方法流程

本文方法的流程如圖1所示，總體分為投影變換估計(jì)和融合重建兩個(gè)階段。首先估計(jì)輸入圖像間的投影變換矩陣，并進(jìn)行坐標(biāo)系調(diào)整以及根據(jù)重疊情況進(jìn)行區(qū)域劃分；其次估計(jì)非重疊部分的相似性變換矩陣，通過(guò)連續(xù)性及線性約束求得過(guò)渡區(qū)域的過(guò)渡變換矩陣，實(shí)現(xiàn)由投影變換到相似性變換的平滑過(guò)渡，獲得最終的半投影變換矩陣；之后構(gòu)建重疊部分的差異矩陣，視差小的區(qū)域具有較小的差異值，視差大的區(qū)域具有較大的差異值，根據(jù)該矩陣來(lái)判斷各像素使用單采樣或者加權(quán)融合來(lái)獲得最終結(jié)果。

1.2 投影變換估計(jì)

在圖像的配準(zhǔn)階段，使用尺度不變特征變換（scale-invariant feature transform，SIFT）特征描述符進(jìn)行初始特征的提取和匹配，得到圖像間特征點(diǎn)的對(duì)應(yīng)關(guān)系。對(duì)于兩個(gè)重疊的圖像I和I′，根據(jù)它們的匹配點(diǎn)對(duì)x=（x，y）T，y=（x′，y′）T來(lái)估計(jì)圖像之間的全局投影變換，公式表示為

為了投影變換和相似性變換能夠平滑過(guò)渡，需要適當(dāng)調(diào)整對(duì)齊的坐標(biāo)系。通過(guò)角度θ將原坐標(biāo)系（x，y）轉(zhuǎn)換到新坐標(biāo)系（u，v）下，θ以及（x，y）和（u，v）可以從式（3）（4）求得。

θ=atan2（-h7，-h8）（3）

x=u cos θ-v sin θ，y=u sin θ+v cos θ（4）

將式（4）代入式（2）可以得到（x′，y′）與（u，v）之間的映射關(guān)系。

1.3 半投影翹曲

由投影變換引導(dǎo)的翹曲只有在圖像滿足相機(jī)光學(xué)中心穩(wěn)定的情況下才能很好地拼接圖像。然而，在大多數(shù)情況下，無(wú)人機(jī)遙感獲取的圖像不滿足該條件，造成拍攝的大視差圖像拼接時(shí)在非重疊區(qū)域產(chǎn)生嚴(yán)重的變形失真。

為了解決這個(gè)問(wèn)題，本文引入了半投影翹曲模型。單應(yīng)矩陣H通常對(duì)應(yīng)投影變換，導(dǎo)致圖像的拉伸變形。相似變換只對(duì)圖像進(jìn)行旋轉(zhuǎn)和縮放，保持了圖像原有的形狀。半投影翹曲利用兩條翹曲線將已配準(zhǔn)的圖像劃分成三部分。對(duì)重疊區(qū)域進(jìn)行投影變換來(lái)進(jìn)行嚴(yán)格對(duì)齊，對(duì)非重疊區(qū)域進(jìn)行相似變換來(lái)抑制圖像形變，并在這兩個(gè)區(qū)域之間進(jìn)行平滑過(guò)渡。

變換到新坐標(biāo)系（u，v）下之后，根據(jù)圖像的重疊情況選取兩過(guò)渡邊界u=uHT和u=uTS，將目標(biāo)圖像劃分為三部分，每部分應(yīng)用不同的翹曲函數(shù)。對(duì)于整個(gè)圖像翹曲函數(shù)可以定義為

其中：T（u，v）是過(guò)渡變換函數(shù)；S（u，v）是相似性變換函數(shù)。整體翹曲函數(shù)w（u，v）可以確保圖像平滑地由投影變換過(guò)渡到相似性變換。以上兩個(gè)函數(shù)可以定義為

其中：fx、fy、gx、gy是u的二次函數(shù)；t1～t4是常量參數(shù)。當(dāng)u是常量時(shí)，H（u，v）、T（u，v）以及S（u，v）可以被看成關(guān)于v的線性函數(shù)。在經(jīng)線u=uHT和u=uTS處，翹曲函數(shù)仍然是連續(xù)的，因此有足夠的線性約束來(lái)求取上述二次函數(shù)和常數(shù)參數(shù)，求取公式如下：

因?yàn)閠2是常量，fx是u的二次函數(shù)，通過(guò)以上四個(gè)線性約束可以求解出t2和fx。同樣也可以根據(jù)線性約束求解出t1和fy。使用相同的策略還可以得到t3和gx的約束關(guān)系。

由于t1已經(jīng)被求出，所以以上線性約束足夠支持對(duì)t3和gx的求解。t4和gy也可以通過(guò)相同的方式求得。綜上所述，可以構(gòu)建出能夠平滑過(guò)渡的半投影翹曲函數(shù)w（u，v）。

由于半投影翹曲與投影變換的區(qū)別是使圖像非重疊區(qū)域盡可能地進(jìn)行相似變換，對(duì)于目標(biāo)圖像I，其邊界線u=uHT和u=uTS可以由翹曲函數(shù)w（u，v）與Frobenius范數(shù)更接近相似變換的偏差確定，偏差E由式（13）獲得。

其中：E（uHT，uTS）是uHT和uTS的非線性函數(shù)，通過(guò)網(wǎng)格采樣空間（uHT，uTS）來(lái)獲取最優(yōu)的uHT和uTS。

網(wǎng)格化劃分的目的是降低運(yùn)算復(fù)雜度，提升運(yùn)行效率。傳統(tǒng)的SPHP方法在網(wǎng)格化劃分時(shí)，無(wú)論圖像大小如何，均將圖像使用20×20的網(wǎng)格進(jìn)行劃分，這導(dǎo)致算法在不同圖像上展現(xiàn)的性能不穩(wěn)定，結(jié)果中會(huì)存在錯(cuò)位和重影的情況。本文使用自適應(yīng)動(dòng)態(tài)網(wǎng)格的方法，不對(duì)網(wǎng)格的數(shù)量進(jìn)行限制，而是根據(jù)輸入圖像的大小將每個(gè)網(wǎng)格的長(zhǎng)寬限制在50～60像素，能夠保持網(wǎng)格內(nèi)容信息量的穩(wěn)定。該方法使得模型在處理不同數(shù)據(jù)時(shí)克服了視差，展現(xiàn)了良好的對(duì)齊效果和平滑過(guò)渡效果。

半投影翹曲方法的具體實(shí)現(xiàn)如圖3所示。對(duì)于待拼接圖像I1和I2，首先估計(jì)其投影變換矩陣H12；隨后使用自適應(yīng)動(dòng)態(tài)網(wǎng)格的方法得到過(guò)渡邊界uHT和uTS，從而求取半投影翹曲矩陣w；最后使用翹曲矩陣w指導(dǎo)圖像的半投影變換，通過(guò)融合獲得最終的結(jié)果。

1.4 融合策略

半投影翹曲雖然解決了非重疊部分的變形失真，但由于視差較大，重疊部分仍然難以完美對(duì)齊?，F(xiàn)有方法采用多波段融合重建、平均加權(quán)或?qū)ふ易顑?yōu)接縫來(lái)處理重疊部分，但這很容易造成圖像的錯(cuò)位和重影。本文提出了一種新的拼接策略來(lái)消除錯(cuò)位和重影。

對(duì)于兩幅具有重疊區(qū)域的待拼接圖像，首先要獲取它們的重疊區(qū)域φ和φ′。重疊區(qū)域的差異矩陣可以表示為

E=|φ′R-φR|+|φ′G-φG|+|φ′B-φB|（14）

其中：φR、φG、φB分別是區(qū)域φ的RGB通道值；φ′R、φ′G、φ′B分別是區(qū)域φ′的RGB通道值。

根據(jù)差異矩陣E尋找一條經(jīng)線x=x0，將重疊區(qū)域分為兩部分，x0通過(guò)式（15）計(jì)算。

其中：x0、y0是要尋找的目標(biāo)點(diǎn)；pij是差異矩陣每個(gè)像素點(diǎn)的值；pφ是差異矩陣各元素值的總和；λ是常數(shù)，本文通過(guò)實(shí)驗(yàn)測(cè)定設(shè)置為0.3。經(jīng)過(guò)計(jì)算可以獲得需要的經(jīng)線x=x0。

使用獲得的經(jīng)線x=x0，將重疊區(qū)域劃分為過(guò)渡區(qū)和大視差區(qū)域。在大視差區(qū)域采取單采樣的策略獲取像素值，在過(guò)渡區(qū)域使用距離加權(quán)的方式實(shí)現(xiàn)平滑過(guò)渡。權(quán)重ωi可以由式（16）計(jì)算。

其中：xi是每個(gè)像素在坐標(biāo)系中所處位置的橫坐標(biāo)。通過(guò)該策略獲得的差異矩陣圖像和融合權(quán)重圖像如圖4所示。圖4（a）是重疊區(qū)域的差異矩陣圖像；圖4（b）是根據(jù)差異矩陣自動(dòng)劃分得到的，虛線為劃分邊界，其有效地劃分了差異區(qū)域；圖4（c）（d）分別是一般加權(quán)融合和本文融合策略對(duì)于圖像重疊部分的融合結(jié)果，可以清楚看到本文方法在視差大的建筑區(qū)域沒(méi)有重影和錯(cuò)位，優(yōu)于一般融合方法。

2 實(shí)驗(yàn)結(jié)果及分析

本文方法的實(shí)現(xiàn)平臺(tái)為MATLAB R2016b，硬件配置為Intel Core i7 8th Gen CPU，運(yùn)行內(nèi)存為16 GB。為了檢驗(yàn)本文方法的有效性，從現(xiàn)有方法的數(shù)據(jù)集中選取無(wú)人機(jī)圖像并利用四旋翼無(wú)人機(jī)采集低空遙感圖像構(gòu)建擁有500幅圖像的無(wú)人機(jī)圖像數(shù)據(jù)集。該數(shù)據(jù)集包括山地、水域、建筑等多樣信息，包含視角變換、地面起伏等大部分視差情況。

2.1 定性視覺(jué)比較

將本文方法與AutoStitch［4］、基于束調(diào)整與保形變換的無(wú)人機(jī)圖像拼接方法（LBASPT）［14］、基于最優(yōu)縫合線和半投影翹曲的無(wú)人機(jī)圖像拼接方法（OSHP）［22］和無(wú)監(jiān)督深度學(xué)習(xí)的圖像拼接方法（UDIS）［19］進(jìn)行比較。圖5和6展示了兩組無(wú)人機(jī)低空建筑圖像的拼接結(jié)果。

從圖5中可以明顯看出，圖5（c）中所有紅框高光部分均出現(xiàn)了明顯的重影，圖5（e）雖然使用基于深度學(xué)習(xí)重建的方式得到最終結(jié)果，但是只起到減輕重影的效果，紅框高光部分仍然可以看到重影的存在。圖5（b） （d）分別使用多頻段融合和縫合線的方式構(gòu)建拼接結(jié)果，雖然消除了重影，但是在部分紅框高光區(qū)域存在明顯的錯(cuò)位（參見(jiàn)電子版）。本文方法獲得的圖5（f）則清晰自然，沒(méi)有重影和形變失真。

圖6展示的是第二組無(wú)人機(jī)建筑低空?qǐng)D像的拼接結(jié)果?？梢詮慕Y(jié)果中看到，圖6（c）（e）中的紅框高光區(qū)域存在明顯的重影現(xiàn)象，圖6（b）是使用多頻段重建方式獲得的結(jié)果，雖然消除了重影，但是錯(cuò)位現(xiàn)象明顯，并且一些平行的線性結(jié)構(gòu)也扭曲變形。圖6（d）是基于最優(yōu)縫合線的結(jié)果，從部分紅框高光區(qū)域可以看到縫合線穿過(guò)了視差區(qū)域造成了錯(cuò)位現(xiàn)象。而圖6（f）則展現(xiàn)了清晰的拼接結(jié)果，不存在重影和錯(cuò)位。

為了驗(yàn)證本文方法在多幅圖像拼接時(shí)仍然具有令人滿意的效果，選取具有多幅拼接能力的方法AutoStitch、LBASPT和OSHP與本文方法進(jìn)行對(duì)比。源圖像來(lái)自使用無(wú)人機(jī)平臺(tái)獲取的連續(xù)圖像數(shù)據(jù)。圖7是對(duì)一系列具有重疊區(qū)域的山地圖像的拼接，地面的起伏和落差造成這組圖像具有較大視差。圖7（b）中黃框高光部分存在明顯的錯(cuò)位，圖7（c）中紅框和黃框區(qū)域均存在明顯重影（參見(jiàn)電子版），而圖7 （d）（e）的結(jié)果不存在重影和錯(cuò)位，并且從圖7 （e）中可以看到本文方法限制了圖像形變失真。

通過(guò)圖5～7三組實(shí)驗(yàn)可以看到，幾種先進(jìn)算法的結(jié)果都存在變形失真以及錯(cuò)位重影的現(xiàn)象，而本文的半投影翹曲和拼接策略更適合處理由于視角變化、地勢(shì)起伏引起的視差，獲得了更加自然的無(wú)人機(jī)圖像拼接結(jié)果。

選取更多的視差情況對(duì)本文方法進(jìn)行測(cè)試，其中包括大視角變化、小重疊區(qū)域，測(cè)試結(jié)果如圖8所示。由圖8（c）可以看到，在圖片存在較大的視角變化或者重疊區(qū)域很小的情況下，本文方法的結(jié)果維持了圖片的原始結(jié)構(gòu)狀態(tài)沒(méi)有縱向形變，并且在重疊區(qū)域沒(méi)有重影和錯(cuò)位。

為了驗(yàn)證本文方法的泛化性，也測(cè)試了其他場(chǎng)景的多幅無(wú)人機(jī)圖像拼接，結(jié)果如圖9所示。從圖9中可以看到，對(duì)于8幅無(wú)人機(jī)低空遙感圖像的拼接，圖9（b）～（d）的結(jié)果整體存在較大的拉伸形變且紅框中的建筑物存在扭曲錯(cuò)位（參見(jiàn)電子版），而圖9（e）的結(jié)果限制了圖像的形變。

2.2 客觀定量評(píng)價(jià)

首先，本文在拼接效率上與幾種先進(jìn)算法進(jìn)行了對(duì)比，通過(guò)測(cè)定所展示的三組實(shí)驗(yàn)的處理時(shí)間來(lái)進(jìn)行判斷。表1是三組實(shí)驗(yàn)的具體數(shù)據(jù)，可以看到本文方法擁有更高的效率。

為了能夠更加客觀地比較不同方法拼接結(jié)果的優(yōu)劣，本文使用峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）來(lái)對(duì)結(jié)果的重疊區(qū)域進(jìn)行評(píng)價(jià)。上述函數(shù)的值越大，說(shuō)明拼接結(jié)果的錯(cuò)位、重影等失真越少，拼接效果越好。PSNR函數(shù)定義為

其中：MSE表示輸入圖像的均方誤差，定義為

其中：H、W是輸入圖像的高度和寬度；X（i，j）、Y（i，j）是對(duì)應(yīng)坐標(biāo)處的像素值。

SSIM通過(guò)衡量輸入圖像的亮度、對(duì)比度和結(jié)構(gòu)來(lái)評(píng)判拼接結(jié)果的失真程度，它可以定義為

其中：μx、μy、σ2x、σ2y和σxy分別是輸入樣本x和y的均值、方差和協(xié)方差；c1和c2是非零常數(shù)。

對(duì)圖5～7的拼接結(jié)果分別進(jìn)行PSNR指標(biāo)的計(jì)算，結(jié)果如表2所示?？梢钥吹?，本文方法在所有視差情況下都獲得了高于其他方法的數(shù)值，這表示本文方法獲取的結(jié)果更加清晰、噪點(diǎn)更少，更適合處理大視差圖像的拼接。

對(duì)圖5～7的拼接結(jié)果分別進(jìn)行SSIM指標(biāo)的計(jì)算，結(jié)果如表3所示?？梢钥吹?，本文方法在所有視差情況下都獲得了高于其他方法的數(shù)值，說(shuō)明本文方法得到的結(jié)果扭曲變形更少，圖像結(jié)構(gòu)得到更大程度的保留，在人眼判斷中更加趨近于源圖像。

本文與作為本文baseline的SPHP算法［10］，以及同類(lèi)半投影翹曲算法LBASPT和OSHP在圖像的平均梯度（AG）上進(jìn)行對(duì)比，該評(píng)價(jià)指標(biāo)被用來(lái)衡量拼接結(jié)果的清晰程度，平均梯度越大，圖像的清晰程度越高。實(shí)驗(yàn)對(duì)圖8的多種視差場(chǎng)景進(jìn)行對(duì)比。

圖10直觀地展示了同類(lèi)算法的AG拼接指標(biāo)，由圖10可知，本文方法的拼接質(zhì)量高于基準(zhǔn)方法和最新的半投影方法。表4是對(duì)圖8中不同場(chǎng)景的平均梯度的數(shù)值測(cè)定，通過(guò)表4可以得出，本文方法的拼接結(jié)果表現(xiàn)出更好的清晰程度，優(yōu)于其他同類(lèi)算法的結(jié)果。

3 結(jié)束語(yǔ)

本文提出了基于半投影翹曲的大視差圖像拼接方法，該方法使用線性約束將投影變換與相似性變換相結(jié)合并實(shí)現(xiàn)平滑過(guò)渡，同時(shí)所提出的融合策略能消除錯(cuò)位與重影。本文方法不僅解決了圖像非重疊部分在拼接過(guò)程中容易變形失真的問(wèn)題，對(duì)于視角變換和地勢(shì)起伏等視差因素的處理也有優(yōu)秀的表現(xiàn)，能夠處理無(wú)人機(jī)遙感圖像等大視差圖像的拼接任務(wù)。定性與定量的實(shí)驗(yàn)結(jié)果表明，本文方法與同類(lèi)算法相比，顯著提高了拼接結(jié)果的質(zhì)量，擁有更好的視覺(jué)效果。

參考文獻(xiàn)：

［1］Ma Jiayi，Jiang Xingyu，F(xiàn)an Aoxiang，et al.Image matching from handcrafted to deep features：a survey［J］.International Journal of Computer Vision，2021，129：23-79.

［2］Shao Zhenfeng，Cheng Gui，Li Deren，et al.Spatio-temporal-spectral-angular observation model that integrates observations from UAV and mobile mapping vehicle for better urban mapping［J］.Geo-Spatial Information Science，2021，24（4）：615-629.

［3］徐旭，康青，陳善靜，等.基于Agisoft Metashape圖像拼接的無(wú)人機(jī)環(huán)境熱像監(jiān)測(cè)應(yīng)用研究［J］.紅外技術(shù)，2023，45（1）：49-55.（Xu Xu，Kang Qing，Chen Shanjing，et al.Application of UAV environmental thermography monitoring based on Agisoft Metashape image mosaic［J］.Infrared Technology，2023，45（1）：49-55.）

［4］Brown M，Lowe D G.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，74：59-73.

［5］Zaragoza J，Chin T J，Brown M S，et al.As-projective-as-possible image stitching with moving DLT［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：2339-2346.

［6］Chen Yinqi，Zheng Huicheng，Ma Yiyan，et al.Image stitching based on angle-consistent warping［J］.Pattern Recognition，2021，117：article ID 107993.

［7］Liao Tianli，Li Nan.Single-perspective warps in natural image stitching ［J］.IEEE Trans on Image Processing，2020，29：724-735.

［8］Jia Qi，Li ZhengJun，F(xiàn)an Xin，et al.Leveraging line-point consistence to preserve structures for wide parallax image stitching［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：12186-12195.

［9］Nie Lang，Lin Chunyu，Liao Kang，et al.Learning edge-preserved image stitching from multi-scale deep homography［J］.Neurocomputing，2022，491：533-543.

［10］Chang C H，Sato Y，Chuang Y Y.Shape-preserving half-projective warps for image stitching［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：3254-3261.

［11］趙輝，杜雅欣，王紅君，等.改進(jìn)保形半投影的無(wú)人機(jī)遙感圖像拼接算法［J］.現(xiàn)代電子技術(shù)，2021，44（20）：133-136.（Zhao Hui，Du Yaxin，Wang Hongjun，et al.UAV remote sensing image stitching algorithm with improved SPHP［J］.Modern Electronics Technique，2021，44（20）：133-136.）

［12］胡育誠(chéng)，芮挺，楊成松，等.無(wú)人機(jī)航拍圖像拼接重影消除技術(shù)研究［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（5）：1586-1589.（Hu Yucheng，Rui Ting，Yang Chengsong，et al.Research on eliminate ghosting technique of UAV image mosaic［J］.Application Research of Compu-ters，2021，38（5）：1586-1589.）

［13］Li Jing，Wang Zhengming，Lai Shiming，et al.Parallax-tolerant image stitching based on robust elastic warping［J］.IEEE Trans on Multimedia，2017，20（7）：1672-1687.

［14］Wan Qi，Chen Jun，Luo Linbo，et al.Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform［J］.IEEE Trans on Geoscience and Remote Sensing，2020，59（8）：7027-7037.

［15］王懷，王展青.非線性約束下的準(zhǔn)單應(yīng)變換圖像拼接算法［J］.計(jì)算機(jī)應(yīng)用，2021，41（8）：2318-2323.（Wang Huai，Wang Zhanqing.Nonlinear constraint based quasi-homography warps for image stitching［J］.Journal of Computer Applications，2021，41（8）：2318-2323.）

［16］Zhang Zhe，Ren Xuhong，Xue Wanli，et al.Object-aware ghost identification and elimination for dynamic scene mosaic［J］.IEEE Trans on Circuits and Systems for Video Technology，2021，32（4）：2025-2034.

［17］Zhao Yili.Fast image blending for high-quality panoramic images on mobile phones［J］.Multimedia Tools and Applications，2021，80（1）：499-516.

［18］Fang Faming，Wang Tingting，F(xiàn)ang Yingying，et al.Fast color blending for seamless image stitching［J］.IEEE Geoscience and Remote Sensing Letters，2019，16（7）：1115-1119.

［19］Nie Lang，Lin Chunyu，Liao Kang，et al.Unsupervised deep image stitching：reconstructing stitched features to images［J］.IEEE Trans on Image Processing，2021，30：6184-6197.

［20］Dai Qinyan，F(xiàn)ang Faming，Li Juncheng，et al.Edge-guided composition network for image stitching［J］.Pattern Recognition，2021，118：108019.

［21］Hejazifar H，Khotanlou H.Fast and robust seam estimation to seamless image stitching［J］.Signal，Image and Video Processing，2018，12：885-893.

［22］Chen Jun，Li Zixian，Peng Chengli，et al.UAV image stitching based on optimal seam and half-projective warp［J］.Remote Sensing，2022，14（5）：1068.

［23］王歡，周穎玥，王學(xué)淵，等.基于質(zhì)量評(píng)價(jià)的無(wú)人機(jī)航拍圖像拼接方法［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（8）：2511-2514.（Wang Huan，Zhou Yingyue，Wang Xueyuan，et al.Quality evaluation-based image stitching for UAV images［J］.Application Research of Computers，2022，39（8）：2511-2514.）