基于無人機(jī)載圖像的局部精細(xì)拼接算法

楊曉冉, 蹇制京, 孫潔潔, 丁祝順

（北京航天控制儀器研究所, 北京 100039）

0 引言

近年來, 機(jī)載空地偵察、 監(jiān)視任務(wù)提出了多元地物目標(biāo)精細(xì)檢測、 跟蹤等新興功能需求, 從而對無人機(jī)光電載荷觀測視場尺度、 探測空間分辨率等性能指標(biāo)提出了較高要求［1］。 主流研究通過圖像拼接技術(shù)實(shí)現(xiàn)大尺度、 高空間分辨率機(jī)載成像, 然而機(jī)載成像環(huán)境復(fù)雜, 無人機(jī)翻滾、 旋轉(zhuǎn)、 方向變換運(yùn)動(dòng)、 光學(xué)離焦、 鏡頭畸變等因素導(dǎo)致圖像拼接不準(zhǔn)確, 在圖像中表現(xiàn)為偽影、 模糊、 失真等圖像質(zhì)量劣化, 不利于目標(biāo)精細(xì)提取。 因此, 無人機(jī)載圖像精細(xì)拼接成為了目前學(xué)術(shù)界研究熱點(diǎn)。

提升圖像拼接質(zhì)量方面, 目前已有較多研究成果。 Zaragoza 等［2］估計(jì)了加權(quán)的局部單應(yīng)模型,然而引起了非重疊區(qū)域的投影形狀失真; Chang等［3］保留了非重疊區(qū)域原始圖像, 但引起了過渡區(qū)域的透視關(guān)系失真。 針對失真現(xiàn)象, Zhang 等［4］提出了圖像矩形邊緣約束, Liao 等［5］關(guān)注了線結(jié)構(gòu)斜率問題, Jia 等［6］指出了圖像中線結(jié)構(gòu)共線特性的射影不變性質(zhì)并設(shè)計(jì)了定量評(píng)估指標(biāo)。 李加慧等［7］提出了基于級(jí)聯(lián)光學(xué)的系統(tǒng), 通過光學(xué)設(shè)計(jì)實(shí)現(xiàn)了單孔徑廣域成像, 然而設(shè)計(jì)維護(hù)成本較高。 Xue等［8］改善了最優(yōu)縫合線檢索的學(xué)習(xí)機(jī)制, 但引入了較高的時(shí)間開銷。

為了匹配無人機(jī)載圖像拼接的高質(zhì)量需求,本文提出了一種高精度、 高自然度的圖像精細(xì)拼接方法: 首先通過一種射影不變特征子, 為待拼接圖像劃分子平面并進(jìn)行局部配準(zhǔn); 然后通過網(wǎng)格局部優(yōu)化實(shí)現(xiàn)透視改善, 包括基于圖像直線結(jié)構(gòu)的投影失真約束與透視失真約束, 從而最小化并均勻分配形狀結(jié)構(gòu)失真能量, 改善非自然扭曲;最后基于GraphCut 定位最優(yōu)縫合線, 實(shí)現(xiàn)無縫融合。 通過定量對比多種圖像拼接算法, 證明本文方法提高了機(jī)載圖像拼接精度, 并在改善扭曲失真方面具有良好性能, 為多元地面目標(biāo)精細(xì)提取奠定良好基礎(chǔ)。

1 機(jī)載圖像局部精細(xì)拼接算法

本文通過圖像線特征劃分重疊區(qū)域子平面［6］,綜合加速魯棒點(diǎn)特征（Speed Up Robust Features,SURF）［9］與 線 分 割 特 征（Line Segment Detector,LSD）［10］構(gòu)建射影不變特征子品質(zhì)數(shù)（Characteristic Number, CN）［11］, 獲取圖像拼接局部預(yù)配準(zhǔn)關(guān)系。為精細(xì)化配準(zhǔn)模型, 本文在圖中建立密集網(wǎng)格進(jìn)行局部配準(zhǔn)。 定義目標(biāo)圖像I與參考圖像I′,I中網(wǎng)格頂點(diǎn)構(gòu)成向量V=［x1y1x2y2…xnyn］ （V∈R2×n）, 其預(yù)配準(zhǔn)變換結(jié)果為, 則圖中任意點(diǎn)坐標(biāo)p（x,y）可由四角網(wǎng)格點(diǎn)的雙線性插值表出, 記作τ（p）。 為了最小化變換后圖像I^ 與I′間的差異, 本文以網(wǎng)格控制點(diǎn)作為配準(zhǔn)模型稀疏表示, 最優(yōu)化目標(biāo)函數(shù)由匹配精度約束與透視改善約束構(gòu)成, 形式如下

式（1）中,為匹配精度約束,為透視改善約束。

1.1 匹配精度約束

目標(biāo)函數(shù)中,為與I′間匹配精度約束條件, 形式如下

式（2）中,λq與λl為權(quán)重系數(shù), 通過SURF 與LSD 獲取圖像點(diǎn)特征匹配集與線特征匹配集。Eq為點(diǎn)特征匹配精度約束,滿足

在線特征lk上進(jìn)行等距離點(diǎn)采樣, 得到點(diǎn)集合, 如圖1（a）所示,為lk的單位法向量。 在lk預(yù)配準(zhǔn)取得的l^k上存在的對應(yīng)點(diǎn)集合, 則線特征匹配精度約束條件為

式（4） 中,為采樣點(diǎn)與參考圖像中對應(yīng)線特征的幾何距離［12］, 如圖1（b）所示。為的單位法向量, 約束線特征的直線性, 如圖1（c）所示。

圖1 線匹配精度約束Fig.1 Constraint of line features correspondence accuracy

1.2 線結(jié)構(gòu)透視改善約束

一方面, 視差致使不同圖像的透視消失點(diǎn)在世界坐標(biāo)系中不一致, 因此拼接后圖像中重疊區(qū)域O與非重疊區(qū)域Z之間的過渡區(qū)域T存在透視關(guān)系失真, 在圖像中呈現(xiàn)為局部直線的彎曲變形;另一方面, 在延展單應(yīng)變換至非重疊區(qū)域Z時(shí),邊緣形狀結(jié)構(gòu)受到射影變換的非線性影響, 存在形狀扭曲情況, 即投影形狀失真。 針對失真問題,本文創(chuàng)新性地研究了透視改善約束, 通過線性結(jié)構(gòu)保留兼顧透視關(guān)系一致性與目標(biāo)結(jié)構(gòu)自然度,提升拼接圖像質(zhì)量。

式（5）中,λpe與λpr為權(quán)重系數(shù),約束非重疊區(qū)域Z的投影失真。 準(zhǔn)單應(yīng)變換（Quasi Homography, QH）［13］證明存在一組對于投影變換具有平行不變性的直線族, 其變換前后的斜率均僅與射影變換參數(shù)有關(guān)［5］。

圖2 QH 變換Fig.2 Diagram of quasi homography（QH）

式（7）中,和分別為參考圖像中對應(yīng)直線族和的單位法向量,保持了直線族的直線性,均勻分布v方向的尺度拉伸。

式（7）中,基于共線性射影不變的性質(zhì)建立。 本 文 通 過 線 段 共 線 評(píng) 價(jià) 標(biāo) 準(zhǔn)［6］提 取中共線子集, 擬合形成全局直線集。 對跨越O、T、Z的全局直線進(jìn)行點(diǎn)采樣, 具體形式如下

綜合上述約束條件, 優(yōu)化目標(biāo)函數(shù)得到精確對齊的機(jī)載圖像。 為了保留機(jī)載圖像邊界的關(guān)鍵地物信息, 本文利用GraphCut 算法［14］檢索圖像最優(yōu)縫合線, 并在HSV 色度空間中協(xié)調(diào)明度、 飽和度均衡性［15］, 進(jìn)行圖像無縫自然融合。

2 實(shí)驗(yàn)與分析

為評(píng)估本文算法應(yīng)用于機(jī)載圖像拼接中的實(shí)際效果, 本文利用飛行實(shí)驗(yàn)中光電載荷采集的圖像數(shù)據(jù), 對比本文算法與當(dāng)前先進(jìn)圖像拼接算法,定量評(píng)價(jià)算法性能。 實(shí)驗(yàn)所用硬件平臺(tái)為PC 機(jī),處理器為i5-10210U, CPU 時(shí)鐘頻率為1.6GHz, 主存儲(chǔ)器為12.0G, 軟件平臺(tái)為Matlab 與Visual Studio。 實(shí)驗(yàn)通過拼接后圖像均方根誤差（Root Mean Squared Error, RMSE）對比圖像質(zhì)量, 根據(jù)直線結(jié)構(gòu)保留性定量評(píng)價(jià)準(zhǔn)則［6］評(píng)估失真扭曲改善效果,并客觀給出算法運(yùn)行時(shí)間。

2.1 圖像質(zhì)量評(píng)估

實(shí)驗(yàn)選用不同飛行高度（500m ～3000m）的真實(shí)機(jī)載圖像6 組, 如圖3 所示。

圖3 圖像拼接算法評(píng)估實(shí)驗(yàn)數(shù)據(jù)Fig.3 Images for evaluation experiment of stitching method

實(shí)驗(yàn)對比了開源算法中的盡可能投影拼接（As Projective As Possible, APAP）［2］、 形狀保留半投影拼接（Shape Preserve Half Projective, SPHP）［3］和 單視角翹曲（Single Perspective Warps, SPW）［5］三種先進(jìn)圖像拼接算法。 本文算法所涉及參數(shù)中,λq與λl分別設(shè)置為1 和5,λpe為50,λpr為100, 線特征長度下限閾值為30, 對照算法所涉及參數(shù)均依據(jù)原文推薦設(shè)置。 拼接后圖像的均方根誤差（RMSE）如表1 所示。

表1 不同機(jī)載圖像拼接算法RMSE 對比Table 1 Comparison of RMSE on airborne images by different stitching methods

實(shí)驗(yàn)結(jié)果表明, 相比于對照算法, 本文算法在機(jī)載圖像拼接實(shí)現(xiàn)中引入的誤差更小, RMSE 比APAP 算法平均減小了0.9808, 比SPHP 算法平均減小了0.9857, 比SPW 算法平均減小了0.2290,圖像質(zhì)量更好。

2.2 透視關(guān)系保留能力評(píng)估

實(shí)驗(yàn)選擇了8 組視差較大的機(jī)載圖像, 根據(jù)文獻(xiàn)［6］中給出的直線性定量指標(biāo)評(píng)估透視關(guān)系保留情況。 直線性定量指標(biāo)包括如下3 項(xiàng):

1）點(diǎn)共線性誤差: 基于拼接圖像中直線上點(diǎn)與擬合直線間最小二乘誤差構(gòu)成;

2）線對齊誤差: 基于拼接圖像中直線上點(diǎn)與參考圖像間匹配精度誤差構(gòu)成;

3）直線傾角一致誤差: 基于拼接圖像中直線與參考圖像間斜率變化誤差構(gòu)成。

實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 直線性定量指標(biāo)評(píng)估Fig.4 Diagram of quantitative evaluation on line property

實(shí)驗(yàn)結(jié)果表明, 本文算法在圖像配準(zhǔn)變換前后的圖像點(diǎn)共線性水平、 線特征對齊水平方面都呈現(xiàn)出優(yōu)于對照算法的效果。 本文算法的點(diǎn)共線性誤差相比SPW 算法平均減小了41.83%, 線對齊誤差減小了26.33%, 直線傾角一致誤差減小了13.95%。 其中, 本文算法的直線傾角一致誤差略高于APAP 算法, 這是由于APAP 算法完全基于單應(yīng)變換實(shí)現(xiàn), 因此在直線性保留方面呈現(xiàn)出較好性能。

圖5、 圖6 將不同算法實(shí)現(xiàn)的機(jī)載圖像拼接結(jié)果進(jìn)行了對比: 在藍(lán)色實(shí)線框標(biāo)注的房屋線條、 陰影處, 可以看出相比于APAP 算法與SPHP 算法,SPW 算法和本文算法都緩解了形狀拉伸變形, 減小了投影失真; 在紅色虛線框標(biāo)注的街道、 樹林處, 可以看出本文算法增加的共線性約束條件減弱了局部偽影。

圖5 不同算法的機(jī)載圖像拼接結(jié)果對比（陰影、 街道）Fig.5 Comparison of results on different airborne image stitching methods（architectures shadow, road）

圖6 不同算法的機(jī)載圖像拼接結(jié)果對比（房屋線條、 樹林）Fig.6 Comparison of results on different airborne image stitching methods（architectures edge, bush）

將本文算法對上述6 組圖像運(yùn)算時(shí)間具體列出, 如表2 所示。 實(shí)驗(yàn)前已將圖像尺寸統(tǒng)一調(diào)節(jié)至600 ×450, 均為8 位RGB 三通道圖像。

表2 本文算法運(yùn)行時(shí)間Table 2 Operation time for proposed method

3 結(jié)論

為了提高無人機(jī)載圖像拼接算法性能, 本文提出了一種基于透視改善的局部精細(xì)拼接算法,包括預(yù)配準(zhǔn)、 網(wǎng)格優(yōu)化與無縫融合環(huán)節(jié)。 通過在網(wǎng)格優(yōu)化約束條件中引入特殊直線族和線段共線判別準(zhǔn)則, 綜合減小并平衡了透視失真與投影失真。 根據(jù)實(shí)際機(jī)載圖像實(shí)驗(yàn), 本文方法優(yōu)化了輸出圖像的質(zhì)量, 減小了圖像中形狀結(jié)構(gòu)的非自然形變, 保留了拼接圖像目標(biāo)細(xì)節(jié)信息, 提升了拼接圖像精細(xì)度, 適用于無人機(jī)載圖像拼接應(yīng)用場景。 然而, 本文算法在無縫融合階段的計(jì)算效率較低, 后續(xù)將對該階段進(jìn)行更深層次的優(yōu)化研究,減少時(shí)間開銷。