基于紋理合成與最佳縫合線的不同平面數(shù)碼迷彩拼接方法

李中華， 喻鈞， 胡志毅， 康秦瑀， 高守義， 廉志超， 肖鋒

(1.西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 陜西 西安 710021; 2.陸軍研究院, 北京 100012)

0 引言

數(shù)碼迷彩作為近年來發(fā)展迅速的一種迷彩樣式，在軍事偽裝領(lǐng)域獲得了廣泛運(yùn)用。數(shù)碼迷彩利用空間混色原理和斑塊特性，使得偽裝目標(biāo)與背景之間的邊界更為破碎、模糊，偽裝效果較傳統(tǒng)的迷彩圖案更優(yōu)[1]。通常，根據(jù)偽裝目標(biāo)所處的背景環(huán)境生成的數(shù)碼迷彩圖案是一幅固定大小的二維圖像[2-3]，噴涂于實(shí)際的偽裝目標(biāo)上時(shí)，各平面之間的銜接處容易因?yàn)轭伾^渡不連續(xù)出現(xiàn)顯著的拼接痕跡，以致形成新的目標(biāo)暴露特征，增加了目標(biāo)的顯著性，進(jìn)而導(dǎo)致迷彩偽裝效果大打折扣[4]。

當(dāng)前主流的圖像拼接算法是基于特征點(diǎn)的拼接[5-10]。該算法依照特征點(diǎn)匹配的結(jié)果計(jì)算兩幅圖像的重疊區(qū)域，然后獲得重疊區(qū)域的最佳縫合線[5,7-10]，最后運(yùn)用圖像融合技術(shù)完成拼接?；谔卣鼽c(diǎn)的圖像配準(zhǔn)可能導(dǎo)致待拼接圖的旋轉(zhuǎn)，并且拼接后的圖像尺寸難以確定。而數(shù)碼迷彩圖案對(duì)旋轉(zhuǎn)敏感，且拼接尺寸固定，不利于特征點(diǎn)的配準(zhǔn)，同時(shí)數(shù)碼迷彩的顏色單一，不利于圖像融合。這導(dǎo)致難以直接將傳統(tǒng)的拼接算法應(yīng)用于數(shù)碼迷彩的拼接上。

由于三維偽裝目標(biāo)的形狀各異，文獻(xiàn)[11]提出一種基于圓柱體的數(shù)碼迷彩拼接方案。該方法通過添加多列過渡迷彩，讓兩幅數(shù)碼迷彩圖案在拼接處能夠平滑過渡，但會(huì)增加拼接后的圖案寬度(或高度)，并且難以在顯著接縫處形成過渡自然的區(qū)域。

為了增強(qiáng)數(shù)碼迷彩拼接方法的通用性，本文提出一種結(jié)合紋理合成[12-16]與最佳縫合線[5,7-10]的數(shù)碼迷彩拼接方法。紋理合成是利用給定的樣本紋理，生成大范圍的紋理圖案，使得生成的紋理圖案在局部上具有樣本的紋理特征，整體上又呈現(xiàn)出一定的隨機(jī)性。通過尋找最優(yōu)路徑得到的縫合線，能夠保證縫合線兩側(cè)的像素差異最小，使得拼接處的圖案過渡更為自然。

雖然運(yùn)用紋理合成技術(shù)可以得到一幅足夠大的二維圖案，直接作為拼接圖案，但是紋理合成的隨機(jī)性可能會(huì)產(chǎn)生新的顯著接縫(因?yàn)橛幸粋?cè)的整個(gè)圖案都是合成出來的，可能和原始圖案完全不同；假如說合成出來的部分在拼接圖的左邊，無法保證整個(gè)拼接圖的左側(cè)能夠和另一個(gè)面的圖案平滑過渡)。本文運(yùn)用紋理合成技術(shù)，人為創(chuàng)造了數(shù)碼迷彩圖案的偽重疊區(qū)域，避免了特征點(diǎn)配準(zhǔn)所帶來的圖像旋轉(zhuǎn)和尺寸變化問題，通過尋找重疊區(qū)域的最佳縫合線完成數(shù)碼迷彩圖案的拼接。

1 紋理合成技術(shù)

紋理合成技術(shù)是可以解決紋理映射中存在的接縫走樣等問題。目前紋理合成方法可分為兩類：一類為過程紋理合成，另一類為基于樣圖的紋理合成[12-16]。

1)過程紋理合成通過對(duì)物理生成過程的仿真直接在曲面上生成紋理，如毛發(fā)、云霧、木紋等，從而避免了紋理映射帶來的失真。該方法可以獲得非常逼真的紋理，但對(duì)每一種新紋理，需要反復(fù)調(diào)整參數(shù)并測(cè)試，非常不便，有的甚至無法得到有效的參數(shù)。

2)基于樣圖的紋理合成是在給定的小區(qū)域紋理樣本中，按照目標(biāo)表面的幾何形狀，拼合生成整個(gè)曲面的紋理，它在視覺上是相似而連續(xù)的。該方法既克服了傳統(tǒng)紋理映射的缺點(diǎn)，又可以避免過程紋理合成中調(diào)整參數(shù)的繁瑣，因而受到越來越多的關(guān)注，成為計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn)之一。

2 最佳縫合線算法

基于特征點(diǎn)匹配的圖像拼接算法在早期通常用加權(quán)融合的方式來完成拼接操作[5-6]，但是這種融合方式容易導(dǎo)致拼接圖像出現(xiàn)鬼影、重影。為了解決該問題，人們提出了最佳縫合線算法。該算法通過評(píng)估和計(jì)算重疊區(qū)域的差異，找到一條最為相似的分割線，使得分割線兩側(cè)的圖像在分割線處實(shí)現(xiàn)無縫拼接，這條分割線就是所尋找的最佳縫合線[5,7-10]?？p合線算法可以有效地消除圖像拼接過程中出現(xiàn)的重影，在圖像拼接領(lǐng)域有廣泛應(yīng)用。

一條理想的縫合線應(yīng)該滿足以下兩個(gè)要求[7-8]:

1)顏色強(qiáng)度上，兩幅圖像的顏色差異最小。

2)結(jié)構(gòu)強(qiáng)度上，兩幅圖像的結(jié)構(gòu)差異最小。

縫合線的計(jì)算準(zhǔn)則[7]為

(1)

通過(1)式可以得到重疊區(qū)域的能量評(píng)估圖：評(píng)估值越小，該點(diǎn)的顏色差異和結(jié)構(gòu)差異就越小；評(píng)估值越大，則該點(diǎn)的顏色差異和結(jié)構(gòu)差異就越大。

最佳縫合線的搜索就是找到一條路徑，這條路徑將重疊區(qū)域分為左右兩個(gè)部分，同時(shí)路徑上各點(diǎn)的評(píng)估值之和E最小[5,7-8]。通過尋找E最小的路徑，讓左右兩幅圖在縫合線處的局部差異最小，使得拼接效果最好。

最佳縫合線的搜索策略：將評(píng)估圖中第一行的每一個(gè)點(diǎn)作為起始點(diǎn)，將左、左下、下、右下和右等5個(gè)方向的最近鄰節(jié)點(diǎn)作為候選點(diǎn)，每次擴(kuò)展都選擇候選點(diǎn)中評(píng)估值最小的點(diǎn)，直至擴(kuò)展到評(píng)估圖的最后一行。最后從所有的路徑中選擇評(píng)估值最小的路徑作為最佳縫合線。搜索策略如圖1所示，其中圖1(a)是得到的評(píng)估圖，圖1(b)是節(jié)點(diǎn)的5個(gè)擴(kuò)展方向，圖1(c)～圖1(f)是節(jié)點(diǎn)擴(kuò)展的具體步驟。

圖1 縫合線搜索策略Fig.1 Sarch strategy of seam line algorithm

3 數(shù)碼迷彩拼接算法與評(píng)價(jià)方法設(shè)計(jì)

為了解決數(shù)碼迷彩拼接過程中存在的接縫顯著性問題，提出了一種結(jié)合紋理合成與最佳縫合線的拼接方法。同時(shí)，引入了接縫顯著性指標(biāo)對(duì)拼接效果進(jìn)行定量評(píng)價(jià)。

3.1 數(shù)碼迷彩拼接算法設(shè)計(jì)

數(shù)碼迷彩實(shí)施到三維目標(biāo)表面的時(shí)候，不同平面的邊界處必然會(huì)存在由于色塊的不連續(xù)分布而產(chǎn)生的顯著接縫[4，11]?？紤]到拼接接縫形成的原因和特性，本文提出一種數(shù)碼迷彩拼接算法來達(dá)到以下目的：1)消除接縫處的直線特征；2)避免產(chǎn)生新的暴露特征。

基于特征點(diǎn)的圖像拼接通常做法是，首先計(jì)算匹配兩幅圖像的特征點(diǎn)，然后據(jù)此計(jì)算獲得兩幅圖像的重疊區(qū)域，接著計(jì)算最佳縫合線，最后用圖像融合算法消除縫合線兩側(cè)的色差。

數(shù)碼迷彩圖案特征點(diǎn)的配準(zhǔn)可能導(dǎo)致圖案的旋轉(zhuǎn)，且拼接后的尺寸不固定，不利于數(shù)碼迷彩的拼接。同時(shí)，數(shù)碼迷彩的待拼接圖通常沒有嚴(yán)格的重疊區(qū)域，這導(dǎo)致迷彩圖案的配準(zhǔn)效果較差。為了避免旋轉(zhuǎn)和尺寸變化所帶來的問題，本文運(yùn)用紋理合成的方法，制造了過渡自然的擴(kuò)展區(qū)域，以此構(gòu)造了一個(gè)偽重疊區(qū)域；接著在該區(qū)域內(nèi)尋找一條最佳縫合線，使縫合線兩側(cè)圖案能夠平滑過渡，實(shí)現(xiàn)對(duì)數(shù)碼迷彩圖案的拼接。由于圖像融合可能會(huì)產(chǎn)生新的顏色，不利于數(shù)碼迷彩的拼接，所以本文算法在拼接時(shí)并未進(jìn)行圖像融合。

本文算法的基本流程如圖2所示：

步驟1依據(jù)目標(biāo)背景設(shè)計(jì)數(shù)碼迷彩圖案A.

步驟2以圖案A為樣本，運(yùn)用紋理合成技術(shù)生成一幅足夠大的數(shù)碼迷彩圖案B(B的大小取決于拼接圖案的尺寸，本文取拼接圖案尺寸的10倍作為B的大小)。

步驟3在數(shù)碼迷彩圖案B中尋找任意兩個(gè)小尺寸的圖案C1和C2作為待拼接圖案，并假設(shè)C1拼在C2的左邊(C1和C2的尺寸相同)。

步驟4運(yùn)用紋理合成技術(shù)，將圖案C1向右側(cè)擴(kuò)展，生成與C1同等高度的圖案D1，如圖3(a)所示。同理，將圖案C2向左側(cè)擴(kuò)展，得到與C2等高的圖案D2，如圖3(b)所示。C1中與D2重疊的部分和D2一起構(gòu)成了偽重疊區(qū)域Ω1，圖3(c)中的陰影部分表示Ω1. 同理，C2中與D1重疊的部分和D1也是一個(gè)偽重疊區(qū)域Ω2，如圖3(d)所示，其中陰影部分表示Ω2. 圖3(c)、圖3(d)的重疊區(qū)內(nèi)部曲線為縫合線(本文取D1和D2的寬度為C1或C2寬度的三分之一)。

步驟5分別計(jì)算C2和D1，C1和D2的偽重疊區(qū)域的最佳縫合線L1和L2，如圖3(c)、圖3(d)所示。選擇評(píng)估值之和E較小的縫合線作為最終拼接的最佳縫合線。

步驟6對(duì)C1和C2進(jìn)行縫合線拼接。

圖2 拼接算法流程Fig.2 Flow chart of stitching algorithm

圖3 拼接圖案區(qū)域劃分圖Fig.3 Regionalization of stitched patterns

圖3是拼接圖案的區(qū)域劃分示意圖，其中：圖3(a)和圖3(b)中的C1和C2是待拼接的兩個(gè)圖案，D1和D2分別是C1和C2的擴(kuò)展圖案；圖3(c)和圖3(d)是兩個(gè)重疊區(qū)域的示意圖，將C1和C2拼在一起的時(shí)候，擴(kuò)展的圖案和拼接圖重疊的部分構(gòu)成了偽重疊區(qū)域Ω，用斜線陰影表示；圖3(c)和圖3(d)中的L1和L2分別是在偽重疊區(qū)域Ω1和Ω2內(nèi)搜索得到的最佳縫合線。

圖4 原始背景圖像和數(shù)碼迷彩圖案Fig.4 Background image and digital camouflage patterns

3.2 拼接效果評(píng)價(jià)方法設(shè)計(jì)

迷彩圖案的拼接接縫是一種顯著的暴露特征，會(huì)直接影響目標(biāo)偽裝效果。為了評(píng)價(jià)數(shù)碼迷彩的拼接效果，設(shè)計(jì)了一種能夠描述接縫顯著性的技術(shù)指標(biāo)，該指標(biāo)用[0,1]內(nèi)的小數(shù)表示。算法步驟如下：

步驟1分別截取C1、C2最靠近接縫的一列F1、F2，并創(chuàng)建一個(gè)和F1、F2同尺寸的列向量G.

步驟2判斷F1(i, 1)、F2(i, 1)的顏色是否一致(i表示該分量在G中的位置)，如果相等，G(i, 1)=0，不相等則G(i, 1)=1，如(2)式所示，

(2)

步驟3去除掉列向量G中長度較短的邊界，例如(0, 1, 0)的長度只有1，于是去除掉。

步驟4統(tǒng)計(jì)列向量G中數(shù)值為1的元素個(gè)數(shù)n，并依據(jù)(7)式計(jì)算接縫顯著度S，

(3)

式中：length(G)為G的元素個(gè)數(shù)(整體長度)。

由于n∈[0,length(G)]，所以S∈[0,1]. 當(dāng)S→0時(shí)，n→0，表示直線段邊界越短，接縫顯著性越低；當(dāng)S→1時(shí)，n→length(G)，表示直線段邊界越長，接縫顯著性越高，越容易被識(shí)別。

4 試驗(yàn)及結(jié)果分析

本文對(duì)提出的算法進(jìn)行了拼接試驗(yàn)和同類算法間的對(duì)比試驗(yàn)，并通過定性、定量的方法完成了對(duì)試驗(yàn)結(jié)果的評(píng)價(jià)。

4.1 拼接試驗(yàn)及結(jié)果分析

針對(duì)上述設(shè)計(jì)的數(shù)碼迷彩拼接算法，在文獻(xiàn)[2,11]的基礎(chǔ)上，選取某地區(qū)背景圖像進(jìn)行了試驗(yàn)驗(yàn)證與分析。在圖4中：圖4(a)是原始目標(biāo)背景圖像；圖4(b)是用文獻(xiàn)[2]算法生成的數(shù)碼迷彩圖案A；圖4(c)是以圖案A為樣本，運(yùn)用紋理合成技術(shù)[12-13]生成的更大數(shù)碼迷彩圖案B. 圖4(c)中白色方框選中的是待拼接的兩幅迷彩圖案C1、C2. 為了便于觀察，上述C1、C2用圖5(a)、圖5(d)表示。

分別對(duì)數(shù)碼迷彩圖案C1和C2在拼接方向進(jìn)行擴(kuò)展，得到D1和D2，如圖5(b)、圖5(c)所示，其目的是人為構(gòu)造重疊區(qū)域Ω1和Ω2. 分別計(jì)算重疊部分Ω1和Ω2的能量評(píng)估圖，最后在評(píng)估圖中搜索最佳縫合線，如圖5所示。

圖5 待拼接圖案及其縫合線Fig.5 Stitched pattern and best seam line

直接將C1、C2進(jìn)行拼接形成圖6(a)所示圖案，用圖5(f)、圖5(h)進(jìn)行拼接形成圖6(b)、圖6(c)所示圖案。

圖6 拼接效果及Canny算子檢測(cè)結(jié)果Fig.6 Stitched results and detection results of Canny operator

從圖6(a)可以看出，直接拼接的圖案在拼接處存在顯著的直線段特征。從圖6(b)、圖6(c)來看，L1和L2縫合線拼接都很好地將這一特征消除了，均難以發(fā)現(xiàn)拼接的縫隙。

對(duì)上述3個(gè)拼接結(jié)果分別進(jìn)行Canny邊緣檢測(cè)后得到圖6(d)～圖6(f)所示結(jié)果。從圖6(d)可以發(fā)現(xiàn)，Canny算子成功檢測(cè)到了圖6(a)中的拼接縫隙；從圖6(e)、圖6(f)可以看出，圖6(b)、圖6(c)的縫隙直接被消除了。

為了確定最優(yōu)的拼接效果，需要在圖6(b)和圖6(c)中間選擇一個(gè)方案。這可以通過比較兩種方案的縫合線評(píng)估值之和E來確定。圖6(b)的EL1=0.982，圖6(c)的EL2=0.803，而E越小表示縫合線兩側(cè)的局部差異越小，拼接效果就越好，于是選擇評(píng)估值之和較小的圖6(c)作為最優(yōu)的拼接結(jié)果。

4.2 對(duì)比試驗(yàn)及分析

將文獻(xiàn)[11]的算法用于圖5中C1和C2的拼接，得到的結(jié)果如圖7(a)所示。對(duì)圖7(a)進(jìn)行Canny邊緣檢測(cè)，得到圖7(b)所示結(jié)果。

圖7 文獻(xiàn)[11]的拼接結(jié)果Fig.7 Stitched results in Ref.[11]

從圖7可以看出，拼接結(jié)果依然能夠被Canny算子檢測(cè)出縫隙處的直線段特征，該算法難以有效地去除接縫的顯著性。

由于文獻(xiàn)[11]的算法是通過添加一列或多列過渡迷彩來完成數(shù)碼迷彩的拼接，而過渡迷彩是依據(jù)接縫兩側(cè)的顏色分布來決定的。在接縫不顯著情形下，過渡迷彩可以讓拼接處更為模糊，從而消除接縫；在接縫顯著情形下，例如圖6(a)中接縫左側(cè)存在單一顏色的較大區(qū)域，這就會(huì)對(duì)過渡迷彩的生成造成較大影響，使得過渡迷彩不能很好地消除顯著的拼接縫隙。

從圖4(c)的紋理合成圖案B中隨機(jī)選擇50個(gè)樣本對(duì)區(qū)域進(jìn)行拼接試驗(yàn)，計(jì)算其接縫顯著度，3種方法的接縫顯著度對(duì)比結(jié)果如圖8所示，顯著度數(shù)據(jù)見表1.

圖8 接縫顯著度試驗(yàn)結(jié)果Fig.8 Experimental results of seam saliency

圖8對(duì)直接拼接，文獻(xiàn)[11]的算法和本文算法的接縫顯著度結(jié)果進(jìn)行了比較。由圖8可以看出：直接進(jìn)行拼接之后的接縫顯著度整體最高；文獻(xiàn)[11]的算法能降低拼接后的接縫顯著度，但是效果有限；本文算法結(jié)果的接縫顯著度整體最低，較文獻(xiàn)[11]的算法更優(yōu)。50組接縫顯著度試驗(yàn)數(shù)據(jù)的均值如表2所示。

表1 接縫顯著度試驗(yàn)數(shù)據(jù)

表2 接縫顯著度試驗(yàn)數(shù)據(jù)的均值

由表2可知，對(duì)于直接拼接來說，文獻(xiàn)[11]的算法可以降低接縫顯著度45.7%左右，而本文算法可以降低76.9%左右，同時(shí)本文算法較文獻(xiàn)[11]的算法，提升了約57.5%的性能。綜上所述，本文算法能夠更好地應(yīng)對(duì)顯著的拼接接縫。

5 結(jié)論

本文針對(duì)不同平面數(shù)碼迷彩拼接的接縫顯著性問題，提出了一種結(jié)合紋理合成與最佳縫合線的拼接算法，并采用接縫顯著度指標(biāo)來描述數(shù)碼迷彩拼接后的效果。該算法是為仿造數(shù)碼迷彩的拼接量身定制的，重點(diǎn)在于減少拼接處的顯著直線段特征，使偽裝目標(biāo)與背景能夠更好地融合。由于變形迷彩的紋理較仿造迷彩更為簡(jiǎn)單，斑塊邊緣更為清晰、顯著，運(yùn)用紋理合成難以獲得一個(gè)效果較好的偽重疊區(qū)域，所以本文算法并不適用于變形迷彩。將本文算法與文獻(xiàn)[11]的算法做了拼接對(duì)比試驗(yàn)。結(jié)果表明，本文算法相對(duì)于文獻(xiàn)[11]的算法，能夠更好地消除數(shù)碼迷彩拼接接縫，從而減少迷彩圖案的暴露特征，使迷彩圖案在拼接處過渡更為自然。