基于IA- FAIF 的紋樣提取與匹配方法研究

馬曉敏 馮子金 楊 燁 尚慧慧 董 免

(西安工程大學(xué)電子信息學(xué)院,陜西 西安710048)

清代龍袍是皇家織繡技藝和服飾藝術(shù)水平的最高體現(xiàn),受到中國紡織史、服飾史學(xué)術(shù)界和文物界的高度關(guān)注。清代龍袍的形制在入關(guān)前就已經(jīng)固定下來,但是根據(jù)等級和場合的差異,紋樣卻富于變化,而且龍袍紋樣類型和風(fēng)格演變具有鮮明的時代特征。因此,龍袍紋樣的識別對探索、研究清代龍袍產(chǎn)生的時代背景、制作方法以及斷代分析十分重要。

傳世的清代龍袍實物較多,通過人工方式識別龍袍紋樣的效率很低。因此,圖像處理技術(shù)被廣泛應(yīng)用于紋樣識別過程中,紋樣識別的關(guān)鍵是尋找圖像中的有效特征,特征提取與匹配的準(zhǔn)確率與快速性直接影響識別的效果。近些年,國內(nèi)外學(xué)者提出了諸多特征提取與匹配的方法,例如:2015 年,丁笑君等采用SIFT(Scale Invariant Feature Transformation)算法獲取畬族服裝紋樣關(guān)鍵點,得到不同類別服裝的關(guān)鍵點設(shè)計區(qū)域與排列順序[1]；2017 年,曹霞等通過SURF(Speed Up Robust Features)算法對服飾花邊紋理進行匹配[2]；2018 年,路凱等將提取的SIFT 關(guān)鍵點特征轉(zhuǎn)換為視覺單詞,實現(xiàn)不同類別纖維的鑒別[3]；但是,SIFT 算法和SURF 算法在復(fù)雜紋樣的特征提取與匹配過程中耗時較大。2019 年,韓敏等采用AKAZE(Accelerated-KAZE)算法提取特征點,通過二進制描述子FREAK(Fast retina keypoint)進行特征描述,實現(xiàn)了圖像在光照、尺度及旋轉(zhuǎn)變化下精確匹配,并且特征描述過程的耗時較SIFT 算法和SURF 算法有明顯縮短[4]。

清代龍袍紋樣構(gòu)圖復(fù)雜、元素形態(tài)多樣并且伴隨著大量的重復(fù)和疊加；加之拍攝角度和距離不同,導(dǎo)致圖像紋樣存較大的視角差異。上述特征提取與匹配算法雖然對尺度、旋轉(zhuǎn)和光照變化有一定的魯棒性,但是難以解決大視角變化下的復(fù)雜紋樣提取與匹配。針對這一問題,國內(nèi)外學(xué)者們也進行了相關(guān)研究,典型成果有:2015 年,Zhao 等采用仿射不變多尺度自卷積變換提取仿射不變特征,并利用主成分分析法對特征描述子進行降維[5]。2020 年,Moyou 等將特征點投影到格拉斯曼流行中以實現(xiàn)特征點不同子空間劃分,通過拉普拉斯- 貝爾特拉米算子計算特征點的仿射不變坐標(biāo),從而實現(xiàn)大視角變化下的特征提取與匹配[6]。上述方法提取的仿射不變特征對視角變化具有很好的魯棒性,但算法復(fù)雜度較高、實時性較差。因此,在大視角變化下,快速且準(zhǔn)確地清代龍袍紋樣提取與匹配仍是一個研究熱點和難點。本文提出了基于改進AKAZE-FREAK 仿射不變特征(Improved AKAZE-FREAK Affine Invariant Freature, IA-FAIF)的清代龍袍紋樣提取與匹配方法,本方法對大視角變化下的紋樣提取具有準(zhǔn)確率高和快速性好的優(yōu)點。

1 紋樣特征提取與匹配原理框圖

本文提出的基于IA-FAIF 的清代龍袍紋樣提取與匹配整體分為四個步驟,如圖1 所示:

圖1 紋樣提取與匹配實現(xiàn)過程框架

分別是視角變化的模擬、AKAZE 特征檢測、FREAK 特征描述、匹配。圖1 中,首先以一組RGB 圖像作為輸入,經(jīng)過視角變化模擬得到一系列仿射不變圖像；然后經(jīng)過AKAZE 特征檢測、FREAK 特征描述、漢明初始匹配和精確匹配得到對應(yīng)點的匹配結(jié)果(圖中直線表示匹配點的連線)。接下來,對本文方法的原理進行詳細說明。

2 視角變化的模擬

在拍攝龍袍紋樣圖像時,不同的角度和距離會引起圖像的視角變化,這種視角變化可以通過仿射變換來進行模擬。將圖像u 中的某一特征點坐標(biāo)記為(x,y),視角變化后的坐標(biāo)記為(ax+by+e,cx+dy+f)。則這一坐標(biāo)變化過程對應(yīng)的仿射變換模型可描述為:

式中,(x1,y1)為視角變換后的坐標(biāo),仿射變換矩陣A=[a b；c d]是一個正定矩陣,矩陣T=[e；f]是平移矩陣?？蓪⒎律渥儞Q矩陣A 進一步分解為:

式中,參數(shù)t 為相機光軸相對于被拍攝對象平面的傾斜程度,且能描述實際拍攝位置。θ 為被拍攝對象平面的法線與相機光軸之間的夾角(即緯度角),φ 為被拍攝對象平面與相機光軸映射平面之間的夾角(即經(jīng)度角,φ∈[0,180°)),λ 為相機的變焦倍數(shù),ψ 為相機繞光軸旋轉(zhuǎn)的角度?？梢钥闯?經(jīng)度角φ 和緯度角θ 是模擬視角變化的兩個關(guān)鍵參數(shù)。在此,通過對參數(shù)t 的采樣得到對應(yīng)的經(jīng)度角φ 和緯度角θ,具體策略如下:

2.2 經(jīng)度角φ 通過一組采樣數(shù)據(jù)0,b/t,… ,kb/t(kb/t＜180°)獲得,一個參數(shù)t 對應(yīng)多個經(jīng)度角φ。為了保證采樣精度和復(fù)雜度之間的平衡,選取b=72°。

根據(jù)該策略可得到一系列的(φ,θ),將該值代入仿射變換模型(2)中可得到對應(yīng)于輸入圖像的視角變化模擬圖像。

3 AKAZE 特征檢測

在模擬后的圖像中進行AKAZE 算法下的特征檢測,AKAZE 算法采用各向異性的非線性濾波來構(gòu)造尺度空間,該算法顧及到圖像局部紋理結(jié)構(gòu)與細節(jié)的清晰度,通過不同程度的平滑來保留更多的邊緣和細節(jié)特征,提高特征定位精度；利用加速顯式擴散求解非線性擴散濾波解,進而提升計算速度,提高算法的實時性。該算法的實現(xiàn)可劃分為:(1)構(gòu)建非線性尺度空間；(2)特征點定位,具體描述如下:

3.1 構(gòu)建非線性尺度空間

非線性濾波原理可通過如下非線性偏微分方程來描述:

式中,L 為圖像亮度矩陣,▽為梯度算子,div 為散度函數(shù),(x,y)為圖像坐標(biāo),c(x,y,t)是擴散傳導(dǎo)函數(shù)。當(dāng)c(x,y,t)的值為1 時,非線性尺度空間就轉(zhuǎn)換為線性尺度空間；當(dāng)c(x,y,t)為梯度的函數(shù)時,表示各向異性擴散。傳導(dǎo)函數(shù)的表達式如下:

式中,▽Lσ是原圖像L 經(jīng)過高斯平滑濾波(濾波尺度參數(shù)為σ)后的梯度圖像。g 可以根據(jù)不同的處理需求進行定義。假如把圖像亮度在不同尺度上的變化過程看作能量在不同時間上的擴散, 那么濾波尺度參數(shù)σ 就是流動時間t。流動時間越長,能量消耗越多、剩余越少；類似的, 濾波尺度參數(shù)σ 的值越大, 圖像的表示形式就越簡單?；谶@一原理,非線性尺度空間的構(gòu)建過程如下:

(1)對每一幅模擬后的圖像重復(fù)降采樣,生成O 組圖像；

(2)對每組圖像根據(jù)不同的濾波參數(shù)生成S 層尺度圖像。假設(shè)O 和S 分別由參數(shù)o 和s 標(biāo)識,則o 和s 與濾波尺度參數(shù)的映射關(guān)系如下:

式中,σ0為尺度初始值、M=O×S 為整個尺度空間的濾波圖像數(shù)量。由于非線性擴散濾波模型作用在時間序列上,因此需要將像素為單位的濾波尺度參數(shù)σi轉(zhuǎn)換至?xí)r間為單位的尺度參數(shù)ti:

式中,I 為單位矩陣；A(Li)為圖像L 在維度i 上的傳導(dǎo)矩陣。

由上述一系列非線性尺度空間的濾波圖像構(gòu)成金字塔狀的非線性尺度空間。

3.2 特征點定位

在構(gòu)建的尺度空間中,將每一個像素點和當(dāng)前層及相鄰兩層周圍共26 個像素點進行比較,計算不同尺度歸一化后的Hessian 值,若為極大值則為特征點。Hessian 值的計算如下:

式中,σ 為尺度參數(shù)σi的整數(shù)值,Lxx、Lyy分別是輸入圖像進行濾波后的二階微分,Lxy是二階交叉微分。在檢測到特征點后,采用二階泰勒展開精確定位特征點的位置,如下:

式中,x 為特征點的位置坐標(biāo),特征點的亞像素級精確坐標(biāo)為x:

4 FREAK 特征描述與匹配

FREAK 算法采用類似視網(wǎng)膜細胞分布的圓形網(wǎng)格采樣模式,通過采樣點對的強度比較構(gòu)建二進制描述子。這種圓形網(wǎng)格采樣模式具有采樣點少和分布固定的優(yōu)點,因此該描述子構(gòu)建過程的快速性具有明顯優(yōu)勢。FREAK 算法的實現(xiàn)可劃分為:(1)采樣模式的構(gòu)建；(2)特征點主方向的確定；(3)FREAK 描述子的構(gòu)建,具體描述如下:

4.1 采樣模式的構(gòu)建

以檢測到的AKAZE 特征點為中心建立圓形網(wǎng)格采樣模式,圓形區(qū)域類似于視網(wǎng)膜結(jié)構(gòu)中的感受域,不同感受域的重疊部分可以提供更充分的信息,從而使FREAK 描述子具有更強的獨特性。采樣點均勻分布在以特征點為圓心的同心圓上,由于該采樣模式共有七層同心圓,因此共有6×7+1 個采樣點,而且越靠近中心位置采樣點的密度越高。

4.2 特征點主方向的確定

為了降低噪聲的影響,對采樣模式中的像素點進行高斯模糊處理,高斯函數(shù)的標(biāo)準(zhǔn)差取值為圓圈的半徑,然后由對稱分布的采樣點計算局部梯度累加和,從而獲得特征點的主方向。具體實現(xiàn)如下:

假設(shè)G 是對稱分布的采樣點對集合,則局部梯度O 的可由式(1)計算得到:

式中,M為采樣點對的數(shù)量,Prio(i=1,2)為采樣點的位置坐標(biāo),I(PriO)為采樣點的灰度值,||Rr1O-Rr2O||為采樣點之間的距離。那么,特征點的主方向θ 可由式(12)計算得到:

4.3 FREAK 描述子的構(gòu)建

首先,將采樣區(qū)域旋轉(zhuǎn)至特征點主方向,以保證FREAK 描述子的旋轉(zhuǎn)不變性；然后,通過采樣點對的灰度比較構(gòu)建描述子F,構(gòu)建公式如下:

式中,Pa為一對添加了方向信息的采樣點,N 為FREAK 描述子的維度,T(Pa)為構(gòu)建二進制描述子的準(zhǔn)則:

式中,I(Pr1a)為Pa中第一個采樣點經(jīng)過高斯平滑后的灰度值。FREAK 采樣點雖然只有43 個,但采樣點對的數(shù)量可能達到幾千個；而且,對于圖像匹配而言,細節(jié)信息對匹配效果的影響較小。因此,只用保留差異性最大的維度。通過貪婪法對冗余信息進行剔除,最終得到512 維的FREAK 描述子。

4.4 匹配

由于FREAK 描述子是由二進制字符串組成,因此在初始匹配階段采用漢明距離度量描述子之間的相似性。對于等長的字符串,漢明距離定義為將一個字符串變?yōu)榱硪粋€字符串需要替換的字符個數(shù),因此計算過程簡單且能夠顯著提升算法的匹配效率。為了進一步提高匹配的準(zhǔn)確率,在精確匹配階段采用隨機抽樣一致性算法,剔除誤匹配。

5 實驗研究

利用大量清代龍袍圖像的實驗結(jié)果表明,該方法能兼顧特征檢測與匹配環(huán)節(jié)的快速性、同時具有強抗視角變化能力,實現(xiàn)視角變化高達85 度時正確匹配率不低于90%,特征檢測平均耗時為0.315ms,特征描述平均耗時為0.207ms,特征匹配平均耗時為0.189ms。圖2 是清代龍袍紋樣圖像存在模糊、光照變化且視角變化高達85 度時,本文基于IA-FAIF 算法的紋樣提取與匹配結(jié)果。

圖2 紋樣提取與匹配結(jié)果

6 結(jié)論

龍袍紋樣的識別對探索、研究清代龍袍產(chǎn)生的時代背景、制作方法以及斷代分析十分重要。然而,龍袍紋樣構(gòu)圖復(fù)雜、元素形態(tài)多樣并且伴隨著大量的重復(fù)和疊加；加之拍攝角度和距離不同,往往導(dǎo)致圖像紋樣存較大的視角差異。因此,本文在各種復(fù)雜因素綜合影響下,通過建立視角變化模擬、仿射不變特征檢測與特征描述,對龍袍紋樣實現(xiàn)了快速、準(zhǔn)確地提取與匹配,對紋樣識別具有重要意義,在下一步的研究中將對視角變化的模擬次數(shù)進行自適應(yīng)調(diào)節(jié)以達到更好的實時性。