圖形圖像積分與微分不變量的構造與應用

墨瀚林，郝 優(yōu)，郭 銳，郝宏翔，張 賀，李 琪，李 華

圖形圖像積分與微分不變量的構造與應用

墨瀚林1,2，郝 優(yōu)1,2，郭 銳1,2，郝宏翔1,2，張 賀1,2，李 琪1,2，李 華1,2

(1. 中國科學院計算技術研究所智能信息處理重點實驗室，北京 100190；2. 中國科學院大學計算機科學與技術學院，北京 100049)

作為圖形圖像數(shù)據(jù)的常用特征，微分不變量和以矩不變量為代表的積分不變量在計算機視覺、模式識別和計算機圖形學等領域扮演了重要角色。在過去二十年中，本研究團隊利用基本生成函數(shù)構造了灰度圖像、彩色圖像、向量場、點云、曲線和網(wǎng)格曲面等圖形圖像數(shù)據(jù)在幾何變換、顏色變換、圖像模糊和全變換下的矩不變量；證明了仿射變換下幾何矩不變量與微分不變量之間滿足同構關系，提出了一種獲取仿射微分不變量的簡單方法，并進一步得到了射影變換和莫比烏斯變換下圖形圖像的微分不變量；為了增強深度神經網(wǎng)絡對常見圖形圖像變換的不變性，探索了如何將圖形圖像不變量引入深度神經網(wǎng)絡模型。系統(tǒng)回顧與總結了上述工作，簡要介紹了如何使用基本生成函數(shù)構造圖形圖像在仿射變換下的幾何矩不變量與微分不變量，分析了圖形圖像不變量的典型應用場景及優(yōu)缺點，并對未來的研究進行了展望。

圖形圖像變換；特征提取；矩不變量；微分不變量；圖像分類；形狀分析；模板匹配

1 簡 介

如何提取圖形圖像數(shù)據(jù)的有效特征始終是計算機視覺、模式識別和計算機圖形學等領域的核心問題。理想的圖形圖像特征應當對常見變換具有不變性。事實上，受傳感器參數(shù)、設備架設角度、外界光照變化等因素的影響，針對同一目標采集的不同數(shù)據(jù)間往往滿足某種變換關系。如，使用相機從不同角度拍攝同一平面物體，所得到的圖像之間滿足二維射影變換關系，如圖1所示。顯然，對各類外加變換具有魯棒性或不變性是圖形圖像特征能夠準確描述目標內在信息的必要條件。

圖1 二維射影變換導致的幾何形變

半個世紀以來，各種變換下的圖形圖像不變特征層出不窮，其中，積分不變量與微分不變量扮演了重要的角色。以矩不變量(moment invariants)為代表的積分不變量常被用來提取圖形圖像數(shù)據(jù)的整體信息。1962年，HU[1]首次將幾何中心矩的概念引入圖像分析領域，并使用經典的代數(shù)不變量理論得到了7個對二維相似變換具有不變性的幾何矩不變量。此后，利用圖方法[2]、幾何基元法[3]等生成方法，該領域的研究者相繼得到了灰度圖像、彩色圖像、向量場、三維點云、曲線和網(wǎng)格曲面等數(shù)據(jù)在幾何變換[4-8]、光照變換[9-13]、圖像模糊[14-18]等多種常見圖形圖像變換下的幾何矩不變量。為了提升矩不變量對噪聲的魯棒性，部分研究者使用不同類型的正交多項式定義了圖形圖像的正交矩并生成了上述變換下的正交矩不變量[19-23]。目前，矩不變量已經被廣泛應用于形狀分析[24-26]、物體識別[27-29]、醫(yī)學影像分析[30-32]和語音分析[33-34]等眾多任務中。如，文獻[31]通過提取大腦磁共振圖像的幾何矩不變量來檢測阿爾茲海默癥等腦部疾??；文獻[33]則使用基于局部幾何矩不變量的加權譜特征來分析語音數(shù)據(jù)的情感。相對于矩不變量，微分不變量(differential invariants)更適合被用來描述圖形圖像的局部結構。目前，研究者主要使用OLVER[35-36]提出的移動標架等價方法生成常見圖形圖像變換下的微分不變量。利用旋轉微分不變量，KOENDERINK和VAN DOORN[37]定義了形狀指數(shù)特征(shape index)和彎曲度特征(curvedness)，并用于描述曲面的局部結構；文獻[38-41]發(fā)現(xiàn)部分旋轉和仿射變換下的微分不變量能夠被用來檢測圖像中的特定局部結構(如“團”結構或角點)并能確定該結構的空間尺度；GRIFFIN等[42-43]利用旋轉微分不變量描述圖像局部區(qū)域的對稱性，并進一步定義了紋理圖像的基本圖像特征(basic image features，BIF)。

可以看出，積分與微分不變量適用于多種圖形圖像變換且應用場景廣泛，同時，兩者具有較強的互補性。在過去二十年中，本研究團隊對圖形圖像積分與微分不變量進行了較為系統(tǒng)的研究，并取得了一系列成果，具體包括：

(1) 使用基本生成函數(shù)，提出了相似和仿射變換下一般標量函數(shù)矩不變量的生成框架[44-45]，以及全變換(total transform)下一般向量函數(shù)矩不變量的生成框架[46-47]。使用上述框架，得到了圖形圖像數(shù)據(jù)在多種幾何變換[6-7, 48]、顏色變換[10-13]以及圖像模糊[17-18]下的矩不變量實例。

(3)初步探索了圖形圖像積分與微分不變量和目前流行的卷積神經網(wǎng)絡(convolution neural network，CNN)的結合方式[52]，設計了在圖像旋轉變換下具有不變性的梯度對齊卷積操作[53]。

上述不變量和提升CNN模型不變性的方法已經被應用于圖形圖像的檢索與分類[3,54]、人體骨架識別[55]、模板匹配[17]、向量場分析[47]等任務中。

本文對上述工作進行了總結與回顧，并對圖形圖像不變量未來的研究進行了展望；同時，為加深讀者的理解，以仿射變換為例，簡單介紹如何使用基本生成函數(shù)構造圖形圖像在該變換下的矩不變量實例，并給出了與其滿足同構關系的微分不變量。

2 基本概念與定義

2.1 常見的圖形圖像變換

目前，文獻中常見的圖像變換可以被分為4類，即二維幾何形變、光照變化、圖像模糊以及多類型變換的復合(如形狀-顏色雙仿射變換)，而針對圖形變換的討論則大多只涉及三維幾何形變。如，對任意二維平面物體，可以使用二維平移、旋轉、縮放、相似、仿射和射影變換模型來描述其由相機拍攝角度變化導致的幾何形變，不同變換模型之間滿足圖2所示的集合關系。以仿射變換為例，假設二維坐標點(,)T和(,)T之間滿足仿射變換關系，則有

其中，2×2非奇異矩陣2為二維仿射變換；2×1向量2為二維平移，即

其中，矩陣2和向量2中的參數(shù)均為實數(shù)。若將圖2中的變換模型推廣到三維，則能夠使用其描述三維圖形變換。如，2個三維坐標點(,,)T和(,,)T之間的仿射變換關系可以被表示為

其中，3為3×3非奇異矩陣；3為3×1平移向量。事實上，使用雙視角圖像對某個三維目標進行重建時，其不同仿射重建版本的對應坐標點之間即滿足式(3)所定義的關系。

圖2 平面物體的常用幾何變換模型

Fig. 2 Commonly used transform models for planar objects

2.2 圖形圖像矩不變量

其中，B為任意類型的多項式基底；和為非負整數(shù)，(+)被稱為圖像矩的階數(shù)。簡言之，可以將圖像矩理解為整幅圖像在某類多項式基底上的投影。目前，最常用的圖像矩是基于冪函數(shù)基底{x y}構造的圖像幾何中心矩，即

矩不變量是矩的一類特殊函數(shù)，其通常對某種圖形圖像變換具有不變性。目前常見的圖形圖像矩不變量大多可以被表示為矩的齊次多項式形式。如，基于幾何中心矩構造的圖像幾何矩不變量為

2.3 圖形圖像微分不變量

微分不變量是另一類重要的圖形圖像不變量。事實上，由泰勒展開式可知，若函數(shù)在某點無窮階可導，則其在該點鄰域內的全部信息可以由其無窮階偏微分完整提取，這正是使用圖形圖像函數(shù)的各階偏微分數(shù)值描述其局部結構的理論基礎。然而，偏微分對大部分圖形圖像變換并不具有不變性，在實際應用中往往表現(xiàn)不佳。如，圖像梯度(即圖像函數(shù)(,)的一階偏微分)會隨著二維旋轉變換而改變。因此，在計算以尺度不變特征變換(scale-invariant feature transform，SIFT)[56]為代表的圖像梯度描述子時，需要先估計圖像的主方向，將其變換到標準位置后再計算梯度。

為此，研究人員開始使用微分不變量描述圖形圖像的局部結構。類似于矩與矩不變量的關系，微分不變量是各階偏微分的函數(shù)，通常對某種特定變換具有不變性。理論上，可以被表示為偏微分的任意函數(shù)，如多項式函數(shù)、有理多項式函數(shù)等。但是，F(xiàn)LORACK等[57-58]已經證明，任意非多項式形式的微分不變量均可被表示為具有齊次多項式形式的微分不變量的函數(shù)。因此，相比于其他形式的微分不變量，具有齊次多項式形式的微分不變量更加本質，因而成為研究重點。如，可以將圖像(,)的微分不變量表示為

其中，各參數(shù)的定義與式(7)相同，且滿足式(8)定義的關系。

3 仿射變換下矩不變量的生成函數(shù)

本節(jié)重點介紹仿射變換下圖形圖像幾何矩不變量的基本生成函數(shù)。令圖像(,)的定義域為，坐標點(x,y)T和(x,y)T屬于，T為質心坐標，則其基本生成函數(shù)為

其中，

其中，

4 仿射變換下矩不變量的構造

圖3 二維和三維行列式的幾何意義((a)二維行列式Hij；(b)三維行列式Hijk)

Fig. 3 The geometric meanings of 2D and 3D determinants((a)2D determinant Hij; (b)3D determinant Hijk)

其中，

其中，(·)為絕對值函數(shù)，生成函數(shù)的定義由式(12)給出。文獻[45]利用式(11)和積分換元法證明了式(17)，并說明了的展開式是式(7)定義的圖像幾何中心矩齊次多項式。因此，使用式(16)構造的在二維仿射變換前后只相差一個與變換矩陣的行列式相關的常數(shù)。事實上，先前的研究[2-4]已經表明，該常數(shù)可以使用不同方法消除，如多個的比值。

其中，

最近，DIAO等[59]進一步證明了基本生成函數(shù)H和H是構造仿射變換下圖形圖像幾何矩不變量的充分必要條件。為了更加清楚地說明如何使用式(16)和式(19)生成仿射矩不變量，式(22)和式(23)分別給出=2和=3時2個簡單和實例的構造過程。對照式(7)和式(8)，可以看出式(22)生成的圖像不變量實例確實為圖像幾何中心矩的齊次多項式。例如，在式(22)中，參數(shù)==1=2，2=–2，同時幾何矩階數(shù)滿足(1,1+1,1)=(2,1+2,1)= (2,1+2,1)=(2,2+2,2)=2。

5 仿射變換下微分不變量的生成

如前所述，先前的研究[35-36, 57-58]大多使用移動標架等價方法生成圖形圖像的仿射微分不變量。最近，本研究團隊證明在仿射變換下幾何矩不變量與微分不變量之間具有同構關系[49]，該發(fā)現(xiàn)大大簡化了獲取仿射微分不變量的難度。具體而言，給定任意仿射矩不變量，只需將其中的幾何中心矩替換為同階偏微分即可得到對應的仿射微分不變量。

6 其他變換下的積分與微分不變量

除仿射變換外，本研究團隊已經得到不同圖形圖像數(shù)據(jù)在下列變換下的積分和微分不變量。

6.1 圖像射影變換

如圖1所示，二維射影變換能夠表示平面物體因拍攝視角變化導致的任意形變。事實上，當相機與平面物體間的距離遠大于物體自身尺寸時，射影變換的射影性較弱。此時，仿射變換能夠較好的近似射影變換。然而，當該條件不被滿足時，基于仿射不變量構建的圖像檢索或分類算法性能明顯下降。因此，構造圖像在射影變換下的積分或微分不變量是有意義的。

如圖2所示，仿射變換是射影變換的子集，因此射影微分不變量也是仿射微分不變量。假如能夠得到足夠多的仿射微分不變量實例，則可能從中篩選出射影微分不變量。利用第5節(jié)仿射微分不變量與矩不變量間的同構關系，文獻[50, 60]系統(tǒng)生成了圖像仿射微分不變量，并從中發(fā)現(xiàn)了2個圖像射影微分不變量；隨后，首次證明了射影變換下圖像矩不變量的存在，這種矩不變量能夠被表示為圖像微分加權矩的齊次多項式，其中，先前得到的圖像射影微分不變量被作為加權函數(shù)；最后，給出了一組簡單的圖像射影加權矩不變量實例，并詳細分析了實際計算過程中可能的誤差來源。

6.2 反射變換

反射變換是另一類常見的圖形圖像幾何變換，具體而言，變換前后的2個物體互為鏡像。如圖4顯示了滿足反射變換關系的一對灰度圖像和一對人體網(wǎng)格數(shù)據(jù)。手性與非手性是一組與反射變換具有緊密聯(lián)系的物體屬性。若對于任意反射變換，物體均與其鏡像不同，則稱其具有手性；若物體存在對稱軸或對稱平面，則沿其對稱軸或對稱平面進行反射變換后得到的鏡像與該物體完全相同，如二維空間中的圓和三維空間中的立方體等，這種性質被稱為非手性。顯然，圖4(a)的灰度圖像具有手性，而圖4(b)的三維人體網(wǎng)格則近似具有非手性。

圖4 圖形圖像數(shù)據(jù)的反射變換((a)灰度圖像的反射變換；(b)三維人體網(wǎng)格的反射變換)

實際生活中存在大量滿足對稱性的非手性物體，構造反射變換下的圖形圖像不變量對于分析其結構具有重要意義?；诘?節(jié)的基本生成函數(shù)，文獻[48, 61]給出了反射變換下圖形圖像幾何矩不變量的構造方式，并給出了5個簡單的不變量實例。圖5顯示了使用該組不變量進行三維人臉對稱性檢測得到的結果。如圖5(a)所示，該三維人臉網(wǎng)格模型為非手性物體，以軸所在的平面為對稱面，網(wǎng)格上各點處的顏色表示某個反射矩不變量在以該點為中心的局部區(qū)域上計算得到的數(shù)值。顯然，反射幾何矩不變量的數(shù)值分布關于平面對稱，即在2個滿足反射變換關系的位置上計算得到的不變量數(shù)值互為相反數(shù)?；诖?，將5個反射幾何矩不變量的數(shù)值作為網(wǎng)格上每個頂點的特征，在選定一個頂點后，可基于特征距離判斷其鏡像 對稱點，進而計算出人臉模型的對稱平面，如 圖5(b)所示。

圖5 三維人臉對稱面檢測((a)反射幾何矩不變量數(shù)值分布；(b)人臉對稱平面檢測結果)

6.3 莫比烏斯變換

莫比烏斯變換是平移、縮放、旋轉、反射和反演變換的組合，其中，反演變換(inversion transform)使其區(qū)別于等距變換。圖6給出了滿足反演變換關系的一對灰度圖像和一對人體網(wǎng)格數(shù)據(jù)。相較于仿射、射影變換這類全局變換，莫比烏斯變換只保證物體的局部形狀在變換前后滿足某種性質，因此能夠描述更加復雜和真實的圖形圖像形變。事實上，莫比烏斯變換與共形變換(conformal transform)有著密切的聯(lián)系。GEHRIM[62]證明了三維及三維以上空間的共形變換與莫比烏斯變換等價。最近，計算共形幾何的相關理論與技術被成功應用于醫(yī)學圖像分析、形狀分析和幾何分類等任務中，并取得了良好的效果[63-65]。事實上，共形變換正是共形幾何研究的基礎和重要組成部分。因此，構造圖形圖像在莫比烏斯變換下的不變量不僅有助于更深入的理解共形變換，而且能夠進一步提升當前算法在形狀分析等任務上的表現(xiàn)。

在先前的研究中，最常用的莫比烏斯不變量為交叉比。文獻[51, 61]首次得到了圖形圖像函數(shù)在反演變換下的微分不變量實例，其中包括拉普拉斯算子與梯度內積的比值；隨后，驗證了其對平移、旋轉、縮放和反射變換同樣具有不變性，進而確認了其是莫比烏斯變換下的微分不變量。

圖6 圖形圖像數(shù)據(jù)的反演變換((a)灰度圖像的反演變換；(b)三維人體網(wǎng)格的反演變換)

6.4 圖像模糊

圖像模糊是一類常見的圖像變換，包括失焦模糊、直線運動模糊、旋轉運動模糊和徑向運動模糊等。如，圖7(a)和(b)分別顯示了灰度圖像的旋轉運動模糊和失焦模糊版本。

圖7 不同類型圖像模糊((a)旋轉運動模糊；(b)失焦模糊)

文獻[66-67]首次提出了旋轉運動模糊下圖像幾何矩不變量的生成方法；隨后，文獻[18]基于該方法得到了圖像在該變換下的Gaussian-Hermite正交矩不變量，相對于前者，后者具有更強的噪聲魯棒性。先前的研究發(fā)現(xiàn)，滿足重旋轉對稱性的點擴散函數(shù)與原圖像進行卷積能夠較好的模擬由鏡頭失焦導致的真實圖像模糊。文獻[17]建立了一種獲得幾何形變和旋轉對稱模糊下圖像幾何矩不變量的直觀方法。具體而言，對任意滿足重旋轉對稱性的點擴散函數(shù)，首先證明了其同階幾何中心矩之間存在線性依賴關系?；谠撔再|，提出了一種判斷現(xiàn)存圖像相似或仿射幾何矩不變量是否同時對重旋轉對稱模糊具有不變性的簡單方法。與先前的相關工作不同，該方法并不依賴復雜的操作或構造公式。使用該方法，分析了最經典的圖像矩特征—HU矩[1]，發(fā)現(xiàn)其中的5個不變量對重對稱模糊具有天然的不變性，并首次得到了仿射變換和重對稱模糊下的矩不變量實例。

6.5 向量函數(shù)的全變換

伴隨著數(shù)據(jù)仿真和采集技術的不斷發(fā)展，多通道數(shù)據(jù)的獲取變得越來越容易。在計算機視覺和圖形學領域，常見的多通道數(shù)據(jù)包括彩色圖像、二維向量場和三維流場等，其均可以被看作是一般向量函數(shù)的不同實例。值得注意的是，前文介紹的旋轉、相似和仿射變換等作用于空間坐標域的幾何變換模型并不具備描述向量函數(shù)真實形變的能力，因為這些形變往往同時出現(xiàn)在坐標域和向量域。為此，研究者提出了全變換的概念，具體包括全旋轉變換(total rotation transform)、旋轉-仿射變換(rotation-affine transform)和全仿射變換(total affine transform)等。如，旋轉-仿射變換能夠同時建模拍攝視角變化和外界光照變換導致的彩色圖像幾何旋轉變換和顏色仿射變換，圖8(a)顯示了一幅彩色圖像的旋轉-仿射變換版本；同樣的，如圖8(b)所示，研究者們通常使用全旋轉變換對向量場數(shù)據(jù)的局部形變進行建模。

圖8 不同類型向量函數(shù)的全變換((a)彩色圖像的旋轉-仿射變換；(b)二維向量場的全旋轉變換)

利用本文第3節(jié)介紹的仿射變換下矩不變量的基本生成函數(shù)，文獻[11]首先構造了彩色圖像在形狀-顏色雙仿射變換下的幾何矩不變量。事實上，該變換是一般全仿射變換在彩色圖像數(shù)據(jù)上的特例?；谠摲椒?，文獻[46, 68]進一步提出了全仿射變換下一般向量函數(shù)幾何矩不變量的構造框架。最近，文獻[13]提出了旋轉-仿射變換下彩色圖像Gaussian-Hermite正交矩的構造方法，文獻[47]則將該方法推廣到了一般向量函數(shù)。如前文所述，相對于幾何矩不變量，全變換下的正交矩不變量對噪聲具有更強的魯棒性。

6.6 不變量的應用場景與優(yōu)缺點

積分與微分不變量是一類具有一般性的特征，可應用于圖形圖像領域的不同任務中。如，文獻[3, 44]將三維幾何矩不變量用于圖形檢索；文獻[50, 60]將圖像射影不變量實例應用于圖像檢索、紋理分類等任務，證明了其在二維射影變換下比目前常用的圖像矩不變量具有更好的穩(wěn)定性和區(qū)分性；基于TOSCA數(shù)據(jù)集中的三維人臉網(wǎng)格模型，文獻[51, 61]驗證了莫比烏斯微分不變量在網(wǎng)格點匹配任務中的性能；文獻[17]發(fā)現(xiàn)HU矩在模糊圖像分類、檢索和模板匹配任務中具有良好的穩(wěn)定性和區(qū)分性，并指出該經典特征在眾多任務中均表現(xiàn)良好的原因之一是其具有較強的模糊不變性；文獻[47]則將全變換下向量函數(shù)的矩不變量應用于彩色圖像分類、向量場渦旋檢測等任務中。

相比其他類型的圖形圖像特征，積分與微分不變量具有如下2個顯著的優(yōu)點。首先，不變量適用于多種數(shù)據(jù)類型和多種圖形圖像變換。通過上述介紹本文已經得到了灰度圖像、彩色圖像、向量場、點云、曲線和網(wǎng)格曲面等圖形圖像數(shù)據(jù)在幾何變換、顏色變換、圖像模糊和全變換下的矩不變量。其次，不變量具有較強的可解釋性。且文獻[38-41]已經發(fā)現(xiàn)了部分使用一、二階偏微分構造的旋轉和仿射微分不變量具有明確的幾何意義，其數(shù)值對某些圖像局部結構具有特殊的響應。

作為一種基礎特征，積分與微分不變量善于提取圖形圖像數(shù)據(jù)的形狀、紋理和顏色等基本信息，卻并不能夠被直接用來提取數(shù)據(jù)的高級語義信息，這導致不能完全滿足某些實際應用的需求。如，在一般圖像分類任務中，屬于同一類別的圖像(即包含同類目標)往往是在不同場景下拍攝的，幾何和顏色變換無法描述其之間滿足的關系。顯然，若在整幅圖像上計算積分不變量，則其數(shù)值可能出現(xiàn)較大變化，進而導致分類器無法基于該特征準確預測圖像的類別。另外，已有研究表明，使用高階矩或偏微分構造的不變量具有計算復雜度高、數(shù)值穩(wěn)定性差等缺點，而低階不變量的數(shù)目又非常有限，這限制了圖形圖像不變量特征最終的維數(shù)。

7 不變量與深度神經網(wǎng)絡的結合

2012年以來，以卷積神經網(wǎng)絡(convolutional neural network，CNN)為代表的深度神經網(wǎng)絡在計算機視覺和圖形學的諸多任務中取得了巨大成功。事實上，通過在大規(guī)模數(shù)據(jù)集上進行訓練，深度神經網(wǎng)絡能夠有效地提取圖形圖像數(shù)據(jù)的高級語義特征。然而，先已有研究表明，傳統(tǒng)CNN模型本身并不具備常見圖形圖像變換下的不變性。如，傳統(tǒng)卷積操作只對平移變換具有不變性，以旋轉變換為例，如果在訓練階段不使用數(shù)據(jù)增廣方法，即使輸入的圖形圖像數(shù)據(jù)只發(fā)生了微小的旋轉變換，CNN模型的性能也會驟降[69-70]。這使得越來越多的研究者開始思考如何提升常見圖形圖像變換下CNN模型的不變性。

顯然，圖形圖像不變量與深度神經網(wǎng)絡具有互補性，若能將前者的變換不變性與后者的高級語義特征提取能力相結合，將進一步提升CNN模型在圖形圖像領域各類任務上的性能。為此，文獻[52]使用本文第4節(jié)介紹的方法構造圖像仿射矩不變量IMI，并將其引入了CNN網(wǎng)絡中，如圖9所示。具體而言，首先在各卷積層輸出的特征圖上計算IMI，然后將其與最后一層卷積層的輸出串聯(lián)并一起輸入全連接層，用來指導網(wǎng)絡參數(shù)的學習。實驗結果表明，該方法明顯提升了CNN對圖像仿射變換的魯棒性。值得注意的是，這種結構適用于任意類型的不變量，以提升CNN模型對特定變換的不變性。部分研究者通過修改標準卷積操作來提升CNN的不變性。事實上，對某種變換具有不變性的卷積操作具備提取該變換下圖形圖像不變特征的能力。最近，文獻[53]提出了梯度對齊卷積，使用其替換CNN中的標準卷積可以實現(xiàn)模型對圖像旋轉變換的不變性。由于旋轉不變性被固化在網(wǎng)絡結構中，不需要使用數(shù)據(jù)增廣方法對修改后的CNN模型進行訓練。相比于其他同類方法，該網(wǎng)絡結構在具有旋轉特性的MNIST-rotation和Plankton-sub-rotation等數(shù)據(jù)集上取得了最優(yōu)結果。

圖9 圖像仿射不變量網(wǎng)絡結構

8 總結與展望

在過去二十年中，本研究團隊對圖形圖像積分與微分不變量進行了較為系統(tǒng)的研究，得到了大量常見變換下圖形圖像矩不變量和微分不變量的實例，并測試了其在實際任務中的性能，本文對相關工作進行了總結和回顧，重點介紹了如何使用簡單的基本生成函數(shù)構造仿射變換下圖形圖像的矩不變量，并利用矩不變量與微分不變量的同構關系獲得仿射微分不變量；簡要回顧了射影變換、反射變換、莫比烏斯變換、圖像模糊和向量函數(shù)全變換下圖形圖像矩不變量或微分不變量的生成與應用；為了提升深度神經網(wǎng)絡模型在常見圖形圖像變換下的不變性，說明了如何將圖形圖像不變量引入CNN模型，并設計了對圖像旋轉變換具有不變性的梯度對齊卷積操作。

未來的研究將主要聚焦于以下3個方面：定義復雜變換模型更好的模擬真實的圖形圖像形變，構造新變換下的矩不變量與微分不變量；分析高階積分與微分不變量的幾何含義，為其賦予明確的語義信息；通過分析不變量與深度神經網(wǎng)絡的優(yōu)勢與劣勢，將不變量或其他不變特征構造過程中獲取不變性的手段和方法引入深度神經網(wǎng)絡結構中，進一步增強網(wǎng)絡對于常見變換的不變性，從而提升其在分類或檢索任務中的準確率。

[1] HU M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962, 8(2): 179-187.

[2] SUK T, FLUSSER J. Affine moment invariants generated by graph method[J]. Pattern Recognition, 2011, 44(9): 2047-2056.

[3] XU D, LI H. Geometric moment invariants[J]. Pattern Recognition, 2008, 41(1): 240-249.

[4] FLUSSER J, SUK T. Affine moment invariants: a new tool for character recognition[J]. Pattern Recognition Letters, 1994, 15(4): 433-436.

[5] SUK T, FLUSSER J. Affine moment invariants of color images[M]//Computer analysis of images and patterns. Berlin: Springer, 2009: 334-341.

[6] XU D, LI H. 3-D affine moment invariants generated by geometric primitives[C]//The 18th International Conference on Pattern Recognition. New York: IEEE Press, 2006: 544-547.

[7] XU D, LI H. 3-D surface moment invariants[C]//The 18th International Conference on Pattern Recognition. New York: IEEE Press, 2006: 173-176.

[8] SCHLEMMER M, HERINGER M, MORR F, et al. Moment invariants for the analysis of 2D flow fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2007, 13(6): 1743-1750.

[9] MINDRU F, TUYTELAARS T, GOOL L V, et al. Moment invariants for recognition under changing viewpoint and illumination[J]. Computer Vision and Image Understanding, 2004, 94(1-3): 3-27.

[10] GONG M, LI H, CAO W G. Moment invariants to affine transformation of colours[J]. Pattern Recognition Letters, 2013, 34(11): 1240-1251.

[11] GONG M, HAO Y, MO H L, et al. Naturally combined shape-color moment invariants under affine transformations[J]. Computer Vision and Image Understanding, 2017, 162: 46-56.

[12] MO H L, LI S R, HAO Y, et al. Shape-color differential moment invariants under affine transforms[M]//Communications in computer and information science. Singapore: Springer Singapore, 2017: 183-196.

[13] 墨瀚林, 郝優(yōu), 李華. 形狀和顏色變換下圖像的Gaussian-Hermite矩不變量[J]. 計算機輔助設計與圖形學學報, 2022, 34(3): 341-351.

MO H L, HAO Y, LI H. Gaussian-Hermite moment invariants of image to shape and color transforms[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(3): 341-351 (in Chinese).

[14] FLUSSER J, SUK T, SAIC S. Recognition of blurred images by the method of moments[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 1996, 5(3): 533-538.

[15] FLUSSER J, ZITOVá B. Combined invariants to linear filtering and rotation[J]. International Journal of Pattern Recognition and Artificial Intelligence, 1999, 13(8): 1123-1135.

[16] FLUSSER J, SUK T, BOLDYS J, et al. Projection operators and moment invariants to image blurring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(4): 786-802.

[17] MO H L, HAO H X, LI H. Geometric moment invariants to spatial transform and-fold symmetric blur[J]. Pattern Recognition, 2021, 115: 107887.

[18] 郭銳, 賈麗, 郝宏翔, 等. 基于Gaussian-Hermite矩的旋轉運動模糊不變量[J]. 中國圖象圖形學報, 2022, 27(8): 2458-2472.

GUO R, JIA L, HAO H X, et al. Rotational motion blur invariants based on Gaussian-Hermite moments[J]. Journal of Image and Graphics, 2022, 27(8): 2458-2472 (in Chinese).

[19] TEAGUE M R. Image analysis via the general theory of moments[J]. JOSA, 1980, 70(8): 920-930.

[20] SHENG Y, ARSENAULT H H. Experiments on pattern recognition using invariant Fourier-Mellin descriptors[J]. Journal of the Optical Society of America A, Optics and Image Science, 1986, 3(6): 771-776.

[21] BELKASIM S O, SHRIDHAR M, AHMADI M. Pattern recognition with moment invariants: a comparative study and new results[J]. Pattern Recognition, 1991, 24(12): 1117-1138.

[22] YANG B, SUK T, FLUSSER J, et al. Rotation invariants from Gaussian-Hermite moments of color images[J]. Signal Processing, 2018, 143: 282-291.

[23] HOSNY K M, DARWISH M M. New set of multi-channel orthogonal moments for color image representation and recognition[J]. Pattern Recognition, 2019, 88: 153-173.

[24] ?UNI? J, HIROTA K, ROSIN P L. A Hu moment invariant as a shape circularity measure[J]. Pattern Recognition, 2010, 43(1): 47-57.

[25] ?UNI? D, ?UNI? J. Shape ellipticity from hu moment invariants[J]. Applied Mathematics and Computation, 2014, 226: 406-414.

[26] ?UNI? J, ROSIN P L, ILI? V. Disconnectedness: a new moment invariant for multi-component shapes[J]. Pattern Recognition, 2018, 78: 91-102.

[27] DU J X, WANG X F, ZHANG G J. Leaf shape based plant species recognition[J]. Applied Mathematics and Computation, 2007, 185(2): 883-893.

[28] MA X J, PAN R L, WANG L. License plate character recognition based on Gaussian-Hermite moments[C]//The 2nd International Workshop on Education Technology and Computer Science. New York: IEEE Press, 2010: 11-14.

[29] ZHAO J D, WANG X K. Vehicle-logo recognition based on modified HU invariant moments and SVM[J]. Multimedia Tools and Applications, 2019, 78(1): 75-97.

[30] BENTOUTOU Y, TALEB N, CHIKR EL MEZOUAR M, et al. An invariant approach for image registration in digital subtraction angiography[J]. Pattern Recognition, 2002, 35(12): 2853-2865.

[31] ZHANG Y D, WANG S H, SUN P, et al. Pathological brain detection based on wavelet entropy and Hu moment invariants[J]. Bio-Medical Materials and Engineering, 2015, 26(s1): S1283-S1290.

[32] ZHANG Y D, ZHANG Y, LV Y D, et al. Alcoholism detection by medical robots based on Hu moment invariants and predator-prey adaptive-inertia chaotic particle swarm optimization[J]. Computers & Electrical Engineering, 2017, 63: 126-138.

[33] SUN Y X, WEN G H, WANG J B. Weighted spectral features based on local Hu moments for speech emotion recognition[J]. Biomedical Signal Processing and Control, 2015, 18: 80-90.

[34] MONGE-áLVAREZ J, HOYOS-BARCELó C, LESSO P, et al. Robust detection of audio-cough events using local hu moments[J]. IEEE Journal of Biomedical and Health Informatics, 2019, 23(1): 184-196.

[35] OLVER P J. Equivalence, invariants, and symmetry[M]. Cambridge: Cambridge University Press, 1995: 136-164.

[36] OLVER P J. Classical invariant theory[M]. Cambridge: Cambridge University Press, 1999: 62-85.

[37] KOENDERINK J J, VAN DOORN A J. Surface shape and curvature scales[J]. Image and Vision Computing, 1992, 10(8): 557-564.

[38] LINDEBERG T. Scale selection for differential operators[M]//Scale-space theory in computer vision. Boston: Springer US, 1994: 317-348.

[39] LINDEBERG T, G?RDING J. Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure[J]. Image and Vision Computing, 1997, 15(6): 415-434.

[40] MIKOLAJCZYK K, SCHMID C. Scale & affine invariant interest point detectors[J].International Journal of Computer Vision, 2004, 60(1): 63-86.

[41] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1): 43-72.

[42] GRIFFIN L D, LILLHOLM M. Symmetry sensitivities of derivative-of-Gaussian filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6): 1072-1083.

[43] GRIFFIN L D, LILLHOLM M, CROSIER M, et al. Basic image features (BIFs) arising from approximate symmetry type[M]//Lecture notes in computer science. Berlin: Springer, 2009: 343-355.

[44] 徐東. 三維幾何矩不變量研究及其應用[D]. 北京: 中國科學院計算技術研究所, 2008.

XU D. Research and application of three-dimensional geometric moment invariants[D]. Beijing: Institute of Computing Technology, Chinese Academy of Sciences, 2008 (in Chinese).

[45] LI E B, HUANG Y Z, XU D, et al. Shape DNA: basic generating functions for geometric moment invariants[EB/OL]. (2019-11-19) [2022-05-30]. https://arxiv.org/abs/1703.02242.

[46] HAO Y, MO H L, LI Q, et al. Dual affine moment invariants[EB/OL]. (2019-11-19) [2022-05-30]. https://arxiv.org/abs/1911.08233.

[47] MO H L, LI H, ZHAO G Y. Gaussian-Hermite moment invariants of general vector functions to rotation-affine transform[EB/OL]. (2022-01-03) [2022-05-30]. https://arxiv.org/abs/2201.00877.

[48] ZHANG H, MO H L, HAO Y, et al. Fast and efficient calculations of structural invariants of chirality[J]. Pattern Recognition Letters, 2019, 128: 270-277.

[49] LI E B, LI H. Isomorphism between differential and moment invariants under affine transform[EB/OL]. (2017-05-24) [2022-05-30]. https://arxiv.org/abs/1705.08264.

[50] LI E B, MO H L, XU D, et al. Image projective invariants[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(5): 1144-1157.

[51] ZHANG H, MO H L, HAO Y, et al. Differential and integral invariants under Mu00f6bius transformation[M]//Pattern recognition and computer vision. Cham: Springer International Publishing, 2018: 280-291.

[52] HAO Y, LI Q, MO H L, et al. AMI-net: convolution neural networks with affine moment invariants[J]. IEEE Signal Processing Letters, 2018, 25(7): 1064-1068.

[53] HAO Y, HU P, LI S R, et al. Gradient-Aligned convolution neural network[J]. Pattern Recognition, 2022, 122: 108354.

[54] HAO Y, LI S R, MO H L, et al. Affine-gradient based local binary pattern descriptor for texture classification[M]//Lecture notes in computer science. Cham: Springer International Publishing, 2017: 199-210.

[55] 李琪, 墨瀚林, 趙婧涵, 等. 時空雙仿射微分不變量及骨架動作識別[J]. 中國圖象圖形學報, 2021, 26(12): 2879-2891.

LI Q, MO H L, ZHAO J H, et al. Spatio-temporal dual affine differential invariants for skeleton-based action recognition[J]. Journal of Image and Graphics, 2021, 26(12): 2879-2891 (in Chinese).

[56] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[57] FLORACK L M J, TER HAAR ROMENY B M, KOENDERINK J J, et al. Scale and the differential structure of images[J]. Image and Vision Computing, 1992, 10(6): 376-388.

[58] FLORACK L M J, ROMENY B M T H, KOENDERINK J J, et al. Cartesian differential invariants in scale-space[J]. Journal of Mathematical Imaging and Vision, 1993, 3(4): 327-348.

[59] DIAO L H, ZHANG Z M, LIU Y J, et al. Necessary condition of affine moment invariants[J]. Journal of Mathematical Imaging and Vision, 2019, 61(5): 602-606.

[60] 墨瀚林. 基于不變量的圖像結構分析與應用[D]. 北京: 中國科學院大學, 2021.

MO H L. Analysis and application of image structure based on invariant[D]. Beijing: University of Chinese Academy of Sciences, 2021 (in Chinese).

[61] 張賀. 基于共形不變特征的形狀分析與識別[D]. 北京: 中國科學院大學, 2019.

ZHANG H. Shape analysis and identification based on invariants under conformal transformation[D]. Beijing: University of Chinese Academy of Sciences, 2019 (in Chinese).

[62] GEHRIM F W. Topics in quasiconformal mappings[M]//Lecture notes in mathematics. Berlin: Springer, 1992: 30-38.

[63] GU X, YAU S T. Surface classification using conformal structures[C]//The 9th IEEE International Conference on Computer Vision. New York: IEEE Press, 2008: 701-708.

[64] GU X F, WANG Y L, CHAN T F, et al. Genus zero surface conformal mapping and its application to brain surface mapping[J]. IEEE Transactions on Medical Imaging, 2004, 23(8): 949-958.

[65] WANG S, WANG Y, JIN M, et al. Conformal geometry and its applications on 3D shape matching, recognition, and stitching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(7): 1209-1220.

[66] HAO. H X, MO. H L, LI H. Geometric moment invariants to motion blur[EB/OL]. (2021-01-25) [2022-05-30]. https://arxiv.org/abs/2101.08647.

[67] 郝宏翔. 圖像運動模糊矩不變量的研究與應用[D]. 北京: 中國科學院大學, 2021.

HAO H X. Research and application of image motion blur moment invariants[D]. Beijing: University of Chinese Academy of Sciences, 2021 (in Chinese).

[68] 郝優(yōu). 仿射不變性分析與應用[D]. 北京: 中國科學院大學, 2020.

HAO Y. Affine invariance analysis and application[D]. Beijing: University of Chinese Academy of Sciences, 2020 (in Chinese).

[69] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks[C]//International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2015: 2017-2025.

[70] BAWEJA H S, PARHAR T. Leprosy lesion recognition using convolutional neural networks[C]//2016 International Conference on Machine Learning and Cybernetics. New York: IEEE Press, 2017: 141-145.

The construction and application of integral invariants and differential invariants of graphics and images

MO Han-lin1,2, HAO You1,2, GUO Rui1,2, HAO Hong-xiang1,2, ZHANG He1,2, LI Qi1,2, LI Hua1,2

(1. Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China; 2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100049, China)

As common features for graphics and images, differential invariants and integral invariants represented by moment invariants play significant roles in such fields as computer vision, pattern recognition, and computer graphics. In the past two decades, based on fundamental generating functions, our research group have constructed moment invariants of various data types of graphics and images, including grayscale images, color images, vector fields, point clouds, curves, and mesh surfaces, under the conditions of geometric transforms, color transforms, image blurring, and total transforms. The research proved the existence of the isomorphism between geometric moment invariants and differential invariants under affine transform, proposed a simple method for the generation of affine differential invariants by means of this property, and further derived differential invariants of graphics and images under projective transform and M?bius transform. In order to enhance the invariance of deep neural networks for the commonly used graphic/image transform models, the exploration was conducted on how to combine certain invariants of graphics or images with deep neural network models. This paper reviewed and summarized our previous work. In addition, a brief introduction was presented on how to utilize fundamental generating functions to generate geometric moment invariants and differential invariants of graphics and images under affine transform. Analyses were also undertaken on typical applications, advantages, and disadvantages of graphic and image invariants, with future research plan proposed.

transforms of graphics and images; feature extraction; moment invariants; differential invariants; image classification; shape analysis; template matching

TP 391

10.11996/JG.j.2095-302X.2022061182

A

2095-302X(2022)06-1182-11

2022-07-31；

：2022-11-06

國家重點研發(fā)計劃項目(2017YFB1002700)；國家自然科學基金項目(61379082)

墨瀚林(1992-)，男，博士研究生。主要研究方向為計算機視覺與模式識別。E-mail：mohanlin@ict.ac.cn

李 華(1957-)，男，研究員，博士。主要研究方向為計算機圖形學。E-mail：lihua@ict.ac.cn

31 July，2022；

6 November，2022

National Key R&D Program of China (2017YFB1002700); National Natural Science Foundation of China (61379082)

MO Han-lin (1992-), Ph.D. candidate. His main research interests cover computer vision and pattern recognition. E-mail：mohanlin@ict.ac.cn

LI Hua (1957-), professor, Ph.D. His main research interest covers computer graphics. E-mail：lihua@ict.ac.cn