極坐標(biāo)變換下的基于表示的分類方法

羅智玉，鄭成勇

（五邑大學(xué) 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，廣東 江門 529020）

分類問題是模式識(shí)別、機(jī)器學(xué)習(xí)領(lǐng)域的重要研究?jī)?nèi)容，設(shè)計(jì)構(gòu)造良好的分類器是分類問題的核心和基礎(chǔ). 基于表示的分類方法假設(shè)測(cè)試樣本能被訓(xùn)練樣本（近似）線性表示，并通過求最小表示誤差來對(duì)測(cè)試樣本進(jìn)行分類. 早在2007 年，文獻(xiàn)[1]提出一種基于回歸分析的分類方法，該方法的基本思想與Naseem 等[2]在2010 年提出的著名的線性回歸分類器（Linear Regression Classification，LRC）相似. 2009 年，Wright 等[3]提出了稀疏表示分類器（Sparse Representation Classification，SRC）.文獻(xiàn)[4]提出協(xié)同表示分類（Collaborative Representation based Classification，CRC）算法. 在SRC、LRC、CRC 這三個(gè)經(jīng)典算法的基礎(chǔ)上，人們提出了許多改進(jìn)算法[5]. 這其中，基于核（Kernel）的方法如核稀疏回歸分類（KSRC）[6]、核線性回歸分類（KLRC）[7]、核協(xié)同表示分類（KCRC）[8]是一類重要的方法. 核方法通過核函數(shù)將原始數(shù)據(jù)變換到高維空間，因而可以看作是一種基于變換的方法. 文獻(xiàn)[9]提出一種Contourlet 變換域的稀疏表示分類算法. 文獻(xiàn)[10]于2019 年提出了一種聯(lián)合歐拉變換和 ?2,1-范數(shù)的判別分析法，將其應(yīng)用于人臉識(shí)別，取得了不錯(cuò)的效果. 這些基于變換的方法說明，通過適當(dāng)?shù)淖儞Q可以改進(jìn)基于表示的分類器的性能. 受此啟發(fā)，本文提出一種極坐標(biāo)變換下的基于表示的分類方法. 該方法首先利用極坐標(biāo)變換，將原始數(shù)據(jù)各分量投影到圓上或球面上；然后通過圓上或球面上的投影坐標(biāo)的拼接來構(gòu)造高維特征數(shù)據(jù)；最后利用基于表示的分類，實(shí)現(xiàn)模式的分類；并在Lung Cancer、Leaf、Yale、Wine、Glass、Forest Type Mapping 分類數(shù)據(jù)庫上，驗(yàn)證所提算法的分類效果.

1 符號(hào)說明

設(shè)c 為總的類別數(shù)，y∈Rd為待識(shí)別樣本，ni(i=1,2,… ,c)為第i 類的訓(xùn)練樣本總數(shù)，aij∈ R表示第i 類的第j 個(gè)訓(xùn) 練樣 本，表示 第i 類的全 部 ni個(gè)訓(xùn)練 樣本 所組 成的 訓(xùn)練矩陣，為訓(xùn)練樣本總數(shù). 令B 為由A 的若干列構(gòu)成的子 矩 陣. B′ ,B′均表示變換后的矩陣，y′, y′均表示變換后的向量.

2 基于表示的分類算法框架

基于表示的分類方法的核心思想是，若待測(cè)樣本y 來自于第i 類，則y 可以由第i 類的訓(xùn)練樣本較好地線性表示，可以通過計(jì)算y 的各類的表示誤差來判斷y 的類別. 基于表示的分類的一般步驟如下：

1）求最優(yōu)化問題：

其中p=1 或2，λ 為非負(fù)正則參數(shù).

2）計(jì)算y 在各類的表示誤差：

其中 xi*表示 x *中對(duì)應(yīng)第i 類的訓(xùn)練樣本的系數(shù)構(gòu)成的子向量.

3 極坐標(biāo)變換下的基于表示的分類

3.1 歐拉變換下的基于表示的分類

歐拉公式 eix=cos x+isin x被譽(yù)為“數(shù)學(xué)中的天橋”，它將數(shù)學(xué)里看似無關(guān)的幾個(gè)重要數(shù)字π、虛數(shù)單位i、無理數(shù)e 及自然數(shù)1 聯(lián)系到一起. 借助歐拉公式，可以將實(shí)數(shù)x 變換到復(fù)數(shù)域.

對(duì)于給定的實(shí)數(shù)x，定義其歐拉變換為

其中α 是一個(gè)正的常數(shù).

此處的cos 和sin 運(yùn)算均表示對(duì)B 矩陣或向量y 逐元素進(jìn)行運(yùn)算. 將 B′和 y′代入式（1），得

利用式（5），可得到歐拉變換下的基于表示的分類算法，簡(jiǎn)稱 ERC（Representation-based classification with Euler transformation）算法，步驟如下：

1）由式（5）求得 x* ；

2）計(jì)算y 在各類的表示誤差：

其中 xi*表示 x *中對(duì)應(yīng)第i 類的訓(xùn)練樣本的系數(shù)構(gòu)成的子向量，為 B′中對(duì)應(yīng)第i 類的訓(xùn)練樣本的列構(gòu)成的矩陣.

當(dāng)p=1 ，可以通過 ADMM 算法求解問題（5）. 當(dāng)p=2 時(shí)，式（6）的最優(yōu)解為，其中E 為單位矩陣.

ERC 方法先將原數(shù)據(jù)各分量對(duì)應(yīng)成極坐標(biāo)系下的角坐標(biāo)分量，然后利用歐拉變換將各分量投影到單位圓周上，并由圓周上相應(yīng)點(diǎn)的x、 y 坐標(biāo)值來組成新的數(shù)據(jù). 通常，分類前我們都會(huì)對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理. 歸一化后的樣本數(shù)據(jù)的各分量均落在區(qū)間[0,1]上. 因此，歸一化數(shù)據(jù)的每一分量均可以看成是區(qū)間[0,1]上的點(diǎn)，而歐拉變換則是將這些點(diǎn)集投影到了單位圓上.

圖1 區(qū)間[0,1]上的點(diǎn)以及其在單位圓周上的投影

圖1 給出了α 分別為1.0、1.7、2.0 時(shí)，區(qū)間[0,1]上的兩類數(shù)據(jù)（分別用紅色和藍(lán)色表示）在單位圓上的投影效果. 圖1 表明，我們可以借助歐拉變換將區(qū)間[0,1]之間的點(diǎn)映射到單位圓周上. 該變換在保證原有數(shù)據(jù)相互區(qū)分且投影后仍然相互區(qū)分的基礎(chǔ)上，擴(kuò)大了數(shù)據(jù)的分布范圍，從而提高了數(shù)據(jù)的區(qū)分度.

3.2 球面坐標(biāo)變換下的基于表示的分類

類似歐拉變換將一維點(diǎn)投影到圓周上的思想，我們可以將原始數(shù)據(jù)的每個(gè)分量投影到單位球面來對(duì)原始數(shù)據(jù)進(jìn)行擴(kuò)維. 對(duì)給定的非負(fù)實(shí)數(shù)v，令其對(duì)應(yīng)的球面角坐標(biāo)為(α πv,βπ v)，則v 對(duì)應(yīng)的球面坐標(biāo)為(x, y,z)=(sin απv cos βπ v,x=sin απv cos βπv,sin απv sin βπv,cos απv).

圖2 給出了 α=1, β=1和α=1, β=10時(shí)，圖1-a 中區(qū)間[0,1]之間的點(diǎn)在球面上的投影. 當(dāng) α=1, β=1時(shí)，原始[0,1]區(qū)間上的紅藍(lán)兩類數(shù)據(jù)分別投影到了球面的上下半部分；當(dāng) α=1, β=10時(shí)，兩類數(shù)據(jù)在球面上仍然形成很直觀的上下劃分狀，但因?yàn)棣?較大，兩類數(shù)據(jù)各自在球面的上下形成了多圈的盤旋狀分布.

圖2 區(qū)間[0,1]上的點(diǎn)在球面上的投影

類似式（4），令

將 B′和 y′代入式（1），得

利用式（8），可得到球面坐標(biāo)變換下的基于表示的分類算法，簡(jiǎn)稱S_RC（Representation-based classification with Spherical coordinate transformation）算法，其步驟與3.1 節(jié)的ERC 相似，y 在各類的表示誤差：

對(duì)應(yīng)歐拉變換下的方法，可得到相應(yīng)的球面坐標(biāo)變換下的表示分類方法SLRC、SSRC、SCRC.

4 實(shí)驗(yàn)及分析

本節(jié)給出極坐標(biāo)變換下的基于表示的分類方法與SRC、CRC 及KCRC（核CRC）在6 個(gè)經(jīng)典分類數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果. 所用的KCRC 由文獻(xiàn)[11]提供.

6 個(gè)分類數(shù)據(jù)集分別為Lung Cancer 、Wine、Leaf、Yale、Glass、Forest Type Mapping. Lung Cancer是肺癌數(shù)據(jù)集，包含5 個(gè)類別，203 個(gè)樣本，每個(gè)樣本各有12 600 個(gè)屬性. Wine 數(shù)據(jù)集是通過化學(xué)分析3 種不同葡萄酒的13 種成分而得，樣本總數(shù)為178. Leaf 數(shù)據(jù)集包含30 種不同的植物種類，合計(jì) 340 個(gè)樣本，每個(gè)樣本擁有 14 個(gè)屬性，用于刻畫樹葉的形狀和紋理特征. Yale 數(shù)據(jù)集包含15 人的不同姿態(tài)、表情和照明條件的165 張32×32 像素、256 灰度級(jí)的人臉圖像，圖像已進(jìn)行了對(duì)齊和裁剪. Glass 是玻璃識(shí)別數(shù)據(jù)庫，其中包含214 個(gè)樣本，9 個(gè)屬性，共有7 個(gè)類別. Forest Type Mapping 是使用光譜數(shù)據(jù)繪制的4 種不同的森林類型，共523 個(gè)樣本，每個(gè)樣本共有27 個(gè)屬性.

4.1 參數(shù)設(shè)置

對(duì)于歐拉變換中的參數(shù)α 以及球面坐標(biāo)變換中的參數(shù)α 和β ，在實(shí)驗(yàn)之前，我們做了大量實(shí)驗(yàn)，驗(yàn)證了當(dāng)參數(shù)α 和β 均取為1 時(shí)，效果較好. 因此，本文后續(xù)實(shí)驗(yàn)全部設(shè)定 α=1, β=1.

7 種算法在6 個(gè)數(shù)據(jù)庫上測(cè)試時(shí)，訓(xùn)練樣本所占比例分別為0.4、0.5、0.6、0.7、0.8.

4.2 實(shí)驗(yàn)結(jié)果

圖3 給出了7 種算法在6 個(gè)數(shù)據(jù)庫上，在不同訓(xùn)練樣本占比下的對(duì)比實(shí)驗(yàn)結(jié)果. 由圖明顯看出：

1）在Lung Cancer 庫下，SCRC 和ECRC 的曲線總是在CRC 的上方，結(jié)果顯然比原始方法要好；當(dāng)訓(xùn)練樣本占比為0.8 時(shí)，SCRC 和ECRC 的分類精度比CRC 的分類精度均提高了1.5%以上；對(duì)比核方法，SCRC 和ECRC 明顯優(yōu)于KCRC. SSRC 和ESRC 總體上也優(yōu)于SRC；當(dāng)訓(xùn)練樣本占比為0.8 時(shí)，SSRC 和ESRC 相比SRC 在精度上提升了0.5%以上.

2）在Leaf 庫下，本文算法的提升效果十分顯著. 在所有訓(xùn)練樣本占比中，在分類精度方面，SCRC 和ECRC 比CRC 提高了12%以上；當(dāng)訓(xùn)練樣本占比為0.8 時(shí)，SCRC 和ECRC 提升到了17%左右；對(duì)比核方法，SCRC 和ECRC 在訓(xùn)練樣本占比為0.8 時(shí)精度提升超過1.3%. 在所有訓(xùn)練樣本占比中，SSRC 和ESRC 相比SRC 精度提升均超過10%.

3）在Yale 庫下，SCRC 和ECRC 總體上分類精度優(yōu)于CRC 算法，當(dāng)訓(xùn)練樣本占比為0.8 時(shí)，SCRC 和ECRC 相比原始方法精度提升超過0.6%；對(duì)比核方法，SCRC 和ECRC 的精度均提升3.5%以上. 同樣SSRC 和ESRC 在訓(xùn)練樣本占比為0.8 時(shí)，精度比SRC 分別提升了0.3%和1.7%.

4）Wine 庫下本文算法的精度提升也十分明顯. SCRC 和ECRC 比CRC 均提高3.4%以上，且相比KCRC 最高提升到了3.18%；在所有訓(xùn)練樣本占比下，SSRC 和ESRC 比SRC 最少都提升了17.66%.

5）在Glass 庫下，就分類精度而言，SCRC 和ECRC 優(yōu)于CRC 和KCRC，SCRC 和ECRC 相比CRC 和KCRC 最高分別提升了5.62%、3.91%；而SSRC 和ESRC 相比SRC 最高分別提高了1.72%、3.28%.

6）在Forest Type Mapping 庫下，在所有訓(xùn)練樣本占比中，SCRC 和ECRC 比CRC 分類精度均提升了2.58%以上；而SSRC 和ESRC 相比SRC 分類精度最多分別提高了1.39%和1.24%.

綜上，本文所提極坐標(biāo)變換下的基于表示的分類方法在分類精度上優(yōu)于原有基于表示的分類方法，也優(yōu)于基于核變換的CRC 算法.

圖3 7 種算法在6 個(gè)數(shù)據(jù)庫上在不同訓(xùn)練樣本占比時(shí)的分類精度

5 結(jié)語

本文提出一種極坐標(biāo)變換下的基于表示的分類方法，給出了該方法的一般框架，并通過SCRC、ECRC、SSRC、ESRC 與KCRC、CRC 和SRC 的之間的對(duì)比實(shí)驗(yàn)，驗(yàn)證了極坐標(biāo)變換下的基于表示的分類方法的有效性. 表示分類的方法還有很多，本文只具體驗(yàn)證了基于稀疏和協(xié)同表示的分類，所提算法是否適用于其他基于表示的分類，仍有待進(jìn)一步的研究.