一種快速低秩的判別子字典學習算法及圖像分類

趙雅 王順政 呂文濤 王成群

摘?要：本文提出了一種快速低秩的判別子字典學習算法。在訓練階段，構造一個子字典的低秩約束項和拉普拉斯矩陣正則化項，加入判別字典學習的目標函數(shù)中。將原始樣本映射到一個新的空間中，使同一類別的相鄰點彼此靠近，同時增強子字典對同類樣本的重構能力，針對每類樣本的判別性特征，學習出相應的學習字典。在測試階段，利用kNN分類器估計測試樣本的類別標簽。同時，將算法應用在3種數(shù)據(jù)集上，與其他的字典學習算法進行比較，取得了較好的分類結果。

關鍵詞： 子字典;判別字典;拉普拉斯矩陣;圖像分類

文章編號： 2095-2163（2021）01-0051-04 中圖分類號：TP391 文獻標志碼：A

【Abstract】This paper proposes a fast， low-rank discriminative sub-dictionary learning algorithm. In the training phase， the low-rank constraint terms of the sub-dictionary and the Laplacian matrix regularization terms are constructed， and the objective function of the discriminative dictionary learning is added. The original sample is mapped to the new space so that adjacent points of the same category are closed to each other. At the same time， the sub-dictionary's ability is enhanced to reconstruct similar samples， and the corresponding learning dictionary is learnt according to the discriminative characteristics of each sample. In the testing phase， the kNN classifier is used to estimate the class label of the test sample. Finally， the algorithm are applied to three public data sets compare with other dictionary learning algorithms. The proposed algorithm has achieved better classification results.

【Key words】sub-dictionary; discriminant dictionary; Laplacian matrix; image classification

0 引?言

判別字典學習是稀疏表示問題的一個研究分支，主要是通過重構訓練樣本得到樣本的學習字典，并通過構造不同的約束項模型來增加字典的判別性能。字典學習包括無監(jiān)督字典學習和有監(jiān)督字典學習。其中，無監(jiān)督字典學習主要是通過所有訓練信號重建并優(yōu)化字典，而不給出任何標簽信息。典型的無監(jiān)督字典學習有KSVD算法[1]，MOD算法[2]等。Zheng等人[3]給出了使用拉普拉斯算子的無監(jiān)督字典的圖形正則化稀疏編碼，并驗證了其在分類和聚類上的有效性。但該類算法無法有效利用樣本的標簽信息，分類性能不一定是最佳的。相應地，有監(jiān)督字典學習根據(jù)訓練樣本的標簽信息學習出判別性字典。例如文獻[4-7]，就是典型的有監(jiān)督學習字典。文獻[5]提出了一個LSDDL算法，針對樣本的局部特征和幾何結構，結合樣本的標簽信息進行字典學習。但該算法容易受到訓練樣本個數(shù)的影響，且該方法僅有一個被所有類別共享的字典，會使字典元素和類別間產(chǎn)生誤差。

針對這種情況，研究提出了一種快速低秩的判別子字典學習算法。在判別字典學習的目標函數(shù)的基礎上，構造一個子字典的低秩約束項和拉普拉斯矩陣正則化項。將原始樣本映射到一個新的空間中，使同一類別的相鄰點彼此靠近，同時增強子字典對同類樣本的重構能力，針對每類樣本的判別性特征，學習出相應的學習字典。然后，利用現(xiàn)有的分類器估計測試樣本的類別標簽，得到算法的分類準確率。本文在3種數(shù)據(jù)集上的實驗結果證明了該方法的有效性。

1 基本理論

1.1 字典學習

設DC=[d1，…，dK]∈Rn×K表示第C類樣本的學習字典。針對樣本集，令ZC=[ZC1，…，ZCNC]∈Rn×NC為第C類訓練樣本，其中ZCi（i=1，…，NC）表示C類樣本中具有n維維數(shù)的第i個圖像樣本。同時，令VC=[VC1，…，VCNC]∈RK×NC表示為ZC在DC上的稀疏表示矩陣。可以得到傳統(tǒng)的字典學習模型：

模型第一項為訓練樣本的誤差重構項，第二項是稀疏正則項，λ>0為約束系數(shù)?！ぁ琾為lp范數(shù)，當p=1，表示lasso稀疏模型;當p=2，表示嶺回歸。由于公式（1）中的DC或VC都可以單獨得到相關的凸函數(shù)，但不能同時得到兩者的凸函數(shù)，因此通常保持一個變量不變，交替求解另一個變量，通過迭代求得最優(yōu)解。

1.2 拉普拉斯矩陣

定義一個頂點數(shù)量為N的無向圖G的拉普拉斯矩陣L為：

其中，W為圖G的鄰接矩陣，維度是N×N，用于表示節(jié)點之間的鄰接關系。將鄰接矩陣W的每一列元素加起來得到N個數(shù)，再以其為對角線構造一個維度是N×N的對角矩陣M，該對角矩陣M則被稱為圖的度矩陣。由公式（2）可以看出，拉普拉斯矩陣L是一個對稱的半正定矩陣，即對于任何向量V，L都能滿足VLV′≥0。

2 本文算法

2.1 算法流程

為了設計一個具有判別性的字典，令來自同一類別的樣本可以具備更為相近的稀疏表示，提出了一種基于子字典的判別字典學習算法。算法的整體流程如圖1所示。

2.2 訓練過程

基于上述字典學習算法，本文提出以下判別字典學習算法模型：

其中，前兩項為字典學習的基礎模型，后兩項分別為子字典的低秩約束項和拉普拉斯矩陣正則化項。β>0和γ>0為相應的稀疏系數(shù)。

由于目標函數(shù)現(xiàn)在是非凸的，因此通過迭代更新字典和稀疏表示得到學習字典。首先固定字典，更新稀疏表示矩陣。即第C類樣本的稀疏表示VC有：

2.3 測試過程

在訓練過程得到總字典D=[D1，…，DC]后，通過求解嶺回歸得到測試樣本z的稀疏表示V，即：

將訓練樣本和測試樣本的稀疏表示輸入kNN分類器中，估計測試樣本的類別標簽并得到算法的分類準確度。

3 實驗結果與分析

本文在3種數(shù)據(jù)集（http：//users.umiacs.umd.edu/～zhuolin/projectlcksvd.html）上進行實驗，具體是：Extended YaleB、AR和織物疵點數(shù)據(jù)集。根據(jù)每個數(shù)據(jù)集的特征，通過交叉驗證對參數(shù)進行調整，本文使用的最佳參數(shù)設置見表1。同時，將實驗結果與FDDL[8]、LC-KSVD[9]、LRSDL[7]、LSDDL[5]算法進行對比。所有實驗均在Windows 7 的電腦上進行，電腦處理器Intel（R）Core（TM） i5-6500 CPU@ 3.20GHz，內存4 G，使用的軟件為Matlab。下文將對數(shù)據(jù)集和實驗結果進行詳細的闡釋與分析。

（1）Extended YaleB數(shù)據(jù)集[10]：由來自38個人在64種照明條件下的2 414張人臉圖像組成。所有圖像尺寸均調整為192×168。每類圖像均選取32張圖片進行訓練，其他圖片作為測試集。隨機人臉特征的維數(shù)為504，實驗重復10次，并將結果的平均值作為分類準確度。實驗結果見表2，可以看出，本文提出的方法比FDDL、LC-KSVD、LRSDL和LSDDL算法具有更高的精度。

（2）AR數(shù)據(jù)集[10]：由126個人的4 000多張彩色人臉圖像組成。每人都有26張正面人臉圖。本文選用50名女性，50名男性、共2 600張圖像，隨機選取每類20張作為訓練集，其余的用于測試。AR數(shù)據(jù)集的隨機人臉特征維數(shù)為540，結果同樣由10次重復試驗的平均值得到。由表2可以看出，本文所提出的方法獲得了更好的性能。

（3）織物疵點數(shù)據(jù)集：是由20類不同的疵點、共3 300張圖像組成。幾種典型的織物疵點圖像如圖2所示。本文選擇每類30個樣本用于訓練，剩余樣本用于測試。研究中使用灰度共生矩陣、方向梯度直方圖及局部二值模式對該數(shù)據(jù)集進行特征提取?？椢锎命c圖像的特征維數(shù)為108。實驗結果見表2，本文的方法再次取得最佳結果。

4 結束語

本文提出了一種基于子字典的判別字典學習算法，并在3個公開數(shù)據(jù)集中驗證了算法的有效性。該算法針對每類樣本得到對應的學習字典，加入子字典的重構誤差項，同時利用了原始特征的判別結構，通過拉普拉斯矩陣正則化項提高相同類別稀疏表示的相似性。通過仿真實驗結果可以看出，本文提出的算法與一些現(xiàn)有算法相比，能夠獲得更高的分類性能。后續(xù)工作可以在對象分類、紋理識別等更廣泛的分類任務中，結合多種映射函數(shù)進行研究。

參考文獻

[1]AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing， 2006， 54（11）：4311-4322.

[2]OLSHAUSEN B A， FIELD D J. Sparse coding with an overcomplete basis set： A strategy employed by V1？[J]. Vision Research， 1997， 37（23）：3311-3325.

[3]ZHENG M， BU J， CHEN C A， et al. Graph regularized sparse coding for image representation[J]. IEEE Transactions on Image Processing， 2011， 20（5）：1327-1336.

[4]毛麗珍， 湯紅忠， 范朝冬， 等. 低秩判別性字典學習及組織病理圖像分類算法[J]. 小型微型計算機系統(tǒng)， 2019， 40（9）：1881-1885.

[5]GUO Jun， GUO Yanqing， LI Yi， et al. Locality sensitive discriminative dictionary learning[C]// 2015 IEEE International Conference on Image Processing. Quebec， Canada： IEEE， 2015：1558-1562.

[6]LV Wentao， DAI Kaiyan， WU Long， et al. Runway detection in SAR images based on fusion sparse representation and semantic spatial matching[J]. IEEE Access， 2018， 6：27984-27992.

[7]VU T H， MONGA V. Fast low-rank shared dictionary learning for image classification[J]. IEEE Transactions on Image Processing， 2017， 26（11）：5160-5175.

[8]YANG Meng， ZHANG Lei， FENG Xiangchu， et al. Fisher discrimination dictionary learning for sparse representation[C]// ICCV'11：Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011：543-550.

[9]JIANG Zhuolin， LIN Zhe， DAVIS L S. Label consistent K-SVD： Learning a discriminative dictionary for recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（11）：2651-2664.

[10]CHEN Yefei， SU Jianbo. Sparse embedded dictionary learning on face recognition[J]. Pattern Recognition ， 2017，64：51-59.