基于聯(lián)合特征和遷移學(xué)習(xí)的跨域圖像分類方法

孟欠欠，伏明蘭，沈龍鳳，李夢雯

(淮北師范大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 淮北 235000)

圖像領(lǐng)域中，基于稀疏編碼的特征表示方法仍被廣泛應(yīng)用，Sha L等[1]人將稀疏編碼與拉普拉斯正則化相結(jié)合，用于圖像復(fù)原；錢沖等[2]人提出圖拉普拉斯正則化稀疏變換的圖像去噪學(xué)習(xí)方法；劉明等[3]人提出核稀疏編碼方法，用于陣發(fā)性房顫檢測；Zhang H等[4]提出低秩分解與卷積稀疏編碼相結(jié)合的圖像分解算法。以上編碼學(xué)習(xí)方法常需要足量的源域(帶標(biāo)記)樣本，源域(帶標(biāo)記)與目標(biāo)域(無標(biāo)記)樣本服從同一特征分布，訓(xùn)練的分類模型可取得較好效果。但是在實際應(yīng)用中，各種因素的存在往往導(dǎo)致源域與目標(biāo)域樣本處于不同分布中，諸如分辨率、表情、動作等差異均會造成特征的分布發(fā)生改變。此外，從互聯(lián)網(wǎng)下載的用于訓(xùn)練的圖像與來自真實場景中不同光照或角度的圖像之間的分布也不同。這種情況通常要求對源域數(shù)據(jù)重新標(biāo)注，會耗費大量資源，如何有效充分利用這些不同分布的源域數(shù)據(jù)，是當(dāng)前階段亟需考慮的重要問題，許多專業(yè)學(xué)者也提出了解決方案：遷移學(xué)習(xí)[5-7]。

遷移學(xué)習(xí)的核心是找到源域與目標(biāo)域的相似性，而通過MMD計算源域與目標(biāo)域之間的距離常作為評價相似性的重要指標(biāo)。Zhang J等[8]人在低維空間中進一步減少源域與目標(biāo)域的幾何移位與分布移位。姚明海等[9]人提出一種多層校正的無監(jiān)督領(lǐng)域自適應(yīng)方法，采用多層權(quán)值最大均值差異適應(yīng)目標(biāo)域。Wang J等[10]人在邊緣分布差異的基礎(chǔ)上進一步結(jié)合兩域的條件分布。Li S等[11]人綜合考慮類內(nèi)距離與類間距離，降低兩域的分布差異。趙鵬等[12]人提出基于聯(lián)合特征分布和實例的遷移學(xué)習(xí)方法，引入權(quán)值調(diào)節(jié)系數(shù)權(quán)衡兩者的重要度。Han N等[13]人提出利用低秩重構(gòu)的方法減少源域與目標(biāo)域的分布差異。Chen D等[14]人提出雙圖正則化判別轉(zhuǎn)移稀疏編碼算法，將域內(nèi)與域間相似性構(gòu)造對偶圖來度量不同數(shù)據(jù)集的距離。李萍等[15]人提出聯(lián)合類間及域間分布適配的遷移學(xué)習(xí)方法，進一步最大化源域的類內(nèi)分布距離。

根據(jù)上述情況，發(fā)現(xiàn)基于編碼的遷移學(xué)習(xí)方法存在以下兩個問題：(1)隨機初始化字典，學(xué)習(xí)的初始基向量隨機性強，不利于后序字典學(xué)習(xí)；(2)在子空間中單一考慮了域間的邊緣分布，忽略了域間的條件分布和源域的類間分布?；诖朔N情況，本文首先提出基于聯(lián)合特征和遷移學(xué)習(xí)的跨域圖像分類方法，利用Kmeans初始化字典，學(xué)習(xí)更具代表性的字典基；其次使用MMD度量分布距離，進一步考慮邊緣分布、條件分布和類間分布，并在通用的遷移數(shù)據(jù)集上進行相關(guān)跨域?qū)嶒烌炞C所提方法的有效性和可行性。其算法流程圖如圖1所示。

圖1 KA-TSC算法流程

1 問題定義與符號說明

P(Xs)≠P(Xt)，Q(Ys|Xs)≠Q(mào)(Yt|Xt)

(1)

使用MMD經(jīng)驗估計度量任意兩個樣本集Xs,Xt對應(yīng)的不同分布Ps,Pt之間的距離,如式(2)所示。

(2)

其中ns,nt分別為Xs,Xt的樣本數(shù)，Xsi,Xtj分別為Xs,Xt中的樣本，φ(·)為映射函數(shù)。

2 KA-TSC方法

2.1 Kmeans字典優(yōu)化

圖題與表題的寫作要求為學(xué)習(xí)更具代表性的字典基，采用Kmeans聚類方法初始化字典，主要學(xué)習(xí)目標(biāo)是將給定的數(shù)據(jù)集X劃分為k個簇，并給出每個樣本數(shù)據(jù)對應(yīng)的中心點，且收斂速度快。其算法步驟如下：

(4)重復(fù)執(zhí)行(2)—(3)，直到簇中心不在發(fā)生變化；

算法偽代碼如表1所示。

表1 Kmeans字典初始化算法

2.2 類間及域間差異項

遷移學(xué)習(xí)的關(guān)鍵是盡可能縮小源域與目標(biāo)域的分布差異，其中數(shù)據(jù)域的邊緣分布體現(xiàn)了目標(biāo)域的聚類情況，而領(lǐng)域的條件分布體現(xiàn)了帶標(biāo)記數(shù)據(jù)的判別結(jié)構(gòu)，源域中不同類別樣本間分布體現(xiàn)了帶標(biāo)記樣本的差異性。文中用MMD度量源域與目標(biāo)域的分布距離，旨在減少域間的邊緣和條件分布差異，并優(yōu)化源域不同類別樣本分布差異。接下來將依次計算三種分布距離。

首先，計算源域與目標(biāo)域的邊緣分布，計算公式如式(3)所示。

(3)

(4)

其次，對于兩域的同類樣本條件分布，MMD距離計算公式如式(5)所示。

(5)

其中c=1,2,…,C，Mc是MMD矩陣，如式(6)所示。

(6)

最后，源域中不同類樣本間的MMD距離計算如式(7)所示。

(7)

(8)

mintr(AMfAT)=mintr(AM0AT)+

(9)

2.3 圖拉普拉斯正則項

(10)

2.4 目標(biāo)模型

綜合稀疏編碼項、域間和類間分布差異項、圖拉普拉斯正則項以及稀疏保持項，建立數(shù)學(xué)模型如式(11)所示。

(11)

3 模型求解

由于模型(11)存在兩個自變量D和A，在求解的過程可以分為編碼學(xué)習(xí)與字典學(xué)習(xí)兩部分。因此，目標(biāo)函數(shù)可分解為兩個子函數(shù)，并分別交替迭代尋優(yōu)，最終使目標(biāo)函數(shù)收斂。

3.1 編碼優(yōu)化

為更新編碼系數(shù)，需要固定字典D，如式(12)所示。

(12)

(13)

3.2 字典優(yōu)化

首先，利用Kmeans方法初始字典基向量；其次，為更新字典，需固定A，字典優(yōu)化模型如式(14)所示。

(14)

對于帶二次約束的最小平方凸優(yōu)化問題，可先將式(14)轉(zhuǎn)化為拉格朗日對偶(Lagrange dual)問題，如式(15)所示。

L(D,Λ)=Tr((X-DA)T(X-DA))+

(15)

L(D,Λ)=tr(XTX-2AXTD+

DAATDT+AΛAT-cΛ)

(16)

接下來對式(16)求導(dǎo)，結(jié)果如式(17)所示。

(17)

求解結(jié)果如式(18)所示。

D=(XAT)(AAT+Λ)-1

(18)

將式(18)帶入式(16)，在利用拉格朗日對偶，可求取Λ，在反帶入公式(18)求字典D。

3.3 本文算法

KA-TSC偽代碼如表2所示。

表2 KA-TSC算法

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)集和評價標(biāo)準(zhǔn)

文中實驗分別在字符數(shù)據(jù)集MNIST和USPS，人臉識別數(shù)據(jù)集PIE和對象識別數(shù)據(jù)集Office通用的遷移數(shù)據(jù)集上進行。其中MNIST和USPS數(shù)據(jù)集各提取2000幅和1800幅字符圖像，兩者分別作為源域和目標(biāo)域，形成兩對遷移學(xué)習(xí)任務(wù)MNIST_vs_USPS和USPS_vs_MNIST，圖像大小為28×28，類別數(shù)為10。Office包含三個子數(shù)據(jù)集Amazon、Webcam和Dslr，將三個子集分別與Caltech數(shù)據(jù)集結(jié)合，從中隨機選取兩個分為作為源域和目標(biāo)域，形成六個不同的學(xué)習(xí)任務(wù)，圖像大小32×32，類別數(shù)為10。共設(shè)計16組遷移學(xué)習(xí)任務(wù)，每組任務(wù)屬于同一類別，但服從不同分布，所用數(shù)據(jù)集的統(tǒng)計信息如表3所示。

表3 實驗數(shù)據(jù)集

本文通過對目標(biāo)域上的樣本計算平均分類準(zhǔn)確率(Accuracy)作為算法效果的評價標(biāo)準(zhǔn)，公式如式(19)所示。

(19)

其中，Dt表示目標(biāo)域，f(x)為測試集x的真實標(biāo)簽，y(x)為測試集x的預(yù)測標(biāo)簽。

4.2 對比方法和參數(shù)設(shè)置

文中對比方法為稀疏編碼(SC)、圖正則化稀疏編碼(GSC)和遷移稀疏編碼(TSC)。各參數(shù)設(shè)置如下：稀疏編碼中k-128，λ=0.2；圖正則化稀疏編碼中k=128，γ=1，λ=0.1；遷移稀疏編碼中k=128，γ=1，λ=0.1，μ=1e5。所提方法參數(shù)設(shè)置如下：圖正則化參數(shù)設(shè)為1，權(quán)重調(diào)節(jié)因子β取0.1，聚類維度取128，迭代次數(shù)設(shè)置為10，對于MMD正則化參數(shù)和稀疏懲罰因子，在MNIST+USPS、Office+Caltech數(shù)據(jù)集上分別取1e5和0.01，在MSRC與VOC數(shù)據(jù)集上分別取1e6和0.1。實驗結(jié)果如表4所示，為方便比較，對比直方圖如圖2所示。

表4 4種方法在16個跨領(lǐng)域分類任務(wù)上的性能對比

圖2 分類精度柱狀圖

從表4可以看出，相比SC、GSC和TSC算法，本文方法的分類準(zhǔn)確率有一定程度的提升，分別提高了9.6%、7.94%和4.55%，實驗結(jié)果體現(xiàn)了與傳統(tǒng)方法相比，KC-TSC方法可更有效解決遷移學(xué)習(xí)問題，驗證了本文方法的有效性，即初始化基向量和考慮域間及類間分布差異的重要性。

為表明本文方法的有效性，從跨域數(shù)據(jù)集A_D中源域Caltech選取100幅圖像，從Dslr數(shù)據(jù)集中選取100幅圖像，構(gòu)建基于其稀疏編碼的權(quán)值矩陣，并根據(jù)權(quán)值矩陣畫出了四種稀疏編碼方法的編碼散點圖，如圖3所示。

(a)SC權(quán)值矩陣

(b)GSC權(quán)值矩陣

(c)TSC權(quán)值矩陣

(d)KA-TSC權(quán)值矩陣

從圖3中可以看出，左上和右下表示同域的分布差異，而左下和右上角為跨域的分布差異，可以看到SC、GSC方法中跨域分布較為稀疏，表明源域與目標(biāo)域分布差異較大；而TSC和KA-TSC因為考慮了域間分布差異，散點面積更廣，表明了縮小域間分布差異的重要性；而KA-TSC比TSC分布更為豐富，表明了本文方法進一步考慮類間差異的有效性。

4.3 參數(shù)分析

為了分析各個參數(shù)對分類性能的影響，本文選擇部分跨域領(lǐng)域任務(wù)USPS_vs_MNIST，MSRC_vs_VOC，Amazon_vs_Caltech進行測試，分別測試β、κ、μ、λ、γ和迭代次數(shù)NT對分類精度的影響。采用的方法是控制變量法，通過固定其中3個參數(shù)，設(shè)置另一個參數(shù)進行實驗。實驗結(jié)果如圖4所示。

(a)權(quán)值調(diào)節(jié)因子β

(b)聚類維數(shù)k

(c)最大均值差參數(shù)μ

(d)稀疏懲罰參數(shù)λ

(e)圖正則化參數(shù)γ

(f)迭代次數(shù)NT

首先，分析權(quán)值參數(shù)的影響，如圖4(a)所示，可以看出，在β∈[0.05,0.45]時，在這個較寬的范圍內(nèi)分類效果較好，而當(dāng)β∈[0.45,1]時，僅有個別數(shù)據(jù)集的分類性能有所提高。其次，對于聚類數(shù)k，實驗效果如圖4(b)所示，觀察得出，當(dāng)κ∈[128,160]時分類性能最穩(wěn)定。均值差參數(shù)μ對分類性能的影響如圖4(c)，當(dāng)μ∈[1e4,1e5]時分類效果較穩(wěn)定，當(dāng)μ=1e6，部分?jǐn)?shù)據(jù)集分類性能有所提高。稀疏參數(shù)λ和圖正則化參數(shù)γ的影響如圖4(d)和圖4(e)所示，當(dāng)λ∈[0.01,0.1]和γ∈[0.1,1]時效果穩(wěn)定。圖4(f)為迭代次數(shù)對目標(biāo)函數(shù)收斂度的影響，明顯可以看出，目標(biāo)函數(shù)是逐漸收斂的?？梢?，本文方法可在有效范圍內(nèi)實現(xiàn)源域到目標(biāo)域的有效遷移，一定程度提高跨域分類準(zhǔn)確率。

結(jié)語

本文提出的基于聯(lián)合特征和遷移學(xué)習(xí)的跨域圖像分類方法(KC-TSC)，在遷移稀疏編碼的基礎(chǔ)上，首先在字典學(xué)習(xí)上通過Kmeans聚類初始化字典基，學(xué)習(xí)更具代表性的初始字典；其次在編碼學(xué)習(xí)中進一步考慮域間和類間分布差異，在目標(biāo)函數(shù)中最小化源域與目標(biāo)域的條件分布并最大化源域中類間分布，并借助平衡因子調(diào)節(jié)分布權(quán)重。在目標(biāo)函數(shù)的求解中，利用拉格朗日對偶法和特征符號搜索法優(yōu)化字典和編碼，通過迭代求解，學(xué)習(xí)特征表示。最終，在MNIST和USPS、Office和Caltech等多個通用遷移數(shù)據(jù)集上進行對比實驗和參數(shù)分析，主要發(fā)現(xiàn)如下：(1)利用Kmeans初始化字典是字典優(yōu)化的有效方法；(2)充分考慮域間與類間分布差異，可有效提高源域到目標(biāo)域的遷移性能。