基于域內(nèi)規(guī)劃的類質(zhì)心匹配遷移學(xué)習(xí)算法研究

劉媛媛，郝慧琴，王耀力，孫永明，常 青

（1.太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600；2.中國電信股份有限公司山西分公司，山西太原 030001；3.山西省林業(yè)和草原科學(xué)研究院，山西太原 030002）

煙霧檢測對森林火災(zāi)的有效撲救有重要意義，因?yàn)榛馂?zāi)的前期通常是以煙霧的形式表現(xiàn)出來，如果能夠快速檢測到煙霧并及時(shí)進(jìn)行滅火處理，可以減少火災(zāi)帶來的損失。近年來國內(nèi)外煙霧識別檢測技術(shù)研究熱點(diǎn)主要集中在基于煙霧圖像的檢測技術(shù)，通過對煙霧視頻影像進(jìn)行深度學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)圖像分類與識別。此類方法要求研究問題必須滿足訓(xùn)練過程中訓(xùn)練樣本與測試樣本獨(dú)立同分布，且需要有足夠可利用的訓(xùn)練樣本圖的假設(shè)。然而，不同場景中的煙霧圖像無法滿足獨(dú)立同分布，且現(xiàn)實(shí)場景中，收集足夠的不同場景中的樣本標(biāo)簽數(shù)據(jù)往往既昂貴又費(fèi)力，樣本獲取困難，即產(chǎn)生所謂小樣本問題，模型推廣困難。

遷移學(xué)習(xí)[1]領(lǐng)域自適應(yīng)方法[2]可以很好地解決這一問題，對于缺乏標(biāo)簽數(shù)據(jù)的煙霧檢測任務(wù)，利用相似領(lǐng)域中豐富的標(biāo)簽數(shù)據(jù)去學(xué)習(xí)。目前大多遷移學(xué)習(xí)算法對目標(biāo)樣本進(jìn)行單獨(dú)標(biāo)記，容易產(chǎn)生誤分類，而誤分類的樣本將影響后續(xù)迭代中對共同特征空間的學(xué)習(xí)，最終導(dǎo)致性能顯著下降。

綜上所述，采用類質(zhì)心匹配和局部流形自學(xué)習(xí)(CMMS)遷移學(xué)習(xí)算法[3]，對目標(biāo)域進(jìn)行標(biāo)記時(shí)，通過將目標(biāo)域中同一集群中的樣本視為一個(gè)整體來分配標(biāo)簽，即將領(lǐng)域自適應(yīng)的分布差異最小化問題重構(gòu)為類質(zhì)心匹配問題，同時(shí)加入域內(nèi)規(guī)劃法[4]，使其充分利用域內(nèi)結(jié)構(gòu)來對樣本進(jìn)行分類，達(dá)到較好的分類效果。

1 基于類質(zhì)心匹配的遷移學(xué)習(xí)算法

1.1 類質(zhì)心匹配算法

為了獲取目標(biāo)數(shù)據(jù)的樣本分布結(jié)構(gòu)信息，可以用聚類的思想來獲得聚類原型，這些原型可以看作是偽類質(zhì)心。為了實(shí)現(xiàn)這個(gè)目標(biāo)，采用經(jīng)典的K-means算法來獲取聚類原型，即：

其中，P∈Rm×d為投影矩陣，F(xiàn)∈Rd×C為目標(biāo)數(shù)據(jù)的聚類中心。定義源域樣本為xsi∈Rm，對應(yīng)的標(biāo)簽為ysi∈Rm，源域數(shù)據(jù)可表示為定義目標(biāo)域樣本為xtj∈Rm，目標(biāo)域數(shù)據(jù)可表示為Gt∈Rnt×C為目標(biāo)數(shù)據(jù)的聚類標(biāo)簽矩陣，如果xti的聚類標(biāo)簽為j，則(Gt)ij=1，否則(Gt)ij=0。

獲得目標(biāo)數(shù)據(jù)的聚類原型后，就可以將域自適應(yīng)中的分布差異最小化問題轉(zhuǎn)化為類質(zhì)心匹配問題。源數(shù)據(jù)的類質(zhì)心可以通過計(jì)算同一類中樣本特征的平均值來獲得精確值。為使簡單有效，選擇最近鄰搜索來解決類質(zhì)心匹配問題。即為每個(gè)目標(biāo)聚類質(zhì)心搜索最近的源類質(zhì)心，并最小化每對類質(zhì)心的距離之和。所以，兩個(gè)域的類質(zhì)心匹配公式如下:

其中，ES∈RnS×C是一個(gè)常數(shù)矩陣，用于計(jì)算投影空間中源數(shù)據(jù)的類質(zhì)心，如果ysi=j,每個(gè)元素，否則Eij=0。

1.2 局部流行自學(xué)習(xí)

目標(biāo)樣本的聚類原型實(shí)際上是它們對應(yīng)的類質(zhì)心的近似。因此，聚類原型的質(zhì)量對算法的最終性能起著重要的作用。已有研究證明，利用局部流形結(jié)構(gòu)可以顯著提高聚類性能。然而，它們大多高度依賴于原始特征空間中預(yù)定義的鄰接矩陣，但由于維數(shù)過高，無法獲得高維數(shù)據(jù)固有的局部流形結(jié)構(gòu)。所以使用局部流形自學(xué)習(xí)策略[5]，不再預(yù)先在原有的高維空間中定義相鄰矩陣，而是根據(jù)投影的低維空間中的局部連通性自適應(yīng)地學(xué)習(xí)數(shù)據(jù)的相似度，從而獲得目標(biāo)數(shù)據(jù)的固有局部流形結(jié)構(gòu)。局部流形自學(xué)習(xí)公式如下：

其中，S∈Rnt×nt是目標(biāo)域的鄰接矩陣，δ是超參數(shù)。Lt是對應(yīng)的圖拉普拉斯矩陣，由Lt=D-S計(jì)算，其中D是一個(gè)對角矩陣，每個(gè)元素為Dii=∑j≠iSij。

對于源數(shù)據(jù)，一個(gè)合理的假設(shè)是同一類的樣本在投影空間中盡可能接近，這樣可以保留源域的判別結(jié)構(gòu)信息[6]。作為一個(gè)簡單但有效的技巧，公式如下：

其中，tr(·) 為跡，W為源數(shù)據(jù)相似度矩陣，定義為如果ysi=ysj=c，則，否則為0。系數(shù)用于消除不同類大小的影響[7]。LS為拉普拉斯矩陣，定義為：

其中，X=[Xs,Xt]，L=diag(2Ls,2Lt)。結(jié)合式（3）和式（4），得到了一個(gè)通用的Ψ(P,S)項(xiàng)，它可以獲得源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的不同結(jié)構(gòu)信息:

為避免過擬合和提高泛化能力，在投影矩陣P中進(jìn)一步增加了F 范數(shù)正則項(xiàng)：

因此，結(jié)合公式（1）、（2）、（6）、（7），得到了最終的公式：

其中Id是維數(shù)為d的單位矩陣，H為中心矩陣，定義為:

其中的第一個(gè)約束是受主成分分析的啟發(fā)，其目的是使投影數(shù)據(jù)方差最大[8]。

2 改進(jìn)的類質(zhì)心匹配算法

2.1 域內(nèi)規(guī)劃法

遷移學(xué)習(xí)的目的是將知識從一個(gè)標(biāo)記良好的領(lǐng)域轉(zhuǎn)移到一個(gè)相似但不同的領(lǐng)域，這些領(lǐng)域有有限的標(biāo)記或沒有標(biāo)記。但是現(xiàn)有的基于學(xué)習(xí)的方法往往需要密集的模型選擇和超參數(shù)調(diào)整才能獲得良好的結(jié)果。此外，因?yàn)槟繕?biāo)域中通常沒有標(biāo)簽，導(dǎo)致超參數(shù)的調(diào)優(yōu)不能進(jìn)行交叉驗(yàn)證。所以，需對以上類質(zhì)心匹配算法進(jìn)行改進(jìn)。

域內(nèi)規(guī)劃直接學(xué)習(xí)遷移分類器，為域內(nèi)對齊提供可靠的似然信息。域內(nèi)規(guī)劃引入了概率標(biāo)注矩陣，并建立非參數(shù)傳遞分類器。其中c∈{1,…,C} 為類標(biāo)號，M∈RC×nt為概率標(biāo)注矩陣，其中的元素滿足0 ≤Mcj≤1。Mcj表示屬于類c的概率為。這樣，代價(jià)函數(shù)可以形式化為：

其中距離值Dcj是距離矩陣D中的元素，定義Dcj為xtj到源域第c類中心的距離。定義hc是的第c類中心，則Dcj可以通過歐幾里得距離計(jì)算：

其中I(·) 為指示函數(shù)，如果條件為真，則其值為1，否則為0。

2.2 約束條件

考慮最小化代價(jià)函數(shù)的約束，首先，Mcj的值是一個(gè)度量xtj屬于類c的置信度的概率，所以一個(gè)特定樣本xtj屬于所有現(xiàn)有類的概率為1。即滿足：

其次，由于Ωs和Ωt有相同的類別空間，即ys=yt，所以對于任何給定的類c至少有一個(gè)樣本，即滿足：

實(shí)際上，Mcj的理想值應(yīng)該是一個(gè)二進(jìn)制，0 或者1，即如果xj屬于類c，Mcj=1，否則Mcj=0。

因此，在不影響計(jì)算結(jié)果的情況下，使用以下公式代替上面的公式：

2.3 學(xué)習(xí)目標(biāo)

結(jié)合代價(jià)函數(shù)和約束條件，最終的學(xué)習(xí)目標(biāo)為：

這是一個(gè)求解線性規(guī)劃問題，可以用PuLP 求解M，最終由softmax 函數(shù)給出xtj的標(biāo)簽：

所有xtj的標(biāo)簽ytj組成一個(gè)標(biāo)簽矩陣Gt∈Rnt×C，代入式（8）中。

目標(biāo)函數(shù)為：

其中，n=ns+nt，V=diag(0ns×nt,Int),E=[Es;0nt×C],G=[0ns×C;Gt],L=diag(Ls,Lt)。

域內(nèi)規(guī)劃法不僅考慮到樣本和中心的關(guān)系，還需考慮與其他樣本之間的關(guān)系。改進(jìn)后的域內(nèi)規(guī)劃類質(zhì)心匹配算法(P-CMMS)的流程圖如圖1 所示。

圖1 P-CMMS流程圖

3 仿真實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)概述

為了評估P-CMMS 算法的有效性，將其應(yīng)用到兩個(gè)不同類的數(shù)據(jù)集進(jìn)行分析比較。

Office-Caltech10 數(shù)據(jù)集[9]：Office31 包含31 種辦公物品的圖像，共4 110 張，圖像包括三個(gè)領(lǐng)域：亞馬遜（A）、數(shù)碼單反（D）和網(wǎng)絡(luò)攝像頭（W）。A 域是從網(wǎng)上下載的，D 域的圖像由數(shù)碼單反相機(jī)拍攝，W 域來自網(wǎng)絡(luò)攝像機(jī)拍攝。Caltech-256 包含30 607 幅圖像和256 個(gè)類別。由于Office 和Caltech 中的對象遵循不同的分布，域自適應(yīng)有助于執(zhí)行跨域識別。使用Office-Caltech10 數(shù)據(jù)集，該數(shù)據(jù)集包含12 個(gè)任務(wù):A →D，A →C，…，C →W。在后續(xù)部分，使用A →B 來表示從源域A 到目標(biāo)域B 的知識遷移。

煙霧數(shù)據(jù)集：由山西省林科院引進(jìn)的南非ForestWatch 林火智能監(jiān)測系統(tǒng)采集到的衛(wèi)星遙感圖像和視頻影像圖像，分為有煙和無煙兩類，圖像樣本如圖2 所示。

圖2 煙霧樣本圖

對于衛(wèi)星遙感(RS)圖像，其易獲取，數(shù)據(jù)量大，但拍攝周期較長，時(shí)效性低。而視頻影像(V)圖像可以克服衛(wèi)星遙感圖像無法實(shí)時(shí)的缺點(diǎn)，能夠快速反映火災(zāi)情況。煙霧數(shù)據(jù)集包括1 000 張衛(wèi)星遙感(RS)圖像和1 000 張視頻影像(V)圖像，不同圖像分布代表兩個(gè)不同的領(lǐng)域。其中，每個(gè)領(lǐng)域分別包括500張有煙圖像和500 張無煙圖像。將每張圖片大小調(diào)整為3×224×224。選用Resnet50 網(wǎng)絡(luò)提取數(shù)據(jù)集特征，并與目前先進(jìn)方法JDA[10]、BDA[11]、GFK[9]、CMEDA[12]進(jìn)行比較。實(shí)驗(yàn)采用交叉驗(yàn)證的方法將各領(lǐng)域樣本集按比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。其中，訓(xùn)練集占總樣本50%，驗(yàn)證集和測試機(jī)各占25%。

實(shí)驗(yàn)利用準(zhǔn)確率（Accuracy）、精確率(Precision)、召回率(Recall)和精確率與召回率的調(diào)和均值F1 衡量算法的性能，使煙霧圖像為正類，非煙霧圖像為負(fù)類，其計(jì)算公式如下：

參照的混淆矩陣如表1 所示。

表1 混淆矩陣表

3.2 Office-Caltech10分類準(zhǔn)確率

在Office-Caltech10 數(shù)據(jù)集上分別使用GFK、CORAL、TCA、JDA、MEDA 與提出方法P-CMMS 在分類準(zhǔn)確率上進(jìn)行對比，結(jié)果列于表2。由實(shí)驗(yàn)結(jié)果可知，P-CMMS 平均精度方面優(yōu)于其他方法，除了C→W 之外，它在其他任務(wù)中表現(xiàn)最好?？梢悦黠@看出在12 個(gè)分類任務(wù)中，P-CMMS 都有明顯優(yōu)勢，且PCMMS 的平均分類精度提高了1.7%。

表2 Office-Caltech10數(shù)據(jù)集分類準(zhǔn)確率

3.3 煙霧預(yù)測準(zhǔn)確率

將衛(wèi)星遙感樣本集作為源域，視頻影像樣本集作為目標(biāo)域，遷移準(zhǔn)確率如表3 所示。從假陽性、假陰性和準(zhǔn)確率的角度來看，P-CMMS 的遷移效果優(yōu)于JDA、BDA、GFK、CMEDA。其中，假陽性為3.02%，假陰性為4.14%，準(zhǔn)確率為96.50%，準(zhǔn)確率比CMMS明顯提高了4.50%。

表3 衛(wèi)星遙感圖像到視頻影像圖像的遷移準(zhǔn)確性

將視頻影像樣本集作為源域，衛(wèi)星遙感樣本集作為目標(biāo)域，遷移準(zhǔn)確率如表4 所示，P-CMMS 的遷移效果同樣優(yōu)于JDA、BDA、GFK、CMEDA。其中，假陽性為10.54%，假陰性為7.12%，準(zhǔn)確率為92.00%，準(zhǔn)確率比CMMS 明顯提高了6.50%。

表4 視頻影像圖像到衛(wèi)星遙感圖像的遷移準(zhǔn)確性

對比表3 和表4 可知，引入域內(nèi)規(guī)劃可以更深入地學(xué)習(xí)目標(biāo)域數(shù)據(jù)的結(jié)構(gòu)信息，充分利用域內(nèi)結(jié)構(gòu)來對樣本進(jìn)行分類，達(dá)到更好的分類效果。

由于實(shí)驗(yàn)中用于特征提取的CNN 網(wǎng)絡(luò)模型參數(shù)是由基于ImageNet 數(shù)據(jù)集的預(yù)訓(xùn)練模型遷移得到的，衛(wèi)星遙感圖像到視頻影像圖像的遷移準(zhǔn)確率低于衛(wèi)星遙感圖像到視頻影像圖像的遷移準(zhǔn)確率。

在煙霧數(shù)據(jù)集，遷移準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和調(diào)和均值F1如表5所示，其中RS→V 表示衛(wèi)星遙感圖像到視頻影像圖像的遷移，召回率為97.2%；V→RS 表示視頻影像圖像到衛(wèi)星遙感圖像的遷移，召回率為93.4%。從精確率(Precision)、召回率(Recall)及兩者的調(diào)和均值F1 可以看出提出的P-CMMS 方法性能較好。

表5 遷移準(zhǔn)確率、精確率、召回率、F1

3.4 收斂速度

在視頻影像圖像和衛(wèi)星遙感圖像數(shù)據(jù)集下，對比P-CMMS 方法與JDA、BDA、CMMS 方法的收斂速度。圖3 顯示了對衛(wèi)星遙感樣本集學(xué)習(xí)，對視頻影像樣本集進(jìn)行預(yù)測過程中每次迭代的準(zhǔn)確率。圖4顯示了對視頻影像樣本集學(xué)習(xí)，對衛(wèi)星遙感樣本集進(jìn)行預(yù)測過程中每次迭代的準(zhǔn)確率。

由圖3 和圖4 實(shí)驗(yàn)結(jié)果可知，P-CMMS 算法在迭代次數(shù)為5 次時(shí)就已經(jīng)收斂，該算法在收斂速度方面有很大優(yōu)勢。

圖3 衛(wèi)星遙感圖像到視頻影像圖像收斂速度

圖4 視頻影像圖像到衛(wèi)星遙感圖像收斂速度

4 結(jié)論

針對森林火災(zāi)煙霧檢測中缺乏標(biāo)簽數(shù)據(jù)的問題，討論了類質(zhì)心匹配和局部流行自學(xué)習(xí)遷移學(xué)習(xí)算法的優(yōu)化，對其加入域內(nèi)規(guī)劃法，該算法不僅考慮到樣本與中心的關(guān)系，還考慮到與其他樣本之間的關(guān)系，使其充分利用域內(nèi)結(jié)構(gòu)來對樣本進(jìn)行分類。在實(shí)驗(yàn)中，基于衛(wèi)星遙感圖像與視頻影像圖像數(shù)據(jù)集對該模型進(jìn)行評估，分別與各種最先進(jìn)的遷移學(xué)習(xí)方法進(jìn)行比較。結(jié)果表明，P-CMMS 算法在視頻影像圖像上的準(zhǔn)確率提高了4.50%，在衛(wèi)星遙感圖像上的準(zhǔn)確率提高了6.50%，且在迭代次數(shù)為5 次時(shí)就已經(jīng)收斂，可以達(dá)到較好的分類效果。