基于平衡度調(diào)整策略的Ba-AL主動學(xué)習(xí)算法

汪嬋 權(quán)悅 姚潔 張帝 李振國 李新恒

摘 要：提出一種面向不平衡數(shù)據(jù)的主動學(xué)習(xí)算法Balance adjustment Active Learning（簡稱Ba-AL）.每次迭代結(jié)束檢查訓(xùn)練集樣本平衡度，對不平衡訓(xùn)練集進行聚類并剔除冗余樣本，保持訓(xùn)練集的平衡，從而提高分類效果.UCI數(shù)據(jù)集及真實的遙感影像數(shù)據(jù)集仿真結(jié)果表明，該方法可以獲得較好的分類效果，達到目標(biāo)正確率所需的最少訓(xùn)練樣本數(shù)更少，算法效率更高，數(shù)據(jù)利用指標(biāo)更優(yōu)越.

關(guān)鍵詞：主動學(xué)習(xí)算法;平衡度;分類精度;數(shù)據(jù)利用

[中圖分類號]TP7 ? [文獻標(biāo)志碼]A

分類是從數(shù)據(jù)中獲取有價值信息的重要手段，傳統(tǒng)分類器若要獲得較好的分類效果需要性能良好的訓(xùn)練樣本集，這類訓(xùn)練樣本集中的數(shù)據(jù)通常需要借助于人工從海量的數(shù)據(jù)中甄別出最有價值的樣本.但是在很多的應(yīng)用場合，如遙感影像分類、詐騙檢測等，數(shù)據(jù)量很大，使得人們從這些海量數(shù)據(jù)中找到有價值的樣本變得很困難，增加了樣本標(biāo)記的成本.Lewis和Gale于1994年提出主動學(xué)習(xí)方法，為提高監(jiān)督學(xué)習(xí)的學(xué)習(xí)效果和減少訓(xùn)練樣本個數(shù)開辟了一條新的路徑.[1]相對于傳統(tǒng)的學(xué)習(xí)方法，在同樣的分類精度要求下，主動學(xué)習(xí)需要的訓(xùn)練樣本數(shù)更少，有效的減少了人工標(biāo)注成本.張良利用主動學(xué)習(xí)算法對高光譜遙感影像分類問題進行了研究，獲得了很好的分類效果.胡小娟將主動學(xué)習(xí)算法應(yīng)用于垃圾郵件分類，學(xué)習(xí)模型可以取得較高的分類精度.Tong[2]將SVM和主動學(xué)習(xí)算法結(jié)合在一起，使得主動學(xué)習(xí)的性能得到進一步提升.

目前的主動學(xué)習(xí)算法都是基于訓(xùn)練樣本集中樣本數(shù)量平衡的假設(shè)，當(dāng)訓(xùn)練集中不同類別的數(shù)據(jù)存在較為嚴(yán)重的失衡時，數(shù)據(jù)少的類別很容易被錯分，即便是基于SVM的主動學(xué)習(xí)算法也很難獲得好的分類效果.不平衡數(shù)據(jù)分類問題在實際應(yīng)用中很常見，如海面石油油污檢測、信用卡非法交易檢測、醫(yī)學(xué)數(shù)據(jù)分類等.為此，本文提出一種面向不平衡數(shù)據(jù)的主動學(xué)習(xí)算法Balance adjustment Active Learning（簡稱Ba-AL），每次迭代后都會檢測樣本集的平衡度并對訓(xùn)練樣本集進行調(diào)整，維持訓(xùn)練樣本集的基本平衡，保證學(xué)習(xí)算法的分類效果.

1 主動學(xué)習(xí)算法

主動學(xué)習(xí)包含學(xué)習(xí)和樣本選擇兩個部分，學(xué)習(xí)部分負責(zé)利用已標(biāo)記數(shù)據(jù)集數(shù)據(jù)訓(xùn)練分類器，樣本選擇部分負責(zé)利用樣本選擇策略，從未標(biāo)記數(shù)據(jù)集中選擇候選樣本交由專家進行標(biāo)記，然后加入已標(biāo)記數(shù)據(jù)集中.這兩個部分相互配合交替工作，直到整個迭代學(xué)習(xí)過程結(jié)束.

樣本選擇策略的設(shè)計是主動學(xué)習(xí)的關(guān)鍵.在各類樣本選擇策略中，基于不確定度縮減的選擇策略由于度量性好，成為被廣泛研究和應(yīng)用的對象.它是依據(jù)分類器的分類結(jié)果對每個未標(biāo)記樣本進行度量打分，根據(jù)分值從大到小對樣本進行排序，樣本的分值越大表示該樣本包含的有價值信息越多，對尋找最優(yōu)分類面越有幫助.[3]筆者提出的Ba-AL主動學(xué)習(xí)算法就是基于不確定度縮減方法進行的研究.

2 不平衡數(shù)據(jù)分類問題

不平衡數(shù)據(jù)指的是訓(xùn)練樣本集中不同類別的訓(xùn)練樣本數(shù)量差距較大，類間分布不均勻，某些類的樣本數(shù)量遠遠少于其他類.主動學(xué)習(xí)在每一輪迭代結(jié)束后，都會選擇一部分有價值的樣本交由專家標(biāo)注后加入訓(xùn)練樣本集，若選擇的樣本集中在某些類別，造成個別類別已標(biāo)記樣本稀缺，這樣的迭代過程就會存在訓(xùn)練樣本集數(shù)據(jù)不平衡的問題.為了解決這一問題，提出調(diào)整訓(xùn)練樣本集平衡度的策略.

3 訓(xùn)練樣本集平衡度調(diào)整

每一次迭代主動學(xué)習(xí)選擇出的樣本都有可能帶來訓(xùn)練集數(shù)據(jù)不平衡問題，造成分類超平面遠離某些類別樣本的中心，卻過于靠近其他類樣本中心.為避免主動學(xué)習(xí)方法在選擇含信息量最大樣本的同時帶來訓(xùn)練樣本集不平衡的問題，在每次樣本選擇結(jié)束后度量當(dāng)前訓(xùn)練樣本集的平衡度b，其定義為：

4.2 算法步驟

S是總樣本集，其中訓(xùn)練樣本集L=（x1，y1），…，（xl，yl），樣本均已標(biāo)記，{y1，…，yl}為對應(yīng)的標(biāo)簽.U=xl+1，…，xN為標(biāo)簽未知的測試樣本集，l和u=n-l分別為樣本集L和U中的樣本個數(shù).S=L∪U，X={x1，…，xl，xl+1，…，xN}均為υ維向量，Y=y1，…，ym為樣本標(biāo)簽的集合.主動學(xué)習(xí)的目的就是從未標(biāo)記樣本中選出最有利于訓(xùn)練分類器的樣本加入訓(xùn)練樣本集，從而訓(xùn)練出分類器f以準(zhǔn)確地預(yù)測未知樣本xi的標(biāo)簽yi.每次迭代結(jié)束后選出對提高分類器性能最有價值的樣本加入樣本集M中，W為錯誤分類的樣本集合.算法步驟：

Step1，初始化.對測試樣本集U中所有樣本做聚類，類別數(shù)為k，類別中心樣本為c1，…，ck;將c1，…，ck交由專家標(biāo)記，若c1，…，ck包含所有類別，則令L=c1，…，ck∪L，否則對U進行k+1類.重復(fù)這一過程，直到類中心包含所有類別樣本.令U=U-C;

Step2，基于樣本集L訓(xùn)練SVM分類器，判斷U中樣本的類別;

Step3，對每個xi（xi∈U），按式（2）計算w（xi）.對U中樣本按w（xi）的值進行降序排列，排序越靠前的樣本價值越高，取前m個樣本加入集合M，并將M中的樣本交由專家進行標(biāo)記;

Step4，比較M中樣本的標(biāo)記結(jié)果與Step2中對應(yīng)樣本的標(biāo)簽，將分類結(jié)果不同的樣本放入數(shù)據(jù)集W;

Step5，按公式（1）計算當(dāng)前W集對應(yīng)的b，若b<ε，則對W的平衡度進行調(diào)整，調(diào)整L中的樣本分布;

Step6，令L=L∪W，L=U-W;

Step7，判定此時是否達到停止條件，滿足則停止迭代;否則，返回Step2進行下一次迭代.

5 仿真結(jié)果與分析

為了驗證所提算法性能，基于UCI標(biāo)準(zhǔn)數(shù)據(jù)集及真實的遙感影像數(shù)據(jù)集進行仿真分析.數(shù)據(jù)集基本情況見表2，遙感影像數(shù)據(jù)集來自文獻[4].

5.1 分類結(jié)果評估指標(biāo)

數(shù)據(jù)利用是指主動學(xué)習(xí)算法達到目標(biāo)正確率所需的最少訓(xùn)練樣本數(shù).該指標(biāo)數(shù)值越小，說明學(xué)習(xí)算法利用數(shù)據(jù)的效率越高.

Kappa系數(shù)是使用者精度和生產(chǎn)者精度兩個參數(shù)的綜合，用其判斷分類結(jié)果的可靠程度，Kappa系數(shù)的值越大則說明分類結(jié)果越可靠.[5]Kappa系數(shù)計算公式為：

Kappa=N∑mi=1Pli-∑mi=1Ppi×PliN2-∑mi=1Ppi×Pli.（3）

其中，N為樣本總數(shù)，Ppi為第i類所在列總數(shù)，Pli為第i類所在行列總數(shù).Kappa系數(shù)與分類精度的質(zhì)量對應(yīng)關(guān)系見表1.[6]

5.2 UCI數(shù)據(jù)集

仿真所采用的軟件為MATLAB7.0，仿真中的基分類器采用SVM.分類器SVM的參數(shù)均為十折交叉驗證所得，基于libsvm工具箱實現(xiàn).訓(xùn)練樣本集的樣本數(shù)量取樣本總數(shù)的20%至70%，其余樣本構(gòu)成測試樣本集.在5個數(shù)據(jù)集上分別基于R-AL（Random ?Active Learning），T-AL（Tong Active Learning），Ba- AL（Balance adjustment Active Learning） 3種主動學(xué)習(xí)算法進行仿真.

5個UCI數(shù)據(jù)集上仿真所得分類精度如表3所示.每組分類精度均為多次仿真的統(tǒng)計平均值.

由表3可以看出，在5個標(biāo)準(zhǔn)UCI數(shù)據(jù)集上，Ba-AL的分類精度均高于其他兩種主動學(xué)習(xí)算法，可見對訓(xùn)練樣本集進行平衡度調(diào)整后，訓(xùn)練出的分類器分類超平面更為合理.R-AL在waveform數(shù)據(jù)集上的分類精度略優(yōu)于T-AL，這是由于隨機采樣帶來的對算法結(jié)果的隨機性造成的.

主動學(xué)習(xí)算法的核心是樣本選擇策略，除分類精度外，通常采用數(shù)據(jù)利用指標(biāo)來評估算法性能的好壞.三種主動學(xué)習(xí)算法的數(shù)據(jù)利用指標(biāo)如表4所示.各數(shù)據(jù)集的目標(biāo)正確率分別為81%，75%，79%，82%，91%.

從表4可以看出，在相同的分類正確率要求下，Ba-AL方法在5個UCI數(shù)據(jù)集上使用的訓(xùn)練樣本數(shù)最少，說明其具有比傳統(tǒng)SVM主動學(xué)習(xí)算法更好的數(shù)據(jù)利用性能.

5.3 遙感影像數(shù)據(jù)集

訓(xùn)練樣本集和測試樣本集均采用ENVI4.7軟件將感興趣區(qū)域和測試區(qū)域轉(zhuǎn)換成ASCⅡ數(shù)據(jù)，訓(xùn)練集具有較好的代表性.仿真過程中，基分類器采用SVM，選用高斯核函數(shù)，分類器參數(shù)為十折交叉驗證所得，基于libsvm工具箱實現(xiàn)，分別采用R-AL（Random ?Active Learning），T-AL（Tong Active Learning），Ba-AL（Balance adjustment Active Learning）3種主動學(xué)習(xí)算法進行仿真.每組仿真所得分類精度均為20次仿真結(jié)果的平均值，每次仿真時，訓(xùn)練樣本集的樣本數(shù)量在樣本總數(shù)的1/5到4/5之間取值，剩余樣本作為測試樣本集.仿真過程中，主動學(xué)習(xí)迭代次數(shù)取100次.

3種主動學(xué)習(xí)算法的分類精度和數(shù)據(jù)利用性能指標(biāo)如表5所示.其中，仿真數(shù)據(jù)利用性能時的目標(biāo)正確率為80%.

由表5可以看出，Ba-AL算法的平均分類精度均高于其他兩種算法，數(shù)據(jù)利用指標(biāo)較前兩種算法更好.

3種主動學(xué)習(xí)方法的混淆矩陣見表6-8，三種主動學(xué)習(xí)算法的Kappa系數(shù)都較高，對照表1中的Kappa系數(shù)分段，說明仿真結(jié)果是可靠的.

圖2給出了遙感影像分類效果圖，與圖1（b）中原始的影像分類圖對比，可以看出分類難點主要在沙地及草地等地物的混合處.R-AL算法可以大體看出各類地物的情況，但是對草地、裸地等地物分類錯誤率很高.T-AL算法整體分類效果比T-AL要好，但對于砂礫、草地和陰影區(qū)域分類效果較差，對各地物混雜處分類也不準(zhǔn)確.采用預(yù)聚類的方法對訓(xùn)練樣本集進行選擇的Ba-AL法對陰影部分的分類效果均優(yōu)于前兩種算法.

6 結(jié)語

為解決主動學(xué)習(xí)算法中存在的各類別數(shù)據(jù)量不平衡問題，提出對每次迭代后的訓(xùn)練樣本集進行平衡度評估，對存在數(shù)據(jù)量不平衡的訓(xùn)練樣本集進行調(diào)整，通過刪除冗余信息的方式使訓(xùn)練樣本集始終保持平衡.UCI數(shù)據(jù)集及真實的遙感影像分類數(shù)據(jù)集的仿真結(jié)果表明，Ba-AL算法比隨機取樣主動學(xué)習(xí)及Tong所提主動學(xué)習(xí)算法具有更好的分類效果.

參考文獻

[1]Lewis D D，Gale W A.A sequential algorithm for training text classifiers[J].Proceedings of the 17th ACM International Conference on Research and Development in Information Retrival，1994：3-12.

[2]Tong S，Koller D.Support vector machine active learning with applications to text classification[J].Journal of Machine Learning Research，2002，2：45-66.

[3]李延超，肖甫，陳志，等.自適應(yīng)主動半監(jiān)督學(xué)習(xí)方法 [J].軟件學(xué)報，2020，31（12）：3808-3822.

[4]蘇紅軍，顧夢宇.高光譜遙感影像優(yōu)化判別局部對齊特征提取[J].遙感學(xué)報，2020，25（05）：1055-1070.

[5]Tayebi MH，Tangestani MH，Roosta H.Mapping salt diapirs and salt diapir-affected areas using MLP neural network model and ASTER data[J].International Journal of Digital Earth，2013，6（2）：143-157.

[6]盧麗琛， 洪亮. 面向?qū)ο蟮母叻直媛蔬b感影像建筑物變化檢測[J].牡丹江師范學(xué)院學(xué)報;自然科學(xué)版，2021（01）：50-54.

[7]曹倩倩， 黃袁升.遙感影像分類方法精度研究[J].牡丹江師范學(xué)院學(xué)報：自然科學(xué)版，2017（01）：37-38.

編輯：琳莉