基于樣本選擇策略的SAR 圖像半監(jiān)督分類算法

王曉昆，溫顯斌

（天津理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，天津300384）

合成孔徑雷達(dá)（synthetic aperture radar，SAR）系統(tǒng)具有一定地表穿透力和全天時(shí)全天候工作等優(yōu)點(diǎn)，被廣泛用于軍事和民用領(lǐng)域.SAR 圖像具有光學(xué)圖像中不存在的相干斑噪聲，這一特性為SAR 圖像的后續(xù)處理帶來(lái)諸多不便.此外，SAR 圖像樣本的匱乏使得很多方法不能發(fā)揮它們?cè)谄渌I(lǐng)域所達(dá)到的效能.半監(jiān)督學(xué)習(xí)作為一種能充分利用有標(biāo)記和無(wú)標(biāo)記樣本的機(jī)器學(xué)習(xí)方法，能有效降低學(xué)習(xí)訓(xùn)練過(guò)程中的標(biāo)記樣本數(shù)量，在很多僅有少量有標(biāo)記樣本的應(yīng)用場(chǎng)景中得到廣泛使用.需要強(qiáng)調(diào)的是，當(dāng)用在SAR 圖像上時(shí)，由于受到斑點(diǎn)噪聲的影響，已有的半監(jiān)督學(xué)習(xí)方法取得的分類效果往往不盡人意.本文通過(guò)對(duì)半監(jiān)督學(xué)習(xí)中的協(xié)同訓(xùn)練方法進(jìn)行改進(jìn)，在有效利用半監(jiān)督學(xué)習(xí)優(yōu)勢(shì)的同時(shí)，盡量規(guī)避由于SAR 圖像斑點(diǎn)噪聲帶來(lái)的影響，從而達(dá)到較好的分類結(jié)果.

1 相關(guān)工作

半監(jiān)督學(xué)習(xí)（Semi-supervised learning，SSL）[1]在分類問(wèn)題中被看作是監(jiān)督學(xué)習(xí)的擴(kuò)展，自提出以來(lái).被廣泛應(yīng)用于未標(biāo)記的數(shù)據(jù)多于有標(biāo)記數(shù)據(jù)的問(wèn)題.其目標(biāo)是同時(shí)使用有標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)對(duì)分類器進(jìn)行訓(xùn)練[2]. 可用于處理SAR 圖像分類的半監(jiān)督學(xué)習(xí)方法主要分為以下四種類型.

1）生成式方法的前提是假定樣本滿足一定的數(shù)據(jù)分布律，根據(jù)樣本學(xué)到該分布律的參數(shù)，然后對(duì)無(wú)標(biāo)記樣本標(biāo)簽加以預(yù)測(cè)，Ye Y 等人[3]將生成式模型用于SAR 圖像特征提取過(guò)程，刻畫SAR 圖像的語(yǔ)義特征.生成式方法的缺陷在于，數(shù)據(jù)的分布律需事先假設(shè)，不同數(shù)據(jù)的分布律往往不同.另外，求得的分布律參數(shù)容易陷入局部最優(yōu).

2）基于圖的方法是通過(guò)構(gòu)造樣本間的幾何結(jié)構(gòu)來(lái)形成圖結(jié)構(gòu).其缺陷是，時(shí)間復(fù)雜度是O（n2）.近年來(lái)，在SAR 圖像分類場(chǎng)景下，不少學(xué)者在圖方法與深度學(xué)習(xí)相結(jié)合的方向有所研究，Cao Y 等人[4]在極化SAR 圖像上將二者結(jié)合，在精度上取得了很好的效果，但本身圖方法的時(shí)間復(fù)雜度就高，引入深度學(xué)習(xí)又加劇了時(shí)間的消耗.

3）低密度分割法期望得到穿過(guò)輸入空間的低密度區(qū)域的分類邊界.目標(biāo)都是將有標(biāo)記樣本能夠正確劃分，且穿過(guò)特征空間中密度最低的區(qū)域，其普遍存在的問(wèn)題是，求解分類邊界是一個(gè)復(fù)雜的優(yōu)化問(wèn)題.

4）基于分歧的方法利用多個(gè)學(xué)習(xí)器間的“分歧”來(lái)發(fā)揮未標(biāo)記樣本的作用. 協(xié)同訓(xùn)練算法（cotraining）[5]是基于分歧的方法的代表方法. 該方法通過(guò)不同視圖學(xué)習(xí)到的兩個(gè)分類器之間的互相學(xué)習(xí)來(lái)提高模型的效能. 2012 年，Wang L 等人[6]提出結(jié)合co-training 和co-testing 的 方 法（PCTACT），2014年，Xie H 等人[7]提出結(jié)合基于像素的多特征方法與集成學(xué)習(xí)相結(jié)合的SAR 圖像分類的方法（MLRF），2018 年，Wang Y[8]將SVM 作為協(xié)同訓(xùn)練的分類器（PCTSVM），應(yīng)用在SAR 地物二分類中.它們的問(wèn)題是都以像素為基本分類單元，分類結(jié)果區(qū)域仍受到噪聲干擾，

綜合以上分析，半監(jiān)督方法本身就適用于樣本較少的場(chǎng)景.由于其中的協(xié)同訓(xùn)練方法的假設(shè)不像其他3 種方法約束性強(qiáng)，且復(fù)雜度在可接受范圍，所以，本文在基于分歧的方法里的協(xié)同訓(xùn)練框架上，試圖解決在SAR 圖像分類中仍然存在較多噪聲導(dǎo)致分類效果不佳的問(wèn)題，從而提高分類精度.

2 本文方法

相干斑噪聲在圖像上的呈現(xiàn)方式是像素級(jí)別.而超像素是具有相似性質(zhì)的像素點(diǎn)的集合[9]，且具有良好的物體邊緣貼合特性，故本文采用超像素作為整個(gè)方法的基本處理單元.在半監(jiān)督協(xié)同訓(xùn)練偽樣本的選取過(guò)程中，采用兩種策略分別處理高置信度樣本和低置信度樣本，做到樣本選取的精準(zhǔn)性.在較少訓(xùn)練樣本個(gè)數(shù)的同時(shí)，降低斑點(diǎn)噪聲的影響.

2.1 基于典型相關(guān)性分析的SAR 圖像高置信度樣本判別器

協(xié)同訓(xùn)練算法對(duì)視圖的要求之一是充分性，故兩個(gè)視圖中部分樣本的投影應(yīng)與真值樣本有強(qiáng)相關(guān)性.因此，若能夠得到兩個(gè)視圖的相關(guān)投影，就可以用它們對(duì)未標(biāo)記樣本進(jìn)行預(yù)測(cè).本節(jié)結(jié)合協(xié)同訓(xùn)練和典型相關(guān)性分析，在偽樣本選取過(guò)程中篩選高置信度樣本，加速模型訓(xùn)練和標(biāo)記過(guò)程.

典型相關(guān)性分析（canonical correlation analysis，CCA）[10]是常用的發(fā)掘數(shù)據(jù)之間關(guān)聯(lián)關(guān)系的算法，用于尋找兩組特征向量集的投影向量，使這些特征集的投影最大相關(guān).形式化描述為，CCA 嘗試為特征矩陣X1=（x11，x12，…，x1l+u），X2=（x21，x22，…，x2l+u）找到兩個(gè)投影向量wX1和wX2.從而使得它們的投影和的線性相關(guān)性最大.用CX1X2表示X1和X2的組間協(xié)方差矩陣，CX1X1和CX2X2分別表示X1和X2的組內(nèi)協(xié)方差矩陣.則目標(biāo)函數(shù)是

將式（1）用拉格朗日乘數(shù)法表示為

令式（2）等于0，分別求L（wX1，wX2，λX1，λX2）對(duì)wX1，wX2，λX1，λX2的偏導(dǎo)數(shù)，算得兩個(gè)投影向量wX1和wX2，以及對(duì)應(yīng)的系數(shù)λX1，λX2.根據(jù)多元函數(shù)的極值計(jì)算規(guī)則，將結(jié)果代入式（1），只有一組滿足條件的wX1，wX2，λX1，λX2.但現(xiàn)實(shí)中，特征間的條件獨(dú)立性難以滿足，故那些并非最強(qiáng)相關(guān)的投影向量和系數(shù)也不能忽略.所以得到的滿足條件的投影向量及其系數(shù)可能不止一組.

樣本X=（X1，X2）.在上文求得的投影向量上的投影表示為

計(jì)算有標(biāo)記樣本和無(wú)標(biāo)記樣本之間的相似度：

其中，x10和x20分別為某有標(biāo)記樣本x0的兩個(gè)視圖特征，x1i和x2i是第i個(gè)待測(cè)未標(biāo)記樣本xi在兩個(gè)視圖下的特征.Pk（x10是在第k組wX1，wX2值下，樣本x0的投影，simi，k，0是未標(biāo)記樣本xi與已標(biāo)記樣本x0在第k組投影下，得到的相似性度量值.

計(jì)算在所有的k組投影向量下，同一未標(biāo)記樣本在某個(gè)已標(biāo)記樣本x0下相似度的累加和，作為該未標(biāo)記樣本在x0下的置信度，如式（6）所示.

其中，ρi為待測(cè)樣本xi的置信度.則xi的偽標(biāo)簽就是該樣本在所有標(biāo)記樣本下取最大置信度時(shí)，有標(biāo)記樣本所對(duì)應(yīng)的標(biāo)簽形式化表述為

現(xiàn)將以典型相關(guān)分析為基礎(chǔ)的判別器與協(xié)同訓(xùn)練相結(jié)合，對(duì)高置信度SAR 圖像樣本進(jìn)行篩選，從而提高模型的健壯性.降低相干斑噪聲影響，算法的具體步驟見(jiàn)表1.

表1 SAR 圖像高置信度樣本選取算法表Tab.1 SAR image high confidence sample selection algorithm table

2.2 基于主動(dòng)學(xué)習(xí)和超像素的SAR 圖像低置信度樣本擴(kuò)充方法

模型的性能并不是隨著標(biāo)注數(shù)據(jù)量的增多而無(wú)限上升，而是有相應(yīng)的瓶頸，關(guān)注的正是如何使用盡可能少的標(biāo)注數(shù)據(jù)去達(dá)到這個(gè)瓶頸.協(xié)同訓(xùn)練通過(guò)偽樣本的選擇能夠有效地?cái)U(kuò)充樣本，主動(dòng)學(xué)習(xí)使得樣本的選擇更加精準(zhǔn).近年來(lái)，協(xié)同訓(xùn)練法和主動(dòng)學(xué)習(xí)法相結(jié)合，更好地發(fā)揮了各自的優(yōu)勢(shì).

2017 年，Zhou ZW 等人[11]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與主動(dòng)學(xué)習(xí)，用于結(jié)腸鏡框架分類，息肉檢測(cè)等樣本稀少的醫(yī)學(xué)圖像領(lǐng)域，作為增加樣本的一種手段.整個(gè)過(guò)程基于這樣一個(gè)事實(shí)，每個(gè)候選圖片樣本中有若干個(gè)塊，這些塊與候選樣本的標(biāo)簽相同.而后通過(guò)交叉熵和相對(duì)熵來(lái)衡量每個(gè)塊對(duì)分類器提升的效能，從而確定最終的候選擴(kuò)充樣本.

超像素由若干性質(zhì)相似的像素構(gòu)成，這些像素與它們所在的超像素?fù)碛型粋€(gè)標(biāo)簽.因而超像素本身具有多實(shí)例[12]的特點(diǎn)，即定義包為多個(gè)示例的集合.每個(gè)實(shí)例都有一個(gè)隱藏的類標(biāo)簽.把超像素作為候選擴(kuò)充的基本單元，根據(jù)以上分析，鑒于SAR 圖像樣本稀少的問(wèn)題，提出將主動(dòng)學(xué)習(xí)和超像素相結(jié)合的SAR 圖像低置信度樣本擴(kuò)充方法，分為兩個(gè)步驟：

1）將權(quán)重最大的樣本作為主動(dòng)學(xué)習(xí)樣本. 樣本權(quán)重由熵得到，即式（8）.其中是樣本x屬于標(biāo)簽y的概率.

2）對(duì)權(quán)重最高的超像素樣本進(jìn)行塊擴(kuò)充.

用圖1 和表2 對(duì)過(guò)程更直觀地描述，算法描述如下.

圖1 基于主動(dòng)學(xué)習(xí)和超像素的SAR 圖像樣本擴(kuò)充示意圖Fig.1 SAR image sample expansion based on active learning and super-pixels

表2 基于主動(dòng)學(xué)習(xí)和超像素的SAR 圖像低置信度樣本擴(kuò)充算法表Tab.2 Low-confidence sample augmentation algorithm table for SAR images based on active learning andsuper-pixels

將SP_CT-SS_H 算法和SP-CT-SS-L 算法統(tǒng)一于偽樣本選取過(guò)程之中，整個(gè)算法的框架圖如圖2所示.

3 實(shí)驗(yàn)驗(yàn)證與分析

在仿真圖像和真實(shí)SAR 圖像上，對(duì)本文提出的方法和前人方法進(jìn)行比較.本文中所有的實(shí)驗(yàn)均在Intel（R）Core（TM）i3-3240 CPU，3.40GHz，4GB RAM的臺(tái)式機(jī)上運(yùn)行，操作系統(tǒng)為Windows 10（64bit），開發(fā)環(huán)境為MATLAB 2016（b）.

比較的方法[6-8]，根據(jù)其文中含義，分別命名為PCTSVM，MLRF，PCTACT，本文提出的方法命名為SPCS-SVM.接下來(lái)以這些縮寫指代這些方法.

圖2 本文提出方法的總流程圖Fig.2 The flow chart of the method presented in this paper

為定量比較各方法的效果，采用多個(gè)數(shù)據(jù)指標(biāo)進(jìn)行比對(duì).包括圖像的總召回率，各區(qū)域分類的平均召回率，以及整體圖像的平均分類時(shí)間.圖像的混淆矩陣，Kappa 系數(shù)等.初始樣本在0 至60 區(qū)間內(nèi)，按照5 為遞增步長(zhǎng)進(jìn)行分類.需指出的是，因初始采用隨機(jī)采樣，所以在計(jì)算精度及其相關(guān)指標(biāo)時(shí)，去除了初始標(biāo)記樣本，且在計(jì)算總體和區(qū)域召回率和時(shí)間時(shí)都是5 次取樣得到的平均值，避免結(jié)果的偶然性.

首先是在仿真圖像上的分類實(shí)驗(yàn). 圖像syn_1為仿真圖像，包含4 個(gè)區(qū)域.圖像原始大小為442×442像素，超像素分割個(gè)數(shù)取2 575，緊湊度為135.統(tǒng)一在初始樣本個(gè)數(shù)m 為30 下運(yùn)行5 次，取5 次中的最好結(jié)果.之所以取m 為30，在于包含本文提出方法在內(nèi)的所有方法在m=30 時(shí)效果最好.其他參量保持原始設(shè)置.可視化分類結(jié)果如圖3 所示.

通過(guò)可視化分類結(jié)果，發(fā)現(xiàn)在每個(gè)區(qū)域內(nèi)，的分類結(jié)果最好，幾乎沒(méi)有雜質(zhì). 而在其他對(duì)比方法之中，各區(qū)域內(nèi)都存在大大小小的誤分類點(diǎn).這些誤分類點(diǎn)產(chǎn)生的原因，是因?yàn)镾AR 圖像本身的斑點(diǎn)噪聲產(chǎn)生的，而的方法在區(qū)域內(nèi)幾乎沒(méi)有雜點(diǎn)，是因?yàn)閷颖净締卧x取為超像素以在此之上的樣本選擇策略而產(chǎn)生的.

圖3 syn_1 上的分類結(jié)果圖Fig.3 Classification results on syn_1

通過(guò)可視化混淆矩陣來(lái)進(jìn)一步分析各區(qū)域的分類效果.如圖4 所示.

圖4 各方法在syn_1 圖下的混淆矩陣圖Fig.4 Confusion matrix graphs of methods under syn_1 graph

觀測(cè)混淆矩陣圖，發(fā)現(xiàn)本文的方法得到的結(jié)果，在對(duì)角線上呈現(xiàn)的效果最好，且除對(duì)角線之外的區(qū)域幾乎沒(méi)有誤分色塊.區(qū)域編號(hào)按照?qǐng)D4（a）的左側(cè)為區(qū)域1，而后順時(shí)針依次編號(hào).方法PCTSVM 在第二類區(qū)域上有誤分為第三類的情況；方法MLRF 在在第一，第二，第三，第四類區(qū)域上各有誤分；方法PCTACT 在第二，第三類區(qū)域上各有誤分.

接下來(lái)，繼續(xù)采用數(shù)據(jù)指標(biāo)進(jìn)行定量分析.結(jié)果匯總在表3 中.通過(guò)進(jìn)一步比對(duì)表格數(shù)據(jù)，發(fā)現(xiàn)在其他條件相同的情況下，的方法SP-CS-SVM 總體召回率和Kappa 系數(shù)在4 種方法中最高. 而且，SP-CSSVM 在4 個(gè)區(qū)域中有3 個(gè)區(qū)域的召回率等指標(biāo)上取得最高值，雖然方法MLRF 的時(shí)間是4 種方法中最快的，但SP-CS-SVM 方法，除了區(qū)域2 的召回率和Kappa 系數(shù)都超過(guò)了方法MLRF . 而在區(qū)域2 中的方法不及其他方法的原因，是因?yàn)閰^(qū)域2 的平均灰度近似于區(qū)域3 造成的.

表3 圖syn_1 下的數(shù)據(jù)比較表Tab.3 Data comparison table under syn 1 graph

而后是在真實(shí)圖像上的實(shí)驗(yàn)及其分析. 圖像real_1 為真實(shí)圖像，包含3 個(gè)區(qū)域. 分別是道路，陸地和城市. 圖像原始大小為256*256 像素，超像素分割個(gè)數(shù)1 265 ，緊湊度105 . 統(tǒng)一運(yùn)行5 次，SAR圖像real_1 的可視化分類結(jié)果取5 次中的最好結(jié)果.本文提出的方法SP-CS-SVM 的初始樣本m=10，方法PCTSVM 的m=25，方法MLRF 的m=30. 方法PCTACT 的m=15.其他參量保持原始設(shè)置不變.

可視化分類結(jié)果如圖5 所示.

直觀地發(fā)現(xiàn)在陸地和道路上，的分類結(jié)果雜質(zhì)極少，且有雜質(zhì)的區(qū)域相對(duì)集中；而在其他對(duì)比方法之中，各區(qū)域內(nèi)都存在大大小小的誤分類點(diǎn).尤其是方法P-CT-SVM.這些誤分類點(diǎn)產(chǎn)生的原因，根源是SAR 圖像本身的斑點(diǎn)噪聲，而對(duì)比方法雖然采用協(xié)同訓(xùn)練或者集成方法增加了分類器的冗余，但對(duì)斑點(diǎn)噪聲的魯棒性仍然效果不佳.而的方法直觀上效果較好的原因，根源上因?yàn)樘岢龇椒ǖ幕痉诸悊卧浅袼兀移銼AR 圖像處理半監(jiān)督方法在迭代過(guò)程中更有針對(duì)性地選擇樣本，從而得到了相對(duì)于對(duì)比方法更好的分類效果.

圖5 real_1 上的分類結(jié)果圖Fig.5 Classification results on real_1

通過(guò)可視化混淆矩陣進(jìn)一步分析各區(qū)域的分類效果，如圖6 所示.

通過(guò)混淆矩陣圖，可以發(fā)現(xiàn)本文的方法在除對(duì)角線之外的區(qū)域幾乎沒(méi)有誤分色塊. 對(duì)比方法PCTSVM 在第一類區(qū)域上有誤分為第二類的情況；第三類有誤分為第一類和第二類的情況；對(duì)比方法MLRF 在第一，第三類區(qū)域上有明顯誤分；對(duì)比方法PCTACT 在第二，第三類區(qū)域上有明顯誤分.另外還需指出的是的方法僅用到了初始樣本個(gè)數(shù)m=10，就在總召回率上達(dá)到甚至超越了其他方法.

圖6 各方法在real_1 圖下的混淆矩陣圖Fig.6 Confusion matrix graphs of methods under the real_1 graph

采用數(shù)據(jù)指標(biāo)進(jìn)行定量分析. 結(jié)果匯總在表4中.需要再次聲明的是，在real_1 上，本文提出的方法僅在初始樣本個(gè)數(shù)為10 的情況下分類.通過(guò)表格數(shù)據(jù)的進(jìn)一步比對(duì)發(fā)現(xiàn)，在其他條件相同的情況下，方法SP-CS-SVM 總體召回率在所有方法中最高，雖然方法MLRF 的時(shí)間上在4 種方法上是最快的，Kappa 系數(shù)也是最高的，但的方法，在所需的初始樣本個(gè)數(shù)上比方法MLRF 少三分之二的情況下仍然十分接近它，且總召回超過(guò)該方法.

表4 real_1 下的數(shù)據(jù)比較表Tab.4 Data comparison table under real_1 graph

提出的方法SP-CS-SVM 在SAR 圖像分類中取得效果較好原因，首先是采用超像素為基本單元，這樣就有效抑制了斑點(diǎn)噪聲對(duì)分類結(jié)果的影響，這是精度提高的原因，此外，由于引入了典型相關(guān)性分析作為額外的分類器，以及使用基于主動(dòng)學(xué)習(xí)思想來(lái)有重點(diǎn)地?cái)U(kuò)充不確定性樣本，使得在初始訓(xùn)練樣本個(gè)數(shù)相同的情況下，本方法的分類效果更好.

4 結(jié) 論

本文采用超像素作為整個(gè)方法的基本處理單元.在半監(jiān)督協(xié)同訓(xùn)練偽樣本的選取過(guò)程中，采用兩種策略分別處理高置信度樣本和低置信度樣本，從而精準(zhǔn)地選取訓(xùn)練樣本.通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證，該方法在標(biāo)注樣本較少的情況下，與其它半監(jiān)督協(xié)同訓(xùn)練相關(guān)方法相比，取得了較好的效果和精度，有效降低了相干斑噪聲對(duì)分類效果的影響.