基于多輪修正噪聲標(biāo)簽的神經(jīng)網(wǎng)絡(luò)分類框架

王學(xué)剛,王玉峰

(南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003)

0 引 言

最近,基于監(jiān)督學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)在諸多領(lǐng)域取得了巨大的成功[1],但是帶噪聲標(biāo)簽的訓(xùn)練樣本,對其性能產(chǎn)生很大影響[2-4]。噪聲標(biāo)簽在數(shù)據(jù)收集和標(biāo)注過程中是自然存在的。雇傭?qū)I(yè)人員來標(biāo)注數(shù)據(jù)其成本非常高,因此實際中更多采用的做法是使用眾包平臺來完成標(biāo)注工作[5],如此雖降低了成本,但標(biāo)注質(zhì)量通常較差[6-7];另外在一些特殊領(lǐng)域(如醫(yī)學(xué)成像),其數(shù)據(jù)標(biāo)注工作非常復(fù)雜,即使專家標(biāo)注也可能因為標(biāo)注者的主觀性或缺乏經(jīng)驗而產(chǎn)生噪聲標(biāo)簽[8]。

對噪聲標(biāo)簽對網(wǎng)絡(luò)的消極影響問題,目前的解決方案包括建模標(biāo)簽轉(zhuǎn)移模型和清除帶噪數(shù)據(jù)等,其在相應(yīng)的實驗仿真中都展現(xiàn)出了一定的抗噪聲性能,同時也暴露出了一定的局限性。基于建模標(biāo)簽轉(zhuǎn)移模型的方法往往通過增加額外網(wǎng)絡(luò)層來建模標(biāo)簽轉(zhuǎn)移關(guān)系或利用標(biāo)簽轉(zhuǎn)移矩陣來矯正損失函數(shù),該類方法依賴于對標(biāo)簽轉(zhuǎn)移關(guān)系的準(zhǔn)確建?；驑?biāo)簽轉(zhuǎn)移矩陣的高精度估計,該工作通常存在一定的挑戰(zhàn);其次,基于清除帶噪數(shù)據(jù)的方法是將帶噪數(shù)據(jù)進(jìn)行剔除或給予較小的權(quán)重,然而這樣的操作不但減小了數(shù)據(jù)集的規(guī)模,并且可能忽略掉一些重要數(shù)據(jù)、破壞數(shù)據(jù)集的完整性。

針對已有方法存在的問題,該文提出了一種基于多輪修正對抗噪聲標(biāo)簽的神經(jīng)網(wǎng)絡(luò)分類框架MCNN。具體而言,貢獻(xiàn)主要在以下3個方面:

首先,提出了一種估計數(shù)據(jù)集標(biāo)簽轉(zhuǎn)移矩陣和噪聲率的方法。與之前的工作相比,該方法不需要引入額外的人工標(biāo)注成本。

其次,根據(jù)“小損失”準(zhǔn)則提出了一種篩選帶噪數(shù)據(jù)的方法,同時還提出了一種有效的方法來修正噪聲標(biāo)簽。與之前的工作相比,提出的篩選帶噪數(shù)據(jù)方法不依賴于特定的系統(tǒng)或網(wǎng)絡(luò),同時對篩選出的噪聲標(biāo)簽進(jìn)行修正,保留了數(shù)據(jù)集的完整性。

最后,在多個真實數(shù)據(jù)集上對所提出的MCNN進(jìn)行了訓(xùn)練測試,表明MCNN能夠有效地對抗噪聲標(biāo)簽,提升模型的分類性能。

1 相關(guān)工作

近年來,緩解噪聲標(biāo)簽對神經(jīng)網(wǎng)絡(luò)影響的方法有很多。Reed等[9]提出了一種樣本重標(biāo)注的方法Bootstrapping,使用神經(jīng)網(wǎng)絡(luò)預(yù)測值和原始標(biāo)簽的線性組合對全體樣本進(jìn)行重標(biāo)注,然后進(jìn)行反向傳播訓(xùn)練網(wǎng)絡(luò),缺點在于在大噪聲率情況下效果不佳。余等[10]也提出了一種基于重標(biāo)注樣本來對抗噪聲標(biāo)簽的方法,然而局限性在于其主要適用于“二元分類”任務(wù)。

Jindal等[11]采用增加“噪聲適應(yīng)層”來構(gòu)建標(biāo)簽轉(zhuǎn)移模型。通過在基本網(wǎng)絡(luò)的softmax層后面增加一個K*K維的線性約束層來建模標(biāo)簽轉(zhuǎn)移模型,并使用正則化來懲罰線性約束層的跡以使線性約束層逼近于實際標(biāo)簽轉(zhuǎn)移模型,然而該方法的缺點是對數(shù)據(jù)的噪聲類型有一定限制。

與在基本網(wǎng)絡(luò)后附加“噪聲適應(yīng)層”的方案不同,文獻(xiàn)[12-14]將建模標(biāo)簽轉(zhuǎn)移模型和訓(xùn)練分類器解耦,代表性的工作有:Patrini等[12]提出了“前向糾正”法F-correction來矯正損失函數(shù)。首先,利用估計的標(biāo)簽轉(zhuǎn)移矩陣與數(shù)據(jù)樣本的網(wǎng)絡(luò)預(yù)測值做矩陣乘積,然后,將所得結(jié)果與標(biāo)簽值計算交叉熵?fù)p失以此達(dá)到矯正損失的目的,但估計標(biāo)簽轉(zhuǎn)移矩陣通常存在誤差,數(shù)據(jù)量較大時存在誤差累積問題。

Malach等[15]在觀察利用帶噪聲標(biāo)簽數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)時發(fā)現(xiàn),在整個訓(xùn)練過程中網(wǎng)絡(luò)傾向于在擬合帶噪聲標(biāo)簽的數(shù)據(jù)之前先擬合帶正確標(biāo)簽的數(shù)據(jù),因此在網(wǎng)絡(luò)的整個訓(xùn)練過程中平均損失較大的數(shù)據(jù)更大概率是帶噪聲標(biāo)簽的數(shù)據(jù),該訓(xùn)練特性稱作“小損失”原則。

之后利用“小損失”原則產(chǎn)生了一系列對抗噪聲標(biāo)簽的方法[16-18],代表性的工作有:Han等[16]提出了一種名為Co-teacher的聯(lián)合學(xué)習(xí)方法,該方法同時訓(xùn)練兩個不同的網(wǎng)絡(luò),兩個網(wǎng)絡(luò)都基于本網(wǎng)絡(luò)中樣本的損失值移除可能的帶噪聲標(biāo)簽數(shù)據(jù),然后將去噪后的數(shù)據(jù)傳給另一個網(wǎng)絡(luò)做下一次迭代更新,然而該方法在訓(xùn)練后期存在網(wǎng)絡(luò)“靠攏”問題,另外將含噪數(shù)據(jù)移除有可能意外地去除一些有用樣本,同時假設(shè)數(shù)據(jù)集的噪聲率是已知的不符合真實的任務(wù)場景。

2 MCNN框架和組成部分

2.1 MCNN基本模型結(jié)構(gòu)

如圖1所示,MCNN網(wǎng)絡(luò)框架在每輪修正中包括4個步驟:估計標(biāo)簽轉(zhuǎn)移矩陣、估計數(shù)據(jù)集的噪聲率、篩選可能的帶噪數(shù)據(jù)和自適應(yīng)修正帶噪數(shù)據(jù)中的標(biāo)簽。注意,在每一輪修正中,MCNN都更新所訓(xùn)練的DNN網(wǎng)絡(luò)以及所使用的數(shù)據(jù)集。

圖1 MCNN基本結(jié)構(gòu)

下面詳細(xì)描述了MCNN的各個主要組成部分。

2.2 估計標(biāo)簽轉(zhuǎn)移矩陣

標(biāo)簽i的“錨點樣本”xi本質(zhì)上為該標(biāo)簽的“完美樣本”,即神經(jīng)網(wǎng)絡(luò)對“錨點樣本”xi的輸出預(yù)測值滿足如下條件:

p(y=i|xi)→1,xi∈X,X∈D

p(y=j|xi)→0,i≠j

其中,D={X,Y}代表訓(xùn)練數(shù)據(jù)集,X代表數(shù)據(jù)集中的全體樣本。因此,該文將數(shù)據(jù)集所有樣本中最大概率標(biāo)注為某類標(biāo)簽的樣本近似看作該類標(biāo)簽的“錨點樣本”,即:

在獲取到各類標(biāo)簽的“錨點樣本”后,標(biāo)簽轉(zhuǎn)移概率可估計如下:

相應(yīng)的標(biāo)簽轉(zhuǎn)移矩陣估計如下:

在MCNN的多輪修正過程中,每一輪都估計當(dāng)前訓(xùn)練數(shù)據(jù)集Dt的標(biāo)簽轉(zhuǎn)移矩陣Pt,其中t表示當(dāng)前訓(xùn)練的輪數(shù)。

2.3 計算加權(quán)平均噪聲率

帶數(shù)據(jù)集的噪聲率在諸多任務(wù)場景中通常是未知量,然而清除帶噪數(shù)據(jù)需要噪聲率作為指標(biāo)?，F(xiàn)有的方案[18]中利用專業(yè)人員標(biāo)注小批量數(shù)據(jù)并進(jìn)行專家比對計算噪聲率。進(jìn)而根據(jù)小批量數(shù)據(jù)的噪聲率估計整體數(shù)據(jù)集的噪聲率,估計的質(zhì)量取決于小批量數(shù)據(jù)的抽樣和選擇方法,且專業(yè)人員的引入增加了任務(wù)的額外代價。

B=A×P

rw=W?R

多輪修正過程中,針對第t輪的訓(xùn)練數(shù)據(jù)集Dt,其加權(quán)平均噪聲率rw, t可利用其標(biāo)簽轉(zhuǎn)移矩陣Pt求得。

2.4 篩選帶噪數(shù)據(jù)

“小損失”準(zhǔn)則表明利用各數(shù)據(jù)在訓(xùn)練過程中的損失值可以幫助篩選帶噪數(shù)據(jù)。依賴單一網(wǎng)絡(luò)的數(shù)據(jù)損失存在“意外記憶”問題。Han等[16]提出了一種雙網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)的方法,然而該方法的缺點在于網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜。

在多輪修正的第t輪修正中,依據(jù)上述方法將本輪的訓(xùn)練數(shù)據(jù)集Dt按照加權(quán)平均噪聲率rw, t劃分為帶正確標(biāo)簽的數(shù)據(jù)集Dt,l和帶噪聲標(biāo)簽的數(shù)據(jù)集Dt,n,其計算公式如下:

Dt,l=Dt*(1-rw, t)

Dt,n=Dt*rw,t

考慮到篩選存在的誤差,在Dt,n中包含的數(shù)據(jù)包括真實帶噪數(shù)據(jù)量St和意外篩選數(shù)據(jù)量Ut,且有:

Dt,n=St+Ut

此時,數(shù)據(jù)集中實際的帶正確標(biāo)簽的數(shù)據(jù)量可記作Dt,r,有:

Dt,r=Dt,l+Ut

2.5 聯(lián)合修正噪聲標(biāo)簽

基于清除帶噪數(shù)據(jù)的方法采取將帶噪聲標(biāo)簽的數(shù)據(jù)從訓(xùn)練數(shù)據(jù)集中清除或給予較小的權(quán)重[18],然而該操作有可能意外地去除或忽略一些有用樣本[6],從而影響網(wǎng)絡(luò)的最終性能。為此,結(jié)合標(biāo)簽轉(zhuǎn)移矩陣和神經(jīng)網(wǎng)絡(luò)的輸出預(yù)測值,該文提出了一種針對噪聲標(biāo)簽的聯(lián)合修正方法。

在大噪聲率下有:

在小噪聲率下有:

其中,a為超參數(shù),其值的選取依賴于數(shù)據(jù)集的噪聲類型。權(quán)重因子滿足在數(shù)據(jù)集的噪聲率較大時,使修正值主要依賴于標(biāo)簽轉(zhuǎn)移矩陣修正值;在噪聲率較小時,使修正值主要依賴于網(wǎng)絡(luò)預(yù)測修正值。根據(jù)數(shù)據(jù)集的噪聲率變化自適應(yīng)地調(diào)整兩個修正值的貢獻(xiàn)度以提高修正的準(zhǔn)確性。

在多輪修正的第t輪修正中,利用上述方法對篩選出的帶噪聲標(biāo)簽數(shù)據(jù)集Dt,n進(jìn)行標(biāo)簽修正,其中對于真實帶噪數(shù)據(jù)量St,若假設(shè)修正準(zhǔn)確率為λt,則該輪正確修正的數(shù)據(jù)量為λt*St;同理針對意外篩選數(shù)據(jù)量Ut,若假設(shè)意外改錯率為μt,則意外糾錯數(shù)據(jù)量為μt*Ut。

因此,由上述可求得第t+1輪修正中的訓(xùn)練數(shù)據(jù)集Dt+1中實際的帶正確標(biāo)簽的數(shù)據(jù)量,記作Dt+1,r,其中:

Dt+1,r=Dt,r+λt*St-μt*Ut

且在標(biāo)簽修正過程中正確修正的數(shù)據(jù)量通常遠(yuǎn)大于意外糾錯數(shù)據(jù)量,即:λt*St>μt*Ut,所以有:

Dt+1,r>Dt,r

綜上所述,MCNN的修正算法能夠有效地逐輪增加訓(xùn)練數(shù)據(jù)集中的帶正確標(biāo)簽數(shù)據(jù)量,符合網(wǎng)絡(luò)設(shè)計預(yù)期。

2.6 多輪修正的截止條件

該文采取了多輪修正的策略,以盡可能地改善數(shù)據(jù)集的標(biāo)簽質(zhì)量水平。多輪修正截止條件的設(shè)定可以有多種方法。

實驗發(fā)現(xiàn)當(dāng)數(shù)據(jù)集的噪聲率低于10%時,繼續(xù)降低噪聲率,訓(xùn)練的網(wǎng)絡(luò)性能無顯著提升。因此,將截止條件設(shè)置為:估計所得數(shù)據(jù)集的噪聲率低于10%時截止訓(xùn)練。

需要明確指出的是:提出的MCNN是一種通用的基于多輪修正使用噪聲標(biāo)簽數(shù)據(jù)進(jìn)行分類的網(wǎng)絡(luò)架構(gòu),不依賴于所使用的多輪修正截止條件。

3 實 驗

3.1 數(shù)據(jù)集說明

為了驗證MCNN的性能,在多個數(shù)據(jù)集上進(jìn)行了實驗,包括MNIST、FASHION_MNIST和CIFAR-10。

3.2 人工加噪

為了獲得相應(yīng)的帶噪數(shù)據(jù),該文采取了三種廣泛使用的加噪方式對數(shù)據(jù)集進(jìn)行人工加噪。

(1)對稱噪聲(Symmetric Noise)[8]:每一類標(biāo)簽以相同概率轉(zhuǎn)換為其他可能的標(biāo)簽。

(2)成對翻轉(zhuǎn)噪聲(Pair-flip Noise)[19]:將某一類標(biāo)簽按照某個概率隨機替換為其他某一類標(biāo)簽。

(3)模擬真實世界噪聲(Simulated Real-words Noise)[20]:考慮數(shù)據(jù)集的樣本特征選取其中最有可能混淆的類別并在它們之間進(jìn)行替換。

注意在對稱噪聲(Symmetric Noise)中,每一類標(biāo)簽以相同概率轉(zhuǎn)換為其他可能的標(biāo)簽,轉(zhuǎn)換概率和為噪聲率;針對成對翻轉(zhuǎn)噪聲(Pair-flip Noise)和模擬真實噪聲(Simulated Real-world Noise),如果人工加噪率超過50%即噪聲標(biāo)簽的數(shù)目超過正確標(biāo)簽的數(shù)目,則網(wǎng)絡(luò)將無法學(xué)習(xí)到數(shù)據(jù)集的有效信息[16]。因此,針對不同的噪聲類型,該文選取了不同的噪聲率進(jìn)行實驗,具體如表1所示。

表1 人工加噪過程中各類型噪聲的噪聲率

3.3 對比方案

在對比實驗中,將MCNN和多種最新的基于噪聲標(biāo)簽訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)的方案進(jìn)行了全面深入的對比。對比方案描述如下:

Direct-Training:直接利用帶噪數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò),是最基本的對比標(biāo)準(zhǔn),同時可以直觀地看到噪聲標(biāo)簽對神經(jīng)網(wǎng)絡(luò)性能的影響。

Bootstrapping[9]:使用網(wǎng)絡(luò)的預(yù)測值和原始標(biāo)簽的加權(quán)組合作為樣本的新標(biāo)簽,然后進(jìn)行反向傳播訓(xùn)練網(wǎng)絡(luò)。

F-Correction[12]:估計帶噪數(shù)據(jù)集的標(biāo)簽轉(zhuǎn)移矩陣,然后利用該矩陣修改基本分類網(wǎng)絡(luò)的輸出,之后利用修改后結(jié)果和噪聲標(biāo)簽構(gòu)成的損失函數(shù)訓(xùn)練分類器來達(dá)到抗噪聲標(biāo)簽的效果。

Co-Teacher[16]:訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)。每個網(wǎng)絡(luò)指導(dǎo)另一個網(wǎng)絡(luò)在訓(xùn)練中篩除掉可能附有噪聲標(biāo)簽的數(shù)據(jù),以減小噪聲標(biāo)簽對網(wǎng)絡(luò)參數(shù)的影響。

在F-Correction中,該文利用估計所得的標(biāo)簽轉(zhuǎn)移矩陣P修改分類網(wǎng)絡(luò)的輸出預(yù)測值,具體地:

其只利用矩陣元素的相對大小而不做矩陣乘法,誤差容限較大,所以具有一定的優(yōu)越性。

在Co-Teacher方案中,將原始訓(xùn)練數(shù)據(jù)集Dt中的帶噪聲標(biāo)簽數(shù)據(jù)Dt,n依據(jù)“小損失”準(zhǔn)則篩選出來并去除,并利用剩余的帶正確標(biāo)簽的數(shù)據(jù)集Dt,l訓(xùn)練網(wǎng)絡(luò),其缺點在于將Dt,n去除的做法嚴(yán)重削減了樣本數(shù)量,在大噪聲率條件下表現(xiàn)較差。該文提出的網(wǎng)絡(luò)框架則是將帶噪聲標(biāo)簽數(shù)據(jù)Dt,n逐輪修正,有效地擴大了帶正確標(biāo)簽的數(shù)據(jù)集Dt,l,因此在大噪聲率條件下具有一定的優(yōu)勢。

綜上所述,提出的MCNN網(wǎng)絡(luò)框架較現(xiàn)有的方法具有一定的優(yōu)勢。

3.4 實驗設(shè)置

(1)針對不同的數(shù)據(jù)集,選取了不同神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,具體信息如表2所示。

表2 數(shù)據(jù)集訓(xùn)練所用分類網(wǎng)絡(luò)

(2)關(guān)于篩選帶噪數(shù)據(jù)步驟中周期性改變網(wǎng)絡(luò)的學(xué)習(xí)率參數(shù)的相關(guān)設(shè)置:循環(huán)訓(xùn)練可解決網(wǎng)絡(luò)的“意外記憶”問題,然而循環(huán)次數(shù)過多會增加訓(xùn)練時長,平衡之下選取循環(huán)次數(shù)為3。

(3)關(guān)于修正策略的權(quán)重因子中參數(shù)的選取,其依賴于數(shù)據(jù)集的噪聲類型。鑒于在相同噪聲率條件下,在對稱噪聲的數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)具有較好的分類性能,而利用帶有成對翻轉(zhuǎn)噪聲和模擬真實噪聲的數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)分類性能則較差,因此在對抗對稱噪聲時a選取2;在成對翻轉(zhuǎn)噪聲和模擬真實噪聲時a選取0.7。

3.5 性能比較指標(biāo)

從分類精度上將提出的方案和各種對比方案進(jìn)行了比較和評估。模型在測試集上的分類精度定義為:

表3給出了各種方案在MNIST、FASHION-MNIST和CIFAR-10的測試集上的分類精度比較,其中S代表對稱噪聲,P代表成對翻轉(zhuǎn)噪聲,S-R代表模擬真實噪聲,相應(yīng)的數(shù)字代表人工加噪的噪聲率。

表3 各種方案在MNIST、FASHION-MNIST和CIFAR-10的測試集上的分類精度比較 %

3.6 實驗結(jié)果與分析

從表3中可以得出如下結(jié)論:

(1)MCNN在多種不同的噪聲類型和DNN網(wǎng)絡(luò)結(jié)構(gòu)下都取得了最好的分類性能,充分說明了該方案的優(yōu)越性和健壯性。

(2)由表3可以看出,Bootstrapping[9]在小噪聲率情況下如S-0.5和P-0.2表現(xiàn)良好,而在大噪聲率情況如S-0.7和P-0.45則表現(xiàn)較差,原因在于在大噪聲率下,網(wǎng)絡(luò)的預(yù)測值可信度較低,Bootstrapping將其與噪聲標(biāo)簽相組合不僅無法改善標(biāo)簽質(zhì)量,甚至還可能污染原本正確的標(biāo)簽。提出的MCNN只對篩選出的錯誤標(biāo)簽進(jìn)行處理,有效避免了污染正確標(biāo)簽的問題,因此最終的模型性能優(yōu)于前者,針對各類數(shù)據(jù)集在S-0.7和P-0.45上,MCNN最終的模型在分類精度上有超過20%的提升。

(3)相比于F-Correction[12],前者利用標(biāo)簽轉(zhuǎn)移矩陣與數(shù)據(jù)樣本的網(wǎng)絡(luò)預(yù)測值做矩陣乘積,然而標(biāo)簽轉(zhuǎn)移矩陣在估計時通常存在誤差,在數(shù)據(jù)集數(shù)據(jù)量較大時,存在誤差積累。該文提出的MCNN只單次利用標(biāo)簽轉(zhuǎn)移矩陣推測加權(quán)平均噪聲率誤差累積較小;同時,在標(biāo)簽修正階段,該文只利用矩陣元素的相對大小來提供一個噪聲標(biāo)簽修正值而不做矩陣乘法,誤差容限較大。因此,最終訓(xùn)練的模型在各類型噪聲下分類精度都有一定的提升。

(4)Co-Teacher[16]通過清潔數(shù)據(jù)集來對抗噪聲標(biāo)簽,在小噪聲率條件下,Co-Teacher和MCNN大體上性能相同,都實現(xiàn)了較好的抗噪聲性能,例如在MNIST和FASHION-MNIST上針對S-0.5都達(dá)到了超過90%的分類精度。而在大噪聲率條件下,MCNN的性能優(yōu)于Co-Teacher,原因在于Co-Teacher采用將帶噪數(shù)據(jù)清除,在大噪聲率條件下嚴(yán)重削減了樣本數(shù)量,而MCNN則采取將噪聲數(shù)據(jù)修正減少了數(shù)據(jù)量的損失,因此在大噪聲率下模型的性能優(yōu)于前者,例如在CIFAR-10數(shù)據(jù)集上針對S-0.7在分類精度上有接近7%的提升。

3.7 MCNN的可行性分析

提出的MCNN能夠改善數(shù)據(jù)集質(zhì)量的因素主要在于兩點:錯誤標(biāo)簽篩選和多輪修正。關(guān)鍵之處在于以下兩個方面:

(1)MCNN能夠?qū)崿F(xiàn)對數(shù)據(jù)集標(biāo)簽轉(zhuǎn)移矩陣的準(zhǔn)確估計,同時可以精確地估計數(shù)據(jù)集的噪聲率用以為篩選帶噪數(shù)據(jù)提供基準(zhǔn)。

(2)MCNN能夠?qū)崿F(xiàn)對帶噪數(shù)據(jù)的準(zhǔn)確篩選即具有較高的帶噪數(shù)據(jù)篩選精度,并且提出的修正方法可以實現(xiàn)對標(biāo)簽的“正向修正”。

3.7.1 仿真結(jié)果

選取MCNN在MNIST數(shù)據(jù)上針對模擬真實噪聲(S-R)的實驗結(jié)果詳細(xì)闡述MCNN的可行性。為此,采用如下5個MCNN運行過程中的中間性能量度來定量展示MCNN提升數(shù)據(jù)集質(zhì)量的兩個關(guān)鍵方面。

(1)標(biāo)簽轉(zhuǎn)移矩陣估計誤差。定義如下:

(2)噪聲率估計誤差。定義如下:

‖噪聲率實際值-加權(quán)平均噪聲率‖1

(3)帶噪數(shù)據(jù)篩選精度。定義如下:

(4)修正準(zhǔn)確率。定義如下:

(5)意外改錯率。定義如下:

圖2和圖3給出了在MNIST數(shù)據(jù)集上,MCNN在對抗模擬真實噪聲(S-R)時的實驗情況,經(jīng)過兩輪修正(第三輪截止訓(xùn)練)數(shù)據(jù)集噪聲率下降至設(shè)定閾值。

圖2 MCNN對抗S-R時標(biāo)簽轉(zhuǎn)移矩陣和噪聲率的估計誤差

圖3 MCNN對抗S-R時的帶噪數(shù)據(jù)篩選精度、修正準(zhǔn)確率和意外改錯率

3.7.2 標(biāo)簽轉(zhuǎn)移矩陣和噪聲率的估計情況

圖2中結(jié)果表明,MCNN能夠?qū)崿F(xiàn)對數(shù)據(jù)集標(biāo)簽轉(zhuǎn)移矩陣的準(zhǔn)確估計,在兩輪修正過程中標(biāo)簽轉(zhuǎn)移矩陣的估計誤差波動在2.24%～3.32%之間。同樣地,MCNN提出的加權(quán)平均噪聲率可以較準(zhǔn)確地估計數(shù)據(jù)集的噪聲率,由圖2可以看出在3輪訓(xùn)練過程中估計誤差波動在1.20%～1.91%之間。

3.7.3 篩選帶噪數(shù)據(jù)和修正情況

MCNN在處理模擬真實噪聲(S-R)時的篩選帶噪數(shù)據(jù)和標(biāo)簽修正情況如圖3所示。由圖中數(shù)據(jù)可得:在篩選帶噪數(shù)據(jù)上MCNN表現(xiàn)良好,帶噪數(shù)據(jù)篩選精度波動在81.64%左右;在噪聲標(biāo)簽修正方面,可以看出MCNN雖無法實現(xiàn)對篩選出的全部的噪聲標(biāo)簽進(jìn)行正確修正,但是在兩次修正過程中修正準(zhǔn)確率均遠(yuǎn)大于意外改錯率,即MCNN在各輪訓(xùn)練上均可實現(xiàn)對標(biāo)簽的“正向修正”。

綜上所述,提出的網(wǎng)絡(luò)框架MCNN能夠?qū)崿F(xiàn)數(shù)據(jù)集質(zhì)量提升的兩個關(guān)鍵方面,因此在經(jīng)過多輪修正后數(shù)據(jù)集質(zhì)量水平可達(dá)到預(yù)期目標(biāo),訓(xùn)練所得分類網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較理想的分類性能。

4 結(jié)束語

提出了一種通用的基于多輪修正的抗噪聲標(biāo)簽神經(jīng)網(wǎng)絡(luò)框架MCNN,以解決分類任務(wù)中噪聲標(biāo)簽對網(wǎng)絡(luò)性能的影響。MCNN首先基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)特性將帶噪聲標(biāo)簽數(shù)據(jù)按噪聲率比例篩選出來,之后利用修正方案修正噪聲標(biāo)簽逐輪提高數(shù)據(jù)集質(zhì)量,最后利用高質(zhì)量的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)。在多個真實數(shù)據(jù)集和多種噪聲類型下與其他基準(zhǔn)方案進(jìn)行了比較,結(jié)果表明提出的MCNN有較好的抗噪聲標(biāo)簽?zāi)芰Α＠枚噍喰拚姆椒▽?shù)據(jù)集中的噪聲標(biāo)簽進(jìn)行盡可能的修正,然而對于篩選出的帶噪數(shù)據(jù)可能不必要全部進(jìn)行修正,轉(zhuǎn)而利用選擇策略[21]選取其中對網(wǎng)絡(luò)參數(shù)有顯著影響的樣本進(jìn)行修正,則可優(yōu)化多輪修正的輪數(shù)和代價。之后的工作將是發(fā)掘、設(shè)計一些可行的選擇策略來選取數(shù)據(jù),這是文中工作的一個后續(xù)展望。