基于層次語義多項(xiàng)式DS融合的鐵路扣件狀態(tài)分布學(xué)習(xí)

黃翰鵬,羅建橋,李柏林

(西南交通大學(xué)機(jī)械工程學(xué)院,成都 610031)

引言

鐵路運(yùn)維工作中重要環(huán)節(jié)之一是檢查用于固定鋼軌的鐵路扣件工作狀態(tài)，一般包括正常、斷裂、丟失、遮擋4種，如圖1所示。由于戶外光照變化、局部道砟遮擋的廣泛存在，正常扣件容易被誤判為失效狀態(tài)，造成大量誤檢。目前，扣件視覺檢測方法主要通過設(shè)計(jì)判別性的特征，來確保及時(shí)發(fā)現(xiàn)失效扣件[1-4]。這些方法有效降低了失效扣件的漏檢率，卻未針對(duì)性地解決正常扣件誤檢問題。雖然卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)能夠自動(dòng)學(xué)習(xí)圖像特征，但依然無法克服扣件誤檢問題。這是因?yàn)榘罅繀?shù)的CNN往往快速且充分地?cái)M合到訓(xùn)練數(shù)據(jù)上，導(dǎo)致了CNN過擬合問題，削弱了網(wǎng)絡(luò)泛化能力。即使正?？奂D像發(fā)生細(xì)微變化，例如少量道砟，過擬合的網(wǎng)絡(luò)也會(huì)將扣件誤判為失效。采用單一圖像標(biāo)簽訓(xùn)練網(wǎng)絡(luò)是造成過擬合的重要原因，標(biāo)簽平滑被證明可有效緩解過擬合問題[5-6]。因此，針對(duì)扣件狀態(tài)設(shè)計(jì)合理的標(biāo)簽平滑方式是解決誤檢問題的關(guān)鍵。

圖1 鐵路扣件示意

標(biāo)簽分布學(xué)習(xí)(label distribution learning，LDL)是一種標(biāo)簽平滑手段，通過為每個(gè)訓(xùn)練樣本賦予一個(gè)標(biāo)簽分布向量對(duì)單標(biāo)簽進(jìn)行平滑，解決了傳統(tǒng)單標(biāo)簽學(xué)習(xí)中存在的標(biāo)簽歧義問題，同時(shí)，相比單標(biāo)簽學(xué)習(xí)，標(biāo)簽分布學(xué)習(xí)能夠緩解單標(biāo)簽學(xué)習(xí)的過擬合問題，提高模型適應(yīng)性[7]。標(biāo)簽分布向量取代了傳統(tǒng)單標(biāo)簽，向量內(nèi)元素代表對(duì)每種分類狀態(tài)的描述程度，常應(yīng)用于面部年齡估計(jì)、頭部姿態(tài)估計(jì)等領(lǐng)域[8-14]。一般的，LDL基于高斯分布，圖2(a)顯示了年齡估計(jì)任務(wù)中常用的標(biāo)簽分布，年齡估計(jì)任務(wù)中之所以能夠直接使用高斯分布，是因?yàn)槊娌刻卣鞯臅r(shí)序性及相近年齡的特征相似性，高斯分布能夠準(zhǔn)確且合理表達(dá)樣本標(biāo)簽。但并不是所有任務(wù)都能夠直接使用高斯分布等現(xiàn)有分布，扣件狀態(tài)就無法像年齡分布一樣將真實(shí)年齡平滑至附近年齡，故針對(duì)不同問題，合理的分布構(gòu)建方法是LDL的主要限制。

針對(duì)扣件誤檢問題，結(jié)合DS理論(Dempster Shafer，DS)融合多個(gè)層次的語義多項(xiàng)式(Semantic Multinomial，SMN)形成扣件狀態(tài)分布，提出基于層次語義多項(xiàng)式DS融合的扣件狀態(tài)分布學(xué)習(xí)方法(SMN-DS)。首先，根據(jù)圖像子塊卷積特征構(gòu)造圖像語義多項(xiàng)式SMN，表達(dá)扣件狀態(tài)分布；然后，提取多層卷積特征分別建立SMN，對(duì)層次化SMN進(jìn)行DS融合形成最終的狀態(tài)分布。狀態(tài)分布用于模型訓(xùn)練，測試階段以概率最大的狀態(tài)作為檢測結(jié)果。算法流程如圖3所示。

與關(guān)注特征的現(xiàn)有方法不同，所提算法改進(jìn)樣本的標(biāo)簽表達(dá)，目的是建立狀態(tài)分布表達(dá)圖像語義內(nèi)容。如圖2(b)所示，狀態(tài)分布不僅表達(dá)了正常狀態(tài)，而且反映了扣件被道砟遮擋。將正常狀態(tài)上的標(biāo)簽值平滑到遮擋狀態(tài)，是為了提高模型適應(yīng)性，防止含有少量道砟的正?？奂徽`檢。

圖2 狀態(tài)分布及圖像

圖3 SMN-DS算法流程

1 基于SMN-DS的狀態(tài)分布

將LDL遷移到扣件檢測任務(wù)需要構(gòu)造扣件狀態(tài)分布來表達(dá)圖像語義內(nèi)容。為此，提出基于SMN-DS的扣件狀態(tài)分布構(gòu)造方法。

1.1 扣件語義多項(xiàng)式

SMN是一種基于子塊的弱監(jiān)督學(xué)習(xí)方法，根據(jù)每個(gè)子塊的類別概率計(jì)算圖像的語義分布。采用這種弱監(jiān)督的語義表達(dá)可提高模型適應(yīng)性[15-19]。構(gòu)造SMN步驟如下。

首先，將任意類別c=1～C建模成關(guān)于子塊的概率分布。類別c可表示成混合高斯模型

(1)

(2)

(3)

然后，進(jìn)行歸一化

(4)

由于僅指定了圖像類別，未給出子塊類別，因此，SMN是關(guān)于子塊的弱監(jiān)督學(xué)習(xí)。圖像語義分布由所有子塊信息共同決定。如圖2(b)所示，道砟區(qū)域的子塊表達(dá)了遮擋狀態(tài)，扣件彈條和螺母區(qū)域的子塊則反映了正常扣件狀態(tài)。對(duì)應(yīng)的圖像狀態(tài)分布同時(shí)表達(dá)了多種狀態(tài)。

1.2 層次SMN的DS融合

不同層次的卷積特征具有互補(bǔ)的表達(dá)能力?；谥械蛯犹卣鞯腟MN，根據(jù)灰度、方向等底層信息表達(dá)圖像語義分布，基于高層特征的SMN，則從更加抽象的角度反映扣件狀態(tài)分布。因此，融合不同層次的SMN，可提高表達(dá)圖像內(nèi)容的能力。

m1⊕m2⊕…⊕mn(A)=

(5)

式中，mn(A)為第n個(gè)SMN對(duì)狀態(tài)A的基本概率；K為歸一化系數(shù)，計(jì)算方式如下

(6)

證據(jù)合成即為層次SMN融合方式，可得

(7)

(8)

2 實(shí)驗(yàn)分析

從狀態(tài)分布可視化、學(xué)習(xí)曲線分析、分類性能對(duì)比3個(gè)方面進(jìn)行算法驗(yàn)證。

2.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集來自滬昆線云南至大理路段扣件圖像，正常/斷裂/丟失/遮擋樣本數(shù)量分別為8 375，723，420，824。數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集、測試集。訓(xùn)練、驗(yàn)證集中各類樣本數(shù)量分別為200，100。測試集包含“正?！? 000張，“斷裂”200張，“丟失”50張，“遮擋”200張。實(shí)驗(yàn)測試集“正?！睌?shù)量遠(yuǎn)大于其他狀態(tài)數(shù)量的原因在于，“正常”扣件被誤檢為其他狀態(tài)，是影響扣件分類準(zhǔn)確率的最主要因素，同時(shí)也是扣件分類問題的重難點(diǎn)，故設(shè)置較多“正?！笨奂y試集。

算法參數(shù)方面，為防止高斯混合模型在訓(xùn)練中停留在局部最小值的問題，SMN中的高斯分量K應(yīng)大于扣件類別4，但不應(yīng)過大，從而加大計(jì)算量且對(duì)上述問題也無明顯改善。故將高斯分量K設(shè)置為5，初始模型選用ImageNet上的預(yù)訓(xùn)練VGG-16模型。采用SGD訓(xùn)練模型100個(gè)epoch，學(xué)習(xí)率、動(dòng)量、權(quán)重衰減、批量分別為0.001，0.95，0.000 5和8，算法實(shí)現(xiàn)基于Python和Pytorch。

2.2 狀態(tài)分布可視化

為分析所提算法表達(dá)圖像內(nèi)容的能力，圖4展示了20個(gè)扣件樣本構(gòu)造的狀態(tài)分布及其部分對(duì)應(yīng)的圖像，左側(cè)為扣件圖像，黑色直線連接了該張扣件圖片對(duì)應(yīng)的狀態(tài)分布，狀態(tài)分布內(nèi)各元素大小如右側(cè)映射表所示。如圖4所示，紅色虛線框內(nèi)為兩張“正?！笨奂D像，區(qū)別為下方扣件存在少量道砟。通過這兩張“正?！笨奂臓顟B(tài)分布可知，SMN能夠保證對(duì)扣件真實(shí)標(biāo)簽狀態(tài)描述的準(zhǔn)確性，“正常”元素為狀態(tài)分布內(nèi)最大元素。同時(shí)，從第2張扣件圖像的狀態(tài)分布看出，因存在少量道砟，引起了“遮擋”元素標(biāo)簽值的變化，該張圖像“遮擋”元素的標(biāo)簽值明顯大于無道砟“正常”扣件的“遮擋”元素標(biāo)簽值。第10張樣本為“斷裂”扣件，從“斷裂”扣件構(gòu)建的狀態(tài)分布可以看出，“斷裂”標(biāo)簽值大于其他非真實(shí)狀態(tài)標(biāo)簽值，但由于“斷裂”圖像與“正?！眻D像整體相似，僅在局部彈條區(qū)域存在差異，故部分“斷裂”樣本的狀態(tài)分布中，“正?！睜顟B(tài)的標(biāo)簽值相較于其他非真實(shí)標(biāo)簽值可能較大。第14張為“丟失”扣件，由于“丟失”樣本與其他三類有明顯區(qū)別，故標(biāo)簽紙集中在“丟失”狀態(tài)。對(duì)于“遮擋”樣本，扣件標(biāo)簽值主要集中在“遮擋”狀態(tài)上，但由于道砟遮擋程度的不一致，導(dǎo)致裸露出的扣件彈條面積不同，造成“正常”標(biāo)簽值會(huì)出現(xiàn)較大變化。例如：第18張“遮擋”樣本，由于圖像上有部分區(qū)域能夠明顯看出扣件彈條的外觀輪廓，故“正常”標(biāo)簽值達(dá)到了0.2。因此，基于SMN-DS的扣件狀態(tài)分布，能夠自適應(yīng)地描述圖像內(nèi)容，實(shí)現(xiàn)標(biāo)簽平滑。

圖4 部分狀態(tài)分布可視化

2.3 學(xué)習(xí)曲線分析

為分析狀態(tài)分布在緩解訓(xùn)練過擬合方面的效果，圖5畫出了網(wǎng)絡(luò)學(xué)習(xí)階段訓(xùn)練集和驗(yàn)證集上的精度曲線。精度=分類正確樣本數(shù)量/總樣本數(shù)量。采用單標(biāo)簽訓(xùn)練的VGG-16時(shí)，精度收斂迅速，在15Epoch就接近收斂，訓(xùn)練精度接近飽和(接近100%)，但驗(yàn)證精度在較低水平停止變化，約為95%。飽和的訓(xùn)練精度和較低的驗(yàn)證精度說明單標(biāo)簽引起了過擬合問題，模型適應(yīng)性差。對(duì)比而言，SMN-DS的訓(xùn)練精度緩慢收斂到較低水平，約98%，但驗(yàn)證精度明顯超過VGG-16。因此，SMN-DS縮小了訓(xùn)練精度和驗(yàn)證精度的差異，表明過擬合問題得到緩解，網(wǎng)絡(luò)適應(yīng)新樣本的泛化能力提高。

圖5 學(xué)習(xí)曲線對(duì)比

2.4 分類性能對(duì)比

為分析SMN-DS的扣件狀態(tài)分類性能，表1列出了近年來不同方法的分類結(jié)果。其中，正?？奂活A(yù)測為其他狀態(tài)稱為誤檢，誤檢率=誤檢圖像數(shù)量/正?？奂倲?shù)×100%；扣件若斷裂、丟失、遮擋被預(yù)測為正常稱為漏檢，漏檢率=漏檢圖像數(shù)量/失效扣件總數(shù)×100%。

表1 扣件狀態(tài)分類性能對(duì)比

表1中序號(hào)1將方向梯度直方圖作為其算法底層特征，并用其訓(xùn)練高斯混合部件模型；序號(hào)2通過固有頻率的頻譜特征訓(xùn)練SVM判斷扣件狀態(tài)；序號(hào)3通過K-means算法提取視覺單詞，然后描述為LDA主題模型，最后使用SVM訓(xùn)練LDA主題分布判斷扣件；序號(hào)4直接使用初始模型VGG-16；序號(hào)5為改進(jìn)YOLOv3算法；序號(hào)6～8采用單一卷積特征構(gòu)造狀態(tài)分布；序號(hào)9為本文所提算法。表1數(shù)據(jù)為測試集分類結(jié)果，為5次隨機(jī)數(shù)據(jù)劃分實(shí)驗(yàn)的平均值。

從表1可知，所有方法漏檢率均較低，說明扣件的失效種類容易判別，扣件分類的難點(diǎn)在于降低誤檢率。序號(hào)1～2皆是對(duì)扣件進(jìn)行正負(fù)二類判斷，分類類別少，誤檢率較高；基于特征工程的序號(hào)3分類性能較高，但扣件局部特征編碼導(dǎo)致了較大的計(jì)算量；序號(hào)4～5是基于深度學(xué)習(xí)的分類方法，二者在訓(xùn)練過程中都出現(xiàn)了過擬合現(xiàn)象，導(dǎo)致測試集分類性能不佳；采用狀態(tài)分布的方法序號(hào)6～8,誤檢率皆低于使用單一標(biāo)簽的VGG-16及YOLOv3，說明SMN能夠起到標(biāo)簽平滑的作用，緩和了過擬合問題。而對(duì)比方法6～8實(shí)驗(yàn)結(jié)果，高層SMN模型的分類性能弱于低層SMN模型和中層SMN模型，這是因?yàn)楦邔泳矸e特征的感受野寬，容易丟失局部圖像特征，造成狀態(tài)分布僅反映與單標(biāo)簽相同的全局信息。從實(shí)驗(yàn)結(jié)果上判斷，SMN-DS的性能最佳，說明基于狀態(tài)分布訓(xùn)練的模型適應(yīng)性強(qiáng)，大幅降低了誤檢。

3 結(jié)論

針對(duì)扣件狀態(tài)檢測中誤檢率高的問題，提出基于SMN-DS的狀態(tài)分布構(gòu)造算法，根據(jù)圖像子塊卷積特征構(gòu)造樣本SMN，然后融合不同層次卷積特征生成的SMN。所提算法與現(xiàn)有關(guān)注特征工程及改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)的方法不同，從平滑標(biāo)簽的角度出發(fā)，緩和了傳統(tǒng)深度卷積網(wǎng)絡(luò)訓(xùn)練過程中過擬合的現(xiàn)象，從而提高了模型分類性能。結(jié)論如下。

(1)融合后的SMN能夠自適應(yīng)表達(dá)圖像內(nèi)容，實(shí)現(xiàn)了標(biāo)簽平滑。

(2)構(gòu)造的狀態(tài)分布可緩解訓(xùn)練過擬合問題，提高了模型適應(yīng)性。

(3)相比單標(biāo)簽，SMN-DS減少降低了扣件誤檢。

SMN-DS的不足之處是需對(duì)狀態(tài)分布進(jìn)行人工校正。下階段計(jì)劃改進(jìn)SMN中的弱監(jiān)督學(xué)習(xí)方法，使求解的類別模型能夠保證狀態(tài)分布中樣本真實(shí)狀態(tài)具有最高概率。