基于鑒別注意力融合的儀表細(xì)粒度分類方法

孫榮艷,李曉明

(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030024)

0 引 言

指針式儀表廣泛應(yīng)用于工業(yè)領(lǐng)域;隨著智能化生產(chǎn)的升級(jí)改造,基于視覺的儀表自動(dòng)巡檢讀數(shù)成為了一項(xiàng)重要的研究內(nèi)容;儀表的讀數(shù)通常通過檢測(cè)指針的位置來確定。不同規(guī)格型號(hào)的儀表,指針指向相同位置所代表的具體讀數(shù)不同,因此,預(yù)先識(shí)別儀表的詳細(xì)類別是進(jìn)行自動(dòng)讀數(shù)的重要前提。

迄今為止,許多學(xué)者對(duì)儀表的檢測(cè)識(shí)別和讀數(shù)已經(jīng)做了很多研究,但有關(guān)儀表細(xì)分類的研究比較少。目前的文獻(xiàn)在儀表讀數(shù)相關(guān)研究中,通常采用經(jīng)典的目標(biāo)檢測(cè)模型(如Yolo等)實(shí)現(xiàn)儀表的檢測(cè),并假設(shè)儀表的類別是已知的,回避了儀表的細(xì)分類問題。究其原因,主要是由于不同類別的儀表外觀差異較小,相同類別儀表又因光照強(qiáng)度變化和環(huán)境等導(dǎo)致差異較大。如圖1所示,相同廠家相同類型的儀表只有量程和刻度數(shù)不同,再加上有效樣本數(shù)量少,背景干擾大,因此,現(xiàn)有的基于通用目標(biāo)檢測(cè)的分類識(shí)別模型在樣本量較少的情況下對(duì)于儀表細(xì)分類的準(zhǔn)確率較低?；诖?一些研究者們應(yīng)用細(xì)粒度圖像分類算法挖掘儀表的鑒別特征。文獻(xiàn)[1]通過圖像生成器增廣數(shù)據(jù)集,從而為細(xì)粒度分類模型提供更多可鑒別粒度;文獻(xiàn)[2]使用基于注意力機(jī)制的裁剪方式增廣圖像達(dá)到擴(kuò)充訓(xùn)練數(shù)據(jù)集的目的,提高了細(xì)粒度識(shí)別的準(zhǔn)確率。

圖1 某變電站儀表數(shù)據(jù)示例圖

針對(duì)上述儀表數(shù)據(jù)的特點(diǎn),該文提出了基于鑒別注意力融合的儀表細(xì)粒度圖像分類方法,設(shè)計(jì)的鑒別注意力模塊(Discriminant Attention Model,DAM)是通過雙線性池化進(jìn)行融合的,亮點(diǎn)在于利用淺層網(wǎng)絡(luò)提供的位置空間信息引導(dǎo)模型分類;通過添加鑒別注意力模塊和構(gòu)建類別區(qū)分力更強(qiáng)的正交損失函數(shù),突出了儀表之間的細(xì)微區(qū)別,從而有效改善了儀表細(xì)分類的性能。貢獻(xiàn)總結(jié)如下:

(1)針對(duì)儀表圖像細(xì)化分類問題,提出了DAM模塊,該模塊能有效利用淺層特征信息引導(dǎo)分類。

(2)采用DAM模塊生成的鑒別注意力圖和骨干網(wǎng)絡(luò)輸出的高級(jí)特征進(jìn)行融合,生成的特征矩陣使網(wǎng)絡(luò)不同層信息互補(bǔ),提升模型關(guān)鍵鑒別特征表征能力。引入正交損失,提高表盤不同類型鑒別特征的正交性。

(3)通過實(shí)驗(yàn)對(duì)比驗(yàn)證了所提儀表細(xì)粒度分類方法的性能,為儀表后續(xù)自動(dòng)讀數(shù)提供了可靠保障。

1 相關(guān)工作

近年來,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法應(yīng)用廣泛,許多學(xué)者引入目標(biāo)檢測(cè)算法對(duì)儀表進(jìn)行識(shí)別。文獻(xiàn)[3]使用目標(biāo)檢測(cè)算法YOLOv4-tiny[4]檢測(cè)表盤區(qū)域,但只針對(duì)了特定類型的儀表,沒有細(xì)化分類,難以應(yīng)對(duì)實(shí)際應(yīng)用中儀表種類繁多的情況。文獻(xiàn)[5]利用Faster-RCNN對(duì)儀表做了單分類的粗識(shí)別。文獻(xiàn)[6-8]通過標(biāo)注儀表上的多個(gè)關(guān)鍵點(diǎn),應(yīng)用經(jīng)典檢測(cè)算法進(jìn)行識(shí)別,但不同儀表表盤內(nèi)刻度數(shù)字豐富多變,標(biāo)注關(guān)鍵點(diǎn)十分耗時(shí)。且在實(shí)際工業(yè)環(huán)境中,采集到的有效樣本量少也是表盤細(xì)化分類效果不佳的原因之一。一般的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類[9-11]模型,也不能很好地應(yīng)用于儀表的細(xì)粒度分類。此外,儀表細(xì)粒度分類還受復(fù)雜背景的干擾。儀表表盤由于其特殊外形易于被檢出,但儀表細(xì)化分類所需的鑒別性特征都存在于表盤內(nèi),以往細(xì)化分類效果不佳的重要原因就是模型無法充分學(xué)習(xí)到儀表的關(guān)鍵鑒別特征。YOLOv5與其它YOLO系列算法相比,準(zhǔn)確率和速度都達(dá)到最優(yōu)平衡,可以簡便快捷地對(duì)表盤鑒別區(qū)域做粗提取。

雙線性網(wǎng)絡(luò)[12]是細(xì)粒度分類的經(jīng)典模型。文獻(xiàn)[13-14]采用雙線性特征融合網(wǎng)絡(luò)提取鑒別特征完成細(xì)粒度分類,但兩個(gè)特征提取器也增加了網(wǎng)絡(luò)模型的復(fù)雜度和深度。儀表圖像不同于一般細(xì)粒度分類任務(wù),表盤淺層紋理特征豐富,過深的網(wǎng)絡(luò)結(jié)構(gòu)可能會(huì)導(dǎo)致網(wǎng)絡(luò)失去紋理信息位置編碼等重要鑒別粒度,因此儀表細(xì)粒度分類任務(wù)采用ResNet34[15]作為特征提取器,不會(huì)由于網(wǎng)絡(luò)過深過淺而導(dǎo)致鑒別特征提取不足,但基礎(chǔ)模型無法充分利用網(wǎng)絡(luò)淺層特征對(duì)細(xì)粒度分類的引導(dǎo)作用。

此外,多分類任務(wù)中常用的交叉熵?fù)p失由于采用類間競(jìng)爭機(jī)制,更關(guān)注類間顯著特征信息,但在細(xì)粒度分類中,隱藏層的共有特征存在交叉,因此對(duì)于儀表細(xì)粒度分類任務(wù)中學(xué)習(xí)到的特征,單純使用交叉熵?fù)p失存在忽略特有特征的問題,結(jié)合正交損失[16]可以平衡交叉熵?fù)p失的不足。

2 提出的方法

針對(duì)以往經(jīng)典分類識(shí)別方法在儀表細(xì)粒度分類中的不足,提出基于鑒別注意力(DAM)融合的模型進(jìn)行表盤的細(xì)粒度分類,處理流程如圖2所示。

圖2 儀表細(xì)粒度分類識(shí)別流程

儀表表盤有大量剛性粒度特征信息,淺層網(wǎng)絡(luò)能夠提取到豐富紋理特征,但網(wǎng)絡(luò)層數(shù)過深或網(wǎng)絡(luò)復(fù)雜會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)到更多高層語義信息,而忽略大量淺層關(guān)鍵鑒別特征,使得儀表細(xì)粒度分類準(zhǔn)確率達(dá)到飽和甚至下降?？紤]淺層紋理特征以及空間位置信息對(duì)細(xì)粒度分類的引導(dǎo)作用,該文添加鑒別注意力生成模塊,通過將生成的鑒別注意力圖和骨干網(wǎng)絡(luò)最后一層輸出的特征圖進(jìn)行雙線性融合,提升模型關(guān)鍵鑒別特征表征能力,有效改善儀表細(xì)分類的性能,如圖3所示。

圖3 基于DAM融合的儀表細(xì)粒度模型

2.1 鑒別注意力模塊(DAM)

淺層特征圖每個(gè)像素點(diǎn)對(duì)應(yīng)的感受野重疊區(qū)域小,保證了網(wǎng)絡(luò)能捕獲更多細(xì)節(jié)。隨著網(wǎng)絡(luò)不斷加深,卷積次數(shù)以及感受野的增加,感受野之間的重疊區(qū)域也不斷增加,此時(shí)網(wǎng)絡(luò)獲得的是更多部件之間的語義信息。

淺層網(wǎng)絡(luò)擁有更多紋理、量程、數(shù)字的位置和空間信息,這些信息可作為儀表細(xì)粒度分類的關(guān)鍵鑒別特征,但同時(shí)也由于表盤邊緣和刻度線等噪聲信息影響分類性能,文獻(xiàn)[13-14]添加了更多雙線性層,通過融合更多層的卷積特征來提升網(wǎng)絡(luò)分類性能。

該文改進(jìn)雙線性融合所需的特征提取器,增加鑒別注意力模塊進(jìn)行雙線性池化。將骨干網(wǎng)絡(luò)的Layer2,3,4層特征分別上采樣至與Layer1尺寸大小相等,并將它們拼接起來,結(jié)合淺層粒度信息能有效提升儀表圖像特征表達(dá)能力。

隨后對(duì)上采樣對(duì)齊的特征圖通過SPPF[17]結(jié)構(gòu),SPPF在提升感受野的同時(shí),有效融合上下文層信息,再經(jīng)過自適應(yīng)池化層,最后生成與Layer4尺寸相等的結(jié)合淺層信息的鑒別注意力圖A,每個(gè)通道代表不同的粒度部件。

算法流程具體如下:

給定一組批量輸入圖像:B為批量大小,圖像尺寸為H×W,通道數(shù)為3。通過Layer1后,得到B×64個(gè)尺寸為H/4×W/4的特征圖,Layer2獲得B×128個(gè)尺寸為H/8×W/8的特征圖,Layer3獲得B×256個(gè)H/16×W/16的特征圖,Layer4獲得B×512個(gè)尺寸為H/32×W/32的特征圖。將Layer2,3,4上采樣至與Layer1尺寸大小一致,表示為:

(1)

其中,φ為采用雙線性插值的上采樣操作。

(2)

其中,φ為自適應(yīng)池化操作,Ak∈RH×W,N為一個(gè)批次內(nèi)所有類的鑒別注意力特征圖的個(gè)數(shù)。如圖4所示,直觀展示了一種儀表類型不同層的粒度注意力熱力圖。

圖4 不同層注意力熱力圖

2.2 雙線性融合

每個(gè)粒度注意力圖代表一個(gè)儀表類別的某個(gè)鑒別粒度區(qū)域,將骨干網(wǎng)絡(luò)經(jīng)過Layer4后輸出的特征圖F重塑為F1,與鑒別粒度注意力圖A執(zhí)行雙線性池化,再通過全局平均池化提取出所有類別的局部鑒別粒度特征,如圖5所示,生成特征矩陣M,由f1,f2,…,fN組成,表示為:

(3)

其中,g為全局平均池化操作。

2.3 損失函數(shù)

不同分類任務(wù)中所需特征不盡相同。儀表粗分類中,表盤內(nèi)顯著的字體豐富的刻度以及表盤外形可以幫助從復(fù)雜背景中識(shí)別出儀表類別。但在細(xì)粒度分類中,這些儀表的共有特性會(huì)將同規(guī)格同類型不同量程的儀表歸于同類,這就造成了儀表細(xì)粒度分類準(zhǔn)確率下降。為使網(wǎng)絡(luò)更關(guān)注不同類別特有鑒別性特征,通過引入正交損失函數(shù)來緩解類間分離性不足的問題。交叉熵函數(shù)(Cross Entropy Function)通常作為分類任務(wù)的損失函數(shù),并沒有強(qiáng)制不同類的特征進(jìn)行分離,直接將得到的特征矩陣M輸入分類器,不能充分分離共有特征和鑒別性特有特征。既要保持相同類之間的聚合性,又要提高不同類之間的分離性,就需要對(duì)模型所得特征矩陣M施加正交性,來改善交叉熵?fù)p失的不足,從而直接加強(qiáng)了類間分離性,提升了儀表細(xì)粒度分類性能。

(4)

(5)

(6)

Lol=(1-sim)+β·|dis|

(7)

其中,〈·,·〉表示余弦相似度,余弦相似性運(yùn)算需要對(duì)特征向量進(jìn)行歸一化操作,‖·‖表示L2范數(shù)歸一化,|·|表示絕對(duì)值。Mfi和Mfj表示同類樣本的兩個(gè)特征,Mfi和Mfk表示不同類別的兩個(gè)特征。Lol為正交損失表達(dá)式,約束sim→1,使得同類別樣本的特征聚集;約束dis→0,使得不同類別樣本特征正交。通過β控制這兩個(gè)不同約束sim和dis的權(quán)重,確定類間分離和類內(nèi)聚集兩個(gè)任務(wù)的優(yōu)先級(jí)。

網(wǎng)絡(luò)的整體損失函數(shù)如下:

Loss=Lce+λLol

(8)

其中,Lce為交叉熵?fù)p失。

在實(shí)驗(yàn)中,通過調(diào)節(jié)(β,λ)的取值,使同類特征聚合,不同類特征更加疏遠(yuǎn),提高類間方差,使模型達(dá)到最好的效果。參數(shù)調(diào)節(jié)過程中,表明當(dāng)β,λ分別取0.9和1時(shí),文中的儀表細(xì)粒度分類模型達(dá)到最好效果。

3 實(shí) 驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

在分類識(shí)別領(lǐng)域,使用準(zhǔn)確率(Accuracy)、召回率(Recall)、混淆矩陣對(duì)分類算法的性能進(jìn)行評(píng)價(jià)。

準(zhǔn)確率Acc是所有樣本中模型正確識(shí)別的樣本占比,公式表示為:

(9)

召回率R又稱查全率,是實(shí)際為正的樣本中被預(yù)測(cè)為正的概率,公式表示為:

(10)

其中,TP表示正樣本被模型正確識(shí)別為正樣本;TN表示負(fù)樣本被模型正確識(shí)別為負(fù)樣本;FP表示負(fù)樣本被模型錯(cuò)誤識(shí)別為正樣本;FN表示正樣本被模型錯(cuò)誤識(shí)別為負(fù)樣本。模型要同時(shí)兼顧準(zhǔn)確率和召回率。

混淆矩陣統(tǒng)計(jì)每個(gè)類別預(yù)測(cè)正確和不正確的樣本數(shù)量,顯示了分類模型在進(jìn)行預(yù)測(cè)時(shí)所產(chǎn)生的類別混淆,既可以直觀分析模型的錯(cuò)誤預(yù)測(cè),又可以看到發(fā)生錯(cuò)誤的類型,補(bǔ)充了分類準(zhǔn)確率所帶來的局限性。

3.2 數(shù)據(jù)集及實(shí)驗(yàn)細(xì)節(jié)

該文使用的是某變電站實(shí)際場(chǎng)景采集的八種不同規(guī)格壓力表圖像,實(shí)際采集280張,分辨率為1 920×1 080,增廣擴(kuò)充至400張后輸入到Y(jié)OLOv5檢測(cè)模型中進(jìn)行識(shí)別訓(xùn)練。通過YOLOv5對(duì)儀表表盤進(jìn)行粗提,得到儀表細(xì)粒度分類數(shù)據(jù)集,從表盤數(shù)據(jù)集中選出129張作為測(cè)試集。將數(shù)據(jù)集中剩余圖像擴(kuò)充至838張,并將儀表細(xì)粒度分類數(shù)據(jù)集按照訓(xùn)練、驗(yàn)證8∶2進(jìn)行劃分。

所有實(shí)驗(yàn)都是在NVIDIA GeForce RTX 3090上進(jìn)行的,GPU內(nèi)存為24G,使用深度學(xué)習(xí)框架Pytorch1.7、CUDA11.4實(shí)現(xiàn)了模型的訓(xùn)練驗(yàn)證。粗提取的表盤圖像歸一化至448×448的輸入大小,隨后采用ResNet34(在ImageNet上預(yù)訓(xùn)練)作為骨干網(wǎng)絡(luò),動(dòng)量設(shè)為0.9,初始學(xué)習(xí)率為0.001,使用標(biāo)準(zhǔn)優(yōu)化器SGD,權(quán)重衰減設(shè)為0.001,batch size 設(shè)為8,經(jīng)過50個(gè)epoch。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 鑒別注意力模塊(DAM)對(duì)比實(shí)驗(yàn)分析

采用基于鑒別注意力模塊的雙線性融合。為驗(yàn)證DAM模塊在儀表細(xì)粒度分類任務(wù)中的性能,使用文獻(xiàn)[13-14]提出的YOLOv3結(jié)合雙線性特征融合的細(xì)粒度分類算法在文中儀表細(xì)粒度分類測(cè)試數(shù)據(jù)集上進(jìn)行比較。

文獻(xiàn)[13-14]都是通過YOLOv3粗提取目標(biāo)以后,在雙線性融合的基礎(chǔ)上添加了新的雙線性層。從表1可以看出,文中的儀表分類準(zhǔn)確率比使用上述兩個(gè)方法分別提高3.9百分點(diǎn)和2.3百分點(diǎn),召回率比上述兩個(gè)方法提升3.9百分點(diǎn),表明基于DAM模塊的雙線性融合方案更有助于模型對(duì)儀表表盤的細(xì)粒度分類。

表1 文中方法與現(xiàn)有模型的實(shí)驗(yàn)對(duì)比結(jié)果 %

為進(jìn)一步評(píng)估提出的DAM模塊的有效性,應(yīng)用Grad-CAM[18]對(duì)融合DAM模塊后的網(wǎng)絡(luò)層進(jìn)行可視化,如圖6所示。Grad-CAM是通過特征圖的加權(quán)求和形成的,它可以顯示每個(gè)區(qū)域?qū)ζ浞诸惖闹匾?。?duì)于同廠家同規(guī)格同類型不同量程的儀表,識(shí)別出關(guān)鍵量程字樣是細(xì)粒度分類準(zhǔn)確的關(guān)鍵。由圖6可以看出,基準(zhǔn)模型無法提取到關(guān)鍵鑒別部件,網(wǎng)絡(luò)更關(guān)注一些顯著性特征;文獻(xiàn)[13-14]通過改進(jìn)的雙線性融合算法使得模型關(guān)注到部分鑒別特征,但沒有充分獲取淺層鑒別粒度的位置和信息;文中提出的DAM模塊,使模型關(guān)注到了關(guān)鍵量程數(shù)字1,能利用更多淺層關(guān)鍵鑒別粒度引導(dǎo)模型分類,提高了模型對(duì)儀表細(xì)粒度識(shí)別的準(zhǔn)確率。

圖6 不同模型分類可視化對(duì)比

3.3.2 消融實(shí)驗(yàn)

表2展示了不同模塊消融實(shí)驗(yàn)的結(jié)果對(duì)比?？梢钥闯?加入DAM引導(dǎo)的儀表細(xì)粒度分類識(shí)別準(zhǔn)確率較基準(zhǔn)模型(YOLOv5結(jié)合ResNet)提升了7.8百分點(diǎn) ,召回率提升了9.7百分點(diǎn),表明文中方法得到了更多有效的分類信息,降低了類間差異較小目標(biāo)的錯(cuò)檢率。加入正交損失函數(shù)準(zhǔn)確率提升了2.2百分點(diǎn),召回率提升了0.7百分點(diǎn),正交函數(shù)使得同類之間的距離更加接近,不同類之間的距離更加疏遠(yuǎn),從而提高了分類準(zhǔn)確率,降低了儀表表盤細(xì)粒度分類誤差。

表2 消融實(shí)驗(yàn)對(duì)比 %

3.3.3 文中方法對(duì)比實(shí)驗(yàn)分析

量程為0.6的壓力表記為pressure_0.6,與量程為1 的壓力表記為pressure_1較為相似,同樣較為相似的pressue_0.1和pressure_0.9使用經(jīng)典分類識(shí)別方法也不能完成很好的細(xì)化區(qū)分。圖7是由129張測(cè)試集數(shù)據(jù)生成的兩個(gè)混淆矩陣。由圖7可以看出,基準(zhǔn)模型在類間差距較小的儀表之間分類識(shí)別效果較差,將pressure_0.6誤識(shí)別為pressure_1等,pressure_0.9和pressure_0.1的誤識(shí)別率也較高,而文中方法可以很好地識(shí)別pressure_0.6,提高了類間差異較小類別的召回率?；鶞?zhǔn)模型不論是不同規(guī)格儀表,還是規(guī)格相同粒度差異較小的儀表,分類誤差都相對(duì)較大,文中方法則在準(zhǔn)確度和召回率上都有所提升。分析pressure_0.9召回率較低的原因是測(cè)試數(shù)據(jù)集中該類別存在采集時(shí)較為模糊的肉眼也難以分辨的圖像,沒有剔除。因此,文中模型基本符合工業(yè)場(chǎng)景下儀表細(xì)化分類的要求。

(a)基準(zhǔn) (b)文中圖7 混淆矩陣

進(jìn)一步將整體網(wǎng)絡(luò)模型的注意力區(qū)域進(jìn)行可視化。圖8以文中測(cè)試集中同規(guī)格同型號(hào)量程分別為0.6、1、2.5的壓力表圖像為例,第一行為YOLOv5粗提取的儀表表盤圖像;第二行為基準(zhǔn)分類識(shí)別模型的可視化,基準(zhǔn)網(wǎng)絡(luò)沒有很好地識(shí)別到關(guān)鍵可鑒別粒度,其注意力過于集中在顯著區(qū)域,例如儀表的類型(壓力表等)字樣,但三類儀表都屬于壓力表,導(dǎo)致類間差異小的類別不易區(qū)分;第三行為文中模型,網(wǎng)絡(luò)關(guān)注到了關(guān)鍵可鑒別的數(shù)字粒度以及更多其他鑒別性粒度部件,使得類間相似度高的儀表也能得到很好的細(xì)化區(qū)分,提高了儀表表盤細(xì)粒度分類結(jié)果的可靠性。

圖8 文中方法可視化效果

4 結(jié)束語

提出一種基于鑒別注意力融合的儀表細(xì)粒度分類識(shí)別方法。在構(gòu)建的儀表細(xì)粒度分類測(cè)試數(shù)據(jù)集上,平均準(zhǔn)確率達(dá)96.8%,與其它細(xì)粒度融合方案的對(duì)比表明,基于鑒別注意力融合的儀表細(xì)粒度分類方法提升了模型對(duì)表盤鑒別粒度部件的識(shí)別能力,能滿足工業(yè)儀表自動(dòng)讀數(shù)任務(wù)中儀表預(yù)先進(jìn)行細(xì)粒度分類的需求。