張大錦,劉 輝?,陳甫剛,趙 安
(1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,云南昆明 650500;2.昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室,云南昆明 650500;3.云南昆鋼電子信息科技有限公司,云南昆明 650302)
工業(yè)是推進(jìn)人類社會(huì)發(fā)展的基礎(chǔ)動(dòng)力,隨著工業(yè)化進(jìn)程的快速發(fā)展,包含大量煙塵顆粒的工業(yè)煙塵排放量逐漸增加,已成為污染環(huán)境和危害人體健康的重要來(lái)源之一.為了降低工業(yè)煙塵對(duì)人體健康的危害和環(huán)境的污染以及未來(lái)工業(yè)同生態(tài)協(xié)調(diào)可持續(xù)的發(fā)展,有效控制工業(yè)煙塵的排放成為了刻不容緩的工作[1].煙塵濃度是工業(yè)排放煙塵污染等級(jí)監(jiān)測(cè)的重要評(píng)判標(biāo)準(zhǔn),通過(guò)對(duì)煙塵排放濃度進(jìn)行監(jiān)控,可以有效降低大氣污染程度提高環(huán)境質(zhì)量.由于計(jì)算機(jī)圖像識(shí)別技術(shù)對(duì)工業(yè)排放煙塵濃度進(jìn)行監(jiān)測(cè)具有低成本和高準(zhǔn)確率等特點(diǎn),已經(jīng)成為煙塵濃度監(jiān)測(cè)的主要方法[2].其中,基于林格曼煙氣黑度圖的計(jì)算機(jī)圖像識(shí)別方法在工業(yè)應(yīng)用中使用最廣,該方法包括煙塵圖像采集、煙塵區(qū)域分割、煙塵區(qū)域提取、計(jì)算煙塵區(qū)域黑度值和污染等級(jí)判定5個(gè)主要環(huán)節(jié),其中實(shí)現(xiàn)煙塵區(qū)域的準(zhǔn)確分割是實(shí)現(xiàn)煙塵污染等級(jí)監(jiān)測(cè)的難點(diǎn)和關(guān)鍵[3].
利用計(jì)算機(jī)圖像識(shí)別技術(shù)進(jìn)行煙塵分割主要有傳統(tǒng)圖像分割方法和深度學(xué)習(xí)分割方法.傳統(tǒng)圖像方法主要有區(qū)域生長(zhǎng)法[4]、紋理分析法[5-6]和差分法[7].該類方法主要通過(guò)提取煙塵圖像的顏色、紋理和空間結(jié)構(gòu)信息等物理特征實(shí)現(xiàn)煙塵區(qū)域分割,存在計(jì)算冗余量大和分割精度低等問(wèn)題.
隨著計(jì)算機(jī)技術(shù)和性能的高速發(fā)展和快速提升,深度學(xué)習(xí)廣泛應(yīng)用于圖像識(shí)別[8]、目標(biāo)檢測(cè)[9]和語(yǔ)義分割[10]任務(wù)中,并在實(shí)際應(yīng)用中取得了比傳統(tǒng)方法更好的效果.為解決傳統(tǒng)方法分割煙塵存在復(fù)雜度高邊緣分割效果不佳的問(wèn)題,Yuan等人[11]提出一種雙路徑全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network,FCN),增強(qiáng)了FCN對(duì)煙塵上下文和邊緣特征的提取能力,但網(wǎng)絡(luò)缺乏對(duì)煙塵形變特征的提取能力,對(duì)形狀多變的煙塵邊緣分割結(jié)果不夠完整;因此,董澤舒等人[12]針對(duì)形狀不規(guī)則的煙塵分割困難的問(wèn)題,提出了一種基于注意力機(jī)制的長(zhǎng)距離信息建模方法,通過(guò)提取長(zhǎng)距離像素間的依賴和連續(xù)性關(guān)系,減少了非連續(xù)區(qū)域的煙塵誤判,但該方法沒(méi)有針對(duì)煙塵具體特性進(jìn)行分析,在小目標(biāo)煙塵分割中存在漏分割現(xiàn)象;因而,詹光莉等人[13]針對(duì)小目標(biāo)煙塵漏分割誤分割的問(wèn)題使用銜接注意力機(jī)制與殘差A(yù)SPP(atrous spatial pyramid pooling)的W-Net實(shí)現(xiàn)對(duì)小目標(biāo)煙塵進(jìn)行準(zhǔn)確分割,但是該方法在提取特征的過(guò)程中方法較為單一,導(dǎo)致在煙塵邊緣部分的分割效果欠佳;故此,吳建輝等人[14]提出一種基于頻率分離特性的煙霧圖像分割網(wǎng)絡(luò),使用頻率分離模塊將特征圖中的煙霧區(qū)域分離為低頻和高頻部分,結(jié)合頻域和空間域特征細(xì)化了煙霧邊界,改善了分割效果,但該方法沒(méi)有考慮煙塵非剛性多方向變化特點(diǎn),在煙塵邊緣方向信息的提取效果上還有待提高.以上深度學(xué)習(xí)方法在一定程度上實(shí)現(xiàn)了煙塵區(qū)域的分割,但都沒(méi)有結(jié)合煙塵非剛性方向多變特性進(jìn)行分析,缺乏對(duì)煙塵邊緣方向信息的提取能力,導(dǎo)致對(duì)煙塵邊緣區(qū)域的分割不夠準(zhǔn)確.
U-Net網(wǎng)絡(luò)[15]能利用全局上下文信息和在有限的訓(xùn)練樣本下進(jìn)行端到端的快速訓(xùn)練,能有效解決數(shù)據(jù)稀缺和類別不平衡的問(wèn)題.目前,已有許多研究人員提出了基于U-Net網(wǎng)絡(luò)的改進(jìn)方案[16-18],并取得了良好的效果.但針對(duì)煙塵圖像分割任務(wù)來(lái)說(shuō),不僅需要關(guān)注煙塵分割的完整性還要關(guān)注煙塵邊緣分割的準(zhǔn)確性,對(duì)于非剛性、方向多變和邊緣細(xì)節(jié)模糊的煙塵,U-Net網(wǎng)絡(luò)還存在挖掘煙塵邊緣方向信息不充分,導(dǎo)致煙塵邊緣細(xì)節(jié)信息容易丟失分割不夠準(zhǔn)確的問(wèn)題.
因此,本文針對(duì)工業(yè)煙塵非剛性多方向變化的特點(diǎn),將輪廓波(contourlet)變換具有挖掘多方向信息的特性引入U(xiǎn)-Net分割網(wǎng)絡(luò),構(gòu)建具有提取煙塵邊緣方向信息能力的C-UNet網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)煙塵邊緣方向特征的提取和煙塵區(qū)域的準(zhǔn)確分割.1)通過(guò)網(wǎng)絡(luò)編碼階段的輪廓波多方向分解下采樣結(jié)構(gòu),將煙塵特征分解為低頻煙塵主體部分和高頻多方向邊緣細(xì)節(jié)分量部分,增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣方向信息的提取能力;2)通過(guò)網(wǎng)絡(luò)解碼階段的輪廓波細(xì)節(jié)重構(gòu)上采樣結(jié)構(gòu),結(jié)合跳躍連接的煙塵高頻多方向細(xì)節(jié)信息和解碼特征,增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣細(xì)節(jié)信息的恢復(fù)能力;3)針對(duì)煙塵邊緣特征提取困難的問(wèn)題,對(duì)損失函數(shù)進(jìn)行改進(jìn),提出一種基于動(dòng)態(tài)加權(quán)策略的組合損失函數(shù)來(lái)優(yōu)化訓(xùn)練網(wǎng)絡(luò),使網(wǎng)絡(luò)隨著訓(xùn)練進(jìn)行從關(guān)注整體煙塵特征的提取逐漸到關(guān)注煙塵邊緣特征的提取.結(jié)果表明,本文方法能夠更好的提取煙塵邊緣方向細(xì)節(jié)特征,對(duì)煙塵整體及邊緣區(qū)域的分割準(zhǔn)確度更高.
Contourlet變換是頻域圖像處理中一種多方向多尺度的幾何分析方法[19],能在不同尺度和不同方向上有效提取圖像細(xì)節(jié)信息,將其引入深度網(wǎng)絡(luò)中可以增強(qiáng)網(wǎng)絡(luò)幾何分析的能力.Contourlet變換是拉普拉斯金字塔(laplacian pyramid,LP)[20]與方向?yàn)V波器組(directional filter banks,DFB)[21]結(jié)合形成以輪廓段為基函數(shù)來(lái)逼近原始圖像的多方向雙層濾波器組結(jié)構(gòu).在不同尺度的特征圖上,先使用LP分解得到一個(gè)低頻子帶圖像和包含邊緣細(xì)節(jié)的高頻子帶圖像,再使用DFB在LP分解得到的高頻子帶圖像上進(jìn)行l(wèi)級(jí)的多方向分解,得到2l個(gè)高頻方向子帶.
對(duì)于一個(gè)輸入圖像X,經(jīng)過(guò)LP進(jìn)行多尺度分解,在第j層的低頻子帶和高頻子帶可分別表示為
其中:M為采樣矩陣;m,n,o和p為位置參數(shù).將高頻子帶通過(guò)DFB進(jìn)行方向分解,DFB分解過(guò)程中的采樣矩陣可表示為如下對(duì)角形式:
其中:l為分解等級(jí),k為方向角度.DFB對(duì)每一層的高頻子帶進(jìn)行分解,將相同方向上的線性特征組合成相應(yīng)的稀疏系數(shù)s,引入?k,j為DFB在不同方向上的基函數(shù),以內(nèi)積的形式表示s為
圖像每次經(jīng)過(guò)LP分解產(chǎn)生的高頻子帶輸入DFB,逐漸將點(diǎn)奇異連成線型結(jié)構(gòu),從而捕獲圖像中的邊緣輪廓特征.Contourlet 變換具有完全重構(gòu)優(yōu)點(diǎn),LP 和DFB各自完全重建,經(jīng)對(duì)偶操作實(shí)現(xiàn)完全重建輸入圖像.由于煙塵具有豐富的方向特征,使用Contourlet變換進(jìn)行煙塵特征的提取和重構(gòu)能有效提取煙塵圖像中的邊緣方向細(xì)節(jié)信息,增強(qiáng)煙塵邊緣的分割效果.
針對(duì)實(shí)際工業(yè)生產(chǎn)過(guò)程中,排放的煙塵會(huì)受到多種自然環(huán)境的影響,使煙塵圖像存在邊緣模糊方向多變等特點(diǎn),導(dǎo)致煙塵邊緣分割不準(zhǔn)確的問(wèn)題.本文通過(guò)改進(jìn)原網(wǎng)絡(luò)的編解碼采樣操作、跳躍連接和損失函數(shù),將Contourlet變換具有挖掘多方向信息的特性引入U(xiǎn)-Net分割網(wǎng)絡(luò),增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵圖像邊緣方向信息的提取能力,提出一種頻域多方向C-UNet及動(dòng)態(tài)損失的工業(yè)煙塵圖像分割方法,該方法能夠同時(shí)提取圖像空間域和頻域特征,有效利用煙塵多方向信息且注重?zé)焿m邊緣信息提取,整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.
圖1 C-UNet網(wǎng)絡(luò)結(jié)構(gòu)原理圖Fig.1 Schematic diagram of C-UNet network structure
C-UNet網(wǎng)絡(luò)主要由編碼階段的輪廓波多方向分解下采樣(contourlet multi-directional decomposition down-sampling,CMDD)、解碼階段的輪廓波細(xì)節(jié)重構(gòu)上采樣(contourlet detail reconstruction up-sampling,CDRU)以及多方向信息跳躍連接(multi-directional information skip connections,MISC)3個(gè)部分構(gòu)成.首先,煙塵圖像通過(guò)編碼階段實(shí)現(xiàn)煙塵低級(jí)和高級(jí)語(yǔ)義信息的提取,其中,在每個(gè)尺度下采樣操作中,通過(guò)使用CMDD結(jié)構(gòu)得到包含煙塵圖像主體信息的低頻子帶進(jìn)行高級(jí)語(yǔ)義信息的提取和包含煙塵邊緣細(xì)節(jié)信息的高頻方向子帶進(jìn)行方向細(xì)節(jié)信息的傳遞;其次,在解碼階段通過(guò)結(jié)合煙塵高頻多方向子帶特征與低頻解碼特征進(jìn)行CDRU恢復(fù)特征圖分辨率和煙塵邊緣細(xì)節(jié)信息;最后,在網(wǎng)絡(luò)中不僅對(duì)不同尺度的特征進(jìn)行跳躍連接,還對(duì)不同CMDD得到的煙塵高頻多方向細(xì)節(jié)信息進(jìn)行跳躍連接,既能提高網(wǎng)絡(luò)在持續(xù)采樣過(guò)程中煙塵細(xì)節(jié)信息的表達(dá)準(zhǔn)確性,又能增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的恢復(fù)能力.
C-UNet網(wǎng)絡(luò)通過(guò)在不同作用域下對(duì)煙塵圖像特征進(jìn)行提取,分別對(duì)煙塵圖像的低頻和高頻特征進(jìn)行利用,增強(qiáng)了網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的提取和恢復(fù)能力,提高了煙塵整體及邊緣區(qū)域的分割效果.
語(yǔ)義分割網(wǎng)絡(luò)下采樣操作中最大池化和平均池化等池化操作的鄰域子采樣會(huì)丟失煙塵邊緣細(xì)節(jié)信息,降低網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的處理能力.基于頻域處理的輪廓波變換方法能將圖像分解為包含目標(biāo)主體信息的低頻分量和包含目標(biāo)邊緣方向細(xì)節(jié)信息的高頻分量,能提高網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的處理能力.為了增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的提取能力,本文使用輪廓波分解實(shí)現(xiàn)下采樣操作,CMDD結(jié)構(gòu)如圖2所示.
圖2 CMDD結(jié)構(gòu)原理圖Fig.2 Schematic diagram of CMDD structure
在進(jìn)行輪廓波分解的過(guò)程中,先通過(guò)拉普拉斯金字塔分解(LP decomposition,LP-Dec)將煙塵圖像分解為一個(gè)包含煙塵主體信息的低頻子帶進(jìn)行高級(jí)語(yǔ)義特征提取和包含煙塵邊緣和輪廓細(xì)節(jié)的高頻子帶進(jìn)行方向細(xì)節(jié)信息的傳遞,對(duì)分解得到的煙塵高頻子帶進(jìn)行3 級(jí)方向?yàn)V波器組分解(DFB decomposition,DFB-Dec)得到8個(gè)煙塵高頻邊緣方向子帶特征.
輸入圖像x經(jīng)LP-Dec之后得到低頻子帶a和高頻子帶b,即
圖2中(a)展示了LP-Dec的詳細(xì)過(guò)程,輸入圖像x經(jīng)過(guò)分解濾波H和采樣矩陣M下采樣之后得到低頻子帶a,對(duì)低頻子帶a再經(jīng)過(guò)采樣矩陣M上采樣和合成濾波G之后與輸入圖像x做差值處理得到高頻子帶b.
高頻子帶b經(jīng)過(guò)DFB-Dec分解得到8個(gè)高頻方向子帶Yi,即
圖2中(b)是DFB-Dec的詳細(xì)過(guò)程,高頻子帶b經(jīng)過(guò)分解濾波器E進(jìn)行多方向分解后,通過(guò)采樣矩陣S進(jìn)行下采樣之后得到8個(gè)高頻方向子帶Yi.
煙塵圖像經(jīng)過(guò)LP-Dec產(chǎn)生的包含煙塵邊緣和輪廓的高頻子帶進(jìn)行DFB-Dec,將LP捕捉的分布在同方向上的線性特征組合成一個(gè)輪廓段系數(shù),形成以輪廓段為基函數(shù)來(lái)逼近煙塵圖像進(jìn)行煙塵輪廓的邊緣多方向信息提取.通過(guò)對(duì)輸入煙塵圖像進(jìn)行LP-Dec和DFB-Dec之后,將輸入煙塵圖像的低頻信息和高頻信息進(jìn)行分離,對(duì)煙塵高頻邊緣方向細(xì)節(jié)信息和煙塵低頻圖像主體信息分開進(jìn)行特征處理,避免了在進(jìn)行特征提取過(guò)程中煙塵的高頻細(xì)節(jié)信息與低頻主體信息互相影響,提高了網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的提取能力.
實(shí)現(xiàn)上采樣特征圖分辨率恢復(fù)的常用方法主要有雙線性插值、反卷積和反池化等,這些方法雖然能夠恢復(fù)圖像的分辨率大小,但是缺乏對(duì)圖像細(xì)節(jié)信息的恢復(fù)能力.由于輪廓波變換具有完全重構(gòu)的優(yōu)點(diǎn),能夠完全重構(gòu)分解圖像,因此,本文在網(wǎng)絡(luò)解碼階段通過(guò)CDRU 來(lái)實(shí)現(xiàn)對(duì)煙塵圖像特征圖的分辨率恢復(fù),CDRU結(jié)構(gòu)如圖3所示.
圖3 CDRU結(jié)構(gòu)原理圖Fig.3 Schematic diagram of CDRU structure
對(duì)輪廓波多方向分解下采樣產(chǎn)生的8個(gè)煙塵高頻方向子帶先進(jìn)行3級(jí)的方向?yàn)V波器組重構(gòu)(DFB reconstruction,DFB-Rec)得到重構(gòu)的煙塵高頻子帶特征,再結(jié)合低頻解碼子帶特征進(jìn)行拉普拉斯金字塔重構(gòu)(LP reconstruction,LP-Rec),最后得到輸出的重構(gòu)煙塵特征.
8個(gè)高頻邊緣方向子帶經(jīng)過(guò)DFB-Rec進(jìn)行完全重構(gòu)得到高頻子帶b,即
圖3中(a)為DFB-Rec結(jié)構(gòu)示意圖,8個(gè)煙塵方向子帶先進(jìn)行上采樣S之后通過(guò)不同的方向合成濾波器D進(jìn)行合成,再相加融合后得到高頻子帶b.
在進(jìn)行DFB-Rec之后得到的煙塵高頻子帶b再與低頻解碼子帶a進(jìn)行LP-Rec得到重構(gòu)圖像,即
圖3中(b)為L(zhǎng)P-Rec結(jié)構(gòu)示意圖,高頻子帶b經(jīng)過(guò)分解濾波H和采樣矩陣M進(jìn)行下采樣之后與低頻子帶a進(jìn)行差值處理得到一個(gè)近似重構(gòu)煙塵圖像,再經(jīng)過(guò)采樣矩陣M上采樣及合成濾波G之后與高頻子帶b進(jìn)行相加融合,得到最后的重構(gòu)煙塵圖像.
通過(guò)結(jié)合解碼低頻子帶和在編碼過(guò)程中分解出來(lái)的煙塵高頻方向子帶信息進(jìn)行CDRU有效利用了煙塵高頻方向細(xì)節(jié)信息,實(shí)現(xiàn)了煙塵圖像特征圖分辨率和邊緣細(xì)節(jié)信息的恢復(fù),增強(qiáng)了在解碼過(guò)程中煙塵邊緣細(xì)節(jié)信息的恢復(fù)能力.
在網(wǎng)絡(luò)中進(jìn)行編解碼特征提取過(guò)程中會(huì)存在煙塵邊緣細(xì)節(jié)信息丟失的情況,為增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的提取恢復(fù)能力,本文在網(wǎng)絡(luò)中通過(guò)MISC實(shí)現(xiàn)對(duì)煙塵邊緣多方向細(xì)節(jié)信息進(jìn)行單獨(dú)利用.在網(wǎng)絡(luò)編碼操作的過(guò)程中,通過(guò)CMDD得到的煙塵高頻方向子帶信息,以跳躍連接的方式直接傳遞到CDRU操作中,降低了由于網(wǎng)絡(luò)持續(xù)采樣提取特征過(guò)程中造成的煙塵細(xì)節(jié)信息損失.通過(guò)煙塵高頻方向細(xì)節(jié)信息的直接傳輸,增強(qiáng)了網(wǎng)絡(luò)在解碼過(guò)程中對(duì)煙塵圖像邊緣細(xì)節(jié)信息的恢復(fù)能力.另外,在進(jìn)行解碼操作的過(guò)程中,結(jié)合高頻跳躍連接的煙塵多方向細(xì)節(jié)信息和煙塵低頻解碼特征進(jìn)行CDRU恢復(fù)煙塵圖像特征,能有效增強(qiáng)網(wǎng)絡(luò)恢復(fù)煙塵邊緣細(xì)節(jié)信息的能力.
C-UNet通過(guò)把包含煙塵邊緣方向細(xì)節(jié)信息的高頻分量和包含煙塵主體信息的低頻分量分開進(jìn)行處理,使煙塵主體低頻分量進(jìn)行持續(xù)提取高級(jí)煙塵語(yǔ)義信息的過(guò)程中不會(huì)受煙塵高頻邊緣細(xì)節(jié)信息的影響,同時(shí)煙塵高頻方向細(xì)節(jié)信息為上采樣恢復(fù)分辨率的過(guò)程中提供了煙塵多方向細(xì)節(jié)信息,增強(qiáng)了網(wǎng)絡(luò)恢復(fù)煙塵邊緣方向細(xì)節(jié)信息的能力.
在煙塵分割的過(guò)程中,交叉熵?fù)p失(cross entropy loss,CEL)函數(shù)[22]在網(wǎng)絡(luò)訓(xùn)練的時(shí)候能夠同時(shí)關(guān)注背景與待分割目標(biāo)前景區(qū)域,為所有像素保持平滑的梯度,有助于對(duì)所有像素進(jìn)行分割,CEL計(jì)算公式如下:
其中:y表示煙塵真實(shí)標(biāo)簽,表示煙塵預(yù)測(cè)結(jié)果,m表示類別總數(shù).
但是CEL在煙塵的邊緣精細(xì)部分的分割效果較差,特別是在煙塵的邊緣像素的區(qū)分上置信度較低,導(dǎo)致煙塵圖像邊緣細(xì)節(jié)分割模糊.針對(duì)此問(wèn)題,本文提出了一種基于動(dòng)態(tài)加權(quán)策略的組合損失函數(shù)來(lái)增強(qiáng)網(wǎng)絡(luò)對(duì)于煙塵邊緣特征的提取.
基于結(jié)構(gòu)相似性指標(biāo)構(gòu)建的結(jié)構(gòu)相似性損失(structural similarity loss,SSIML)函數(shù)[23]能夠捕捉圖像邊緣結(jié)構(gòu)信息,考慮到每一個(gè)像素結(jié)構(gòu)的局部領(lǐng)域,在進(jìn)行損失計(jì)算的時(shí)候?yàn)檫吔绶峙涓叩臋?quán)重,以此在訓(xùn)練的時(shí)候使網(wǎng)絡(luò)更加關(guān)注邊界的精細(xì)分割,其計(jì)算公式如下:
焦點(diǎn)損失(focal loss,FL)函數(shù)[24]能夠通過(guò)參數(shù)調(diào)整正負(fù)樣本和難易分割樣本對(duì)損失函數(shù)的貢獻(xiàn),能在網(wǎng)絡(luò)訓(xùn)練的時(shí)候使網(wǎng)絡(luò)更偏向于難分割樣本,增強(qiáng)網(wǎng)絡(luò)對(duì)難分邊界的分割效果,其計(jì)算公式如下:
其中:α是樣本數(shù)量平衡因子,用來(lái)調(diào)節(jié)正負(fù)樣本的比重;γ是難易平衡因子,用來(lái)調(diào)節(jié)難分樣本對(duì)損失函數(shù)的貢獻(xiàn).本文中設(shè)置α=0.75,γ=2.
普通組合損失函數(shù)通過(guò)使用固定參數(shù)對(duì)不同損失函數(shù)進(jìn)行加權(quán)組合,加權(quán)參數(shù)的固定設(shè)置,不利于最佳參數(shù)的尋找和網(wǎng)絡(luò)的訓(xùn)練過(guò)程.為了使損失函數(shù)適應(yīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程,更能準(zhǔn)確分割煙塵邊緣及整體區(qū)域,受文獻(xiàn)[25]的啟發(fā),對(duì)CEL函數(shù)進(jìn)行改進(jìn),采用動(dòng)態(tài)變化的權(quán)重參數(shù)來(lái)實(shí)現(xiàn)組合損失的加權(quán),使組合損失具有自適應(yīng)性和動(dòng)態(tài)性,能使網(wǎng)絡(luò)模型從關(guān)注全局信息逐漸關(guān)注煙塵邊緣區(qū)域,提高煙塵邊緣區(qū)域的分割效果.
本文采用lg函數(shù)構(gòu)造了一種動(dòng)態(tài)參數(shù)變化方案,通過(guò)設(shè)置最小權(quán)重參數(shù)和最大權(quán)重參數(shù),使加權(quán)參數(shù)在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中根據(jù)迭代次數(shù)的變化進(jìn)行動(dòng)態(tài)調(diào)整.以迭代次數(shù)動(dòng)態(tài)變化參數(shù)為自變量的lg函數(shù)為
其中:n為當(dāng)前迭代次數(shù),N為總迭代次數(shù).
當(dāng)網(wǎng)絡(luò)剛開始訓(xùn)練,即n=1時(shí),需要通過(guò)本文構(gòu)造的動(dòng)態(tài)加權(quán)策略使組合損失函數(shù)的加權(quán)參數(shù)接近于最小權(quán)重參數(shù);隨著網(wǎng)絡(luò)訓(xùn)練到最后一輪,即n=N時(shí),需要加權(quán)參數(shù)等于最大權(quán)重參數(shù).因此,要使動(dòng)態(tài)參數(shù)能在最小權(quán)重參數(shù)和最大權(quán)重參數(shù)范圍內(nèi)動(dòng)態(tài)變化,需改進(jìn)自變量為∈(1,10],以得到動(dòng)態(tài)變化函數(shù)為
最后,基于上述得到的動(dòng)態(tài)變化函數(shù),即可得到本文提出的在最小權(quán)重參數(shù)和最大權(quán)重參數(shù)范圍內(nèi)隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行動(dòng)態(tài)變化的動(dòng)態(tài)加權(quán)策略
其中:βcur為當(dāng)前迭代次數(shù)下的β值,βmax為設(shè)定的參數(shù)最大值,βmin為設(shè)定的參數(shù)最小值.
通過(guò)上述動(dòng)態(tài)參數(shù)構(gòu)建的動(dòng)態(tài)加權(quán)組合損失函數(shù)如下:
隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,β值隨著動(dòng)態(tài)增長(zhǎng)變化,使動(dòng)態(tài)加權(quán)組合損失函數(shù)更適應(yīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程,讓網(wǎng)絡(luò)從訓(xùn)練開始先通過(guò)CEL來(lái)關(guān)注煙塵全局信息,提取煙塵整體區(qū)域;在此基礎(chǔ)上再通過(guò)SSIML和FL來(lái)關(guān)注煙塵難分割的邊緣區(qū)域,提取精細(xì)煙塵邊緣,以達(dá)到網(wǎng)絡(luò)對(duì)煙塵整體和精細(xì)邊緣區(qū)域的準(zhǔn)確分割.
實(shí)驗(yàn)所用電腦配置為Intel(R)Xeon(R)CPU E5-2620 V4@2.10 GHz處理器,64 GB內(nèi)存,11 GB RAM的NVIDIA GeForce RTX 2080Ti顯卡,實(shí)驗(yàn)使用Python語(yǔ)言,PyTorch深度學(xué)習(xí)框架.
實(shí)驗(yàn)所用工業(yè)煙塵圖像來(lái)自實(shí)際鋼廠定點(diǎn)拍攝的煙塵排放視頻,視頻記錄了白天時(shí)間段內(nèi)不同監(jiān)測(cè)點(diǎn)不同場(chǎng)景的煙塵排放信息.從拍攝視頻中選取不同時(shí)間段、不同拍攝點(diǎn)的60段煙塵視頻,從中提取1724幀圖像,設(shè)置圖像尺寸大小為224×224,使用Labelme圖像標(biāo)注軟件在專家指導(dǎo)下手動(dòng)對(duì)煙塵目標(biāo)區(qū)域進(jìn)行標(biāo)注,制作煙塵圖像數(shù)據(jù)標(biāo)簽.對(duì)煙塵圖像和標(biāo)簽進(jìn)行上下翻轉(zhuǎn)和90°,180°,270°旋轉(zhuǎn)實(shí)現(xiàn)數(shù)據(jù)集擴(kuò)充至8620張,其中訓(xùn)練集6370張、測(cè)試集2250張.為了驗(yàn)證本文方法在不同煙塵場(chǎng)景下的識(shí)別能力,將測(cè)試集中的2250張圖像劃分為昏暗煙塵場(chǎng)景840張、易辨煙塵場(chǎng)景340張、干擾場(chǎng)景210張、小目標(biāo)煙塵場(chǎng)景380張、稀薄煙塵場(chǎng)景175張、有顏色煙塵場(chǎng)景305張,共6個(gè)場(chǎng)景.
本文實(shí)驗(yàn)在PyTorch深度學(xué)習(xí)環(huán)境下,通過(guò)端到端的方式進(jìn)行訓(xùn)練,訓(xùn)練使用Adam算法對(duì)損失函數(shù)進(jìn)行優(yōu)化,優(yōu)化器參數(shù)β1=0.9,β2=0.999,批處理大小batch=2,學(xué)習(xí)率lr=0.0001,訓(xùn)練迭代次數(shù)epoch=50.
為了對(duì)本文方法進(jìn)行有效評(píng)估,選擇了查全率R(recall)、查準(zhǔn)率P(precision)、IOU(intersection over union)、DSC(dice similarity coefficient)和F1度量(F1-score)作為評(píng)價(jià)指標(biāo).其中: R是被正確分類的正樣本數(shù)量與真實(shí)正樣本的數(shù)量之比;P是被正確分類的正樣本數(shù)量與被預(yù)測(cè)為正樣本的數(shù)量之比;IOU是語(yǔ)義分割的標(biāo)準(zhǔn)度量,是真實(shí)值與真實(shí)預(yù)測(cè)結(jié)果的交集與并集之比;DSC用于度量?jī)蓚€(gè)集合的相似程度;F1度量是綜合度量查全率和查準(zhǔn)率的指標(biāo),本文中正樣本為煙塵目標(biāo)區(qū)域、負(fù)樣本為背景區(qū)域.各評(píng)價(jià)指標(biāo)計(jì)算公式如下:
其中: TP,TN,FP,FN表示真實(shí)值與預(yù)測(cè)值之間的關(guān)系,如表1所示.式(21)中,β用于調(diào)整查全率和查準(zhǔn)率的權(quán)重,當(dāng)β=1時(shí),二者重要度一樣;β值增大,則認(rèn)為查全率更重要;β值減小,則認(rèn)為查準(zhǔn)率更重要.在本實(shí)驗(yàn)中,更關(guān)注被分割出來(lái)的煙塵正樣本數(shù)量,即認(rèn)為查全率更重要,設(shè)置β=2.
表1 TP,FP,FN,TN含義表Table 1 Meaning of TP,FP,FN,TN
為了驗(yàn)證本文所提結(jié)構(gòu)上改進(jìn)的有效性,本節(jié)對(duì)U-Net[15]、單獨(dú)使用CMDD結(jié)構(gòu)(Model1)、單獨(dú)使用CDRU結(jié)構(gòu)(Model2)、去除DFB分解和重構(gòu)只進(jìn)行LP分解和重構(gòu)(LP-Net)和本文方法C-UNet進(jìn)行對(duì)比.在進(jìn)行Model1和Model2的消融實(shí)驗(yàn)過(guò)程中,網(wǎng)絡(luò)的上采樣和下采樣過(guò)程使用原始U-Net網(wǎng)絡(luò)的上采樣與下采樣結(jié)構(gòu).其中,在驗(yàn)證CDRU結(jié)構(gòu)的有效性時(shí),需要使用到CMDD結(jié)構(gòu)分解得到的8個(gè)高頻方向子帶,因此,在網(wǎng)絡(luò)的下采樣過(guò)程中,僅使用CMDD 結(jié)構(gòu)為CDRU結(jié)構(gòu)提供8個(gè)高頻方向子帶,并不參與網(wǎng)絡(luò)的訓(xùn)練.各個(gè)網(wǎng)絡(luò)訓(xùn)練所用損失函數(shù)為CEL,評(píng)價(jià)指標(biāo)對(duì)比如表2所示,分割結(jié)果對(duì)比如圖4所示.
表2 網(wǎng)絡(luò)結(jié)構(gòu)評(píng)價(jià)指標(biāo)對(duì)比Table 2 Comparison of network structure evaluation in-dexes
圖4 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)前后對(duì)比Fig.4 Comparison of network structure before and after improvement
1) 從實(shí)驗(yàn)結(jié)果中可以看出,U-Net中由于對(duì)煙塵整體特征和邊緣方向細(xì)節(jié)信息的提取能力不足,存在煙塵邊緣細(xì)節(jié)信息丟失和煙塵漏分割的問(wèn)題,如圖4中第3列的第1個(gè)圖所示;
2) 單獨(dú)使用輪廓波進(jìn)行下采樣能降低由于池化操作的鄰域子采樣造成煙塵邊緣細(xì)節(jié)信息的問(wèn)題,能增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的提取能力,從表2 中的評(píng)價(jià)指標(biāo)也可直觀看出,Model1 比U-Net 在R,IOU,DSC 和F1 這4 個(gè)評(píng)價(jià)指標(biāo)上分別提高了6.30%,3.69%,3.23%和4.78%,但Model1在提取煙塵整體和邊緣細(xì)節(jié)信息上的能力還有待提高,對(duì)煙塵分割還不夠準(zhǔn)確,如圖4中第4列的第2個(gè)圖所示;
3) 單獨(dú)使用輪廓波進(jìn)行上采樣能夠利用輪廓波變換具有完全重構(gòu)的優(yōu)點(diǎn),能夠完全重構(gòu)分解圖像,增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵圖像邊緣細(xì)節(jié)信息的恢復(fù)能力,從表2 的評(píng)價(jià)指標(biāo)可以看出,Model2 比U-Net 在R,IOU,DSC和F1這4個(gè)評(píng)價(jià)指標(biāo)上分別提高了6.34%,3.47%,2.93%和4.71%,但Model2同樣存在分割出來(lái)的煙塵整體和邊緣不夠精確的問(wèn)題,如圖4中第5列的第4個(gè)圖所示;
4) LP-Net去除了DFB分解和重構(gòu)只進(jìn)行LP分解和重構(gòu),在一定程度上增強(qiáng)煙塵邊緣細(xì)節(jié)信息的提取能力,從表2的評(píng)價(jià)指標(biāo)可以看出,LP-Net比U-Net在R,IOU,DSC 和F1 這4 個(gè)評(píng)價(jià)指標(biāo)上分別提高了5.68%,3.53%,2.86%和4.32%,但LP-Net缺乏對(duì)煙塵多方向信息的提取能力,對(duì)煙塵邊緣部分的提取還有待提高,如圖4中第6列的第3個(gè)圖所示;
5) 本文方法C-UNet通過(guò)CMDD將圖像分解為包含煙塵主體信息的低頻分量和包含煙塵邊緣方向細(xì)節(jié)信息的8個(gè)高頻分量,有效提高了網(wǎng)絡(luò)對(duì)煙塵細(xì)節(jié)信息的處理能力.通過(guò)CDRU結(jié)合跳躍連接的多方向細(xì)節(jié)信息,能有效提高網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的恢復(fù)能力,提高煙塵邊緣細(xì)節(jié)部分的分割效果,如圖4中第7列第4個(gè)圖所示.從表2中的評(píng)價(jià)指標(biāo)中可以更直觀的看出,增加方向信息之后,本文方法C-UNet通過(guò)提取8個(gè)煙塵方向進(jìn)行邊緣細(xì)節(jié)特征提取,在R,IOU,DSC和F1這4個(gè)評(píng)價(jià)指標(biāo)上比U-Net分別提高了7.62%,5.22%,4.12%和5.96%,說(shuō)明增加煙塵方向信息提取能有效增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣信息的提取能力,提高網(wǎng)絡(luò)對(duì)煙塵整體和邊緣區(qū)域的分割能力.
為了驗(yàn)證本文提出的動(dòng)態(tài)加權(quán)損失函數(shù)的有效性,將所提的動(dòng)態(tài)加權(quán)損失和其他損失函數(shù)進(jìn)行對(duì)比.改進(jìn)前后對(duì)比的損失函數(shù)有CEL[23],SSIML[24],FL[25]以及固定參數(shù)分別為(β=0.6,β=0.7,β=0.8)下的組合損失函數(shù)和本文所提動(dòng)態(tài)加權(quán)策略下(參數(shù)動(dòng)態(tài)變化范圍分別為:(0.2,0.6],(0.3,0.7],(0.4,0.8])的動(dòng)態(tài)組合損失函數(shù).9個(gè)損失函數(shù)在C-UNet上的評(píng)價(jià)指標(biāo)對(duì)比如表3所示,分割結(jié)果對(duì)比如圖5所示.
表3 損失函數(shù)評(píng)價(jià)指標(biāo)對(duì)比Table 3 Comparison of loss function evaluation indexes
圖5 損失函數(shù)實(shí)驗(yàn)結(jié)果對(duì)比Fig.5 Comparison of experimental results of loss function
1) 從實(shí)驗(yàn)結(jié)果可知,采用單一損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,由于對(duì)煙塵的整體特征和邊緣特征沒(méi)有針對(duì)性,使網(wǎng)絡(luò)對(duì)煙塵邊緣的關(guān)注度不夠,分割結(jié)果不夠精確.其中,SSIML的分割效果差的原因是單獨(dú)使用SSIML的時(shí)候網(wǎng)絡(luò)關(guān)注的是全局圖像的邊緣結(jié)構(gòu)信息,缺乏煙塵先驗(yàn)信息指導(dǎo),導(dǎo)致單一SSIML下煙塵的分割效果較差.從圖5中(c)-(e)列可以看出單一損失函數(shù)存在漏分割誤分割等問(wèn)題,從表3中的評(píng)價(jià)指標(biāo)上也能直觀看出比本文方法低;
2) 組合損失函數(shù)能夠克服單一損失函數(shù)的缺點(diǎn),能夠利用不同損失函數(shù)的優(yōu)點(diǎn)實(shí)現(xiàn)對(duì)煙塵圖像進(jìn)行更準(zhǔn)確的分割.從固定參數(shù)分別為(β=0.6,β=0.7,β=0.8)下的組合損失函數(shù)的實(shí)驗(yàn)結(jié)果可知,組合損失函數(shù)能夠利用CEL,SSIML和FL每個(gè)損失函數(shù)的優(yōu)點(diǎn),能分割出相對(duì)更準(zhǔn)確的目標(biāo)煙塵區(qū)域,但由于固定參數(shù)的組合損失不能很好的適應(yīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程,導(dǎo)致對(duì)于煙塵的邊緣細(xì)節(jié)上的分割還不夠準(zhǔn)確,如圖5中(f)-(h)列和表3的評(píng)價(jià)指標(biāo)中可以看出煙塵邊緣分割不夠精確;
3) 本文提出的動(dòng)態(tài)加權(quán)組合損失函數(shù)能適應(yīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程,在網(wǎng)絡(luò)訓(xùn)練初期由CEL對(duì)煙塵目標(biāo)整體區(qū)域進(jìn)行分割,提供先驗(yàn)指導(dǎo)信息,隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,在分割出煙塵整體區(qū)域的基礎(chǔ)上,由SSIML和FL損失來(lái)關(guān)注煙塵邊緣結(jié)構(gòu)細(xì)節(jié)信息的提取,使網(wǎng)絡(luò)對(duì)于煙塵整體的分割完整度和邊緣分割的準(zhǔn)確性得到有效提升.如圖5中(i)-(k)列,以及表3 的評(píng)價(jià)指標(biāo)中可以看出煙塵分割結(jié)果更為準(zhǔn)確.從表3中的評(píng)價(jià)指標(biāo)的對(duì)比得出,在動(dòng)態(tài)權(quán)重為(0.4,0.8]范圍內(nèi)的IOU和DSC指標(biāo)上最好,在(0.3,0.7]范圍內(nèi)的查全率R和F1度量指標(biāo)上最好.在本實(shí)驗(yàn)中,更關(guān)注被分割出來(lái)的煙塵正樣本數(shù)量,更關(guān)注R和F1指標(biāo),后續(xù)對(duì)比實(shí)驗(yàn)在動(dòng)態(tài)權(quán)重為(0.3,0.7]范圍內(nèi)進(jìn)行.實(shí)驗(yàn)結(jié)果表明,在動(dòng)態(tài)權(quán)重為(0.3,0.7]時(shí),本文方法能有效增強(qiáng)網(wǎng)絡(luò)對(duì)煙塵邊緣的提取能力,在R,IOU,DSC和F1這4個(gè)評(píng)價(jià)指標(biāo)上比U-Net分別提高了9.25%,5.27%,4.31%和6.91%.
為了驗(yàn)證本文提出方法的有效性和適應(yīng)性,將本文方法C-UNet 和其他11 種語(yǔ)義分割方法進(jìn)行對(duì)比,對(duì)比方法有FCN[26],U-Net[15],ResNet[27],PSPNet[28],Deeplabv3+[29],DA-Net[30],W-UNet[31],SE-DUNet[32],Kidney-SegNet[33],I-BiSeNet[34],W-Net[13].11種對(duì)比網(wǎng)絡(luò)的訓(xùn)練參數(shù)與本文方法保持一致,在6個(gè)煙塵場(chǎng)景測(cè)試集上進(jìn)行實(shí)驗(yàn),評(píng)價(jià)指標(biāo)對(duì)比如表4所示,分割結(jié)果對(duì)比如圖6所示.
表4 各場(chǎng)景下不同網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)對(duì)比Table 4 Comparison of evaluation indicators of different network models indifferent scenarios
圖6 不同煙塵場(chǎng)景實(shí)驗(yàn)結(jié)果對(duì)比Fig.6 Comparison of experimental results indifferent smoke scenes
1) 在昏暗、易變、干擾、小目標(biāo)、稀薄和有顏色煙塵場(chǎng)景下,FCN,U-Net,ResNet和PSPNet網(wǎng)絡(luò)由于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)相對(duì)簡(jiǎn)單,對(duì)于非剛性多方向變化煙塵的整體和邊緣細(xì)節(jié)信息提取能力欠佳,導(dǎo)致分割的煙塵存在漏分割和誤分割的問(wèn)題,如圖6 中的(c)-(f)列所示;
2) Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet和W-Net網(wǎng)絡(luò)由于結(jié)合了更多的改進(jìn)思路,分割效果有所提高,但是網(wǎng)絡(luò)缺少針對(duì)性,網(wǎng)絡(luò)的適應(yīng)能力不足,仍然存在漏分割和誤分割的情況,如圖6中的(g)-(m)列所示,從表4中也能直觀看出在不同煙塵場(chǎng)景下大部分的分割評(píng)價(jià)指標(biāo)上都比本文方法低;
3) 本文方法能夠利用CMDD分解圖像為包含煙塵主體信息的低頻分量和包含煙塵邊緣方向細(xì)節(jié)信息的8個(gè)高頻分量,有效降低了煙塵細(xì)節(jié)信息的丟失,增強(qiáng)了網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的提取能力,通過(guò)CDRU結(jié)合跳躍連接的多方向細(xì)節(jié)信息,能有效提高網(wǎng)絡(luò)對(duì)煙塵邊緣方向細(xì)節(jié)信息的恢復(fù)能力,提高煙塵邊緣細(xì)節(jié)部分的分割效果,并通過(guò)動(dòng)態(tài)組合損失使網(wǎng)絡(luò)更關(guān)注煙塵邊緣信息的提取,本文方法的抗干擾能力得到了有效提高.在6個(gè)不同煙塵場(chǎng)景下不同方法的分割結(jié)果中,本文方法的分割結(jié)果優(yōu)于FCN,U-Net,ResNet,PSPNet,Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet 和W-Net共11種方法,分割煙塵整體及邊緣更加準(zhǔn)確.從表4的評(píng)價(jià)指標(biāo)上也可清晰看出,在不同煙塵場(chǎng)景下,本文方法在R,IOU和F1這3個(gè)評(píng)價(jià)指標(biāo)上都比其他分割模型表現(xiàn)好.通過(guò)實(shí)驗(yàn)證明,本文方法能夠很好解決煙塵邊緣信息丟失的問(wèn)題,能適應(yīng)復(fù)雜場(chǎng)景下目標(biāo)煙塵的準(zhǔn)確分割.
針對(duì)邊緣模糊且方向多變煙塵分割不準(zhǔn)確的問(wèn)題,本文提出頻域多方向C-UNet及動(dòng)態(tài)損失的工業(yè)煙塵圖像分割方法進(jìn)行解決.首先利用CMDD結(jié)構(gòu)來(lái)提高網(wǎng)絡(luò)對(duì)煙塵多方向細(xì)節(jié)特征的提取能力;然后通過(guò)高頻多方向細(xì)節(jié)信息的跳躍連接,提升持續(xù)采樣過(guò)程中細(xì)節(jié)信息的表達(dá)準(zhǔn)確度;之后利用CDRU結(jié)構(gòu)來(lái)增強(qiáng)煙塵邊緣細(xì)節(jié)信息恢復(fù)能力;最后構(gòu)建動(dòng)態(tài)加權(quán)組合損失函數(shù)來(lái)優(yōu)化訓(xùn)練網(wǎng)絡(luò),增強(qiáng)網(wǎng)絡(luò)的自適應(yīng)性和動(dòng)態(tài)性,提高網(wǎng)絡(luò)在訓(xùn)練過(guò)程中對(duì)煙塵邊緣特征的提取能力.
實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)邊緣模糊方向多變煙塵有更好的分割效果,能針對(duì)性地改善煙塵邊緣分割困難的問(wèn)題.同時(shí),為驗(yàn)證本文方法的適應(yīng)性和有效性,分別在多個(gè)不同煙塵場(chǎng)景數(shù)據(jù)集下進(jìn)行不同方法的對(duì)比實(shí)驗(yàn),從實(shí)驗(yàn)結(jié)果中可知,本文方法的分割效果都優(yōu)于其他分割網(wǎng)絡(luò).