基于改進(jìn)U-Net 網(wǎng)絡(luò)的吹氬圖像分割方法①

黃禹康 熊 凌 劉 洋 鄧 攀 但斌斌

(*武漢科技大學(xué)冶金自動(dòng)化與檢測(cè)技術(shù)教育部工程研究中心 武漢 430081)

(**武漢科技大學(xué)冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室 武漢 430081)

(***寶鋼股份中央研究院(武鋼有限技術(shù)中心)武漢 430081)

0 引言

鋼包底吹氬是爐外精煉的一種重要手段[1],目前,往往采用人工觀察的方法對(duì)吹氬流量進(jìn)行手動(dòng)調(diào)節(jié),難以實(shí)現(xiàn)吹氬流量的精準(zhǔn)控制[2]。為了實(shí)現(xiàn)氬氣流量智能控制,需要通過(guò)采集鋼包底吹氬圖像并對(duì)圖像進(jìn)行分割,檢測(cè)出鋼渣、鋼水區(qū)域,并計(jì)算裸露鋼水區(qū)域面積,根據(jù)面積與吹氬流量之間的關(guān)系調(diào)節(jié)吹氬流量。吹氬流量智能控制的效果直接影響鋼水的純凈度、質(zhì)量和生產(chǎn)成本,因此,有必要對(duì)鋼包底吹氬圖像分割技術(shù)開展研究。

近年來(lái),隨著人工智能技術(shù)的發(fā)展,深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于圖像分割領(lǐng)域。語(yǔ)義分割是一種像素級(jí)的分類任務(wù),其通過(guò)將目標(biāo)圖像分為不同的語(yǔ)義類別,對(duì)不同類的像素點(diǎn)進(jìn)行標(biāo)記[3]。早期的語(yǔ)義分割方法主要使用傳統(tǒng)聚類算法,在全卷積語(yǔ)義分割網(wǎng)絡(luò)出現(xiàn)后,深度學(xué)習(xí)技術(shù)在圖像語(yǔ)義分割領(lǐng)域得到了快速的推廣。Long 等人[4]在2015 年提出全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks,FCN),使用卷積層替換網(wǎng)絡(luò)中原有的線性層,使網(wǎng)絡(luò)可以適應(yīng)任意尺寸圖像的輸入,實(shí)現(xiàn)像素級(jí)的圖像語(yǔ)義分割。全卷積神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)層之間使用了跳級(jí)結(jié)構(gòu),將低層特征與高層特征結(jié)合起來(lái),使分割的效果更好。Ronneberger 等人[5]提出了U-Net 網(wǎng)絡(luò),該網(wǎng)絡(luò)具有對(duì)稱的U 型結(jié)構(gòu),通過(guò)對(duì)圖像特征的編碼與解碼,融合了網(wǎng)絡(luò)高層與低層的語(yǔ)義特征,提高了分割的準(zhǔn)確性。與FCN 網(wǎng)絡(luò)相比,U-Net 網(wǎng)絡(luò)對(duì)圖像特征的利用率更高,可以在較少樣本量的情況下完成模型訓(xùn)練并實(shí)現(xiàn)圖像語(yǔ)義分割。Noh 等人[6]提出了DeconvNet 網(wǎng)絡(luò),對(duì)FCN 網(wǎng)絡(luò)感受野固定、上采樣粗糙等問(wèn)題進(jìn)行了改進(jìn)。Yue 等人[7]在U-Net 網(wǎng)絡(luò)及DeconvNet 網(wǎng)絡(luò)基礎(chǔ)上,提出了SegNet 網(wǎng)絡(luò),在解碼器中使用反池化對(duì)特征圖進(jìn)行上采樣,并在分割中保持高頻細(xì)節(jié)的完整性,在保證網(wǎng)絡(luò)分割精度的前提下,減少了網(wǎng)絡(luò)的參數(shù)量。其他還有如PSPNet、E-Net、Link-Net、Mask R-CNN 等網(wǎng)絡(luò)基礎(chǔ)上發(fā)展而來(lái)的網(wǎng)絡(luò)模型在語(yǔ)義分割研究方向取得了很大的進(jìn)展[8-11]。這些方法雖然在分割精度上不斷提升,但模型對(duì)硬件設(shè)備和計(jì)算量的需求也在不斷增加,導(dǎo)致圖像處理速度較慢,不適合應(yīng)用于工業(yè)實(shí)踐。在實(shí)踐生產(chǎn)過(guò)程中,關(guān)鍵在于如何使用較少的計(jì)算資源,既好又快地完成指定任務(wù)。目前對(duì)于輕量化模型的研究并不多見(jiàn),主要的輕量化模型結(jié)構(gòu)有 Xception、SqueezeNet、ShuffleNet、MobileNet等[12-14],雖然它們能夠有效地降低模型的參數(shù)和計(jì)算量,但是仍存在訓(xùn)練過(guò)程復(fù)雜、模型精度不高的缺點(diǎn)。

本文針對(duì)吹氬生產(chǎn)中對(duì)圖像處理實(shí)時(shí)性的要求改進(jìn)了U-Net 網(wǎng)絡(luò),該網(wǎng)絡(luò)使用傳統(tǒng)U-Net 網(wǎng)絡(luò)的特征融合方法,使網(wǎng)絡(luò)具有較好的圖像分割效果,參考了MobileNet 網(wǎng)絡(luò)對(duì)深度可分離卷積方法的運(yùn)用,利用深度可分離卷積參數(shù)量和計(jì)算量較小的特點(diǎn),設(shè)計(jì)了輕量化的語(yǔ)義分割網(wǎng)絡(luò)。改進(jìn)的U-Net 網(wǎng)絡(luò)同時(shí)具有較好的實(shí)時(shí)性和圖像分割精度,可以滿足吹氬生產(chǎn)中對(duì)圖像處理快速性和準(zhǔn)確性的需求。

1 改進(jìn)的U-Net 網(wǎng)絡(luò)模型

為了實(shí)現(xiàn)吹氬流量自動(dòng)控制,需要得到裸露鋼水面積和吹氬流量之間的關(guān)系,將裸露鋼水區(qū)域從鋼液液面中分割出來(lái)是其中的關(guān)鍵步驟。U-Net 網(wǎng)絡(luò)作為語(yǔ)義分割的經(jīng)典模型,適用于吹氬圖像分割。將U-Net 網(wǎng)絡(luò)應(yīng)用于工業(yè)生產(chǎn)時(shí),U-Net 網(wǎng)絡(luò)存在著模型參數(shù)量大和計(jì)算量大等問(wèn)題,不能滿足工業(yè)生產(chǎn)中的高實(shí)時(shí)性要求,也對(duì)便攜式硬件設(shè)備有較大的局限性。因此需要對(duì)U-Net 網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì),減少網(wǎng)絡(luò)參數(shù),提高圖像處理速度。

1.1 深度可分離卷積

為了對(duì)U-Net 網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì),降低網(wǎng)絡(luò)的參數(shù)量和計(jì)算量,采用MobileNet 網(wǎng)絡(luò)中的深度可分離卷積方法來(lái)替代傳統(tǒng)卷積。深度可分離卷積與傳統(tǒng)卷積方法的不同點(diǎn)在于,輸入的特征張量的每個(gè)通道都對(duì)應(yīng)了一個(gè)單獨(dú)的卷積核來(lái)進(jìn)行卷積操作,卷積后輸出特征張量。傳統(tǒng)卷積和深度可分離卷積對(duì)比如圖1 所示。

圖1 傳統(tǒng)卷積和深度可分離卷積對(duì)比圖

由圖1 可知,傳統(tǒng)的卷積運(yùn)算由標(biāo)準(zhǔn)卷積層、批量歸一化(batch normalization,BN)和ReLU 激活函數(shù)組成。深度可分離卷積運(yùn)算由深度可分離卷積、逐點(diǎn)卷積、批量歸一化和ReLU 激活函數(shù)操作組成。

假設(shè)輸入張量尺寸為DF×DF×M,輸出張量尺寸為Dk×Dk×N,卷積核的尺寸是K ×K,那么普通卷積的參數(shù)量和計(jì)算量分別為

深度可分離卷積的參數(shù)量和計(jì)算量分別為

則網(wǎng)絡(luò)參數(shù)量和計(jì)算量之比為

由式(5)可以看出,深度可分離卷積操作的參數(shù)量和計(jì)算量明顯低于普通卷積操作,因此利用深度可分離卷積這一特點(diǎn)設(shè)計(jì)輕量化的快速語(yǔ)義分割網(wǎng)絡(luò)。

1.2 改進(jìn)的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

本文以U-Net 框架為主體,網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)的U-Net 網(wǎng)絡(luò)仍然使用編碼與解碼結(jié)構(gòu),網(wǎng)絡(luò)將低層特征與高層特征融合在一起,加強(qiáng)網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)的處理能力。相較于傳統(tǒng)U-Net 網(wǎng)絡(luò),本網(wǎng)絡(luò)在以下方面進(jìn)行了改進(jìn)。

(1)使用深度可分離卷積替代傳統(tǒng)卷積,為了彌補(bǔ)快速語(yǔ)義分割網(wǎng)絡(luò)損失的精度,在提取特征的過(guò)程中連續(xù)使用5 次步長(zhǎng)為1 的深度可分離卷積,使用多層深度可分離卷積增強(qiáng)網(wǎng)絡(luò)對(duì)抽象特征的提取能力,可以提高特征的利用率,增加網(wǎng)絡(luò)分割精度,使網(wǎng)絡(luò)模型在準(zhǔn)確率和實(shí)時(shí)性上達(dá)到較好的平衡。

(2)由于吹氬圖像中鋼渣區(qū)域與鋼水區(qū)域在圖像中所占比例不平衡,選擇結(jié)合Dice 相似系數(shù)(dice similarity coefficient,DSC)損失函數(shù)與二值交叉熵(binary cross entropy,BCE)損失函數(shù)的混合損失函數(shù)作為網(wǎng)絡(luò)的損失函數(shù),減少目標(biāo)區(qū)域與背景區(qū)域在圖像中占比不平衡對(duì)網(wǎng)絡(luò)訓(xùn)練效果的影響,提高網(wǎng)絡(luò)的分割精度。

(3)網(wǎng)絡(luò)中的激活函數(shù)均采用Leaky-ReLU 激活函數(shù),避免過(guò)濾掉激活函數(shù)的負(fù)值信息導(dǎo)致卷積神經(jīng)元的失活從而影響網(wǎng)絡(luò)的訓(xùn)練。

1.3 損失函數(shù)

在只區(qū)分目標(biāo)和背景的語(yǔ)義分割任務(wù)中,常使用二值交叉熵公式作為網(wǎng)絡(luò)的損失函數(shù),計(jì)算公式為

式中,Gi為像素點(diǎn)i 的真實(shí)類別,Pi為語(yǔ)義分割網(wǎng)絡(luò)對(duì)像素點(diǎn)i 的預(yù)測(cè)結(jié)果。

在吹氬圖像中,裸露鋼水區(qū)域占圖像的比例通常比鋼渣區(qū)域要小。由于二值交叉熵?fù)p失函數(shù)在優(yōu)化網(wǎng)絡(luò)的過(guò)程中對(duì)圖像上的每一個(gè)類別都平等地進(jìn)行評(píng)估,再將各類對(duì)應(yīng)的梯度進(jìn)行回傳,當(dāng)兩類區(qū)域占圖像的比例不平衡時(shí),占圖像比例更大的那一類對(duì)網(wǎng)絡(luò)的優(yōu)化方向影響更大,從而使分割結(jié)果產(chǎn)生誤差。

Dice 相似系數(shù)損失函數(shù)也是一種常用于語(yǔ)義分割任務(wù)的損失函數(shù),在優(yōu)化網(wǎng)絡(luò)權(quán)重的過(guò)程中,使預(yù)測(cè)結(jié)果逐漸接近真實(shí)結(jié)果。但是當(dāng)有像素預(yù)測(cè)錯(cuò)誤時(shí),會(huì)導(dǎo)致梯度變化十分劇烈,影響網(wǎng)絡(luò)的訓(xùn)練過(guò)程。其公式如下:

本文綜合二值交叉熵?fù)p失函數(shù)和Dice 系數(shù)損失函數(shù)的特點(diǎn),針對(duì)吹氬圖像的特性,提出了一種混合損失函數(shù),公式為

2 實(shí)驗(yàn)與分析

本文的模型在TensorFlow 和Keras 框架下實(shí)現(xiàn)。硬件環(huán)境為CPU 為Intel Core i7-9700,GPU 為NVIDIA RTX 2070。軟件環(huán)境為Window10、Tensor-Flow、Keras、Python3.7。

2.1 精度指標(biāo)

為了驗(yàn)證網(wǎng)絡(luò)的有效性,選取了精準(zhǔn)率(precision,P)、召回率(recall,R)、F 分?jǐn)?shù)和平均交并比(mean intersection over union,MIOU)指標(biāo)對(duì)網(wǎng)絡(luò)的分割性能進(jìn)行了測(cè)試。為了量化每種網(wǎng)絡(luò)的分割效果,通過(guò)對(duì)原始圖像進(jìn)行手工標(biāo)注,得到真實(shí)標(biāo)簽(ground truth,GT)圖像,如圖3 所示。

圖3 人工標(biāo)注的真實(shí)標(biāo)簽圖像

通常,基于GT 圖像的精度指標(biāo)是從真陽(yáng)性(true positive,TP)、假陽(yáng)性(false positive,FP)、假陰性(false negative,FN)和真陰性(true negative,TN)計(jì)算出來(lái)的。將分割結(jié)果與GT 圖像進(jìn)行比較,如果都將一個(gè)像素劃分為背景類,則將其表示為TP;如果僅有分割結(jié)果將其歸類為背景類,則將其視為FP;如果僅有GT 圖像將其分類為背景類,則將其視為FN;如果此像素既沒(méi)有在GT 圖像中出現(xiàn),也沒(méi)有在分割結(jié)果中出現(xiàn),則被認(rèn)為是TN。精準(zhǔn)率和召回率的公式為

其中|·|運(yùn)算符表示相關(guān)區(qū)域中的像素?cái)?shù)。當(dāng)使用P 和R 指標(biāo)比較不同的分割方法時(shí),需要一個(gè)單獨(dú)的性能指標(biāo)進(jìn)行度量。F 分?jǐn)?shù)是P 和R 指標(biāo)的結(jié)合,表示算法在P-R 空間中的性能,其公式如式(11)所示。

其中|·|運(yùn)算符表示相關(guān)區(qū)域中的像素?cái)?shù)。

MIOU 指標(biāo)的公式如下所示:

2.2 數(shù)據(jù)集

本文采用吹氬工業(yè)生產(chǎn)現(xiàn)場(chǎng)采集的數(shù)據(jù),數(shù)據(jù)集由110 張圖像組成,其中70 張是訓(xùn)練集,30 張是驗(yàn)證集,10 張是測(cè)試集。圖像分辨率為224 ×224像素,每張圖像都有對(duì)應(yīng)的手工標(biāo)注標(biāo)簽。為了增加訓(xùn)練數(shù)據(jù),本文采用數(shù)據(jù)擴(kuò)充的方式增加可用的訓(xùn)練樣本數(shù)量。本文采用了5 種數(shù)據(jù)擴(kuò)充的方式,包括水平方向平移、水平方向翻轉(zhuǎn)、垂直方向平移、垂直方向翻轉(zhuǎn)和隨機(jī)角度圖像旋轉(zhuǎn)。部分吹氬圖像數(shù)據(jù)集擴(kuò)充結(jié)果如圖4 所示。

圖4 部分?jǐn)?shù)據(jù)集擴(kuò)充結(jié)果

在擴(kuò)充了數(shù)據(jù)集之后,訓(xùn)練集、驗(yàn)證集和測(cè)試集在數(shù)據(jù)前后包含的圖像數(shù)量如表1 所示。

表1 訓(xùn)練集、驗(yàn)證集和測(cè)試集的大小

2.3 模型訓(xùn)練

訓(xùn)練時(shí)設(shè)置批尺寸為8,使用Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。改進(jìn)U-Net 網(wǎng)絡(luò)模型訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率變化曲線如圖5 所示,損失函數(shù)隨訓(xùn)練次數(shù)的變化曲線如圖6 所示。

圖5 準(zhǔn)確率變化情況

圖6 損失函數(shù)變化情況

可以看出,訓(xùn)練50 輪時(shí),損失函數(shù)已經(jīng)收斂,此時(shí)訓(xùn)練集的準(zhǔn)確率達(dá)到了99%以上。

2.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在吹氬數(shù)據(jù)集上進(jìn)行,實(shí)驗(yàn)中將原始圖像縮放至224 ×224 像素分辨率,再進(jìn)行數(shù)據(jù)擴(kuò)充操作。

各網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 吹氬圖像分割結(jié)果對(duì)比圖

從圖7 可以看出,對(duì)比人工標(biāo)注的真實(shí)標(biāo)簽圖像,本文提出的網(wǎng)絡(luò)分割圖像能夠取得與傳統(tǒng)U-Net網(wǎng)絡(luò)接近的效果,且在分割細(xì)節(jié)上優(yōu)于FCN網(wǎng)絡(luò),FCN 網(wǎng)絡(luò)將部分鋼渣區(qū)域誤分為了裸露鋼水區(qū)域。本文方法整體的計(jì)算量更少,計(jì)算速度表現(xiàn)得更快。在CPU 上運(yùn)行時(shí),傳統(tǒng)U-Net 網(wǎng)絡(luò)分割一張圖片需要1.95 s,不能達(dá)到實(shí)時(shí)處理的要求,改進(jìn)的U-Net網(wǎng)絡(luò)需要0.43 s,將速度提升了近5 倍。在GPU 運(yùn)行條件下U-Net 網(wǎng)絡(luò)分割一張圖片需要0.18 s,而改進(jìn)的U-Net 網(wǎng)絡(luò)只需要0.03 s。

實(shí)驗(yàn)的各項(xiàng)性能指標(biāo)與參數(shù)對(duì)比如表2 所示。

從表2 中可以看出,在吹氬數(shù)據(jù)集中,本文方法的各項(xiàng)精度指標(biāo)略低于傳統(tǒng)U-Net 網(wǎng)絡(luò),優(yōu)于FCN網(wǎng)絡(luò),在保持分割精度的同時(shí),大幅縮小了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。參數(shù)量為24.3 MB,對(duì)比傳統(tǒng)U-Net網(wǎng)絡(luò)縮小了15 倍;計(jì)算量為11.2 GFlops,對(duì)比傳統(tǒng)U-Net 網(wǎng)絡(luò)縮小了21 倍,通過(guò)減少網(wǎng)絡(luò)的參數(shù)量和計(jì)算量,降低了設(shè)備的計(jì)算負(fù)擔(dān),加快了運(yùn)行速度。本文方法在2 種計(jì)算條件下的平均耗時(shí)均為最低,通過(guò)對(duì)比實(shí)驗(yàn)證明本文改進(jìn)的U-Net 網(wǎng)絡(luò)在保證網(wǎng)絡(luò)具有較好分割精度的同時(shí),可以完成快速語(yǔ)義分割的任務(wù),同時(shí)網(wǎng)絡(luò)具有輕量化的結(jié)構(gòu),適合應(yīng)用于吹氬生產(chǎn)實(shí)踐場(chǎng)景中。

表2 吹氬數(shù)據(jù)集不同網(wǎng)絡(luò)分割結(jié)果

3 結(jié)論

工業(yè)生產(chǎn)應(yīng)用對(duì)圖像語(yǔ)義分割的實(shí)時(shí)性和準(zhǔn)確性都有較高的要求,本文在傳統(tǒng)U-Net 網(wǎng)絡(luò)框架的基礎(chǔ)上,進(jìn)行輕量化網(wǎng)絡(luò)設(shè)計(jì),實(shí)現(xiàn)了快速語(yǔ)義分割。相較于傳統(tǒng)U-Net 網(wǎng)絡(luò),改進(jìn)的U-Net 網(wǎng)絡(luò)使用深度可分離卷積方法降低網(wǎng)絡(luò)的參數(shù)量和計(jì)算量,在保持較好的精確度的同時(shí),提高了網(wǎng)絡(luò)運(yùn)行速度。實(shí)驗(yàn)結(jié)果表明,改進(jìn)的U-Net 網(wǎng)絡(luò)大幅減少了設(shè)備的計(jì)算負(fù)擔(dān),加快了語(yǔ)義分割的速度,在硬件設(shè)備方面更適合便攜式設(shè)備使用,同時(shí)能保證工業(yè)生產(chǎn)的實(shí)時(shí)性要求,能夠應(yīng)用于工業(yè)生產(chǎn)實(shí)踐。后續(xù)研究將引入更先進(jìn)的算法和網(wǎng)絡(luò)結(jié)構(gòu),提高輕量化網(wǎng)絡(luò)的分割精度。