基于改進(jìn)I-Attention U-Net 的鋅浮選泡沫圖像分割算法

唐朝暉，郭俊岑，張虎，謝永芳，鐘宇澤

（中南大學(xué) 自動(dòng)化學(xué)院，湖南 長沙 410083）

選礦是礦產(chǎn)資源加工中必不可少的一個(gè)重要環(huán)節(jié)，泡沫浮選是應(yīng)用最為廣泛的一種選礦方法，當(dāng)今世界上90%的鉛、鋅、銻等金屬都通過此方法被分離出來［1］.泡沫浮選是一種以表面化學(xué)為基礎(chǔ)，利用礦物顆粒表面親疏水性的差異來有效分離不同礦物的選礦方法［2］，浮選泡沫的表面視覺特征可以作為浮選工況和相關(guān)工藝指標(biāo)的直接指示器［3］.目前，操作人員主要通過在浮選現(xiàn)場觀察浮選槽表面泡沫狀態(tài)來判斷有色金屬浮選過程中泡沫礦物含量以及浮選生產(chǎn)運(yùn)行狀態(tài)［4］.但由于工業(yè)現(xiàn)場礦源復(fù)雜多變，這種人工操作方式存在很大的主觀性和不確定性，無法保證浮選過程的長期穩(wěn)定運(yùn)行，造成礦物的浪費(fèi)［5］.很多文章都指出可以通過觀察浮選槽表面視覺特征，調(diào)整浮選槽液位、藥劑量、鼓風(fēng)量等操作參數(shù)來控制浮選過程［6-7］.因此在礦物浮選過程中引入機(jī)器視覺技術(shù)，準(zhǔn)確客觀測量泡沫參數(shù)以及量化描述生產(chǎn)狀態(tài)，優(yōu)化浮選過程操作，對(duì)工廠效率以及礦物回收率的提高具有重要意義［8］.

研究表明，泡沫尺寸大小分布、泡沫形態(tài)、顏色等靜態(tài)紋理特征與動(dòng)態(tài)紋理特征在工業(yè)過程判斷泡沫浮選狀態(tài)中發(fā)揮著重要作用［9-10］.通過分割泡沫圖像，獲得準(zhǔn)確的泡沫尺寸分布、形態(tài)等特征參數(shù)，能更好地表征泡沫表面，進(jìn)而指導(dǎo)浮選過程.但浮選泡沫圖像中存在泡沫結(jié)構(gòu)復(fù)雜、輪廓不清晰、泡沫之間粘連嚴(yán)重等問題，給實(shí)現(xiàn)泡沫圖像分割增加了一定難度［11］.在過去的研究里，研究人員提出了多種泡沫圖像分割算法，這些算法可以大致分為邊緣檢測法、分水嶺算法［12-14］和閾值分割法［15］等.廖一鵬等人［16］提出了一種將多尺度邊緣增強(qiáng)及自適應(yīng)谷底邊界檢測相結(jié)合的氣泡分割方法，有效增強(qiáng)邊緣和抑制噪聲.Zhang 等人［13］利用每個(gè)泡沫上存在的光照亮點(diǎn)，提出基于光照模型的標(biāo)記分水嶺方法，從而有效識(shí)別鋅浮選泡沫圖像中單個(gè)氣泡的邊界.Zhang 等人［14］在此基礎(chǔ)上提出了一種具有最優(yōu)標(biāo)記的分水嶺分割算法來解決欠分割問題.肖玲玲［17］等人借助機(jī)器視覺和DSP 技術(shù)，設(shè)計(jì)了一種改進(jìn)的全局閾值分割的圖像處理算法.然而，這些方法對(duì)先驗(yàn)知識(shí)過多依賴，使得泡沫圖像的分割具有一定的局限性.

近年來，基于深度學(xué)習(xí)的方法在圖像分割領(lǐng)域取得了較大進(jìn)展.Shelhamer 等人［18］突破了傳統(tǒng)圖像分割算法，使用全卷積網(wǎng)絡(luò)（Fully Convolution Net?works，F(xiàn)CN）對(duì)圖像進(jìn)行像素級(jí)分類，實(shí)現(xiàn)圖像分割.Ronneberger 等人［19］提出的對(duì)稱U 形結(jié)構(gòu)網(wǎng)絡(luò)（U-Net）以及Oktay［20］等人提出的Attention U-Net 網(wǎng)絡(luò)，通過跳躍連接將網(wǎng)絡(luò)抽象的深層特征和蘊(yùn)含上下文信息的淺層特征進(jìn)行融合，強(qiáng)化網(wǎng)絡(luò)對(duì)不同尺度的特征關(guān)注，減少淺層圖像特征丟失，進(jìn)而提高了分割的準(zhǔn)確率.這些算法應(yīng)用在醫(yī)學(xué)圖像分割上都取得了很好的效果，是目前基于深度學(xué)習(xí)圖像分割算法的基礎(chǔ).在泡沫浮選方面，Liu 等人［21］也提出了一種多尺度跳躍特征融合全連接卷積網(wǎng)絡(luò)算法（multi-scale jump feature fusion fully connected convo?lutional network，MsJ），通過加入跳躍連接方式和殘差塊加強(qiáng)圖像細(xì)節(jié)，對(duì)銅浮選泡沫圖像進(jìn)行精確分割.

對(duì)于鋅浮選過程，一張泡沫圖像中氣泡大小差異較大，容易造成分割不準(zhǔn)確的問題；泡沫表面受自然光照、圖像采集系統(tǒng)照明、現(xiàn)場光照等多種光照的影響，存在色偏以及大量的陰影等問題.雖然上述深度學(xué)習(xí)算法可以應(yīng)用于鋅浮選泡沫圖像分割，但仍然無法準(zhǔn)確清晰地將泡沫邊界識(shí)別出來，使得泡沫圖像分割存在過分割或者欠分割的問題.一張泡沫圖像由大量大小不一的氣泡構(gòu)成，即便是少量的誤分割問題也將導(dǎo)致泡沫圖像尺寸大小分布產(chǎn)生很大的變化，對(duì)后續(xù)特征提取、工況識(shí)別等產(chǎn)生較大影響.

本文針對(duì)鋅浮選泡沫圖像的特點(diǎn)和分割的難點(diǎn)，對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的性能進(jìn)行分析，利用深度學(xué)習(xí)的優(yōu)勢，基于U-Net 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)出一種新的算法用于泡沫圖像分割，減少泡沫邊界信息丟失，提高泡沫分割算法準(zhǔn)確率.本文的主要貢獻(xiàn)如下：

淺層特征包含更多細(xì)節(jié)、紋理、位置等信息，對(duì)淺層特征的提取有利于處理圖像中的單個(gè)泡沫，因此，本文將Inception［22］模塊與批量歸一化（Batch Nor?malization，BN）相結(jié)合用于第一層特征提取.同時(shí)Inception 層增加網(wǎng)絡(luò)的寬度，不同尺寸的卷積核使得特征圖獲得不同大小的感受野，加強(qiáng)了網(wǎng)絡(luò)對(duì)泡沫圖像中不同大小泡沫邊界的提取能力.

改進(jìn)注意力門控機(jī)制，加強(qiáng)對(duì)淺層特征的關(guān)注與提取，強(qiáng)化模型對(duì)不同尺寸氣泡的學(xué)習(xí)能力.將該機(jī)制加在每一個(gè)上采樣部分，增強(qiáng)網(wǎng)絡(luò)的上采樣能力.

通過對(duì)構(gòu)建的泡沫圖像數(shù)據(jù)集的評(píng)估，證明了本文所提出的改進(jìn)I-Attention U-Net 算法與當(dāng)前常用分割算法（FCN-8s、U-Net、Attention U-Net和MsJ）相比具有更好的表現(xiàn)，得到了更好的分割效果.模型在Jaccard 系數(shù)、Dice系數(shù)和像素準(zhǔn)確率上均有提高.

1 網(wǎng)絡(luò)結(jié)構(gòu)與算法原理

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 為網(wǎng)絡(luò)整體框架圖.改進(jìn)的I-Attention UNet 網(wǎng)絡(luò)采用編碼-解碼的U 形對(duì)稱結(jié)構(gòu)，網(wǎng)絡(luò)包括依次連接的輸入層、編碼器模塊、金字塔池化模塊、解碼器模塊和輸出層.輸入泡沫圖像，編碼器部分采用4 層卷積池化模塊，逐步提取泡沫圖像特征信息，每次下采樣特征通道的數(shù)量加倍，特征圖尺寸減半，第一層卷積池化模塊改用Inception+BN 層，擴(kuò)展網(wǎng)絡(luò)的寬度與深度，使用1×1，3×3，5×5 不同尺寸的卷積核，獲取不同的感受野，豐富該層提取的特征信息.再經(jīng)過3 層普通卷積池化下采樣后，通過在 U-Net 網(wǎng)絡(luò)的編碼塊末端設(shè)置的金字塔池化模塊，結(jié)合上下文信息，完成對(duì)泡沫圖像的下采樣.上采樣部分經(jīng)過反卷積池化操作結(jié)合下采樣各層信息和上采樣的輸入信息還原細(xì)節(jié)信息以及圖像精度，但在最后一層解碼塊使用Inception+BN 層，多尺度還原細(xì)節(jié)信息.同時(shí)在U-Net 編解碼層之間的跳躍連接處引入改進(jìn)的增強(qiáng)注意力門控機(jī)制，幫助解碼器更好地修復(fù)目標(biāo)的細(xì)節(jié).最后通過1×1 的卷積和Sig?moid 激活函數(shù)，得到與輸入泡沫圖像相同分辨率的泡沫分割圖片.其中編解碼器各有3 層普通卷積池化，稱為Conv_Block 子模塊，每個(gè)子模塊包含2 個(gè)3×3 卷積層、BN 層和非線性激活函數(shù)ReLU 層.經(jīng)過兩次3×3 的卷積操作，增加網(wǎng)絡(luò)中每一個(gè)像素的感受野，使得特征圖中每一個(gè)像素可以代表原圖中的一塊區(qū)域.BN的目的是加速網(wǎng)絡(luò)收斂.

圖1 本文提出的I-Attention U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The proposed I-Attention U-Net network structure

1.2 Inception模塊

2015 年，Szegedy 等人［22］在GoogLeNet 模型中第一次提出Inception結(jié)構(gòu).Inception塊采用不同大小的卷積核，橫向增加網(wǎng)絡(luò)結(jié)構(gòu)，使得特征圖中的每一個(gè)像素可以獲得不同大小的感受野，最后將其拼接在一起對(duì)不同尺度特征進(jìn)行有效融合，實(shí)現(xiàn)多尺度讀取輸入圖像特征向量［23］.經(jīng)典的U-Net 網(wǎng)絡(luò)編解碼部分僅包括 3×3 的卷積層和 2×2 的池化層，卷積操作單一，往往對(duì)圖像不同尺度特征信息的學(xué)習(xí)不全面，同時(shí)限制網(wǎng)絡(luò)的深度和寬度.

由于淺層特征圖分辨率更高，每個(gè)像素對(duì)應(yīng)原圖的感受野小，包含更多位置、細(xì)節(jié)、紋理信息，對(duì)淺層特征的關(guān)注將更加有利于對(duì)浮選泡沫圖像中的單個(gè)泡沫的分割，本文采用Inception 架構(gòu)取代經(jīng)典的U-Net 網(wǎng)絡(luò)編解碼部分第一卷積池化層中的單一的卷積操作，同時(shí)對(duì)Inception-V1 塊進(jìn)行改進(jìn)，即在 1×1、3×3、5×5卷積層后接入BN層.采用的Inception模塊含有三條卷積支路，網(wǎng)絡(luò)中每一層都能學(xué)習(xí)到“稀疏”（3×3，5×5）或“不稀疏”（1×1）的特征，因此該Inception 模塊具有三個(gè)不同尺度的特征提取能力和融合能力，可以彌補(bǔ)U-Net 模型單一尺度卷積操作的局限性，從而提高模型對(duì)泡沫邊界的分割能力.編碼解碼部分均采用Inception 模塊，保證圖像分割的準(zhǔn)確性.Inception模塊如圖2所示.

圖2 Inception網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Inception network structure

1.3 注意力門控單元

注意力機(jī)制（Attention Mechanism）為了加強(qiáng)重要特征信息，會(huì)選擇對(duì)不同的像素分配不同的權(quán)重.將注意力機(jī)制應(yīng)用于U-Net 分割網(wǎng)絡(luò)中，可以更好地提升對(duì)目標(biāo)區(qū)域的關(guān)注度，更好地抑制背景［24］.本文在U-Net 網(wǎng)絡(luò)編解碼層間的跳躍連接處加入改進(jìn)的增強(qiáng)注意力門控機(jī)制，以深層特征作為門控信號(hào)，對(duì)淺層特征進(jìn)行再一次加強(qiáng)后與深層特征結(jié)合，增強(qiáng)用于精確分割的淺層信息.改進(jìn)的增強(qiáng)注意力模塊如圖3所示.

圖3 改進(jìn)的注意力模塊Fig.3 The improved attention module

淺層特征Fl作為特征輸入，深度特征Fg作為門控信號(hào)，分別經(jīng)過核為1 的Wl和Wg卷積，使兩個(gè)特征的通道數(shù)相同，并逐元素相加.經(jīng)過ReLU 激活函數(shù)增加非線性能力，通過1×1 卷積層Wφ2和Sigmoid激活函數(shù)，得到與輸入特征圖尺寸相同、通道數(shù)為1的注意力權(quán)重圖α，使其與特征圖Fl相乘，實(shí)現(xiàn)自注意力機(jī)制.深層特征Fg通過1×1 卷積層Wφ1后得到與Fl相同通道的新特征圖F′g，最終將深度特征圖F′g經(jīng)過與αFl逐點(diǎn)相加得到新的特征圖Fnew，強(qiáng)化深度特征，進(jìn)而實(shí)現(xiàn)多層次特征的融合.計(jì)算方法如下：

式中：α為注意力權(quán)重；σ1是ReLU 函數(shù)；σ2是Sig?moid 函數(shù)；Wl、Wg、Wφ1、Wφ2為線性變換參數(shù)；bg、bφ1、bφ2都是對(duì)應(yīng)卷積的偏置項(xiàng).

1.4 金字塔池化模塊

PSPNet（Pyramid Scene Parseing Network）對(duì)場景解析是基于語義分割的，賦予圖像中每個(gè)像素一個(gè)類別標(biāo)簽［25］.其中的金字塔池化模塊（Pyramid Pool?ing Module，PPM）使用不同尺度的池化核對(duì)特征圖進(jìn)行池化，可以更好地融合局部和全局信息［26］.為了更好感知鋅礦浮選泡沫圖像中包含的豐富細(xì)節(jié)信息，模型使用多尺度金字塔池化模塊獲取泡沫邊 界信息.池化參數(shù)分別為（1，1）、（2，2）、（4，4）和（8，8），金字塔池化模塊對(duì)這4 種尺度的特征圖進(jìn)行融合，獲得最終的金字塔池化全局特性.

2 泡沫圖像分割算法設(shè)計(jì)

本文泡沫圖像分割模型訓(xùn)練與測試流程如圖4所示.首先，通過工業(yè)相機(jī)自主采集泡沫圖像，得到原始泡沫圖像集，同時(shí)對(duì)原始泡沫圖像中的泡沫邊界分別進(jìn)行像素級(jí)標(biāo)注，得到人工泡沫分割圖像，共同建立泡沫圖像數(shù)據(jù)集.其次，對(duì)工業(yè)相機(jī)所獲得的泡沫圖像樣本和對(duì)應(yīng)的人工手動(dòng)做出的分割圖像一起進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)，數(shù)據(jù)增強(qiáng)處理得到樣本圖像，將所有樣本圖像按比例劃分為訓(xùn)練集、驗(yàn)證集、測試集.接下來，構(gòu)建深度I-Attention U-Net 卷積神經(jīng)網(wǎng)絡(luò)分割模型，調(diào)整泡沫圖像分割網(wǎng)絡(luò)的參數(shù)，并將網(wǎng)絡(luò)中的超參數(shù)進(jìn)行優(yōu)化，將訓(xùn)練集圖片送入構(gòu)建的分割模型進(jìn)行訓(xùn)練.最后，利用所述改進(jìn)的U-Net 神經(jīng)網(wǎng)絡(luò)模型對(duì)測試集中的泡沫圖像進(jìn)行識(shí)別分割，得到網(wǎng)絡(luò)最后的分割結(jié)果，驗(yàn)證泡沫圖像分割在本文網(wǎng)絡(luò)中的有效性.

圖4 鋅浮選泡沫圖像分割模型訓(xùn)練與測試流程框圖Fig.4 The training and testing flow chart of the image segmentation model of zinc flotation froth

2.1 建立泡沫圖像數(shù)據(jù)集

本文所用的數(shù)據(jù)均來自中國廣東某鉛鋅礦選礦廠工業(yè)現(xiàn)場，圖像均采集視頻中截取.每隔3 h 選取 1段視頻，選擇8段視頻（總計(jì)24 h）.為保證每一張圖片都沒有重疊部分、相互獨(dú)立，從捕獲的視頻中每一秒采集一張泡沫圖像，每段視頻（44 s）可以采集到44 張圖片，一共352 張分辨率為692×518 的泡沫圖像.將每張泡沫圖像裁剪為512×512 大小的圖像，每一張泡沫圖像的人工標(biāo)簽（Ground Truth，GT）全部由經(jīng)驗(yàn)豐富的專家手動(dòng)標(biāo)記.對(duì)獲得的圖像以及相應(yīng)的標(biāo)簽圖像用于訓(xùn)練，再對(duì)原始數(shù)據(jù)采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)以及90°、180°、270°旋轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)增強(qiáng)，使得模型擁有更好的泛化能力.

2.2 構(gòu)建加權(quán)損失函數(shù)

本文構(gòu)建了以Dice損失函數(shù)和二分類交叉熵值（Binary Cross Entropy，BCE）損失函數(shù)為基礎(chǔ)的加權(quán)損失函數(shù)，表達(dá)式如下：

式中：X代表預(yù)測分割結(jié)果；Y代表實(shí)際的標(biāo)簽值.YlogX部分對(duì)應(yīng)泡沫邊界區(qū)域，(1-Y)log (1-X)部分對(duì)應(yīng)泡沫表面區(qū)域.將這兩種方法結(jié)合在一起可以在一定程度上減少損失，同時(shí)受益于BCE 的穩(wěn)定性，能夠解決分割精度低、網(wǎng)絡(luò)不易收斂的問題，使得網(wǎng)絡(luò)具有分割精度高、收斂快的優(yōu)點(diǎn).

2.3 訓(xùn)練過程

實(shí)驗(yàn)計(jì)算機(jī)為Windows 10系統(tǒng)，CPU為Inter i7-11700K，以 Python 作為開發(fā)語言，使用PyCharm 2020 x64 進(jìn)行模型網(wǎng)絡(luò)訓(xùn)練和測試，并利用NVIDIA RTX3080 顯卡加速模型網(wǎng)絡(luò)的運(yùn)算.在以上的實(shí)驗(yàn)環(huán)境下對(duì)樣本進(jìn)行訓(xùn)練，隨機(jī)將2 112 對(duì)帶有GT 的泡沫圖像按照7∶2∶1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集，其中訓(xùn)練集為1 478 對(duì)樣本，驗(yàn)證集為422對(duì)樣本，測試集為212對(duì)樣本.

網(wǎng)絡(luò)訓(xùn)練過程中，通過Adam 優(yōu)化器來自動(dòng)更新迭代網(wǎng)絡(luò)內(nèi)部參數(shù)，網(wǎng)絡(luò)訓(xùn)練epochs 次數(shù)為400 次，學(xué)習(xí)率為0.000 1，batch size 為16，損失函數(shù)為構(gòu)建的加權(quán)損失函數(shù)，利用Early Stopping 技術(shù)抑制訓(xùn)練過程中過擬合問題.

訓(xùn)練集與驗(yàn)證集損失函數(shù)值與準(zhǔn)確率變化曲線如圖5 所示，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示損失值.由圖5可知，在迭代次數(shù)達(dá)到300次時(shí)，損失函數(shù)值已接近穩(wěn)定，且基本達(dá)到最低值，網(wǎng)絡(luò)收斂且驗(yàn)證準(zhǔn)確度高.

圖5 訓(xùn)練集和驗(yàn)證集的損失值曲線（左）與Jaccard 系數(shù)曲線（右）Fig.5 Curves of loss value（left）and Jaccard coefficient（right）in training datasets and validation datasets

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將所提算法在實(shí)際工業(yè)現(xiàn)場采集到的數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)驗(yàn)證，并且將算法中不同的模塊性能進(jìn)行驗(yàn)證以及不同網(wǎng)絡(luò)模型之間進(jìn)行對(duì)比實(shí)驗(yàn)，從而更好體現(xiàn)所提算法的性能.

3.1 算法評(píng)價(jià)指標(biāo)

為對(duì)圖像分割性能進(jìn)行評(píng)估，將分割結(jié)果與人工標(biāo)注結(jié)果對(duì)比，基于像素測度計(jì)算評(píng)估系數(shù)，以綜合評(píng)判性能優(yōu)劣.本文采用Jaccard 系數(shù)、區(qū)域相似度系數(shù)（Dice coefficient）和像素準(zhǔn)確率（Pixel Accu?racy，PA）3 個(gè)指標(biāo)對(duì)泡沫分割結(jié)果進(jìn)行定量分析，Jaccard、Dice和PA計(jì)算公式如下：

式中：Vseg代表預(yù)測分割結(jié)果；Vgt代表實(shí)際的標(biāo)簽值；TP表示泡沫邊界像素類被正確分類樣本面積；TN表示背景像素類被正確分類樣本面積；FP 表示背景像素類被錯(cuò)分為泡沫邊界像素類樣本面積；FN 表示泡沫邊界像素類被錯(cuò)分為背景像素類樣本面積.Jac?card 系數(shù)常用于比較有限樣本集之間的相似性與差異性，Jaccard 系數(shù)越大，樣本相似度越高.Dice 系數(shù)同樣用于評(píng)估兩者的相似性，Dice 系數(shù)越大，相似性就越高.PA系數(shù)對(duì)應(yīng)于準(zhǔn)確率，PA 系數(shù)越大，準(zhǔn)確率就越高.

3.2 不同網(wǎng)絡(luò)模塊性能對(duì)比

3.2.1 改進(jìn)的增強(qiáng)注意力機(jī)制模塊有效性驗(yàn)證

為了驗(yàn)證注意力機(jī)制在泡沫圖像分割上的效果，以及對(duì)比改進(jìn)注意力機(jī)制的作用，本文基于UNet網(wǎng)絡(luò)設(shè)計(jì)了兩個(gè)對(duì)比實(shí)驗(yàn)，關(guān)鍵評(píng)價(jià)指標(biāo)結(jié)果如表1所示.

表1 評(píng)價(jià)指標(biāo)結(jié)果Tab.1 The results of evaluation indicators

從表1 可知，沒有加入任何注意力機(jī)制的U-Net網(wǎng)絡(luò)其Jaccard 系數(shù)為90.29%，加入了注意力機(jī)制的模型其 Jaccard 系數(shù)為90.63%，驗(yàn)證了注意力機(jī)制的效果.而加入本文提出的改進(jìn)注意力機(jī)制的模型其 Jaccard 系數(shù)為90.82%，因此，本文提出的改進(jìn)注意力機(jī)制模塊可有效提高Attention U-Net模型的性能.

3.2.2 Inception模塊不同位置性能對(duì)比

以Attention U-Net 網(wǎng)絡(luò)為基礎(chǔ)，引入不同的In?ception 模塊.本文采用了Inception v1+BN 層模塊，與Inception v1 和Inception v2 模塊進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2 所示.實(shí)驗(yàn)結(jié)果證明：在Inception 模塊中引入BN 層不僅可以加速模型訓(xùn)練，還可以使網(wǎng)絡(luò)學(xué)習(xí)更加穩(wěn)定，可提升模型精度.

表2 Inception模塊對(duì)比實(shí)驗(yàn)結(jié)果Tab.2 Comparative experimental results under different inception modules

為證明在本文構(gòu)建的網(wǎng)絡(luò)中，Inception 模塊代替第一個(gè)卷積池化模塊的有效性，本文進(jìn)行多組In?ception 模塊位置實(shí)驗(yàn).以本文網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)，嘗試用Inception 模塊替換不同位置的卷積池化模塊，得到了5 個(gè)不同的網(wǎng)絡(luò).以下實(shí)驗(yàn)均采用相同數(shù)據(jù)集，使用相同的損失函數(shù)和訓(xùn)練策略，并保證相關(guān)參數(shù)一致.其結(jié)果如表3所示.

表3 Inception模塊不同位置測試結(jié)果Tab.3 Inception module test results at different locations

由表3 可知，使用Inception 模塊代替本文所構(gòu)建網(wǎng)絡(luò)的第一卷積池化模塊，使得測試集上的Jac?card指標(biāo)達(dá)到最大，為 91.73%，其他位置以及多個(gè)位置包含Inception模塊網(wǎng)絡(luò)的Jaccard系數(shù)均低于該數(shù)值，由此證明本文所構(gòu)建的網(wǎng)絡(luò)中Inception 模塊代替第一卷積池化模塊的有效性.

3.3 消融實(shí)驗(yàn)

為驗(yàn)證本文所構(gòu)建的網(wǎng)絡(luò)中各個(gè)模塊的有效性，進(jìn)行消融實(shí)驗(yàn)，訓(xùn)練了5 個(gè)不同的網(wǎng)絡(luò)用于對(duì)比分析.第1 個(gè)模型為Attention U-Net 模型；模型2 在模型1 的基礎(chǔ)上，引入Inception 塊替換Attention UNet網(wǎng)絡(luò)編解碼第一層的卷積塊，實(shí)現(xiàn)多尺度特征提??；第3 個(gè)模型為改進(jìn)的Attention U-Net 模型，使用改進(jìn)注意力門控單元替換第1 個(gè)模型的注意力機(jī)制；第4 個(gè)模型將Inception 塊與改進(jìn)注意力門控單元塊一同加入U(xiǎn)-Net 網(wǎng)絡(luò)；第5 個(gè)模型在第4 個(gè)模型的基礎(chǔ)上引入金字塔池化層，即本文所提出的模型.分別訓(xùn)練以上模型，其結(jié)果如表4所示.

由表4 可知，當(dāng)引入不同模塊時(shí)，模型在Jaccard系數(shù)、Dice 系數(shù)和PA 系數(shù)上均得到了不同程度的提升.Attention U-Net 網(wǎng)絡(luò)分割交并比系數(shù)為90.63%，將Attention U-Net 網(wǎng)絡(luò)編解碼器中的第一層傳統(tǒng)卷積替換為Inception，網(wǎng)絡(luò)的分割交并比系數(shù)較Atten?tion U-Net 網(wǎng)絡(luò)提升了0.25%，說明Inception 塊能夠擴(kuò)大感受野，提取更多泡沫邊界細(xì)節(jié)特征信息.使用改進(jìn)的增強(qiáng)注意力機(jī)制后網(wǎng)絡(luò)的分割交并比系數(shù)較Attention U-Net 網(wǎng)絡(luò)提高了0.19%，說明改進(jìn)增強(qiáng)注意力機(jī)制的使用使得網(wǎng)絡(luò)在訓(xùn)練時(shí)偏向于學(xué)習(xí)泡沫邊界特征，從而增強(qiáng)了網(wǎng)絡(luò)對(duì)泡沫邊界特征的表達(dá)能力.通過在編碼器最后一層加入金字塔池化模塊，提取具有上下文關(guān)聯(lián)的泡沫特征，有助于解碼器上采樣時(shí)多尺度恢復(fù)泡沫邊界信息，網(wǎng)絡(luò)的分割交并比系數(shù)提高了1.10%.

表4 消融實(shí)驗(yàn)測試結(jié)果Tab.4 Test results of ablation experiment

3.4 不同分割算法結(jié)果分析

為綜合評(píng)價(jià)不同分割算法性能，引入圖像質(zhì)量評(píng)估指標(biāo)均方誤差（Mean squared error，MSE）、峰值信噪比（Peak signal-to-noise ratio，PSNR），計(jì)算公式如下：

式中：X、Y分別表示模型輸出的預(yù)測圖與手工標(biāo)記的分割圖像；m、n分別表示圖像的寬和高；MaxY表示分割圖像像素點(diǎn)最大像素值（即255）.在進(jìn)行圖像質(zhì)量評(píng)估時(shí)，MSE 越小，則模型輸出的分割圖像與手工標(biāo)記的分割圖像越接近；PSNR 數(shù)值越大，表明模型輸出的圖像質(zhì)量越高.

本文分別對(duì)FCN-8s、U-Net、Attention U-Net、MsJ 和改進(jìn)I-Attention U-Net 算法五種網(wǎng)絡(luò)模型的分割性能進(jìn)行實(shí)驗(yàn)對(duì)比，評(píng)估指標(biāo)對(duì)比如表5 所示，不同模型的輸出結(jié)果如圖6所示.

表5 不同模型測試結(jié)果及其性能指標(biāo)Tab.5 Test results of different segmentation algorithms

從表5 可知，相比于其他算法，本文提出的改進(jìn)I-Attention U-Net 算法模型在鋅浮選泡沫數(shù)據(jù)集中的表現(xiàn)最好，其Jaccard 系數(shù)和PA 分別為91.73%和92.39%.相比于FCN-8s、U-Net、Attention U-Net 以及MsJ算法，本文提出的算法模型在準(zhǔn)確率和圖像質(zhì)量方面都得到了提升.此外，模型的參數(shù)量和計(jì)算速度也是衡量模型性能的重要指標(biāo)，參數(shù)量越小越容易部署在微型計(jì)算機(jī)上，而較短的檢測時(shí)間將大大提高系統(tǒng)的實(shí)時(shí)性.對(duì)比不同模型的參數(shù)量、訓(xùn)練時(shí)間以及檢測時(shí)間，如表5 所示.其中訓(xùn)練時(shí)間是指當(dāng)驗(yàn)證集損失函數(shù)達(dá)到穩(wěn)定時(shí)，訓(xùn)練模型所用的時(shí)間；檢測時(shí)間是指模型處理一張泡沫圖像所需時(shí)間.訓(xùn)練時(shí)間和檢測時(shí)間與實(shí)驗(yàn)計(jì)算機(jī)硬件有直接關(guān)系，本文實(shí)驗(yàn)所用計(jì)算機(jī)已在2.3 節(jié)詳細(xì)說明.將上述5 種模型經(jīng)過多輪訓(xùn)練后，取其均值得到訓(xùn)練時(shí)間以及檢測時(shí)間.從表5 可知，F(xiàn)CN-8s 模型訓(xùn)練時(shí)間最短，是因?yàn)楫?dāng)該模型訓(xùn)練迭代至第40 次時(shí)產(chǎn)生過擬合，但是單次迭代時(shí)間最長.U-Net 以及Attention U-Net模型在第230次迭代左右時(shí)達(dá)到最優(yōu)，但從圖6可知分割效果遠(yuǎn)不如本文所提出的算法.MsJ 參數(shù)量大，訓(xùn)練時(shí)間長，在第350 次迭代時(shí)達(dá)到最優(yōu).本文所提出的模型相較于其他模型，訓(xùn)練時(shí)間略長，但是檢測時(shí)間短，參數(shù)量小，具備部署工業(yè)現(xiàn)場計(jì)算機(jī)的能力.

圖6 不同分割算法的分割結(jié)果Fig.6 Segmentation results of different segmentation algorithms

本文提出的算法與其他算法的泡沫圖像分割結(jié)果如圖6 所示.為了有效對(duì)比不同算法在泡沫圖像上的表現(xiàn)，我們選用了3 張泡沫大小分布差別較大的泡沫圖像作為結(jié)果展示.（a）為從現(xiàn)場采集到的泡沫圖像，（b）為人工標(biāo)記的分割結(jié)果，（c）到（g）分別為FCN-8s、U-Net、Attention U-Net、MsJ 和本文提出算法的分割結(jié)果.FCN-8s 網(wǎng)絡(luò)對(duì)于明顯的泡沫邊界可以做到有效分割，但是線條粗糙；對(duì)于小泡沫和不明顯的泡沫邊界無法有效分割.FCN-8s難以準(zhǔn)確地分割出泡沫的邊界，泡沫邊界模糊且不連續(xù)，整體欠分割嚴(yán)重.U-Net 網(wǎng)絡(luò)使得分割結(jié)果的泡沫邊界較FCN-8s 更清晰，分割結(jié)果的圖像更符合泡沫圖像分割的結(jié)果，線條之間的連貫性更好，清晰度更高.但是對(duì)于一些強(qiáng)粘連泡沫之間的邊界還是無法有效識(shí)別，圖6（d）中還是存在很多不清晰的線條.Attention U-Net 網(wǎng)絡(luò)加入了注意力機(jī)制，會(huì)強(qiáng)化學(xué)習(xí)每一層特征，也就使得分割結(jié)果中的小泡沫和強(qiáng)鏈接泡沫之間的邊界更加清晰.MsJ 網(wǎng)絡(luò)沒有使用注意力機(jī)制，而是通過卷積塊和金字塔采樣保留圖像不同層次特征，使得分割結(jié)果雖然識(shí)別了不同尺寸的泡沫邊界，但是卷積塊的存在弱化了強(qiáng)鏈接泡沫之間的邊界，分割結(jié)果就會(huì)忽略這些較弱的邊界.本文算法通過引入Inception+批量歸一化層和金字塔池化層，并增強(qiáng)注意力模塊后，有效減少了泡沫邊界細(xì)節(jié)特征信息丟失的現(xiàn)象，泡沫界限清晰，在粘連泡沫處的邊界也能識(shí)別并畫出來，泡沫分割的準(zhǔn)確率較高，且分割邊界更加精細(xì).綜上，本文算法對(duì)結(jié)構(gòu)紋理復(fù)雜的泡沫圖像分割效果較好，這充分證明了本文算法的有效性.

4 結(jié)論

1）在網(wǎng)絡(luò)中通過Inception 塊中多卷積核組合的方法來擴(kuò)大感受野，在保持空間信息的情況下，獲取多尺度淺層特征信息.引入改進(jìn)的增強(qiáng)注意力門控機(jī)制，強(qiáng)化學(xué)習(xí)氣泡邊界特征.通過Inception 塊、改進(jìn)增強(qiáng)注意力機(jī)制以及金字塔池化模塊的組合，泡沫邊界分割得更加清晰、連貫，提高了分割的準(zhǔn)確性.Dice 系數(shù)和像素準(zhǔn)確率分別達(dá)到了95.66%、92.39%.從分割圖像的效果來看，有效彌補(bǔ)了傳統(tǒng)的泡沫圖像分割算法對(duì)單個(gè)泡沫分割不徹底、不精細(xì)的缺陷.

2）在采集到的工業(yè)泡沫圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，本文提出的算法對(duì)于泡沫圖像中泡沫的邊界的自動(dòng)分割取得了較好的效果.相比于其他分割算法，本文提出的算法參數(shù)量小，檢測時(shí)間快，更加具備可以部署在工業(yè)現(xiàn)場中小型計(jì)算機(jī)的能力，具備一定的實(shí)際意義和實(shí)用價(jià)值.

3）精確的泡沫測量對(duì)于泡沫浮選工況感知與優(yōu)化控制都具有十分重要的意義.泡沫圖像分割是后續(xù)泡沫特征提取等操作的基礎(chǔ)，在未來，將進(jìn)一步探索泡沫圖像特征與鋅礦泡沫浮選品位之間的模型關(guān)系.