基于GAN–UNet的礦石圖像分割方法

李鴻翔 ,王曉麗 ,陽春華 ,熊 偉

(1.中南大學(xué)自動(dòng)化學(xué)院,湖南長沙 410083;2.長沙礦冶研究院有限責(zé)任公司,湖南長沙 410012)

1 緒論

在選礦生產(chǎn)過程中,磨機(jī)給礦礦石大小是礦石硬度和破碎性質(zhì)的反映,對磨礦分級過程的控制十分重要.礦石大小波動(dòng)會(huì)造成磨礦和分級工況波動(dòng),如不及時(shí)根據(jù)礦石大小調(diào)整給礦量則會(huì)造成漲肚或空磨等非正常工況,嚴(yán)重影響磨礦分級效率和磨機(jī)安全.傳統(tǒng)礦石大小檢測采用人工篩分方法,從采樣到篩分都十分困難,礦石越大則工作量越大,因而難以在實(shí)際生產(chǎn)過程中應(yīng)用,使得眾多生產(chǎn)過程的給料粒度處于無檢測狀態(tài).

近十幾年來,機(jī)器視覺在礦物加工中的應(yīng)用穩(wěn)步增長[1–3].基于圖像分割的礦石大小檢測已成為研究熱點(diǎn).文獻(xiàn)[4]提出基于距離變換與重構(gòu)的分水嶺分割方法,使用雙窗最大類間方差法(Otsu)二值化,提高圖像信噪比,進(jìn)行背景分割,但對于礦石重疊較緊密的情況具有一定的局限性.文獻(xiàn)[5]提出基于協(xié)同表征與二部圖模型的圖像分割方法,該方法通過二部圖構(gòu)建稀疏矩陣,采用圖割法結(jié)合聚類,進(jìn)行圖像分割.該方法能夠減少圖像的過分割情況,但聚類數(shù)難以控制.文獻(xiàn)[6]基于硬件的方法提高圖像分割的效果,但需要根據(jù)使用場景不斷調(diào)整.文獻(xiàn)[7]提出基于雙邊濾波Harris角點(diǎn)檢測方法,通過凹點(diǎn)匹配距離,角度的最大最小值畫出分割線減少粘連,但需要根據(jù)不同場景進(jìn)行角點(diǎn)參數(shù)設(shè)置.文獻(xiàn)[8]提出采用mean shift在空域中尋找圖像簇點(diǎn),并選擇閾值劃分梯度找出陰影部分,提取最小值點(diǎn),將分水嶺分割標(biāo)記與陰影部分合并,但不適應(yīng)對大小不同礦石同時(shí)檢測.傳統(tǒng)圖像分割方法基于圖像中亮度、位置、顏色等信息進(jìn)行處理,因礦石紋理較多,礦石之間顏色相近,易產(chǎn)生礦石邊緣過分割與欠分割的情況.

利用卷積神經(jīng)網(wǎng)絡(luò)[9–11]進(jìn)行圖像處理是最近發(fā)展起來的一種方法,代表了復(fù)雜圖像處理的一種新技術(shù).訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)集,但在眾多工業(yè)生產(chǎn)應(yīng)用中帶標(biāo)簽的數(shù)據(jù)量極少,也難以獲取標(biāo)準(zhǔn)數(shù)據(jù)集.文獻(xiàn)[12]提出U–Net用于生物醫(yī)學(xué)圖像分割,克服了用小訓(xùn)練集圖像預(yù)測邊界的困難.文獻(xiàn)[13]提出基于U–Net的海底礦石分割,該方法中海底礦石是分散分布,易于分割.而磨礦給料圖像中礦石堆疊嚴(yán)重.文獻(xiàn)[14]采用Res_UNet模型對礦石圖像進(jìn)行訓(xùn)練并對生成的模型采用輪廓提取與篩選的方法進(jìn)行邊緣調(diào)整,但模型魯棒性一般.文獻(xiàn)[15]提出使用基于VGG(visual geometry group)網(wǎng)絡(luò)的整體嵌套邊緣檢測(holistically-nested edge detection,HED)模型進(jìn)行分割,使用骨架細(xì)化對分割后的圖像進(jìn)行處理,再進(jìn)行區(qū)域識別,并標(biāo)出顏色,用于處理相互粘連和陰影問題,對于大塊礦石能夠較好識別,但沒有對小塊礦石進(jìn)行識別.由于礦石存在重疊度高,礦石間相似度高的特點(diǎn),U–Net在礦石圖像分割過程中,出現(xiàn)難以恰當(dāng)分割,礦石表面棱線誤識別等問題.

生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[16–18]是一種基于生成器與判別器對數(shù)據(jù)進(jìn)行學(xué)習(xí)的方法,在目標(biāo)檢測領(lǐng)域得到了廣泛應(yīng)用.文獻(xiàn)[19]提出對抗訓(xùn)練方法用于訓(xùn)練語義分割模型,訓(xùn)練卷積語義分割網(wǎng)絡(luò)與對抗網(wǎng)絡(luò),直到無法判別分割圖來自真實(shí)圖還是分割網(wǎng)絡(luò),得到生成器與判別器網(wǎng)絡(luò),從而建立語義分割模型.

本文提出一種基于GAN–UNet的礦石圖像分割方法.首先,對圖像進(jìn)行預(yù)處理,再將U–Net網(wǎng)絡(luò)作為生成器,針對礦石區(qū)域分割錯(cuò)誤,礦石分割邊緣輪廓不閉合等情況,將生成器結(jié)果采用卷積形式輸入判別器網(wǎng)絡(luò),提取圖像特征,對圖像來源進(jìn)行判別.為減少分割結(jié)果與真實(shí)值的誤差,將判別結(jié)果引入生成器,提升圖像分割精度.通過對工業(yè)生產(chǎn)現(xiàn)場進(jìn)行圖像采集,并使用傳統(tǒng)圖像分割方法、U–Net、GAN–UNet進(jìn)行分割結(jié)果對比,統(tǒng)計(jì)其礦石區(qū)域識別情況,表明了GAN–UNet模型的可行性.

2 GAN–UNet礦石圖像分割方法

工業(yè)生產(chǎn)過程的礦石形狀具有隨機(jī)性強(qiáng),礦石間重疊程度高的特點(diǎn),且暫無標(biāo)準(zhǔn)礦圖石圖像數(shù)據(jù)集,礦石圖像標(biāo)記難以大量獲得.因此需要尋找一種對標(biāo)記圖像需求小,能夠解決礦石圖像特殊性的圖像分割方法.

2.1 U–Net網(wǎng)絡(luò)生成器

U–Net網(wǎng)絡(luò)是一種語義分割卷積神經(jīng)網(wǎng)絡(luò)[20–22],區(qū)別于一般卷積神經(jīng)網(wǎng)絡(luò),U–Net網(wǎng)絡(luò)加入上采樣同時(shí)進(jìn)行反卷積,得到基于像素點(diǎn)級的分割圖像,且網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)量要求較小.

圖像輸入U(xiǎn)–Net網(wǎng)絡(luò)后,采用一定的卷積核對其卷積,提升圖像深度并提取圖像特征.之后進(jìn)行池化操作,用于減小圖像面積并壓縮圖像.對圖像進(jìn)行4層卷積池化后,進(jìn)行圖像全連接,與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的1×1不同,U–Net網(wǎng)絡(luò)保留了最小圖像特征.因圖像分割結(jié)果需要與輸入圖像相匹配,進(jìn)行最小圖像面積擴(kuò)充,將圖像通過反卷積操作進(jìn)行上采樣,并將上方相同層次的圖像合并,保留圖像原始特征,再使用一定的卷積核進(jìn)行圖像卷積,提取圖像特征.各層操作類似,在最后一層輸出分割圖像.

本文采用U–Net結(jié)構(gòu)作為網(wǎng)絡(luò)生成器,具體結(jié)構(gòu)如圖1所示.圖1中紅色箭頭表示卷積,紫色箭頭表示最大池化,橙色箭頭表示上采樣,綠色箭頭表示復(fù)制.礦石圖像采用3×3的卷積核進(jìn)行卷積,并使用dropout 優(yōu)化運(yùn)算,提升圖像精度.在池化過程中采用2×2的滑窗,并選取滑窗內(nèi)最大值,進(jìn)行最大池化.在上采樣中對圖像采用2×2的卷積核進(jìn)行反卷積操作,再加入3×3的卷積核進(jìn)行圖像卷積.本文中使用交叉熵函數(shù)作為損失函數(shù):

圖1 U–Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of U–Net network

其中:輸入圖像大小為m×n,g(xij)為U–Net網(wǎng)絡(luò)對圖像的分割結(jié)果,yij為對應(yīng)的正確分割結(jié)果.

基于U–Net的圖像分割方法常用于醫(yī)學(xué)細(xì)胞圖像分割,細(xì)胞多為單層分布,細(xì)胞間重疊較少,且形狀較為單一,邊界明確.本文中礦石重疊,且礦石表面棱線與礦石邊緣相近,僅使用U–Net網(wǎng)絡(luò)進(jìn)行礦石圖像分割,存在部分邊緣缺失,無法對礦石區(qū)域準(zhǔn)確識別的問題.針對礦石圖像存在礦石重疊,礦石表面棱線干擾等特點(diǎn),采用生成對抗網(wǎng)絡(luò)對U–Net網(wǎng)絡(luò)進(jìn)行模型優(yōu)化.

2.2 生成對抗網(wǎng)絡(luò)

文獻(xiàn)[16]在2014年提出生成對抗網(wǎng)絡(luò)(GAN),該網(wǎng)絡(luò)是基于博弈論場景的一種生成模型,模型由生成器與判別器構(gòu)成,判別器對數(shù)據(jù)來源是否為真實(shí)數(shù)據(jù)進(jìn)行真假判別.生成器擬合真實(shí)數(shù)據(jù)以混淆判別器判斷,使得生成數(shù)據(jù)被判別為真實(shí)數(shù)據(jù),雙方博弈對抗訓(xùn)練,GAN的訓(xùn)練過程為

訓(xùn)練過程中,Pdata(x)為真實(shí)數(shù)據(jù),Pz(z)為輸入生成器數(shù)據(jù),G(z)為生成器生成數(shù)據(jù),D(x)表示真實(shí)數(shù)據(jù)被判別為真的概率,D(G(z))表示生成器生成數(shù)據(jù)被判別為真的概率.在訓(xùn)練開始進(jìn)行的時(shí)候,生成模型由于沒有得到訓(xùn)練因此生成數(shù)據(jù)較差,此時(shí)判別器D對數(shù)據(jù)來源是真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)的判別能力好,即D(x)的值接近1,因此log(1?D(G(z))的值較大,那么對于生成器,需要減小判別器將其判別為假的情況,即減小log(1?D(G(z))的值,使生成器獲得很大的梯度,用于模型更新.生成模型不斷更新,使生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)data相近,同時(shí)判別器的梯度也會(huì)改變,提高判別模型對數(shù)據(jù)來源的判別能力,訓(xùn)練過程中判別模型與生成模型同時(shí)訓(xùn)練,形成對抗.

本文以U–Net作為生成器,獲得生成器圖像分割數(shù)據(jù).判別器可根據(jù)數(shù)據(jù)類型不同選擇判別器構(gòu)造形式,在圖像領(lǐng)域常采用卷積網(wǎng)絡(luò)對輸入數(shù)據(jù)來源判別.根據(jù)對抗網(wǎng)絡(luò)需求,采用多層卷積網(wǎng)絡(luò)作為判別器模型,將生成器輸出圖像和標(biāo)簽圖像分別作為輸入,使用適應(yīng)輸入圖像的卷積核對圖像進(jìn)行卷積,減小圖像面積,提取圖像特征.采用全連接卷積分別求出生成器分割圖像和分割標(biāo)簽圖像對應(yīng)的判別器值.并使用交叉熵計(jì)算判別器網(wǎng)絡(luò)損失值,并采用Aadm方法進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)優(yōu)化.本文在四層卷積網(wǎng)絡(luò)中選擇步長為2,長寬為4×4的卷積核,具體判別器結(jié)構(gòu)如圖2.

圖2 判別器網(wǎng)絡(luò)Fig.2 Discriminator network

生成對抗網(wǎng)絡(luò)中,判別器將生成圖像的分割結(jié)果判別為假的能力不斷提升,同時(shí)生成器不斷優(yōu)化以擬合標(biāo)簽圖像使得判別器將其判別為真,二者在訓(xùn)練過程中不斷博弈,形成對抗.經(jīng)過網(wǎng)絡(luò)訓(xùn)練,生成器圖像分割結(jié)果精度提升,能夠在測試與實(shí)際使用中獲得精確的圖像分割結(jié)果.

2.3 礦石圖像分割網(wǎng)絡(luò)整體構(gòu)成

礦石表面存在不規(guī)則棱線較多且礦石堆疊的問題,本文擺脫基于圖像特征的傳統(tǒng)分割方法,利用U–Net像素點(diǎn)級圖像分割方法的優(yōu)點(diǎn),結(jié)合生成對抗網(wǎng)絡(luò)的優(yōu)化方法,解決礦石分割圖像中存在的邊緣缺失問題,提出了基于GAN–UNet的礦石圖像分割方法,提升圖像分割精確性.在生成對抗網(wǎng)絡(luò)的生成器與判別器構(gòu)建中,本文使用U–Net作為生成器,將分割標(biāo)簽圖像與生成器分割結(jié)果圖像,在判別網(wǎng)絡(luò)進(jìn)行判別,并根據(jù)前述方法進(jìn)行判別器模型優(yōu)化.生成器輸出在判別器中判別為真實(shí)值,表現(xiàn)了生成器網(wǎng)絡(luò)的有效性,采用交叉熵的形式,獲得lossuD(z)用于模型優(yōu)化.判別器網(wǎng)絡(luò)中提取了生成器分割結(jié)果與分割標(biāo)簽圖像特征,根據(jù)特征圖像計(jì)算二者差別,有助于整體模型梯度優(yōu)化.本文提取判別器網(wǎng)絡(luò)最后一層大小為32×32的圖像,計(jì)算分割標(biāo)簽圖像和生成器分割結(jié)果圖像對應(yīng)數(shù)據(jù)的交叉熵lossDc(z).整體方法流程圖如圖3.模型損失函數(shù)為losssum,對模型損失采用Adam方法進(jìn)行模型優(yōu)化.

圖3 本文方法整體流程圖Fig.3 Overall flow chart of the method

在生成器與判別器進(jìn)行對抗學(xué)習(xí)的過程中,計(jì)算出判別器損失函數(shù)、特征損失函數(shù)、U–Net損失函數(shù),基于判別器與生成器模型的對抗更新形成整個(gè)網(wǎng)絡(luò)的更新,最終在訓(xùn)練結(jié)束的生成器中得到最終分割圖像.對分割后的圖像采用中值濾波的方法除去部分多余棱線,圖像得到平滑.GAN–UNet網(wǎng)絡(luò)能夠有效減少礦石邊緣缺失問題.

3 實(shí)際生產(chǎn)礦石圖像分割與結(jié)果分析

本文在實(shí)際工業(yè)現(xiàn)場使用像素為500萬的電荷耦合器件(charge coupled device,CCD)相機(jī)對礦石運(yùn)送皮帶上的礦石進(jìn)行圖像采集,采用工業(yè)光源進(jìn)行照明,保持相機(jī)視野內(nèi)光照強(qiáng)度均勻.圖像采集裝置如圖4.圖像預(yù)處理部分使用MATLAB軟件進(jìn)行處理.提出的GAN–UNet模型在CPU為i5–8400,GPU GTX1060 6 GB的電腦上使用Tensorflow深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練.

圖4 圖像采集裝置Fig.4 Image acquisition device

3.1 圖像分割網(wǎng)絡(luò)訓(xùn)練

因采集圖像中存在皮帶等不相關(guān)元素,對礦石圖片進(jìn)行裁剪,使用65張礦石圖片作為訓(xùn)練集,每個(gè)樣本大小為512×512像素,由于工業(yè)現(xiàn)場存在灰塵等影響因素因此需要先對圖像進(jìn)行圖像去噪,直方圖均衡等圖像預(yù)處理,如圖5所示.

圖5 (a) 原始圖像(b) 圖像去噪(c) 直方圖均衡Fig.5 (a) Original image (b) Image denoising(c) Histogram equalization

本文采用人工對礦石圖像進(jìn)行2像素寬度的邊緣標(biāo)定.在GAN–UNet網(wǎng)絡(luò)訓(xùn)練過程中,對預(yù)處理后的圖像采取翻轉(zhuǎn)等形式擴(kuò)充訓(xùn)練集多樣性,每個(gè)訓(xùn)練隊(duì)列使用16個(gè)樣例,進(jìn)行最大50000次迭代訓(xùn)練,對整體網(wǎng)絡(luò)采用0.0005學(xué)習(xí)率,為了減少網(wǎng)絡(luò)過擬合采用0.4的丟棄率,并使用Adam梯度下降法進(jìn)行網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練時(shí)間為20 h.

3.2 模型分割結(jié)果與分析

將相同礦石圖像進(jìn)行分水嶺分割、U–Net分割、GAN–UNet分割,如圖6.

圖6 (a) 分水嶺分割(b) U–Net (c) GAN–UNet (d)GAN–UNet分割結(jié)果疊加至原圖Fig.6 (a) Watershed segmentation (b) U–Net (c) GAN–UNet (d) GAN–UNet segmentation results are superimposed on the original image

分水嶺分割是根據(jù)圖像中灰度等級模擬地形表面高度,在假設(shè)局部極小值存在的情況下,通過將圖像表面模擬侵入水的形式,形成水壩分水線,得到分割圖,由于礦石圖像中每個(gè)區(qū)域并不唯一存在極小值,導(dǎo)致分割出現(xiàn)欠分割與過分割如圖6(a).在U–Net分割中,能夠分割礦石邊緣,但因?yàn)榈V石表面棱線與邊緣的相似性,且礦石間相似性較強(qiáng),導(dǎo)致礦石區(qū)域不閉合的情況,圖像分割精度降低,并對礦石大小檢測或者粒度檢測有較大影響如圖6(b).

采用GAN–UNet對訓(xùn)練數(shù)據(jù)學(xué)習(xí),并進(jìn)行礦石圖像分割,其結(jié)果如圖6(c),疊加至原圖如圖6(d),本方法有效減少了因礦石區(qū)域不閉合、過分割、欠分割導(dǎo)致的圖像分割錯(cuò)誤,獲得正確的礦石邊緣,提升了礦石圖像分割精度,并能夠?qū)ΦV石區(qū)域準(zhǔn)確識別.

對測試集中十幅圖像進(jìn)行分析,統(tǒng)計(jì)出不同方法在各個(gè)圖像中礦石區(qū)域個(gè)數(shù)如圖7.由于礦石存在重疊的情況,對礦石分割造成困難,部分礦石會(huì)有未識別出邊緣,與相鄰礦石識別為同一礦石的情況,部分礦石因?yàn)楸砻胬饩€較多形成過分割.

圖7 各方法識別礦石區(qū)域個(gè)數(shù)Fig.7 The number of ore areas identified by different methods

在表1所示十組實(shí)驗(yàn)中GAN–UNet區(qū)域總計(jì)相對誤差為7.63%,相對誤差平均值為8.20%,均方根誤差為4.23,U–Net區(qū)域總計(jì)相對誤差為10.68%,相對誤差平均值為11.93%,均方根誤差為5.77.分水嶺分割結(jié)果區(qū)域總計(jì)相對誤差為31.59%,相對誤差平均值為38.27%,均方根誤差為16.81.

表1 各方法識別礦石區(qū)域個(gè)數(shù)The number of ore areas identified by different methods

4 結(jié)論

在選礦過程中,礦石的大小對磨礦分級效率起到重要影響.本文針對礦石存在的重疊、自相似性等問題,摒棄了傳統(tǒng)分水嶺分割方法,提出一種基于生成對抗的深度學(xué)習(xí)方法.使用像素級的圖像分割方法,根據(jù)礦石圖像中語義較少,加入生成對抗方法,構(gòu)建生成器與判別器,優(yōu)化網(wǎng)絡(luò)訓(xùn)練,減少了圖像中的邊緣未閉合、過分割、欠分割等問題,提高圖像分割準(zhǔn)確性.本方法還可在引入平面礦石區(qū)域與礦石立體模型轉(zhuǎn)換的方法后用于統(tǒng)計(jì)不同大小礦石占比的檢測.