基于圖像自適應(yīng)增強YOLOv5的輸送帶縱向撕裂檢測

沈景軒,王貢獻(xiàn),孫 暉,楊澤坤,洪湖城,胡志剛

(武漢理工大學(xué)交通與物流工程學(xué)院,湖北武漢 430063)

0 引言

帶式輸送機是長距離運輸作業(yè)的關(guān)鍵設(shè)備,廣泛應(yīng)用于散貨碼頭、礦山等工業(yè)領(lǐng)域。輸送帶大規(guī)模損傷的出現(xiàn)會造成嚴(yán)重?fù)p失[1]。近年來,基于深度學(xué)習(xí)的視覺檢測成為輸送帶表面損傷檢測的主要方法。但此類研究成果存在局限性,嚴(yán)重依賴輸入圖像質(zhì)量。而輸送帶工作環(huán)境干擾因素多[2-3],圖像質(zhì)量低。其損失檢測工作開展的難點在于：工作環(huán)境中大量煙塵以及霧氣等極端天氣導(dǎo)致采集圖像中包含大量噪聲信息;煙塵干擾以及輸送帶不規(guī)則表面易導(dǎo)致光反射強度不同,使圖像存在光照不均勻、光照不足等現(xiàn)象,特征信息丟失問題顯著;輸送帶圖像充斥著大量前景信息、噪聲信息,且部分潮濕環(huán)境下輸送帶易粘附泥土和散落的物料顆粒。該場景下,撕裂損傷信息不夠突出,易產(chǎn)生誤檢。

為避免不穩(wěn)定光照和霧氣等環(huán)境干擾,輸送帶損傷檢測領(lǐng)域和其他視覺應(yīng)用領(lǐng)域研究人員提出諸多方案。G.X.Wang等[2,4]采用對光照變化不敏感的haar特征和暗通道去霧來降低未校正光照和霧氣環(huán)境對輸送帶損傷檢測帶來的影響;Y.M.Chen等[5]采用KinD++低光增強算法提高圖像質(zhì)量,利用YOLOv4算法對提高質(zhì)量后輸送帶圖像進(jìn)行異物檢測;文獻(xiàn)[6-7]提出一種用于車輛檢測的改進(jìn)多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò),使用自適應(yīng)直方圖均衡和多尺度Retinex來增強圖像并克服不理想的成像條件。G.R.Song等[8]提出一種顯著性檢測模型,通過使用多個約束和改進(jìn)的紋理特征來檢測帶鋼表面,在不均勻照明損傷圖像的檢測工作中表現(xiàn)優(yōu)越。S.C.Huang等[9]介紹一種新型雙子網(wǎng)絡(luò),解決霧氣條件下目標(biāo)檢測難題。通過聯(lián)合訓(xùn)練2個子網(wǎng)絡(luò)(檢測子網(wǎng)絡(luò)和恢復(fù)子網(wǎng)絡(luò)),同時學(xué)習(xí)3個任務(wù)：可見度增強、目標(biāo)分類和目標(biāo)定位。綜上,針對檢測作業(yè)中特定環(huán)境干擾問題,傳統(tǒng)圖像增強算法用作檢測網(wǎng)絡(luò)預(yù)處理步驟的策略易于設(shè)計與應(yīng)用,具備普適性。然而,傳統(tǒng)圖像增強算法修正效果依賴于超參數(shù)的手動調(diào)整,過程費時且需強大專業(yè)能力,工業(yè)中實施便利性不足。

Y.M.Hu等[10]通過深度強化學(xué)習(xí)方式設(shè)計一組與分辨率無關(guān)的可微濾波器,可實現(xiàn)對圖像自適應(yīng)修正;W.Y.Liu等[11]在他們的基礎(chǔ)上設(shè)計一種新穎的圖像自適應(yīng)YOLO模型,通過小型卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練可微分圖像處理模塊,使得每張圖像得以自適應(yīng)增強,在霧氣和弱光場景下的目標(biāo)檢測任務(wù)中效果顯著。受此啟發(fā),本文提出一種基于YOLOv5的輸送帶撕裂檢測方法IAE-YOLOv5(image-adaptive enhancement-YOLOv5),實現(xiàn)輸送帶撕裂圖像自適應(yīng)檢測。針對3種不同環(huán)境,采用IAE-YOLOv5設(shè)計去霧濾波器、光照校正濾波器和紋理增強濾波器,減輕霧氣、不穩(wěn)定光照等干擾影響,增強損傷紋理特征信息表達(dá)。

1 圖像自適應(yīng)檢測方法IAE-YOLOv5

針對輸送帶工作中多源干擾環(huán)境,提出一種端到端圖像自適應(yīng)檢測方法,減輕霧氣、不穩(wěn)定光照對檢測的干擾,突出撕裂損傷紋理信息,提升檢測工作可靠性。該方法由參數(shù)預(yù)測模塊CNN-PL(CNN-parameters learning)、可微分圖像自適應(yīng)增強模塊IAE和YOLOv5檢測網(wǎng)絡(luò)構(gòu)成,如圖1所示。首先,將圖像像素縮放至320×320,并輸入CNN-PL模塊預(yù)測IAE模塊中各濾波器超參數(shù)。高像素?fù)p傷圖像經(jīng)過IAE模塊增強后,削弱特定環(huán)境干擾影響,得到突出損傷信息的圖像,輸入YOLOv5網(wǎng)絡(luò)中檢測,如圖2所示。

圖1 IAE-YOLOv5的訓(xùn)練與檢測流程

(a)無霧弱光圖像(b)不均勻霧氣圖像圖2 不同圖像檢測過程和濾波器關(guān)鍵參數(shù)可視化

IAE-YOLOv5通過檢測損失實現(xiàn)端到端訓(xùn)練,CNN-PL模塊可針對單張圖像預(yù)測合適超參數(shù)輸入IAE模塊,實現(xiàn)圖像自適應(yīng)增強。最后,在訓(xùn)練階段采用網(wǎng)絡(luò)主干預(yù)訓(xùn)練方法和多階段凍結(jié)訓(xùn)練方法減輕網(wǎng)絡(luò)過擬合以及加速訓(xùn)練過程。

2 圖像自適應(yīng)增強模塊的設(shè)計理論

IAE模塊包含4項圖像增強算法,分別為暗通道去霧、伽馬校正、照度校正和圖像銳化,實現(xiàn)多源干擾環(huán)境下圖像像素級增強。為應(yīng)對3種不同任務(wù)目標(biāo),將其劃分為3個濾波器,分別為解決濃霧天氣影響的去霧濾波器,解決不均勻光照和昏暗環(huán)境影響的光照校正濾波器以及強化損傷紋理特征表達(dá)的紋理增強濾波器。IAE模塊流程設(shè)計如下：

(1)基于暗通道理論的去霧濾波器會致使處理后圖像出現(xiàn)整體照度降低,丟失局部特征信息。為避免該問題,去霧濾波器和光照校正濾波器被設(shè)計為流程首項環(huán)節(jié)和第2項環(huán)節(jié)。

(2)霧氣遮掩和局部欠曝/過曝會造成撕裂特征信息丟失,為更好凸顯撕裂紋理信息,該濾波器被設(shè)計為流程最后一環(huán)。

2.1 去霧濾波器

基于暗通道先驗[12]理論,設(shè)計了去霧濾波器消除圖像中霧氣干擾。同時該濾波器結(jié)合導(dǎo)向濾波算法[13],解決暗通道理論用于輸送帶圖像出現(xiàn)的亮斑失真問題。視覺理論中,去霧后圖像表示如下：

I(x)=J(x)·t(x)+A[1-t(x)]

(1)

(2)

(3)

式中：I(x)為待去霧圖像;J(x)為去霧后圖像;t(x)為透射率;A為全局大氣光值(暗通道理論推算得出);C為R、G、B 3個通道;Ω(x)為以x為中心的區(qū)域塊;t0為t(x)下限值,t0=0.1。

單張圖像暗通道處理優(yōu)化流程如圖3所示,在輸送帶圖像中會出現(xiàn)亮斑失真,如圖3(b)所示。因此,采用導(dǎo)向濾波算法優(yōu)化透射率圖,消除亮斑失真問題,如圖3(c)所示。

(a)原始無霧圖像 (b)亮斑失真圖像 (c)優(yōu)化處理圖像圖3 單張圖像暗通道處理優(yōu)化流程

由于原始算法限制,原始暗通道圖像和透射率圖過于粗糙,如圖4所示,導(dǎo)致亮斑失真問題出現(xiàn)。因此,采用導(dǎo)向濾波算法對透射率圖像進(jìn)行優(yōu)化。

(a)原始暗通道圖像 (b)原始透射率圖像圖4 原始暗通道圖像與透射率圖

導(dǎo)向濾波理論中,灰度圖I可作為引導(dǎo)圖像,引導(dǎo)算法保留原始圖像中邊緣信息,優(yōu)化透射率圖像,如圖5所示。

圖5 導(dǎo)向濾波原理概述圖

導(dǎo)向濾波理論[13]中,輸出圖像q被視作在輸入圖像p的基礎(chǔ)上減去冗余分量n(n為噪聲等無關(guān)信息)：

q=p-n

(4)

(5)

式中I為引導(dǎo)圖像(灰度圖)。

利用優(yōu)化后透射率圖像q優(yōu)化計算流程,同時引入ω參數(shù)進(jìn)行修正,控制圖像去霧程度,透射率t1(x)可以表達(dá)為

t1(x,ω)=1-ω·q

(6)

經(jīng)過去霧濾波器處理后,輸出圖像J(x)為

(7)

由圖3和圖6可知,導(dǎo)向濾波優(yōu)化了計算流程,獲得了更精細(xì)的透射率圖像,消除了亮斑失真問題。該濾波器中ω被設(shè)置為超參數(shù),通過梯度傳播對ω進(jìn)行優(yōu)化,針對不同圖像進(jìn)行區(qū)分處理。

(a)原始透射率圖p (b)導(dǎo)向濾波后透射率圖q圖6 透射率圖像對比

2.2 光照校正濾波器

輸送帶圖像存在光照不均勻甚至光線不足等問題,同時IAE模塊并不能實現(xiàn)霧氣圖像的甄別,致使無霧弱光圖像經(jīng)過暗通道處理后整體照度下降,導(dǎo)致?lián)p傷特征信息的丟失。為此,設(shè)計光照校正濾波器,采用伽馬校正算法增強圖像整體亮度,協(xié)同使用照度修正算法解決不均勻光照問題。伽馬校正的原理可表達(dá)為

f(I,γ)=Iγ

(8)

式中：I為輸入圖像;γ為指數(shù)參數(shù)。

同時,引入照度修正算法來解決圖像中不均勻光照問題,原理如下：

Lum(I)=0.27R+0.67G+0.06B

(9)

(10)

(11)

f(I,α)=α·En(I)+(1-α)·I

(12)

式中：R、G、B為圖像三通道的值;En(I)為用于修正的亮度值圖像;α為調(diào)節(jié)參數(shù),控制圖像亮度修正程度。

低亮度輸送帶圖像經(jīng)過光照校正模塊處理后,撕裂損傷更明晰(左上角撕裂),如圖7所示。該濾波器中,γ和α被設(shè)計為超參數(shù),實現(xiàn)不同光照場景下圖像的區(qū)分處理。

2.3 紋理增強濾波器

輸送帶圖像充斥大量無關(guān)信息,而撕裂的形狀、輪廓等紋理信息在該場景下尤為突出,且在撕裂損傷特征信息中占據(jù)較大比重。因此,凸顯撕裂紋理信息可有效提升輸送帶損傷檢測工作性能。針對這一目標(biāo),設(shè)計紋理增強濾波器,利用反高斯濾波算法實現(xiàn)銳化功能,增強損傷特征表達(dá),原理表達(dá)為

f(I,λ)=I+λ[I-Gau(I)]

(13)

式中：Gau(I)為經(jīng)高斯濾波處理后圖像;λ為超參數(shù),控制紋理特征增強程度。

由于輸送帶圖像中存在著豐富噪聲信息,該濾波器采用的線性反銳化掩膜技術(shù)會保留大量噪聲信息。因此,設(shè)置為超參數(shù)控制銳化程度。銳化后圖像的劃痕與撕裂較銳化前更清晰,如圖8所示。

3 實驗與分析

3.1 實驗步驟

為驗證IAE模塊的可行性和改進(jìn)后網(wǎng)絡(luò)模型的優(yōu)越性和泛化性,搭建輸送帶損傷檢測實驗臺進(jìn)行實驗,實驗臺如圖9所示。模型訓(xùn)練和巡檢采用同一平臺進(jìn)行操作,具體配置為：Windows操作系統(tǒng)、Intel i7-12700H、NVIDIA GeForce GTX 3060。深度學(xué)習(xí)開發(fā)環(huán)境為Pytorch 1.9.0 和Python 3.7。

圖9 輸送帶撕裂損傷檢測試驗臺

3.1.1 數(shù)據(jù)集的準(zhǔn)備

輸送帶損傷類型多樣,以縱向撕裂類型為主?？紤]到輸送帶圖像中劃痕對于縱向撕裂這個任務(wù)目標(biāo)而言存在一定混淆性,選擇劃痕作為主要干擾源。同時,添加泥漬、霧氣、不均勻光照、附著物料等模擬環(huán)境干擾。共采集輸送帶損傷圖像536張,并劃分為436張訓(xùn)練樣本和100張測試樣本。其中,訓(xùn)練撕裂樣本數(shù)為320,訓(xùn)練劃痕樣本數(shù)為337,訓(xùn)練集與驗證集比例為9∶1。測試撕裂樣本數(shù)為68,測試劃痕樣本數(shù)為60。此外,為進(jìn)一步判別檢測方法泛化性,原始測試集(定義為Test-o)圖像被隨機添加霧、噪聲等干擾,形成增強測試集(定義為Test-e),驗證方法可靠性。

3.1.2 模型訓(xùn)練

模型訓(xùn)練過程分為凍結(jié)訓(xùn)練和解凍訓(xùn)練2個階段。隨機增強、Mixup和Mosaic增強比例均設(shè)置為0.5。在凍結(jié)訓(xùn)練階段中,模型Backone層權(quán)重在前50個epoch中被凍結(jié),對IAE模塊、Head模塊權(quán)重進(jìn)行訓(xùn)練;解凍訓(xùn)練階段對整體模型權(quán)重進(jìn)行解凍并更新,網(wǎng)絡(luò)整體逐步擬合。其中,學(xué)習(xí)率設(shè)置為0.001,Adam優(yōu)化器momentum參數(shù)設(shè)為0.937,批處理大小為8。

3.2 實驗結(jié)果與分析

3.2.1 不同檢測模型的對比實驗

為驗證IAE-YOLOv5檢測方法優(yōu)越性,選取近年來應(yīng)用在輸送帶損傷檢測領(lǐng)域的模型及其他代表性網(wǎng)絡(luò)模型進(jìn)行對比實驗,包括自適應(yīng)檢測網(wǎng)絡(luò)YOLOv3-spp[14],改進(jìn)網(wǎng)絡(luò)模型YOLOv4-belt[3],改進(jìn)模型Improved SSD[15](簡稱I-SSD)和原YOLOv5網(wǎng)絡(luò)[16]。引入mAP、精確率、召回率和綜合指標(biāo)進(jìn)行評價,不同檢測網(wǎng)絡(luò)模型在原始測試數(shù)據(jù)集和增強測試數(shù)據(jù)集上表現(xiàn)如表1和表2所示。

表2 不同檢測模型在Test-e上的表現(xiàn) %

由表1和表2可知,在原始測試集Test-o上,YOLOv5與IAE-YOLOv5在各項指標(biāo)上明顯優(yōu)于其他檢測模型,但兩者間性能的差距并不明顯。在增強測試集Test-e上,所有檢測模型的性能都出現(xiàn)不同程度的下降。其中,IAE-YOLOv5程度最輕,各項指標(biāo)平均僅下降約1.2%,并都保持在93%以上。其中,相較于原始YOLOv5檢測模型,IAE-YOLOv5在Test-o和Test-e上mAP分別提高1.53%和6.9%;具備更優(yōu)異的檢測能力和泛化性。

圖10展示各檢測模型在Test-o和Test-e上部分圖像的可視化實驗結(jié)果。圖10(a)展示IAE-YOLOv5實驗結(jié)果,對比其他圖像可發(fā)現(xiàn),IAE模塊增強后的圖像中損傷特征信息更明晰,預(yù)測框也更貼合真實框。圖10(b)展示YOLOv5實驗結(jié)果,YOLOv5在檢測Test-e圖像時預(yù)測框偏離真實框,產(chǎn)生誤檢,此問題在YOLOv4-belt(圖10(c))模型中同樣存在。圖10(d)展示YOLOv3-spp實驗結(jié)果,該模型在檢測Test-o圖像時將同一損傷同時檢測成撕裂與劃痕。圖10(e)則表明I-SSD模型在兩幅圖像上出現(xiàn)誤檢。

圖10 實驗結(jié)果可視化對比

3.2.2 IAE模塊的消融實驗

為驗證提出IAE模塊中各濾波器實際性能,評估其在整體檢測流程中具體影響,以YOLOv5為基準(zhǔn),設(shè)計針對IAE模塊的消融實驗,驗證分析模塊中各圖像濾波器對檢測精度和泛化性的影響。為此,將不同濾波器進(jìn)行拆分組合并劃分為A、B、C、D 4個IAE模型,結(jié)果如表3所示。消融實驗結(jié)果如表4和表5所示,展示4種不同配置的IAE模型在原始測試數(shù)據(jù)集和增強測試數(shù)據(jù)集上的表現(xiàn)。

表3 不同IAE模型的配置

表4 消融實驗在Test-o上的實驗結(jié)果 %

表5 消融實驗在Test-e上的實驗結(jié)果 %

由表4和表5看出,因原始測試集Test-o與訓(xùn)練樣本相似度高,模型間性能的差距并不大,但I(xiàn)AE模型在幾項性能指標(biāo)上仍優(yōu)于原始YOLOv5網(wǎng)絡(luò)。而這種差距在增強測試集Test-e上進(jìn)一步擴(kuò)大,IAE模塊的加入使得檢測模型在更復(fù)雜的圖像數(shù)據(jù)中仍保持優(yōu)異性能。對比A、B、C、D 4種不同配置的IAE模型的實驗結(jié)果可以發(fā)現(xiàn),配備完整IAE模塊模型D表現(xiàn)最突出。這說明設(shè)計的3組濾波器在實際檢測中發(fā)揮著不同程度的優(yōu)化作用,擴(kuò)展了應(yīng)用場合,提升了檢測性能。

4 結(jié)束語

提出了一種IAE-YOLOv5檢測方法,解決帶式輸送機工作場景中存在的多源環(huán)境干擾問題,改善撕裂損傷檢測效果。設(shè)計的IAE模塊能減輕霧氣、不穩(wěn)定光照條件等環(huán)境干擾的影響,增強損傷紋理特征表達(dá)。同時,該方法利用檢測損失的梯度傳播實現(xiàn)濾波器超參數(shù)學(xué)習(xí),使IAE模塊獲得自適應(yīng)增強圖像能力,完成圖像增強算法與深度學(xué)習(xí)的互補。實驗結(jié)果證明IAE-YOLOv5方法能夠自適應(yīng)增強撕裂損傷特征信息,輔助網(wǎng)絡(luò)更好地完成檢測任務(wù),具有更優(yōu)異的性能與泛化性。