超聲圖像中復(fù)合材料褶皺形態(tài)的Mask-RCNN 識別方法*

張海燕 徐心語 馬雪芬 朱琦 彭麗

1) (上海大學(xué)通信與信息工程學(xué)院,上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院,上海 200444)

2) (上海電機(jī)學(xué)院機(jī)械學(xué)院,上海 201306)

3) (上海大學(xué)機(jī)電工程與自動化學(xué)院,上海 200444)

復(fù)合材料在制造和使用過程中不可避免地會產(chǎn)生褶皺缺陷,因其形態(tài)變化多樣,形變程度較小,人工辨認(rèn)存在一定障礙,容易出現(xiàn)錯漏情況.為提高檢測效率,提出利用Mask-RCNN(Mask region-based convolutional neural networks)目標(biāo)檢測算法對復(fù)合材料超聲圖像中不同形態(tài)的褶皺缺陷進(jìn)行檢測并分類.制備含有不同形態(tài)褶皺缺陷的碳纖維復(fù)合材料層合板,利用超聲相控陣采集全矩陣數(shù)據(jù);通過波數(shù)成像算法得到復(fù)合材料層合板縱切面圖像,根據(jù)地質(zhì)層中褶皺的幾何學(xué)特征,將復(fù)合材料層合板中存在的不同褶皺分為三類,進(jìn)而建立褶皺形態(tài)與材料損傷程度之間的關(guān)系;提出Mask-RCNN 算法用于褶皺缺陷的自動檢測并分類,該算法中語義分割的引入可顯示褶皺缺陷的位置和形狀.實(shí)驗(yàn)結(jié)果表明:Mask-RCNN 對不同形態(tài)褶皺識別的準(zhǔn)確率分別達(dá)到92.1%,90.9%和93.3%,褶皺分類識別準(zhǔn)確、有效.為實(shí)現(xiàn)復(fù)合材料層合板數(shù)據(jù)采集-成像-缺陷判別一體化、自動化提供了理論支撐.

1 引言

碳纖維復(fù)合材料具有高比剛度、高比強(qiáng)度、耐高溫、耐磨擦等特性,一定程度上取代了傳統(tǒng)金屬、合金材料,在航空航天、化工、建筑、汽車和醫(yī)學(xué)等領(lǐng)域發(fā)揮著重要作用[1-4].由于不同復(fù)合材料制備工藝自身缺陷、操作者失誤或者外力擠壓拉伸諸如此類的因素導(dǎo)致復(fù)合材料出現(xiàn)夾雜、空隙、褶皺、斷裂等缺陷[5].缺陷會對復(fù)合材料造成不可逆轉(zhuǎn)的損傷,影響材料性能,如果不能及時(shí)準(zhǔn)確檢測出缺陷,可能會造成嚴(yán)重經(jīng)濟(jì)損失、威脅生命安全.

褶皺是指復(fù)合材料內(nèi)部的一層或多層纖維在復(fù)合材料的表面或內(nèi)部形成的折痕、皺紋或彎曲變形[6].褶皺因?yàn)樽冃纬潭炔煌?大小差異明顯,成為難以識別的缺陷類型.對褶皺的識別以及褶皺帶來的損傷研究成為復(fù)合材料缺陷研究領(lǐng)域的重點(diǎn)問題.Hsiao和 Danie[7,8]通過對單向面外褶皺的復(fù)合板進(jìn)行實(shí)驗(yàn),得出褶皺會顯著地降低層合板的剛度和壓縮強(qiáng)度的結(jié)論.Alexander和Kulkarni[9]研究了管道褶皺對管道完整性和壽命的影響.李韋清等[10]發(fā)現(xiàn)褶皺角度是衡量內(nèi)嵌褶皺對層合板拉伸性能影響的最主要因素,其拉伸性能呈現(xiàn)出隨褶皺角度的增加而逐漸降低的趨勢.張婷等[11]研究了褶皺角對力學(xué)性能的影響,證明復(fù)合材料的拉伸強(qiáng)度和壓縮強(qiáng)度均隨褶皺角度的增大而持續(xù)降低.

近年來,國內(nèi)外關(guān)于復(fù)合材料褶皺缺陷的研究有一些新的進(jìn)展.Sandhu 等[12]提出一種馬爾可夫鏈蒙特卡羅算法,使用Karhunen-Loeve(KL)模式定義的隨機(jī)場參數(shù)化來定義缺陷,從缺陷的圖像數(shù)據(jù)中推導(dǎo)出褶皺缺陷的隨機(jī)分布,該方法顯著地降低了隨機(jī)數(shù)值研究參數(shù)化對缺陷影響的不確定性.KL 系數(shù)的分布是從使用改進(jìn)版本的B-Scan 數(shù)據(jù)中提取的錯位數(shù)據(jù)中推斷出來的.Koich 等[13]研制了一種新型渦流檢測探頭,利用該探頭可以檢測到在厚的單向碳纖維增強(qiáng)復(fù)合材料中引起的平面波紋.在掃描具有平面外波形的材料時(shí),獲得的復(fù)平面輸出信號環(huán)狀圖能夠識別平面外光纖波形是否存在,并確定其位置.張海燕等[14]提出基于指向性函數(shù)校正的全聚焦成像方法,有效地降低了背景噪聲,被檢試樣的褶皺缺陷和鋪層結(jié)構(gòu)等細(xì)節(jié)信息得到了準(zhǔn)確還原.

褶皺本身屬于微小缺陷,其物理形狀和空間分布通常具有分散性,在復(fù)合材料中表現(xiàn)復(fù)雜,檢測難度大.現(xiàn)階段的缺陷檢測大多是在成像方法上進(jìn)行改進(jìn),以提高褶皺成像準(zhǔn)確度和分辨率,很少存在對于復(fù)合材料褶皺缺陷的自動化識別檢測.因此,提出利用Mask-RCNN 算法對碳纖維復(fù)合材料褶皺缺陷進(jìn)行檢測并分類.利用波數(shù)成像法生成包含褶皺的復(fù)合材料縱切面圖片,以此為基礎(chǔ)制作數(shù)據(jù)集,然后基于Mask-RCNN 算法進(jìn)行訓(xùn)練檢測,識別出褶皺缺陷并對其進(jìn)行分類.此方法的缺陷檢測結(jié)果可視化,不需要二次人工診斷,不受主觀因素影響,并且對缺陷按形態(tài)分類有助于與復(fù)合材料損傷程度建立聯(lián)系,以此判斷材料性能.

2 復(fù)合材料褶皺的超聲成像及分類模型

針對人工識別褶皺缺陷的局限性,提出一種褶皺缺陷自動分類識別的方法,圖1 為其流程圖.該方法可概括為兩部分:一是由包含褶皺缺陷的待測樣品得到超聲圖像;二是對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練并得到檢測結(jié)果.

圖1 褶皺缺陷自動分類識別流程圖Fig.1.Flow chart of automatic classification and recognition of wrinkle defects.

2.1 全矩陣波數(shù)算法多層介質(zhì)成像

復(fù)合材料層合板由不同介質(zhì)層疊加而成,不同介質(zhì)層擁有不同的波速.在復(fù)合材料層合板成像中,將超聲相控陣收發(fā)的全矩陣數(shù)據(jù)[15]運(yùn)用波外推法將陣列虛擬的移動到第l層的頂部,在每一層實(shí)現(xiàn)超聲波束聚焦,多層介質(zhì)被分為厚度為dl的不同均勻介質(zhì).因此,張海燕等[16]提出混合玻璃纖維層的碳纖維增強(qiáng)復(fù)合材料層合板的正向模型為

其中ω為角頻率;f(x,z)為散射體的分布;波數(shù)ku和kv分別對應(yīng)于超聲相控陣發(fā)射陣元 (u,0)和接收陣元 (v,0) ,G(x,z,ω) 為格林函數(shù)[17],并且

其中cl為第l層的波速.

時(shí)域數(shù)據(jù)通過三維傅里葉變換轉(zhuǎn)換為頻波(f—k)數(shù)域數(shù)據(jù):

對每個(gè)波數(shù)對應(yīng)的二維傅里葉變換數(shù)據(jù)片進(jìn)行逆Stolt插值變換,完成E(kv,ω|ku) 到F(kx,kz,|ku)的轉(zhuǎn)換:

其中

通過計(jì)算每個(gè)ku的二維傅里葉變換,得到波數(shù)域中的圖像:

最后進(jìn)行二維傅里葉反變換實(shí)現(xiàn)圖像重建:

利用波數(shù)成像法總共得到200 張灰度圖像,排除無缺陷和無法辨別的圖片,得到包含缺陷的有效原始復(fù)合板縱切面圖175 張,其中訓(xùn)練集和測試集按4∶1 劃分.

2.2 形態(tài)分類

復(fù)合材料層合板受到的損傷程度不同,導(dǎo)致產(chǎn)生形變也不相同.由于復(fù)合材料層合板與地質(zhì)層幾何形態(tài)相似,借助地層中褶皺幾何學(xué)特征[18]來研究復(fù)合板中褶皺的幾何形態(tài).將褶皺缺陷分為三種不同幾何形態(tài),分別為form-I,form-II和form-III,如圖2 所示.form-Ⅰ是褶皺的形成階段,鋪層形成波紋形隆起,且鋪層之間平行,褶皺寬高比不同對力學(xué)性能的影響也不同.form-Ⅱ是褶皺發(fā)展階段,部分鋪層之間發(fā)生相交合并的形變,損傷程度加重.form-Ⅲ是褶皺生長的最終階段,在褶皺內(nèi)部存在部分?jǐn)嗔?此時(shí)復(fù)合材料損傷嚴(yán)重,褶皺已經(jīng)向斷層演變.

圖2 褶皺形態(tài)分類 (a) form-Ⅰ類別褶皺形態(tài);(b) form-Ⅱ類別褶皺形態(tài);(c) form-Ⅲ類別褶皺形態(tài)Fig.2.Classification of wrinkle morphology:(a) Form-Ⅰcategory wrinkle morphology;(b) form-Ⅱ category wrinkle morphology;(c) form-Ⅲ category wrinkle morphology.

2.3 數(shù)據(jù)增強(qiáng)

在使用深度學(xué)習(xí)模型訓(xùn)練網(wǎng)絡(luò)時(shí),數(shù)據(jù)集圖片數(shù)量太少很容易出現(xiàn)過擬合現(xiàn)象[19],造成模型準(zhǔn)確率降低,因此需要進(jìn)行數(shù)據(jù)增強(qiáng).通過python程序?qū)γ恳粡垬?biāo)注過的原始圖片進(jìn)行模糊、亮度調(diào)整、平移、鏡像或以上任意操作的疊加組合生成新的圖像并保存,同時(shí)生成相對應(yīng)的標(biāo)簽文件.每張圖片經(jīng)過處理生成5 張新圖片,圖像數(shù)量擴(kuò)大為原來的6 倍.原始圖像140 張,最終用于模型訓(xùn)練的數(shù)據(jù)集包含840 張帶標(biāo)簽的圖像.

2.4 Mask-RCNN 網(wǎng)絡(luò)模型

深度學(xué)習(xí)因其能夠自動提取鑒別特征的優(yōu)越性,已被應(yīng)用于層壓復(fù)合材料的結(jié)構(gòu)健康監(jiān)測.提出基于Mask-RCNN 算法對復(fù)合材料層合板中的褶皺缺陷進(jìn)行檢測和分類.Mask-RCNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.Mask-RCNN 包含兩個(gè)分支,能夠同時(shí)實(shí)現(xiàn)分類、回歸及分割三項(xiàng)任務(wù),因此用該網(wǎng)絡(luò)對復(fù)合材料層合板的褶皺缺陷進(jìn)行檢測和分類,可同時(shí)顯示缺陷輪廓實(shí)現(xiàn)定位檢測.模型采用RPN(region rroposal network) 區(qū)域建議網(wǎng)絡(luò)層,分類使用的是基于softmax 函數(shù)[20]的交叉熵?fù)p失函數(shù),該算法以類別樣本特征的“最大值”判斷和抽取作為核心取向,能夠?qū)崿F(xiàn)快速收斂.RPN 的回歸是從前向傳播計(jì)算得到的所有anchors 偏移量數(shù)組中找到正樣本所在索引對應(yīng)的偏移量,以此與正樣本和真實(shí)框之間的偏移量計(jì)算損失值,使用的是基于smoothL1 函數(shù)的損失函數(shù),來更新權(quán)重實(shí)現(xiàn)反向傳播.Mask 為掩膜圖像分支,先分類后分割,顯示每一個(gè)褶皺缺陷的位置和形狀輪廓.

圖3 Mask-RCNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3.The network structure of Mask-RCNN.

為檢測復(fù)合材料層合板中的褶皺缺陷選用ResNet50(residual network,殘差網(wǎng)絡(luò))作為Mask-RCNN 算法中特征提取的骨干網(wǎng)絡(luò)(backbone),其具有易于優(yōu)化的特點(diǎn).ResNet50 包含50 個(gè)conv2d操作.首先對輸入進(jìn)行卷積,輸入部分采用的卷積核為7×7,能夠在縮小圖像尺寸的同時(shí)保留盡量多的圖像特征信息,接著包含4 個(gè)殘差塊(residual block),最后進(jìn)行全連接操作以便于進(jìn)行分類任務(wù),圖4 為其網(wǎng)絡(luò)構(gòu)成.

圖4 ResNet50 網(wǎng)絡(luò)構(gòu)成Fig.4.ResNet50 network composition.

3 實(shí) 驗(yàn)

實(shí)驗(yàn)采用計(jì)算機(jī)、M2M (Multi2000,M2M Inc,Les Ulis,France)相控陣超聲波探傷儀、相控陣探頭、碳纖維增強(qiáng)復(fù)合材料層合板試樣,實(shí)驗(yàn)裝置如圖5 所示,各參數(shù)設(shè)置如表1 所列.實(shí)驗(yàn)樣品為280 mm×180 mm×18 mm 的碳纖維復(fù)合材料層合板,該板堆疊角為[0/(0/90)20/0/(0/90)10/0/(0/90)10/0/(0/90)10/0/(0/90)10/0],堆疊序列為[G/C40/G/C20/G/C20/G/C20/G/C20/G],其中G和C表示單向玻璃和碳纖維預(yù)預(yù)料,厚度分別為0.08 mm和0.14 mm.所用Mask-RCNN 算法模型在keras+tensorflow 框架下運(yùn)行,學(xué)習(xí)率設(shè)置為0.001,輸入圖像尺寸為512 pixel×512 pixel,bitch size 為1,目標(biāo)檢測種類分為form-Ⅰ,form-Ⅱ和form-Ⅲ三類.

圖5 實(shí)驗(yàn)裝置圖Fig.5.Experimental device.

表1 超聲相控陣參數(shù)設(shè)置Table 1.Parameter settings of ultrasonic phased array.

將超聲相控陣探頭放置于復(fù)合材料表面,利用超聲相控陣收集32×32 全矩陣數(shù)據(jù),記錄一次數(shù)據(jù)改變一次位置,根據(jù)波數(shù)成像法得到碳纖維增強(qiáng)復(fù)合材料層合板試樣不同位置的縱切面灰度圖,得到圖像分辨率為709×378,進(jìn)行數(shù)據(jù)增強(qiáng),完成數(shù)據(jù)集的準(zhǔn)備工作.圖6 為檢測試樣及其波數(shù)成像,圖6(a)為檢測試樣的顯微鏡圖,圖6(b)為圖6(a)的波數(shù)成像結(jié)果,圖6(c)為圖6(b)加噪聲后的結(jié)果,圖6(d)為對圖6(b)調(diào)整亮度并沿x軸翻轉(zhuǎn)后的結(jié)果.

圖6 檢測試樣及其波數(shù)成像 (a) 顯微鏡圖;(b) 波數(shù)成像法圖;(c) 對圖(b)加噪聲;(d) 對圖(b)調(diào)整亮度并沿x 軸翻轉(zhuǎn)Fig.6.est sample and its wavenumber imaging:(a) Microscope image;(b) wavenumber algorithm;(c) add noise to Figure (b);(d) adjust the brightness of Figure (b) and flip along the x-axis.

由于三種形態(tài)褶皺缺陷樣本數(shù)量不均衡,采用MicroF1作為模型分類結(jié)果的評價(jià)指標(biāo).MicroF1為將n分類的評價(jià)拆成n個(gè)二分類的評價(jià),將n個(gè)二分類評價(jià)的TP (true positives),FP (false positives)和FN(false negatives)對應(yīng)相加,計(jì)算評價(jià)準(zhǔn)確率P=TP/(TP+FP)和召回率R=TP/(TP+FN).其中,TP,FP和FN 由混淆矩陣中引出,這些數(shù)據(jù)被用于評估分類器的性能[21].TP:正樣本被正確識別為正樣本;TN:負(fù)樣本被正確識別為負(fù)樣本;FP:假的正樣本,即負(fù)樣本被錯誤識別為正樣本;FN:假的負(fù)樣本,即正樣本被錯誤識別為負(fù)樣本.

由準(zhǔn)確率P和召回率R計(jì)算評價(jià)指標(biāo) MicroF1,其表達(dá)式為

MicroF1取值在0—1 之間,分?jǐn)?shù)越高,分類效果越好.

4 結(jié)果與分析

400 個(gè)epoch 后Mask-RCNN模型loss開始收斂.取測試集圖片輸入訓(xùn)練好的模型進(jìn)行檢測,得到結(jié)果如圖7 所示.從圖7 可以看出,無論是單個(gè)褶皺缺陷還是多個(gè)褶皺缺陷,無論是一種類別還是多種類別,都能在圖像中準(zhǔn)確定位、分類識別.圖7(b)表明圖7(a)只包含一個(gè)褶皺,類別為form-Ⅲ,形狀已由紅色陰影區(qū)域標(biāo)明,該缺陷位于x軸5—15 mm,深度3—6 mm 處.圖7(d)表示圖7(c)包含兩個(gè)form-Ⅲ類別的褶皺缺陷,兩個(gè)褶皺形狀分別由兩塊紅色陰影標(biāo)明,兩處缺陷分別位于x軸19—32 mm,深度12—14 mm 處和x軸15—30 mm,深度15—17 mm 處.圖7(f)表示圖7(e)包含一個(gè)form-Ⅱ類別褶皺、兩個(gè)form-Ⅰ類別褶皺,分別由兩個(gè)分類檢測框標(biāo)注檢測結(jié)果,form-Ⅱ類褶皺形狀由一塊位于x軸10—16 mm,深度4—6 mm 處的紅色陰影標(biāo)明,form-Ⅰ類由位于x軸8—19 mm,深度7—8 mm 以及x軸5—15 mm,深度11—12 mm 處的兩塊藍(lán)綠色陰影標(biāo)明.圖7 檢測結(jié)果表明,在復(fù)合材料層合板中,雖然褶皺缺陷和非缺陷部分結(jié)構(gòu)差距細(xì)微,難以辨認(rèn),Mask-RCNN 模型仍然能夠?qū)崿F(xiàn)對褶皺缺陷的分類識別,分類檢測結(jié)果準(zhǔn)確,還原褶皺的位置和形狀.并且,不同褶皺的識別之間互不影響,原始圖片存在多少個(gè)、多少種褶皺,模型就能夠全部檢測識別.將三類不同形態(tài)褶皺與材料損傷等級建立聯(lián)系,由form-Ⅰ到form-Ⅱ再到form-Ⅲ,根據(jù)褶皺生長規(guī)律,材料損傷程度逐級增強(qiáng),在圖7中可以看出:圖7(f)包含form-Ⅰ,form-Ⅱ兩類褶皺,褶皺還處在發(fā)展階段,材料損傷程度較弱;而圖7(b)和圖7(d)都包含的是form-Ⅲ類型褶皺,此類褶皺已經(jīng)向斷層演變,損傷程度強(qiáng).

圖7 測試圖像及其分類結(jié)果 (a) 含有一個(gè)褶皺的原始圖片;(b)圖(a)的測試結(jié)果圖;(c)含有同一種類多個(gè)褶皺的原始圖片;(d)圖(c)的測試結(jié)果圖;(e) 含有多種類多個(gè)褶皺的原始圖片;(f)圖(e)的測試結(jié)果Fig.7.Test image and its results:(a) The original picture containing one wrinkle;(b) the test result picture of Figure (a);(c) the original picture containing multiple wrinkles of the same type;(d) the test result picture of Figure (c);(e) the original picture containing multiple types of wrinkles;(f) the test result picture of Figure (e).

測試集共有35 張包含褶皺缺陷的圖片,其中form-Ⅰ類褶皺缺陷有39 處,form-Ⅱ類褶皺缺陷有10 處,form-Ⅲ類褶皺缺陷有31 處.表2 為分類結(jié)果的混淆矩陣.三分類變成三個(gè)二分類,每一類的混淆矩陣數(shù)據(jù)如表3,表4和表5 所列.根據(jù)表3、表4和表5 中數(shù)據(jù)可得,Mask-RCNN 模型對form-Ⅰ類型褶皺識別準(zhǔn)確率為PⅠ=0.921,form-Ⅱ類型褶皺識別準(zhǔn)確率為PⅡ=0.909,form-Ⅲ類型褶皺識別準(zhǔn)確率為PⅢ=0.933,三類褶皺缺陷識別的總準(zhǔn)確率P=0.924,召回率R=0.913,然后由(8)式得MicroF1=0.918,分?jǐn)?shù)接近于1,分類效果優(yōu)秀,能夠達(dá)到對褶皺缺陷準(zhǔn)確分類識別的實(shí)驗(yàn)?zāi)康?證明該模型有效.

表2 分類結(jié)果的混淆矩陣Table 2.Classification results confusion matrix.

表3 form-Ⅰ混淆矩陣數(shù)據(jù)Table 3.The form-Ⅰ confusion matrix data.

表4 form-Ⅱ混淆矩陣數(shù)據(jù)Table 4.The form-Ⅱ confusion matrix data.

表5 form-Ⅲ混淆矩陣數(shù)據(jù)Table 5.The form-Ⅲ confusion matrix data.

5 結(jié)論

由于復(fù)合材料褶皺缺陷細(xì)微多樣,識別檢測困難,提出一種基于Mask-RCNN 的復(fù)合材料褶皺自動分類方法.以復(fù)合材料層合板為樣本采集數(shù)據(jù),將褶皺按形態(tài)學(xué)分為三類,對其進(jìn)行分類識別.研究結(jié)果為:

1) 提出Mask-RCNN 算法進(jìn)行碳纖維復(fù)合材料中褶皺的識別.人工識別褶皺缺陷受檢測者心理、生理狀態(tài)等影響,檢測結(jié)果失準(zhǔn),并且費(fèi)時(shí)費(fèi)力.Mask-RCNN 深度學(xué)習(xí)算法克服了主觀因素影響,能夠準(zhǔn)確高效的識別褶皺缺陷,達(dá)到復(fù)合材料褶皺缺陷無損檢測的目的.

2) 借助地層中褶皺的幾何形態(tài)對碳纖維復(fù)合材料中的褶皺進(jìn)行分類.按照褶皺發(fā)展過程中的波紋平行隆起、波紋交合、褶皺部分?jǐn)嗔讶齻€(gè)階段,將褶皺分為form-Ⅰ,form-Ⅱ和form-Ⅲ三類,以此作為Mask-RCNN 模型訓(xùn)練時(shí)的分類標(biāo)準(zhǔn).在此基礎(chǔ)上,建立褶皺形態(tài)與材料損傷等級之間的聯(lián)系,進(jìn)而實(shí)現(xiàn)復(fù)合材料性能評價(jià).

3) Mask-RCNN 算法中語義分割的引入能夠顯示出碳纖維復(fù)合材料層合板褶皺缺陷的位置和形狀,褶皺缺陷檢測結(jié)果可視化,提高了檢測效率.