張楊 劉裕如 趙桐 萬志帥 席立 肖登寶 邢悅 盧江仁 王曉暉
(1 北京理工大學(xué),北京 100081;2 國防科技創(chuàng)新研究院 北京 100071;3 火箭軍工程大學(xué),西安 710025;4北京強(qiáng)度環(huán)境研究所,北京 100076)
近幾十年,國內(nèi)外諸多學(xué)者針對復(fù)合材料熱結(jié)構(gòu)力學(xué)性能,特別是在預(yù)報復(fù)合材料的服役強(qiáng)度領(lǐng)域開展了許多工作。在這些研究中,針對復(fù)合材料破壞過程不明晰的缺陷,較多的局部細(xì)觀力學(xué)模型被提出,如損傷力學(xué)、應(yīng)力傳遞和界面力學(xué)等。由于連續(xù)碳纖維復(fù)合材料力學(xué)性能主要受纖維、基體、界面等組分的力學(xué)特性、細(xì)觀結(jié)構(gòu)、載荷形式、 材料內(nèi)部存在的孔隙缺陷等因素的影響,其破壞過程同時會存在纖維斷裂、基體開裂、界面脫粘等多種不同失效模式,這些復(fù)雜的失效機(jī)理給復(fù)合材料的強(qiáng)度評估帶來了很大困難[1-2]。這其中孔隙缺陷會對復(fù)合材料力學(xué)性能產(chǎn)生較為顯著的影響,如會影響受載時的損傷萌生、演化以及微裂紋的擴(kuò)展,進(jìn)而影響到復(fù)合材料宏觀力學(xué)性能。在評估復(fù)合材料力學(xué)性能時,如果未考慮孔隙缺陷會過高的估計(jì)復(fù)合材料力學(xué)性能,從而對結(jié)構(gòu)件的安全服役產(chǎn)生極為不利的影響。因此開展復(fù)合材料孔隙缺陷研究,能夠?yàn)閺?fù)合材料結(jié)構(gòu)的極限承載力預(yù)報提供重要的參考[3-4]。
Kardos 應(yīng)用經(jīng)典成核理論對復(fù)合材料成型過程中的某些孔隙缺陷形成機(jī)理進(jìn)行了解釋[4],孫磊等[6]、馮炎建[7]等利用紅外熱成像、X 射線照相和工業(yè)CT 等對C/SiC 試樣進(jìn)行無損檢測,從原位微觀的角度分析了預(yù)制體、沉積基體以及殘留孔隙的結(jié)構(gòu)特征。楊志賢[8]等采用random 函數(shù)隨機(jī)分布基體內(nèi)部孔隙,張兆杭[9]等采用三維隨機(jī)碰撞算法建立了含較大隨機(jī)孔隙的C/C-SiC 復(fù)合材料的有限元模型。張懷[10]等在微觀尺度微觀模型的基體中引入孔隙單元研究了孔隙缺陷對編織復(fù)合材料多尺度力學(xué)性能的影響規(guī)律。王佳偉[11]等綜述了孔隙對纖維增強(qiáng)陶瓷基復(fù)合材料的影響。以上這些研究都是對制造缺陷形貌進(jìn)行表征以及等效處理,其大多依賴統(tǒng)計(jì)數(shù)據(jù),缺乏對幾何特征最直接的表征指標(biāo)?,F(xiàn)有采用橢球體或多面體的等效方法忽略了缺陷的輪廓特征,無法反映真實(shí)的空間特征,這些也導(dǎo)致缺陷對復(fù)合材料力學(xué)性能影響的機(jī)理研究不全面。
使用深度學(xué)習(xí)的方式對圖片進(jìn)行目標(biāo)區(qū)域的識別并進(jìn)行自動劃分擁有較高的效率。在圖像分割領(lǐng)域2015 年Ronneberger[12]等提出了基于編碼器解碼器的Unet 圖像分割網(wǎng)絡(luò),充分利用了底層信息和高層信息,圖像分割效果得到了巨大提升。Unet 網(wǎng)絡(luò)表現(xiàn)優(yōu)越的原因是因?yàn)獒t(yī)學(xué)圖像組成往往比較簡單,為單通道圖像的分割,網(wǎng)絡(luò)簡潔的特征提取方法可以更好的讀取圖像中的語義信息。Shen[13]等針對皮膚血管提出了多尺度的三分支的圖像分割框架,該框架可以使用有標(biāo)記的數(shù)據(jù)和未標(biāo)記的數(shù)據(jù)共同提升網(wǎng)絡(luò)的分割性能。該類方法為快速識別圖像中目標(biāo)區(qū)域提供了新的思路。
因此,針對當(dāng)前研究工作對缺陷孔洞的幾何形貌多是定性分析,缺乏定量研究等問題,本文開展熱結(jié)構(gòu)內(nèi)部制造缺陷形貌定量分析,對復(fù)合材料的制備工藝與服役性能研究提供數(shù)據(jù)指導(dǎo)。
復(fù)合材料結(jié)構(gòu)內(nèi)部缺陷識別方法較多,基于CT 圖像的缺陷識別與分割方法已經(jīng)得到廣泛應(yīng)用,該技術(shù)可以分為兩步:1) 運(yùn)用Avizo 等商業(yè)軟件對工業(yè)CT 圖片進(jìn)行圖像分割,核心算法如閾值分割、邊緣檢測、區(qū)域生長等,通過將需要提取的可能缺陷區(qū)域從背景圖像中分割出來,并選取邊界閉合的區(qū)域作為可能是缺陷的候選區(qū)域;2) 對候選區(qū)域進(jìn)行識別,利用缺陷自身形狀、灰度及 Hu不變矩的內(nèi)在特征,通過操作人員自身經(jīng)驗(yàn)設(shè)置分割參數(shù),將細(xì)觀缺陷識別出來,操作者個人經(jīng)驗(yàn)決定了缺陷識別的準(zhǔn)確率。
對于熱結(jié)構(gòu)復(fù)合材料而言,受限于設(shè)備掃描的精確度、分辨率等參數(shù),獲得的CT 圖像灰度值分布并不均勻,在對CT 斷層圖像進(jìn)行分析、重建時極其依賴于掃描獲得圖像的清晰度。CT 的分辨率通常較低同時圖片中含有大量噪聲。采用傳統(tǒng)閾值分割的方法進(jìn)行圖像分割以及三維重建時不僅分割效果差,而且需要大量的人工操作對閾值分割時產(chǎn)生的空洞、毛邊以及粘連進(jìn)行手動調(diào)整,費(fèi)時費(fèi)力。本文以航天材料及工藝研究所提供的C/Si 復(fù)合材料熱結(jié)進(jìn)行研究,圖1 是基體材料的孔隙缺陷分布CT 圖像。
圖1 典型熱結(jié)構(gòu)CT 圖像及其基體材料的孔隙缺陷分布Fig. 1 The CT images and distribution of pore defects of thermal structure
近年來在圖像分割領(lǐng)域,基于機(jī)器學(xué)習(xí)的分割方法具有明顯優(yōu)勢,得到快速發(fā)展,比如國內(nèi)外常用的U-net 深度學(xué)習(xí)模型,本文針對復(fù)合材料內(nèi)部缺陷特征,發(fā)展了一種新的CT 圖像機(jī)器學(xué)習(xí)分割模型。
在數(shù)字圖像處理領(lǐng)域中,使用深度學(xué)習(xí)方法并利用卷積核在圖像中移動提取特征的特性可以學(xué)習(xí)圖片中的隱藏信息,通過設(shè)計(jì)合理的深度學(xué)習(xí)框架可以輸出經(jīng)過分割的圖片,從而達(dá)到對目標(biāo)和背景進(jìn)行區(qū)分的目的。這種分割方法與傳統(tǒng)的圖像閾值分割技術(shù)相比節(jié)省了大量人力,尤其在醫(yī)學(xué)與工業(yè)CT 等專業(yè)領(lǐng)域,對這些圖片進(jìn)行圖像分割往往需要由專業(yè)的醫(yī)師或工程師來進(jìn)行區(qū)分,無法廣泛的應(yīng)用于實(shí)際生活中;但通過與深度學(xué)習(xí)方法進(jìn)行結(jié)合就可以保存網(wǎng)絡(luò)學(xué)習(xí)的模型參數(shù),若需對大量圖片進(jìn)行分割只需要重新調(diào)用相關(guān)參數(shù)就可以實(shí)現(xiàn)快速準(zhǔn)確的圖像識別。
卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)則是利用卷積核局部感知的特點(diǎn),學(xué)習(xí)微小局部特征,建立輸入與輸出的映射,通過總結(jié)樣本,最終使得網(wǎng)絡(luò)能夠根據(jù)輸入預(yù)測輸出,主要包含卷積層、池化層、全連接層三種結(jié)構(gòu),為了讓網(wǎng)絡(luò)具有非線性的學(xué)習(xí)能力還要使用激活函數(shù)。
熱結(jié)構(gòu)CT 圖像的通道數(shù)一般為單通道,單通道的卷積過程如圖2(a)所示,使用的卷積核大小為3×3,stride 設(shè)置為1,不進(jìn)行0 填充。圖2(b)顯示了最大池化的方法過程。圖2(c)顯示了全連接層的基本結(jié)構(gòu),在輸入層、隱藏層、輸出層中的每一個節(jié)點(diǎn)也都使用激活函數(shù)用來改善網(wǎng)絡(luò)的非線性擬合能力。對于復(fù)合材料,多相組分造成CT 圖像更為復(fù)雜。為此,本文將多尺度圖像分割框架與注意力機(jī)制進(jìn)行結(jié)合用來解決CT圖像中小孔以及連通區(qū)域的圖像分割,使用PyTorch 進(jìn)行深度學(xué)習(xí)框架的搭建,該框架可分為圖像分割模塊、圖像重建模塊、判別器以及注意力機(jī)制通道。
圖2 深度學(xué)習(xí)網(wǎng)絡(luò)Fig.2 Deep learning network
圖3 細(xì)觀缺陷分割效果Fig.3 Image segmentation of microscopic defects
圖4 熱結(jié)構(gòu)孔隙缺陷分形維數(shù)計(jì)算結(jié)果Fig.4 Fractal dimension of total pore defects in single CT slice
圖5 典型孔隙缺陷形貌與分形維數(shù)結(jié)果Fig. 5 Typical pore defect morphology and its fractal dimension results
圖像分割模塊:主要作用是對圖像進(jìn)行基本的特征提取并進(jìn)行初步分割,網(wǎng)絡(luò)架構(gòu)通過使用三個編碼器解碼器模塊來輸入三個尺度的圖像信息,其中尺度較低的兩個輸入是通過對原圖進(jìn)行兩次下采樣分別輸入的。針對熱結(jié)構(gòu)CT 圖像信息單一的特點(diǎn),編碼器中使用的通道數(shù)依次上升,其分別為8、16、36、64,并在每一層中都添加BN 層來對數(shù)據(jù)進(jìn)行歸一化處理,BN 層的主要作用即是將每一層卷積層的輸入進(jìn)行歸一化處理,這種歸一化處理可以避免由于某些數(shù)據(jù)分布發(fā)生改變而導(dǎo)致網(wǎng)絡(luò)泛化能力降低。在本文中所有的模塊均采用LeakyReLU作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。LeakyReLU函數(shù)如式(1)所示
α 為超參數(shù)設(shè)置為0.2,使用LeakyReLU 作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可以防止當(dāng)輸入小于0 時導(dǎo)致零梯度問題,零梯度會使網(wǎng)絡(luò)無法正常更新權(quán)重從而失去學(xué)習(xí)能力。
注意力機(jī)制模塊:針對CT 圖像中可能會出現(xiàn)大量小孔以及連通區(qū)域,本文主要將attention-unet中的注意力機(jī)制融合進(jìn)入原始多尺度三分支框架,為計(jì)算過程中網(wǎng)絡(luò)特征圖的像素做加權(quán)處理,使得網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中需要被重點(diǎn)觀察到的對象,通過對區(qū)域賦予較大的權(quán)重可以幫助網(wǎng)絡(luò)快速的定位目標(biāo)并提高整個模型的表示能力。
圖像重建模塊:在訓(xùn)練的過程中需要將該合成圖與原始圖片進(jìn)行比較訓(xùn)練,其目的則是獲取更接近原圖的合成圖,同時該預(yù)測原圖還代表了圖像分割模塊的預(yù)測能力以及圖像重建模塊重建能力,兩種信息的結(jié)合可以更好的幫助網(wǎng)絡(luò)學(xué)習(xí)圖像中存在的其他不容易被注意到的信息。
判別器:包含了四個卷積層以及全連接網(wǎng)絡(luò)用于判斷真假,其輸入則為標(biāo)簽圖與真實(shí)原圖,同時還輸入了預(yù)測圖以及合成圖,其主要的判斷目的則是將標(biāo)簽圖與真實(shí)原圖經(jīng)過最后一層網(wǎng)絡(luò)后獲得輸出為1,即判斷為真,將預(yù)測圖以及合成圖最后一層網(wǎng)絡(luò)的輸出為0,即判斷為假。利用這種方式可以更好的訓(xùn)練圖像分割模塊與圖像重建模塊。
在CT圖像中選擇水平面的斷層圖像作為導(dǎo)出平面并按照坐標(biāo)信息從0 開始命名,用以方便后續(xù)三維重建。通過切分?jǐn)?shù)據(jù)集的方式來增加訓(xùn)練的數(shù)據(jù)量,切分后的數(shù)據(jù)量由原來的188 張圖片擴(kuò)充為752 張圖片,選擇其中617 張圖片訓(xùn)練集為,驗(yàn)證集為75 張。所有圖片的標(biāo)注均在專業(yè)人士的指導(dǎo)下進(jìn)行,在Labelme 中進(jìn)行劃分。為了獲取高精度的CT 圖像分割結(jié)果,本文使用了類似于原始多尺度三分支圖像分割框架的訓(xùn)練方式,整個訓(xùn)練過程包含了兩個階段,分別是分割模塊的預(yù)訓(xùn)練階段以及判別器和分割模塊交替進(jìn)行的訓(xùn)練方式。由于我們擁有更多的標(biāo)記數(shù)據(jù),在訓(xùn)練方式上與原始方法的主要區(qū)別即在交替訓(xùn)練階段使用的無標(biāo)簽圖像其實(shí)是有標(biāo)簽的,因此,這部分圖片也可以計(jì)算損失函數(shù)從而提高網(wǎng)絡(luò)分割的精度。本文使用以下5種常用的評價指標(biāo)對分割后的圖像進(jìn)行評估,分別為PAC、REC、PRE、Dice、IoU。PAC 代表了模型通過預(yù)測后與標(biāo)簽圖相比分類正確的像素點(diǎn)占整張圖像的比例;REC 為標(biāo)簽圖的真值下正確分類所占的比例;PRE 表示輸出的分割圖中正確分類的比例;Dice 表示分割圖與標(biāo)簽之間的交集占所有圖像像素的比例;IoU 表示在整體目標(biāo)區(qū)域中正確分類的集合占原圖與標(biāo)簽圖像并集的比例。
模型訓(xùn)練的Batch size 選擇為4,采用動態(tài)學(xué)習(xí)率調(diào)整方法來不斷減少學(xué)習(xí)率。訓(xùn)練結(jié)束后對圖像分割效果進(jìn)行評價,對比了使用DeepLabV3、商用軟件閾值分割的結(jié)果,如下表1 所示。根據(jù)指標(biāo)顯示本文使用的方法在識別C/SiC 在不規(guī)則缺陷圖像方面有較高的精度,相比于DeepLabV3 平均提升量為4.12%,相比于商業(yè)軟件Aviso 直接使用閾值分割方法的平均提升量為31.45%。
表1 熱結(jié)構(gòu)CT 圖像分割對比Table 1 Comparison of segmentation accuracy for CT image
在熱結(jié)構(gòu)CT 圖像的孔狀缺陷分割結(jié)果顯示,本文方法在面對細(xì)小微孔顆粒處有較好的識別精度,同時連通缺陷的分割結(jié)果則顯示了本文的方法在面對兩塊有細(xì)小連通趨勢區(qū)域的地方可以準(zhǔn)確識別出中間的細(xì)小空隙,但在其他深度學(xué)習(xí)模型中卻往往會將其識別為連通的區(qū)域。與商用軟件直接閾值處理結(jié)果相比,能夠識別到更完整的更容易影響材料性能的缺陷。商用軟件的直接閾值分割則通常由于灰度不均勻而產(chǎn)生大量錯誤識別以及缺陷區(qū)域選取的遺漏。因此使用本文的方法與傳統(tǒng)閾值分割方法進(jìn)行對比,精度更高。
當(dāng)前國內(nèi)外主要是對內(nèi)部孔隙缺陷圖像進(jìn)行統(tǒng)計(jì)分析,假定孔隙為圓形或者橢圓形。然而已有許多研究表明孔隙并非簡單的圓形,而是存在類似裂縫等長條狀的空間分布。為此,本文提出采用分形維數(shù)的數(shù)學(xué)方法來表征孔隙的細(xì)觀尺度分布。
分形維數(shù)能夠評價復(fù)雜形體占有空間的有效性,它是復(fù)雜形體不規(guī)則性的量度。數(shù)值越大,分形圖像的復(fù)雜程度就越高。歐幾里德幾何中直線或曲線是1 維,平面或球面是2 維。然而對于分形如海岸線、自相似曲線等的復(fù)雜性無法用維數(shù)等于1、2、3 的數(shù)值來描述,熱結(jié)構(gòu)內(nèi)部缺陷的細(xì)觀形貌在不同尺度下也是不相同的。本文選用 Box Counting 方法定義的計(jì)盒維數(shù)如下
式中,ε是小立方體一邊的長度,N(ε)是用此小立方體覆蓋被測形體所得的數(shù)目。維數(shù)公式意味著通過用邊長為ε的小立方體覆蓋被測形體來確定形體的維數(shù)[14]。
對CT 分割圖像提取單個缺陷,分別計(jì)算分形維數(shù),共獲取28 種高度切片、308 組不同形貌缺陷的數(shù)據(jù)。任意選取一張孔隙缺陷的分割圖片如下圖所示,孔隙缺陷的分形維數(shù)為1.545,并非整數(shù),這表明基于CT切片得到的孔隙缺陷空間形態(tài)是介于一維與二維。
根據(jù)單個缺陷的分形維數(shù)D 計(jì)算結(jié)果、統(tǒng)計(jì)占比百分?jǐn)?shù)、形貌典型特征,可以將其分為三類:狹長主枝型,D<1.6,維數(shù)低至1.3;主枝+分枝型,1.6≤D<1.7,維數(shù)中等偏上居多;隨機(jī)彎曲型,1.7≤D<1.9,維數(shù)上限不超過1.9。
圖6為任選一張CT 切片的計(jì)算結(jié)果,可以看到分形維數(shù)在1.5-1.6 之間的缺陷居多,分形維數(shù)1.8 以上缺陷很少,說明缺陷形貌以狹長形狀為主,圓形或者橢圓形很少。另外基體孔隙缺陷也并非完全是長條狀,而是存在部分分枝狀。
圖6 單張CT 切片孔隙缺陷形貌與分形維數(shù)結(jié)果Fig.6 Each pore defect morphology and its fractal dimensions in single CT slice
任意選取5 種不同高度的CT 切片(垂直于纖維方向),計(jì)算孔隙的分形維度。圖7a) 可以分形維數(shù)的數(shù)值差異明顯。圖7b) 為這些切片分割得到的孔隙形貌,狹長形狀居多。已有研究多是統(tǒng)計(jì)孔隙的空間占比,并未考慮細(xì)觀幾何形貌特征,并據(jù)此進(jìn)行復(fù)合材料單胞的等效剛度與強(qiáng)度計(jì)算。多數(shù)結(jié)果表明[9]考慮孔隙缺陷的復(fù)合材料剛度下降不明顯,而強(qiáng)度與孔隙占比關(guān)聯(lián)明顯。本文工作進(jìn)一步表明孔隙的空間形態(tài)并不是傳統(tǒng)默認(rèn)的圓型或橢圓型,其對強(qiáng)度計(jì)算結(jié)果的影響需要進(jìn)一步深入研究。
圖7 多個CT 切片的孔隙缺陷形貌與分形維數(shù)Fig. 7 Pore defect morphologies and fractal dimensions of CT slices
圖8和表2 給出了208 組CT 切片中孔隙缺陷的分形維數(shù)分布數(shù)據(jù)。可以看到,沿高度方向計(jì)算分形維度,發(fā)現(xiàn)1.5-1.6 之間的狹長形狀缺陷較多,占比34.69%。分形維數(shù)大于1.8 與小于1.4 的占比都很小。
表2 孔隙缺陷分形維數(shù)占比分布Table 2 Percentage distribution of fractal dimension in total pore defects
圖8 沿著樣件高度方向的孔隙缺陷分形維數(shù)結(jié)果Fig. 8 Fractal dimensions of pore defects along the height direction
由此說明,采用圓形假設(shè)等效描述缺陷形貌并不完全符合其真實(shí)的空間形態(tài),在研究需要重點(diǎn)分析維數(shù)1.5-1.6 之間的孔隙缺陷影響機(jī)理。
熱結(jié)構(gòu)制備過程中引入的各種細(xì)觀尺度制造缺陷對其服役性能產(chǎn)生不可忽視的影響,準(zhǔn)確識別與定量描述這些缺陷的幾何形貌對于預(yù)報力學(xué)性能有重要意義。本文基于深度學(xué)習(xí)圖像分割方法,建立了含有注意力機(jī)制的多尺度三分支圖像分割框架,成功識別復(fù)雜的細(xì)觀缺陷。將CT 斷層圖片按照掃描間隔進(jìn)行圖像重建可以還原實(shí)際三維缺陷幾何形貌,并通過分形維數(shù)參量對CT 切片圖像中幾何形貌進(jìn)行了定量評價,結(jié)果表明,分形維數(shù)在1.5~1.6之間的狹長形狀缺陷較多,占比34.69%,分形維數(shù)大于1.8 與小于1.4 的占比都很小,這些缺陷對復(fù)合材料強(qiáng)度計(jì)算結(jié)果的影響需要進(jìn)一步深入研究。