基于神經(jīng)網(wǎng)絡(luò)的復(fù)合材料光學(xué)顯微圖像孔隙的識別與統(tǒng)計研究

陳 健，肖 鵬

（中國商飛上海飛機制造有限公司，上海 201324）

復(fù)合材料孔隙是一種分布于復(fù)合材料層壓結(jié)構(gòu)內(nèi)的氣體孔洞型缺陷［1-2］，直徑一般在1 ～1 000 μm 范圍內(nèi)［3］，是復(fù)合材料制件中最常見的一種內(nèi)部缺陷。大量文獻和試驗數(shù)據(jù)顯示，孔隙對復(fù)合材料制件的層間剪切性能影響較為突出［4-5］。因此，孔隙含量分析對于復(fù)合材料制件內(nèi)部質(zhì)量評定、質(zhì)量提升以及產(chǎn)品工藝的持續(xù)改進起著非常積極和重要的作用。

現(xiàn)階段，主要的復(fù)合材料孔隙含量檢測分析方法分為破壞性檢測法和無損檢測法。破壞性檢測法主要包括密度測量法、吸水法、光學(xué)顯微圖像法和酸溶解法。無損檢測法包括超聲檢測法和射線檢測法等［6-7］。

常見的復(fù)合材料光學(xué)顯微圖像分析方法有顯微鏡標(biāo)尺測定法、放大網(wǎng)格計數(shù)法和圖像分析儀法。圖像分析儀法是根據(jù)光學(xué)顯微圖像孔隙區(qū)域與良好區(qū)域灰度不同的原理工作的一種自動化統(tǒng)計方法，受人為因素影響較小，但容易受到試樣表面質(zhì)量的影響，統(tǒng)計誤差較大。顯微鏡標(biāo)尺測定法和放大網(wǎng)格計數(shù)法主要通過人工判斷孔隙相對于輔助網(wǎng)格的大小，進而間接獲得孔隙含量結(jié)果，其統(tǒng)計數(shù)據(jù)量龐大，且不同的統(tǒng)計人員會引起統(tǒng)計結(jié)果的偏差，效率極低。此外，在各大高校和科研單位中也會使用ImageJ 等圖像處理軟件實現(xiàn)顯微圖像孔隙含量分析，但其適應(yīng)力較差，對金相樣品制樣要求較高，適用性難以保證［7-8］。由于實際金相樣品通常會存在劃痕、附著物等特殊情況，而人工孔隙統(tǒng)計過程有著非常高的靈活性，會主動識別與規(guī)避以上特殊情況，因此顯微鏡標(biāo)尺測定法和放大網(wǎng)格計數(shù)法為目前主流的孔隙含量分析手段。

傳統(tǒng)復(fù)合材料孔隙含量人工分析過程存在統(tǒng)計試樣多、統(tǒng)計周期長、人工統(tǒng)計存在差異等問題，目前國內(nèi)暫時沒有準(zhǔn)確高效的孔隙含量分析手段。近年來，神經(jīng)網(wǎng)絡(luò)算法以其更接近人腦思考的特性廣泛應(yīng)用于模式識別、圖像分割、智能控制等領(lǐng)域，具有大規(guī)模并行處理、分布式存儲和處理、自適應(yīng)、自組織、自學(xué)習(xí)能力等特點［9-10］。其中，由卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型發(fā)展而來的U-Net神經(jīng)網(wǎng)絡(luò)算法已廣泛應(yīng)用于醫(yī)療影像領(lǐng)域，如腫瘤圖像識別［11］、肺部圖像識別［12］、視網(wǎng)膜病變識別［13］等諸多方面，效果良好。U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。鑒于醫(yī)療影像領(lǐng)域相較于視頻監(jiān)控領(lǐng)域有著語義較為簡單、分割精度高、缺少公開數(shù)據(jù)集等特點，其與復(fù)合材料光學(xué)顯微圖像孔隙識別需求較為相近。因此，基于光學(xué)顯微圖像的特點和孔隙缺陷的特征，結(jié)合圖像識別技術(shù)與U-Net神經(jīng)網(wǎng)絡(luò)算法，建立基于神經(jīng)網(wǎng)絡(luò)的復(fù)合材料顯微圖像孔隙識別與統(tǒng)計系統(tǒng)，該系統(tǒng)已應(yīng)用于筆者所在單位的復(fù)合材料相關(guān)科技研發(fā)工作中。

圖1 U-Net神經(jīng)網(wǎng)絡(luò)示意圖

1 試驗方法

1.1 試樣制造與數(shù)據(jù)采集

采用熱壓罐成型工藝制備2 批次試板。第一批次為42 層準(zhǔn)各項同性鋪層的某型T800 級單向帶材料層合板，試板厚度為7.9 ±0.1 mm；第二批次為24 層準(zhǔn)各項同性鋪層的某型T300 級織物材料層合板，試板厚度為5.2 ±0.1 mm。在制造過程中，對于樹脂和碳纖維所組成的同一成分體系，通過控制壓力、溫度等工藝參數(shù)，獲得孔隙含量為0 ～4.75%范圍內(nèi)的50 組試板。將試板根據(jù)GB／T 3365 的規(guī)定切割成20 mm×10 mm的小塊，并對其垂直纖維方向的斷面進行鑲嵌、打磨和拋光［6］。

表面處理完成后，使用奧林巴斯BX51M光學(xué)顯微鏡對試樣進行觀察、拍照和采樣。采用反射模式下放大100 倍的方法對試樣進行觀察，以保證對存在的孔隙進行清晰分辨。

1.2 孔隙含量統(tǒng)計

1.2.1 人工孔隙含量統(tǒng)計

考慮到實際光學(xué)顯微圖像中隨機出現(xiàn)的復(fù)雜情況，且孔隙含量的人工統(tǒng)計方法有著非常高的適應(yīng)性與靈活性，因此，以GB／T 3365 中放大網(wǎng)格計數(shù)法對試樣進行孔隙含量統(tǒng)計的結(jié)果作為參照，進行效果對比。

由于在100 倍放大倍率的情況下進行人工統(tǒng)計時，統(tǒng)計人員只能觀察到一定尺寸等級的孔隙分布情況，如圖2 所示，通常輔助計數(shù)的網(wǎng)格邊長為25 μm。因此，人工統(tǒng)計的方法實際上為：以25 μm 為網(wǎng)格尺寸，網(wǎng)格浮動，記錄落在孔隙上的格子數(shù)目，以1／4 格為最小計數(shù)單位；大于1／4 格且小于1／2 格的記作1／2 格面積；大于1／2 且小于3／4 格的記作3／4 格面積；大于3／4 且小于1 格的記作1 格面積。統(tǒng)計完畢后，計算樣品孔隙區(qū)域的總網(wǎng)格面積與樣品總面積的比值，記為該樣品的實際孔隙含量。

圖2 傳統(tǒng)人工統(tǒng)計過程

1.2.2 基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計

（1）孔隙圖像人工標(biāo)注。

對采集到的光學(xué)顯微圖像進行圖像分割標(biāo)注，提取出孔隙等區(qū)域。使用Labelme 標(biāo)注軟件對采集的1 136 幅圖像進行人工標(biāo)注，在標(biāo)注時使用多邊形工具對孔隙邊緣進行精確分割，對復(fù)合材料纖維和樹脂區(qū)域未作標(biāo)記，效果如圖3 所示。隨后將標(biāo)注的文件批量轉(zhuǎn)化為masks標(biāo)簽文件，同時批量轉(zhuǎn)換為二值圖像以備后續(xù)使用。

圖3 使用Labelme標(biāo)注軟件精確標(biāo)注孔隙邊緣

（2）數(shù)據(jù)增強。

神經(jīng)網(wǎng)絡(luò)的構(gòu)建離不開大量的訓(xùn)練樣本數(shù)據(jù)，樣本數(shù)據(jù)的復(fù)雜性與多樣性直接關(guān)系到神經(jīng)網(wǎng)絡(luò)系統(tǒng)的魯棒性。由于劃痕、附著物等特殊情況出現(xiàn)的頻率比較低，引起該類訓(xùn)練樣本數(shù)據(jù)比較少。為更好地識別復(fù)合材料樣本顯微圖像中出現(xiàn)的劃痕、附著物等特殊情況，在已有的訓(xùn)練樣本中通過增加噪聲、濾波處理、隨機旋轉(zhuǎn)和色彩抖動等方式模擬實際顯微圖像采樣過程中遇到的情形，從而進行圖像增強處理，以實現(xiàn)樣本數(shù)據(jù)的增強。

對訓(xùn)練樣本數(shù)據(jù)進行增加噪聲、濾波、色彩抖動和隨機旋轉(zhuǎn)處理，如圖4 所示。雖然以上數(shù)據(jù)增強處理所引起的人的視覺觀感差別不大，依然屬于同一情況，但在算法的不斷學(xué)習(xí)中，其數(shù)據(jù)矩陣特征產(chǎn)生了較大的變化，達到了數(shù)據(jù)增強的目的，增加了訓(xùn)練樣本數(shù)據(jù)量。

圖4 訓(xùn)練樣本數(shù)據(jù)增強示例

（3）模型建立。

基于GB／T 3365 放大網(wǎng)格計數(shù)法的孔隙含量人工統(tǒng)計過程，結(jié)合圖像識別技術(shù)與U-Net 神經(jīng)網(wǎng)絡(luò)算法，設(shè)計并開發(fā)了一套基于U-Net 神經(jīng)網(wǎng)絡(luò)算法的復(fù)合材料光學(xué)顯微圖像孔隙識別與統(tǒng)計系統(tǒng)。該系統(tǒng)總體方案如圖5 所示。

圖5 復(fù)合材料光學(xué)顯微圖像孔隙識別方法總體方案

U-Net神經(jīng)網(wǎng)絡(luò)是經(jīng)過多個下采樣層和上采樣層實現(xiàn)圖像特征的像素級的分割過程。吳量、王磐、馬玉瑩、許東等［11-14］使用了U-Net神經(jīng)網(wǎng)絡(luò)開展醫(yī)療影像領(lǐng)域圖像分割工作，既準(zhǔn)確地實現(xiàn)了圖像分割，同時又保留了大量的圖像特征，結(jié)果理想。因此，基于復(fù)合材料顯微圖像中的纖維樹脂狀態(tài)和孔隙形態(tài)分布特征，對U-Net結(jié)構(gòu)進行修改，以實現(xiàn)復(fù)合材料光學(xué)顯微圖像孔隙識別。

在CNN算法中，要想提取更深層次的特征，獲得更佳的圖像分割效果，就要加深神經(jīng)網(wǎng)絡(luò)的層數(shù)，但單純的加深層數(shù)會引起梯度消失和退化等問題。因而殘差網(wǎng)絡(luò)（Residual Network，ResNet）應(yīng)運而生。殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，對于任意輸入的變量x，經(jīng)由殘差網(wǎng)絡(luò)跳躍連接輸入變量，其實際輸出的結(jié)果為f（x）＋x，而實際需要輸出的結(jié)果為h（x），則h（x）＝f（x）＋x，即網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容為殘差數(shù)據(jù)。

圖6 ResNet模型結(jié)構(gòu)圖

通過觀察發(fā)現(xiàn)，U-Net 神經(jīng)網(wǎng)絡(luò)算法的下采樣過程實際上就是VGG16 網(wǎng)絡(luò)特征部分。所以，將U-Net神經(jīng)網(wǎng)絡(luò)的下采樣部分用ResNet18 殘差網(wǎng)絡(luò)部分來替代，從而完成U-Net 的修改。修改后的U-Net 神經(jīng)網(wǎng)絡(luò)模型如圖7 所示，其中每層的下采樣過程使用ResNet18。在下采樣過程中，首先對輸入圖像進行7 ×7卷積和最大池化操作，將數(shù)據(jù)通道轉(zhuǎn)化為64，以識取復(fù)合材料顯微圖像孔隙的淺層信息特征。后續(xù)的每一個卷積塊均將圖像尺寸壓縮至卷積前的一半，進一步提取孔隙的特征，直至圖像尺寸縮減至輸入圖像的1／16，通道數(shù)為1 024。在上采樣過程中，每次上采樣操作后經(jīng)過一個3 ×3 的卷積層，不斷提取孔隙深層特征，再與同高度的上采樣輸出進行通道合并，調(diào)整總體特征，對孔隙特征進行精確識別，最終輸出孔隙和背景分割后的圖像。改進的U-Net 結(jié)構(gòu)如圖7 所示，橙色箭頭為3 ×3 卷積操作（conv 3 ×3）和歐拉激活函數(shù)（ReLU）轉(zhuǎn)換；綠色箭頭為數(shù)據(jù)復(fù)制（copy）操作；紫色箭頭為2 ×2 的上卷積（up-conv 2 ×2）。

圖7 修改后的U-Net模型結(jié)構(gòu)圖

（4）孔隙率計算。

通常，顯微圖像采集過程中的放大倍率為100 倍，實際人工統(tǒng)計過程中只能觀察到約10 μm 級別的孔隙。而修改后的U-Net神經(jīng)網(wǎng)絡(luò)算法提取到的孔隙特征區(qū)域已達到像素級別，遠超人工辨別的能力。因此結(jié)合1.2.1 節(jié)所述的統(tǒng)計方法和實際操作經(jīng)驗，以1／8 格為起始計算單位。

基于修改后的U-Net 神經(jīng)網(wǎng)絡(luò)算法孔隙分割結(jié)果，依據(jù)傳統(tǒng)人工統(tǒng)計方法的統(tǒng)計原則，實現(xiàn)人工統(tǒng)計過程的程序模擬。基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計效果如圖8 所示。

圖8 基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計效果

（5）模型更新。

為提升復(fù)合材料孔隙識別方法的適應(yīng)性，同時提高孔隙率計算結(jié)果的準(zhǔn)確度，開發(fā)了孔隙識別算法模型的更新模塊。當(dāng)孔隙區(qū)域識別有誤時，可進入孔隙區(qū)域編輯模式，對識別錯誤的區(qū)域重新進行光學(xué)顯微圖像分割標(biāo)注，提取出真實孔隙區(qū)域。當(dāng)識別錯誤數(shù)量達到預(yù)設(shè)閾值時，程序會自動觸發(fā)模型更新，通過本文U-Net神經(jīng)網(wǎng)絡(luò)算法更新模型，以達到提升適應(yīng)性與準(zhǔn)確度的目的。模型更新過程如圖9 所示。

圖9 模型更新過程

2 試驗結(jié)果

2.1 孔隙識別結(jié)果

采用建立的復(fù)合材料光學(xué)顯微圖像孔隙識別與統(tǒng)計系統(tǒng)對顯微圖像進行孔隙含量測試，給出不同狀態(tài)的特殊試樣檢測結(jié)果。圖10、圖11 為復(fù)合材料光學(xué)顯微圖像表面附著物的檢測結(jié)果。圖10 中附著物區(qū)域與孔隙區(qū)域存在較小的交集，但基于神經(jīng)網(wǎng)絡(luò)的孔隙識別統(tǒng)計系統(tǒng)并未將附著物誤識別為孔隙；圖11 中附著物橫穿多處大面積孔隙區(qū)域，該系統(tǒng)依舊正確識別孔隙與附著物區(qū)域。圖12、圖13 為復(fù)合材料顯微圖像中表面自然劃痕的檢測結(jié)果。從識別結(jié)果中可觀察到，劃痕與孔隙的深度信息與灰度信息基本一致，但系統(tǒng)成功利用孔隙區(qū)域的形態(tài)特征差異正確識別。因此，從以上分析中可知：通過神經(jīng)網(wǎng)絡(luò)算法模擬人工統(tǒng)計原則進行自動化統(tǒng)計是可以實現(xiàn)的，且泛化能力較強。

圖10 圖像表面附著物識別結(jié)果一

圖11 圖像表面附著物識別結(jié)果二

圖12 圖像表面劃痕識別結(jié)果一

圖13 圖像表面劃痕識別結(jié)果二

2.2 孔隙率統(tǒng)計結(jié)果

為測試該系統(tǒng)的泛化能力，隨機選取50 份不同材料牌號、不同增強體編織方式、不同孔隙含量的復(fù)合材料光學(xué)顯微圖像試樣進行測試。表1 和圖14 為該批樣品的計算結(jié)果。從該組中數(shù)據(jù)可以觀察到：系統(tǒng)統(tǒng)計結(jié)果的相對誤差范圍控制在±10%以內(nèi)，系統(tǒng)統(tǒng)計時間在10 s以內(nèi)，統(tǒng)計過程高效準(zhǔn)確。

表1 程序統(tǒng)計結(jié)果與人工統(tǒng)計結(jié)果

圖14 隨機統(tǒng)計結(jié)果

3 結(jié)束語

基于時下熱門的圖像識別技術(shù)和U-Net神經(jīng)網(wǎng)絡(luò)算法，首次將其應(yīng)用到復(fù)合材料光學(xué)顯微圖像的孔隙識別工作中，建立了適用于復(fù)合材料光學(xué)顯微圖像孔隙識別的統(tǒng)計系統(tǒng)。通過對大量試樣的標(biāo)注、學(xué)習(xí)和U-Net神經(jīng)網(wǎng)絡(luò)的修改，證明了所提出的方法在復(fù)合材料孔隙含量分析應(yīng)用中的可行性與可操作性?；趫D像識別技術(shù)和U-Net神經(jīng)網(wǎng)絡(luò)算法的復(fù)合材料光學(xué)顯微圖像孔隙統(tǒng)計技術(shù)存在以下優(yōu)點。

①利用神經(jīng)網(wǎng)絡(luò)算法提取到的像素特征值經(jīng)過函數(shù)擬合得到孔隙區(qū)域的邊緣，通過模擬人工依據(jù)GB／T 3365 中的網(wǎng)格分析方法，統(tǒng)計過程更接近人的思考方式，統(tǒng)計結(jié)果更準(zhǔn)確。

②通過神經(jīng)網(wǎng)絡(luò)算法，實現(xiàn)了對復(fù)合材料光學(xué)顯微圖像中諸如劃痕、附著物等特殊情況的區(qū)分，提高了孔隙檢測的準(zhǔn)確度。

③當(dāng)系統(tǒng)出現(xiàn)誤識別或識別不準(zhǔn)確的情況時，可以使用系統(tǒng)的模型更新功能進行有監(jiān)督的機器學(xué)習(xí)，更正系統(tǒng)的誤判，提高識別準(zhǔn)確度。