基于空氣傳播聲發(fā)射與深度遷移學(xué)習(xí)的激光粉末床熔融缺陷在線監(jiān)測

李治文，張志芬*，張帥，王杰，白子鍵，張琦，黃科，溫廣瑞

基于空氣傳播聲發(fā)射與深度遷移學(xué)習(xí)的激光粉末床熔融缺陷在線監(jiān)測

李治文a,b，張志芬a,b*，張帥a,b，王杰a,b，白子鍵a,b，張琦a，黃科a，溫廣瑞a,b

（西安交通大學(xué) a.機(jī)械工程學(xué)院 b.航空動力系統(tǒng)與等離子體技術(shù)全國重點(diǎn)實(shí)驗(yàn)室，西安 710049）

對激光粉末床熔融（LPBF）過程中的缺陷進(jìn)行缺陷監(jiān)測機(jī)理研究，并開發(fā)可靠的現(xiàn)場質(zhì)量監(jiān)測方法來指導(dǎo)零件生產(chǎn)過程。使用空氣傳播聲發(fā)射（ABAE）技術(shù)監(jiān)測LPBF過程，獲取多組變工況LPBF過程中的ABAE信號。通過對LPBF過程進(jìn)行熔池動態(tài)分析及對比缺陷信號時頻域特征，探究了LPBF缺陷聲學(xué)監(jiān)測機(jī)理。同時，提出了一種基于多源域知識融合的深度遷移學(xué)習(xí)（DTL-MDKF）方法以構(gòu)建LPBF缺陷在線監(jiān)測模型，并對模型的準(zhǔn)確度和有效性進(jìn)行了系統(tǒng)評估。LPBF熔池狀態(tài)與產(chǎn)生的缺陷密切相關(guān)，所對應(yīng)的聲源發(fā)生機(jī)理不同是導(dǎo)致其信號特征呈現(xiàn)差異性的主要原因。所提出的DTL-MDKF方法模型對5類LPBF缺陷的識別準(zhǔn)確率可達(dá)98.2%，且t-SNE可視化分析結(jié)果證明了其良好的深度特征挖掘能力以及將模型中多源域自適應(yīng)融合知識遷移用于目標(biāo)域LPBF缺陷監(jiān)測任務(wù)的有效性。相比于傳統(tǒng)單一源域遷移學(xué)習(xí)方法，所提出的方法模型具有更好的性能，能夠?qū)崿F(xiàn)對復(fù)雜多變工況的LPBF制造缺陷的精準(zhǔn)實(shí)時監(jiān)測，可為LPBF零件的生產(chǎn)提供一定的指導(dǎo)。

增材制造；激光粉末床熔融；空氣傳播聲發(fā)射；遷移學(xué)習(xí)；缺陷在線監(jiān)測

激光粉末床熔融（Laser Powder Bed Fusion，LPBF）是增材制造（Additive Manufacturing，AM）技術(shù)的一種，它在計(jì)算機(jī)模型的指導(dǎo)下通過激光源將金屬粉末逐層選擇性地熔化在一起，并在整個過程中不斷重復(fù)粉末鋪填并激光選擇性熔化直至零件成形[1]。與傳統(tǒng)制造相比，該技術(shù)具有上市周期短、能耗低、可便捷制造非標(biāo)準(zhǔn)結(jié)構(gòu)或快速定制個性化零件等優(yōu)點(diǎn)[2-3]，已被廣泛用于生物醫(yī)學(xué)、航空航天和汽車等領(lǐng)域[4-5]。

雖然LPBF具有傳統(tǒng)制造不可比擬的優(yōu)點(diǎn)，但其成形中普遍存在球化、翹曲、裂紋和匙孔等缺陷[6-7]，這些缺陷會嚴(yán)重影響零件質(zhì)量，特別是成形件中普遍存在的孔隙率[8]。已有研究表明，LPBF過程產(chǎn)生的孔隙等缺陷與其工藝參數(shù)有關(guān)，如激光相關(guān)參數(shù)、掃描相關(guān)參數(shù)和粉末相關(guān)參數(shù)等[9]。此外，掃描策略也會通過影響粉末熔化過程中的傳熱、粉末熔體形成和凝固速度，從而直接影響粉末熔化過程，并會對LPBF缺陷的類型、位置和分布產(chǎn)生影響[9]。這說明要獲得高質(zhì)量的LPBF成形零件需要其加工參數(shù)具有最佳組合。目前，質(zhì)量和可重復(fù)性依然是阻礙LPBF廣泛應(yīng)用的關(guān)鍵技術(shù)障礙[6]。通過研究缺陷形成機(jī)制以抑制缺陷的產(chǎn)生或開發(fā)零件加工過程質(zhì)量監(jiān)測技術(shù)來指導(dǎo)成形件生產(chǎn)過程能夠解決這一難題。

常用的AM零件的缺陷監(jiān)測方法有X射線計(jì)算機(jī)斷層掃描[10]、光學(xué)顯微鏡金相表征[11]和掃描電子顯微鏡觀測[12]等，但上述方法均在材料消耗后進(jìn)行，無法在缺陷發(fā)生時及時預(yù)警或采取相應(yīng)的抑制策略，且存在過程繁瑣、成本較高等問題[13]，難以滿足零件加工過程的實(shí)時監(jiān)測需求。目前，已有多種監(jiān)測方式被用于AM過程質(zhì)量的在線監(jiān)測，這些監(jiān)測方式主要用于監(jiān)測與成形過程或質(zhì)量有關(guān)的物理量，如熔池形貌[14]、熔池尺寸[15]和面積[16]、熱[17]、光譜[18]等。聲學(xué)監(jiān)測是近年來發(fā)展起來的一種較新的監(jiān)測方法，在焊接等領(lǐng)域得到了一定應(yīng)用，但在激光增材制造領(lǐng)域相關(guān)研究依然較少[19]。聲學(xué)監(jiān)測的吸引力在于其傳感器具有高靈敏度和低成本的優(yōu)勢[13]。常見的聲學(xué)監(jiān)測傳感器有2種：結(jié)構(gòu)傳播聲發(fā)射（Structure-borne Acoustic Emission，SBAE）傳感器和空氣傳播聲發(fā)射（Air-borne Acoustic Emission，ABAE）傳感器。相比于SBAE，ABAE具有適用范圍更廣泛、安裝更便捷和成本更低的優(yōu)勢，具有較大的潛在商業(yè)價值，也受到了許多研究者的青睞。

機(jī)器學(xué)習(xí)技術(shù)的發(fā)展也為聲學(xué)監(jiān)測技術(shù)的發(fā)展和應(yīng)用提供了支撐。Shevchik等[13]開發(fā)了頻譜卷積神經(jīng)網(wǎng)絡(luò)，用來分類不同LPBF缺陷聲學(xué)特征。Eschner等[19]使用聲發(fā)射技術(shù)和人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了LPBF試樣的密度分類。Hossain等[20]利用聲學(xué)監(jiān)測技術(shù)和小波分析及卷積神經(jīng)網(wǎng)絡(luò)對增材制造過程進(jìn)行了現(xiàn)場監(jiān)控。綜上，基于機(jī)器學(xué)習(xí)的聲學(xué)監(jiān)測技術(shù)在LBPF質(zhì)量監(jiān)測領(lǐng)域被成功應(yīng)用，但缺陷監(jiān)測機(jī)理研究和更高效的LPBF缺陷監(jiān)測方法開發(fā)依然是所要面臨的難題。一方面，LPBF過程中的聲音信號產(chǎn)生機(jī)制不明晰，缺少有關(guān)LPBF缺陷的聲學(xué)監(jiān)測機(jī)理研究，無法有效支撐基于聲學(xué)信號的LPBF缺陷監(jiān)測方法的研究與應(yīng)用；另一方面，已有研究多局限于特定掃描策略下的缺陷分類，但LPBF過程中掃描策略的差異對成形零件的質(zhì)量有巨大影響[9]，會造成2種掃描策略下工藝參數(shù)的最佳狀態(tài)產(chǎn)生明顯差異，這導(dǎo)致為特定掃描策略而開發(fā)的監(jiān)測算法無法可靠地應(yīng)用于其他掃描策略的LPBF質(zhì)量監(jiān)測。這種由掃描策略改變引起的跨工況質(zhì)量監(jiān)測難題亟待解決。

深度遷移學(xué)習(xí)（Deep Transfer Learning，DTL）是解決上述問題的一種較好的方法，該方法側(cè)重于使用從一種問題中獲得的知識經(jīng)驗(yàn)來解決另一種不同但相關(guān)的問題[21]，它在AM質(zhì)量監(jiān)測領(lǐng)域的應(yīng)用可行性已得到證明[22]。此外，異類掃描策略下LPBF過程缺陷產(chǎn)生機(jī)制及聲音信號的缺陷監(jiān)測原理是相似的，這也為遷移學(xué)習(xí)在該領(lǐng)域的使用提供了可能。為此，本文基于ABAE和DTL開發(fā)了一種跨工況的LPBF缺陷在線監(jiān)測新方法。

1 監(jiān)測方法與理論

1.1 方法框架

本研究提出了一種基于ABAE和DTL的LPBF缺陷在線監(jiān)測新方法。首先，使用ABAE傳感器采集LPBF過程中產(chǎn)生的聲音號。其次，采用連續(xù)小波變換（Continuous Wavelet Transform，CWT）將原始1-D聲音信號轉(zhuǎn)換為2-D時頻譜圖，并將含有豐富的信號時頻域信息的頻譜圖作為模型輸入，以用于遷移學(xué)習(xí)模型的訓(xùn)練。最后，基于自然圖像數(shù)據(jù)預(yù)訓(xùn)練模型在故障診斷領(lǐng)域中任務(wù)處理的有效性及異類掃描策略工況下LPBF過程缺陷的產(chǎn)生機(jī)制和缺陷聲學(xué)監(jiān)測理論具有相似性的特點(diǎn)，提出了多源域知識融合深度遷移學(xué)習(xí)（DTL-MDKF）方法。該方法將自然圖像知識與一種掃描策略工況下的LPBF缺陷知識相融合，并將其遷移用于另一種掃描策略工況下LPBF缺陷的分類中。所提方法框架如圖1所示。

1.2 LPBF過程聲學(xué)監(jiān)測理論

聲音信號是LPBF過程中釋放的重要過程信息，也是重要的質(zhì)量監(jiān)測參量，其產(chǎn)生和傳播與熔池狀態(tài)密切相關(guān)。LPBF聲信號的產(chǎn)生是由激光與粉末劇烈相互作用導(dǎo)致的，其主要來源于LPBF過程中的熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲。LPBF過程中空氣傳播聲發(fā)射信號的產(chǎn)生、傳播和收集如圖2所示。可見，在LPBF過程中會出現(xiàn)匙孔效應(yīng)，匙孔內(nèi)部包含金屬蒸氣和激光等離子體，二者構(gòu)成一種混合氣體充滿匙孔進(jìn)而形成氣腔。匙孔內(nèi)部的熔體金屬流動壓力和表面張力等作用力會迫使混合氣體從匙孔內(nèi)部噴射出來，進(jìn)而使匙孔閉合，但連續(xù)的激光作用會不斷形成由金屬蒸氣和激光等離子體組成的混合氣體，其產(chǎn)生的作用力會與迫使匙孔閉合的作用力進(jìn)行抵抗，從而避免匙孔閉合。在此動態(tài)過程中，一方面，熔體金屬會在金屬蒸氣和激光等離子體等組成的混合氣體壓力的作用下發(fā)生受迫振動，該振動會引起空氣介質(zhì)與熔體金屬之間產(chǎn)生摩擦，進(jìn)而引發(fā)空氣振動從而產(chǎn)生聲音信號。另一方面，維持匙孔形狀的金屬蒸氣和激光等離子體組成的復(fù)合氣體會從匙孔內(nèi)部噴射至空氣中，引起空氣介質(zhì)局部體積發(fā)生變化，從而引起振動并產(chǎn)生聲音信號。綜上，LPBF過程的主要聲信號來源是熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲。

圖1 所提LPBF缺陷在線監(jiān)測方法框架

不同的發(fā)聲方式對聲音信號的頻率分布特性有顯著影響。一般來說，熔體金屬振動發(fā)聲容易導(dǎo)致ABAE信號中發(fā)生更低頻的事件，而混合氣體噴射發(fā)聲則更容易導(dǎo)致ABAE信號中發(fā)生更高頻的事件。本研究使用ABAE傳感器收集LPBF過程中產(chǎn)生的聲音信號并將其用于制造過程的質(zhì)量監(jiān)測，在第3.1節(jié)中詳細(xì)討論了LPBF聲信號的時頻特征，進(jìn)一步分析了LPBF過程中聲源發(fā)聲機(jī)制和LPBF缺陷的聲學(xué)監(jiān)測原理。

1.3 多源域知識融合的深度遷移學(xué)習(xí)

所提出的DTL-MDKF方法由基線模型和多源域知識融合的遷移學(xué)習(xí)策略組成，詳細(xì)的方法框架如圖1所示?；€模型為如圖3所示的ResNet-50，它是典型的深度卷積網(wǎng)絡(luò)模型，具有較強(qiáng)的深度特征挖掘能力。所提的DTL-MDKF方法分為以下3個步驟：1）步驟1，使用ImageNet自然圖像數(shù)據(jù)集對模型進(jìn)行首次訓(xùn)練，該模型將保留自然圖像數(shù)據(jù)先驗(yàn)知識；2）步驟2，使用一種掃描策略工況的缺陷數(shù)據(jù)集（本研究中為R-SSMD數(shù)據(jù)集）對經(jīng)步驟1預(yù)訓(xùn)練的模型進(jìn)行再次訓(xùn)練，訓(xùn)練好的模型在獲取了一種掃描策略工況下LPBF缺陷知識的同時也保留有自然圖像數(shù)據(jù)先驗(yàn)知識，即模型保留有兩源域的融合知識；3）步驟3，采用另一種掃描策略工況的缺陷數(shù)據(jù)集（本研究中為S-SSMD數(shù)據(jù)集）在步驟2中保留有兩源域融合知識的模型上進(jìn)行遷移學(xué)習(xí)。

圖2 LPBF過程中空氣傳播聲發(fā)射信號的產(chǎn)生、傳播和收集

圖3 所提的ResNet-50網(wǎng)絡(luò)架構(gòu)

需要說明的是，步驟1、2中模型的所有參數(shù)均參與訓(xùn)練，這種模式能使深度模型充分地從兩源域數(shù)據(jù)集中獲得知識。步驟3使用的條形掃描策略熔融缺陷（R-SSMD）數(shù)據(jù)集在已訓(xùn)練好的模型上進(jìn)行遷移學(xué)習(xí)時，模型只有全連接層參與訓(xùn)練，其他層權(quán)重參數(shù)保留原有的訓(xùn)練結(jié)果不變，這樣會使原有的學(xué)習(xí)知識得到保留，同時新的知識得到了擴(kuò)充。這種方法能夠使評估模型同時保留2個源域的融合知識，并使它適用于目標(biāo)域任務(wù)的處理。

2 實(shí)驗(yàn)和數(shù)據(jù)預(yù)處理

2.1 實(shí)驗(yàn)裝置

LPBF缺陷在線監(jiān)測系統(tǒng)由如圖4所示的LPBF設(shè)備和ABAE信號采集系統(tǒng)組成。LPBF設(shè)備為工業(yè)級金屬3D打印設(shè)備，設(shè)備型號為iSLM160，搭載波長為1 064 nm和功率為500 W的光纖激光器，在工作過程中使用氬氣作為保護(hù)氣體。ABAE信號采集系統(tǒng)主要由ABAE傳感器、數(shù)據(jù)采集主機(jī)和顯示器等組成。其中，ABAE傳感器為型號AM4I（美國PAC公司）的空氣耦合型聲發(fā)射傳感器，其諧振頻率為40 kHz，內(nèi)置40 dB放大器，并通過可移動夾持裝置安裝固定在成形基板前端。數(shù)據(jù)采集主機(jī)內(nèi)置型號為PCI-2的總線聲發(fā)射處理卡，采樣頻率為1～3 000 kHz。

2.2 實(shí)驗(yàn)和質(zhì)量表征

選用由威拉里公司制造的霧化316L奧氏體不銹鋼粉末作為LPBF實(shí)驗(yàn)材料，該金屬粉末近似呈規(guī)則的圓球狀，直徑為13～53 μm，主要化學(xué)成分如表1所示。設(shè)置打印零件為立方體塊結(jié)構(gòu)，尺寸為10 mm× 10 mm×10 mm。在LPBF中分別采用如圖5a所示的條形掃描策略和如圖5b所示的環(huán)形掃描策略。

在LPBF過程中激光輸入粉末的能量密度與零件成形質(zhì)量關(guān)系密切。一般來說，若激光輸入粉末的能量密度較低，則易導(dǎo)致未熔合；若激光輸入粉末的能量密度較高，則會導(dǎo)致過熔合。能量密度由激光功率、掃描速度、掃描間距和層厚共同決定，可根據(jù)式（1）確定能量密度[7]。

表1 316L金屬粉末主要化學(xué)成分

圖5 條形掃描策略（a）和環(huán)形掃描策略（b）

設(shè)定掃描間距=0.08 mm，層厚=0.04 mm，通過改變激光功率和掃描速度來控制能量密度以獲得不同類型的缺陷零件。為了更好地評估零件質(zhì)量，本研究對零件的致密度、表面成形質(zhì)量和內(nèi)部形貌進(jìn)行了表征。依據(jù)阿基米德原理得到相對致密度[23]，如式（2）和（3）所示。依據(jù)表面變形和損傷狀況評估表面成形質(zhì)量，通過光學(xué)顯微鏡對內(nèi)部形貌進(jìn)行觀測。

式中：為零件測試密度；0為理論計(jì)算密度；1為無水乙醇密度；0為零件在空氣中的質(zhì)量；1為零件在酒精中的質(zhì)量；為相對致密度。

為了探究掃描策略對LPBF質(zhì)量的影響，進(jìn)行了變掃描策略工況的LPBF實(shí)驗(yàn)。在環(huán)形掃描策略下設(shè)置5個打印零件，分別為R0、R1、R2、R3和R4；在條形掃描策略下設(shè)置5個打印零件，分別為S0、S1、S2、S3和S4。LPBF實(shí)驗(yàn)工藝參數(shù)如表2所示。除掃描策略外，R0～R4與S0～S4的工藝參數(shù)均保持一致。值得注意的是，實(shí)驗(yàn)中R0沒有成功成形。環(huán)形掃描策略和條形掃描策略對應(yīng)零件的表面質(zhì)量和相對致密度表征結(jié)果如圖6所示，環(huán)形掃描策略和條形掃描策略下成形零件內(nèi)部形貌的光學(xué)顯微鏡表征結(jié)果分別如圖7和圖8所示。質(zhì)量表征結(jié)果表明，不同掃描策略對應(yīng)的成形零件質(zhì)量差異顯著。

激光輸入粉末的能量密度過低或過高會引起粉末的熔融狀態(tài)發(fā)生變化，從而導(dǎo)致激光粉末床在熔融過程中出現(xiàn)未熔合和過熔合缺陷。未熔合零件內(nèi)部普遍存在大量未熔合孔隙，致密度較低，表面未出現(xiàn)明顯變形。過熔合零件內(nèi)部有大量氣孔，致密度相對較高，但表面變形嚴(yán)重。質(zhì)量表征結(jié)果表明，以未熔合和過熔合作為LPBF缺陷的分類標(biāo)簽，則零件R1～R4的缺陷類型標(biāo)簽分別為嚴(yán)重未熔合、輕微未熔合、輕微過熱和嚴(yán)重過熱；零件S0～S4的缺陷類型標(biāo)簽分別為嚴(yán)重未熔合、輕微未熔合、較少缺陷、輕微過熔合和嚴(yán)重過熔合。

圖6 環(huán)形掃描策略和條形掃描策略表面質(zhì)量和相對致密度表征

圖7 環(huán)形掃描策略下零件內(nèi)部形貌光學(xué)顯微鏡表征

表2 實(shí)驗(yàn)工藝參數(shù)及缺陷類型

通過對不同掃描策略的LPBF成形零件進(jìn)行質(zhì)量評估，研究發(fā)現(xiàn)，2種掃描策略對應(yīng)的過熔合缺陷零件的表面質(zhì)量存在明顯差異。與條形掃描策略相比，采用環(huán)形掃描策略的過熔合缺陷零件的表面變形和損傷更嚴(yán)重，且過熔合缺陷零件內(nèi)部含有較多近似球形的氣孔。同時，2種掃描策略對應(yīng)的未熔合缺陷零件的致密度和內(nèi)部缺陷類型存在較大差異：零件S2的致密度達(dá)98%以上，但零件R2的致密度則不足95%，且其內(nèi)部含有大量具有拉長形狀的未熔合孔隙。研究表明，在異類掃描策略下激光粉末床熔融最佳工藝參數(shù)窗口存在明顯差別，其成形零件的質(zhì)量差異顯著，特別表現(xiàn)在零件內(nèi)部的缺陷類型、孔隙率水平和表面質(zhì)量上。這一現(xiàn)象與不同掃描策略下LPBF過程中的傳熱、粉末熔體形成和凝固速度具有差異有關(guān)。這也說明針對特定掃描策略而開發(fā)的監(jiān)測算法無法可靠地應(yīng)用于不同掃描策略下LPBF的質(zhì)量在線監(jiān)測中。

2.3 數(shù)據(jù)采集及預(yù)處理

在LPBF實(shí)驗(yàn)中全程同步進(jìn)行ABAE信號數(shù)據(jù)采集，即采集從第一層打印開始至最后一層打印結(jié)束。實(shí)驗(yàn)中ABAE傳感器采樣頻率設(shè)置為100 kHz。本研究使用CWT對聲音信號進(jìn)行時頻分析，其中，基函數(shù)選用Morlet小波。信號的CWT可以用式（4）表示[24]。

3 結(jié)果與分析

3.1 LPBF缺陷信號特征及聲學(xué)監(jiān)測原理

LPBF中熔池存在2種模式：傳導(dǎo)模式和匙孔模式，且2種模式之間可以發(fā)生轉(zhuǎn)變[25-26]。當(dāng)激光功率增大或掃描速度降低時，熔池可以從傳導(dǎo)模式轉(zhuǎn)變?yōu)槌卓啄Ｊ絒27-28]。特別地，熔池的2種模式與LPBF缺陷的產(chǎn)生有關(guān)。在傳導(dǎo)模式中，LPBF容易因熔池重疊不足而出現(xiàn)具有拉長形狀的未熔合孔隙[9]。在匙孔模式中，LPBF熔池的深度比傳導(dǎo)模式的更大，這種熔池深度變大與金屬蒸發(fā)增強(qiáng)有關(guān)，而金屬蒸發(fā)形成的氣腔坍塌會導(dǎo)致激光束尾跡中出現(xiàn)空洞，從而形成氣孔[27]。顯然，未熔合缺陷或過熔合缺陷狀態(tài)與熔池的傳導(dǎo)模式或匙孔模式有直接聯(lián)系。

圖9 樣本數(shù)據(jù)集構(gòu)造流程

傳導(dǎo)模式和匙孔模式的示意圖如圖10所示。對比分析LPBF過程中熔池在2種模式狀態(tài)下的聲源發(fā)聲情況，可以發(fā)現(xiàn)，2種模式狀態(tài)的ABAE信號產(chǎn)生機(jī)理存在差異，在傳導(dǎo)模式中，激光能量密度較低且熔池較淺，該狀態(tài)對應(yīng)的金屬熔體振動較弱且混合氣體較少，這會導(dǎo)致熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲的作用減弱。在匙孔模式中，激光能量密度較高且熔池較深，該狀態(tài)對應(yīng)的熔體金屬振動劇烈且混合氣體較多，這會導(dǎo)致熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲的作用強(qiáng)烈。

本研究根據(jù)缺陷信號頻譜信息分布特征將缺陷信號的頻譜劃分為5～20、20～35、35～50kHz 3段頻帶并進(jìn)行對比分析。5種缺陷信號的快速傅里葉變換頻譜和各頻率分量的占比情況如圖11所示?？梢园l(fā)現(xiàn)，無論何種缺陷狀態(tài)，激光與粉末相互作用產(chǎn)生的聲音信號的FFT頻譜在8、17、40 kHz附近均出現(xiàn)明顯的峰值。分析認(rèn)為，這種頻譜峰值分布的一致性可能與LPBF過程中的主要聲源來源相同有關(guān)（熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲）。值得注意的是，傳導(dǎo)模式導(dǎo)致未熔合缺陷信號5～20 kHz頻帶的頻率幅值明顯高于35～50 kHz頻帶的，但在匙孔模式對應(yīng)的過熔合缺陷信號中這一結(jié)果是相反的。這種過熔合缺陷信號頻譜的中高頻段能量成分較多的原因可能與熔池處于匙孔模式時所產(chǎn)生的大量復(fù)合氣體劇烈作用有關(guān)。此外，觀察不同缺陷信號的各頻段能量占比可知，同種缺陷信號的各頻率分量比例較為相似，即5～20 kHz的頻率范圍在未熔合缺陷信號中占主導(dǎo)地位，35～50 kHz的頻率范圍在過熔合缺陷信號中占主導(dǎo)地位，20～35 kHz的頻率范圍則在2種缺陷信號中占比均較少，這種缺陷信號所表現(xiàn)出的相似現(xiàn)象也說明了同種類型缺陷對應(yīng)的LPBF過程的聲源發(fā)聲特征類似。

圖10 傳導(dǎo)模式和匙孔模式示意圖

圖11 5種缺陷信號經(jīng)FFT變換后的頻譜和頻率分量占比

不同缺陷對應(yīng)的聲音信號的頻率信息如圖12所示。其中，柱狀圖為不同頻率段的能量密度，折線圖為全頻段能量密度。可以看出，過熔合缺陷信號各頻帶的能量密度明顯高于未熔合缺陷信號的，該結(jié)果可以用LPBF過程聲源發(fā)聲機(jī)理證明。具體而言，當(dāng)過熔合缺陷形成時，熔池處于匙孔模式，在該模式下熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲作用強(qiáng)烈，導(dǎo)致聲音信號的能量幅值較高；當(dāng)未熔合缺陷形成時，熔池處于傳導(dǎo)模式，該模式中熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲作用較弱，導(dǎo)致聲音信號的能量幅值較低。隨著激光能量密度的增大，熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲作用增強(qiáng)，因此，聲音信號的能量幅值升高。此外，分析認(rèn)為，激光能量密度的變化會影響激光與粉末相互作用產(chǎn)生的金屬熔體和混合氣體的規(guī)模及其發(fā)聲作用的強(qiáng)度，這會導(dǎo)致5種缺陷信號的平均能量密度呈現(xiàn)明顯差異。

圖12 5種缺陷聲音信號頻率信息比較

3.2 DTL-MDKF方法性能評估

為驗(yàn)證所提方法的有效性，使用實(shí)驗(yàn)同步采集的ABAE信號進(jìn)行測試。本研究將ImageNet數(shù)據(jù)集和R-SSMD數(shù)據(jù)集作為源域，S-SSMD數(shù)據(jù)集作為目標(biāo)域。此外，還討論了2種僅基于單一源域知識（ImageNet數(shù)據(jù)集、R-SSMD數(shù)據(jù)集）的遷移學(xué)習(xí)方法在目標(biāo)任務(wù)處理中的性能，并將其與所提方法進(jìn)行系統(tǒng)比較。首先，在源域R-SSMD數(shù)據(jù)集上訓(xùn)練保留有ImageNet數(shù)據(jù)集先驗(yàn)知識的Resnet-50模型。其次，將預(yù)訓(xùn)練后的Resnet-50模型權(quán)重被凍結(jié)到最后一層，以保留所學(xué)習(xí)知識。最后，將70%的目標(biāo)域S-SSMD數(shù)據(jù)集用于遷移微調(diào)訓(xùn)練，其余30%用于測試。需要注意的是，在微調(diào)訓(xùn)練過程中，只允許使用S-SSMD數(shù)據(jù)集的頻譜圖更新模型的最后一層權(quán)重。在TensorFlow平臺上搭建實(shí)驗(yàn)?zāi)Ｐ?，在型號為GeForce GTX 1650的GPU單元上完成訓(xùn)練。在訓(xùn)練過程中使用Adam優(yōu)化器方法以10?3的學(xué)習(xí)率進(jìn)行迭代訓(xùn)練，并設(shè)置批量大小為8。

在目標(biāo)域數(shù)據(jù)集上使用3種方法進(jìn)行遷移學(xué)習(xí)時的網(wǎng)絡(luò)模型準(zhǔn)確率和損失曲線如圖13所示。混淆矩陣（見圖14）描述了使用3種遷移學(xué)習(xí)方法訓(xùn)練的網(wǎng)絡(luò)模型在任務(wù)處理中的預(yù)測結(jié)果與真實(shí)結(jié)果。對比發(fā)現(xiàn)，隨著訓(xùn)練輪次的增多，經(jīng)3種遷移學(xué)習(xí)方法訓(xùn)練后，模型的準(zhǔn)確率增大，損失減小。其中，DTL-ImageNet Dataset方法的分類精度波動較大，準(zhǔn)確率僅為80%，損失高于1.4，并對不同程度過熔合缺陷的識別效果明顯不佳。這說明將自然圖像分類經(jīng)驗(yàn)知識遷移學(xué)習(xí)用于LPBF缺陷時頻譜圖的分類是有效的，但自然圖像數(shù)據(jù)知識與LPBF缺陷知識間存在的領(lǐng)域知識差異會導(dǎo)致它表現(xiàn)欠佳。與DTL-ImageNet Dataset方法相比，DTL-RSSMD方法的平均準(zhǔn)確率提高約4%，損失值降低約1，但其分類準(zhǔn)確率仍不足85%。此外，DTL-RSSMD在目標(biāo)任務(wù)處理中表現(xiàn)出了對未熔合缺陷信號頻譜圖像的分類準(zhǔn)確率不高的現(xiàn)象。分析認(rèn)為，該現(xiàn)象與2種掃描策略下的LPBF缺陷特征具有差異有關(guān)，即源域中的已有缺陷知識無法完整有效地包含目標(biāo)域缺陷知識，進(jìn)而導(dǎo)致其遷移效果不佳，這也是在相似領(lǐng)域知識之間進(jìn)行遷移學(xué)習(xí)時所要克服的難題。

相比之下，DTL-MDKF的分類準(zhǔn)確率達(dá)98.2%，損失為0.06，具有明顯的優(yōu)勢。與DTL-ImageNet Dataset和DTL-RSSMD Dataset相比，DTL-MDKF方法不僅有效克服了對不同程度過熔合或未熔合缺陷識別準(zhǔn)確率欠佳的問題，而且很好地保留了2種僅基于單一源域知識的深度遷移學(xué)習(xí)模型在目標(biāo)任務(wù)處理時的優(yōu)勢。一方面，不同掃描策略下的LPBF缺陷知識相似，有利于任務(wù)處理；另一方面，加入圖像分類經(jīng)驗(yàn)知識有利于LPBF缺陷特征的充分挖掘，從而確保遷移學(xué)習(xí)更為有效。

圖13 本文提出的3種方法的準(zhǔn)確率和損失曲線

圖14 用于描述所提三種模型分類準(zhǔn)確率的混淆矩陣

3.3 自適應(yīng)特征提取可視化分析

遷移學(xué)習(xí)中模型的凍結(jié)層主要用于保留原有學(xué)習(xí)知識，并作為特征提取層進(jìn)行LPBF缺陷特征的提取。為評估3種方法中將不同知識遷移學(xué)習(xí)用于目標(biāo)域任務(wù)時自適應(yīng)特征提取的有效性，研究使用t-SNE方法對3種保留有不同知識模型的已凍結(jié)層的特征提取結(jié)果進(jìn)行可視化，其結(jié)果如圖15所示。如圖15a所示，當(dāng)自然圖像知識在遷移學(xué)習(xí)過程中用于目標(biāo)任務(wù)時，不同程度的未熔合和過熔合缺陷特征存在一定重疊，結(jié)合3.1中的信號特征分析結(jié)果可知，具有相似類型的缺陷信號間的特征差異較小，這會導(dǎo)致DTL-ImageNet Dataset方法較難區(qū)分相似類型的LPBF缺陷信號。由圖15b可知，不同掃描策略工況下的LPBF缺陷知識是可以遷移的，并可用于它們之間的質(zhì)量評估。然而，這種不同領(lǐng)域缺陷數(shù)據(jù)之間的特征差異和類型不完備可能會導(dǎo)致模型在任務(wù)處理時存在較高的分類誤差。相比之下，圖15c中的5種不同缺陷特征在DTL-MDKF模型中得到了適當(dāng)分離。結(jié)果表明，DTL-MDKF模型具有更強(qiáng)的LPBF缺陷深度特征挖掘能力，經(jīng)所提遷移學(xué)習(xí)方法訓(xùn)練的模型不僅保存了有利于圖像分類的經(jīng)驗(yàn)知識，還保留了一定的LPBF缺陷知識，使得它在新工況條件下的LPBF缺陷監(jiān)測過程中表現(xiàn)出極佳的性能，這也體現(xiàn)了將模型中自適應(yīng)融合知識遷移用于目標(biāo)任務(wù)處理時的有效性。

4 結(jié)論

提出了一種結(jié)合ABAE和DTL的LPBF缺陷在線監(jiān)測新方法，該方法具有較低的部署成本和顯著的LPBF缺陷特征挖掘能力，或可用于復(fù)雜多變工況的LPBF缺陷在線監(jiān)測。得出以下結(jié)論：

1）LPBF未熔合和過熔合缺陷的形成與其熔池模式（傳導(dǎo)模式、匙孔模式）有關(guān)。當(dāng)熔池處于傳導(dǎo)模式時，易導(dǎo)致未熔合缺陷，此時熔體金屬振動發(fā)聲和混合氣體噴射發(fā)聲的作用較弱，聲音信號能量密度較低；當(dāng)熔池處于匙孔模式時，易導(dǎo)致過熔合缺陷，此時混合氣體噴射發(fā)聲作用強(qiáng)烈，高頻段能量密度較高。2種熔池模式及其缺陷狀態(tài)的聲音發(fā)生機(jī)理不同是導(dǎo)致LPBF缺陷聲信號特征呈現(xiàn)差異性的主要原因，這為開展基于ABAE信號的LPBF缺陷在線監(jiān)測方法的研究提供了理論依據(jù)。

2）DTL-ImageNet Dataset和 DTL-RSSMD Dataset在任務(wù)處理中的表現(xiàn)說明自然圖像分類經(jīng)驗(yàn)知識有助于LPBF缺陷時頻譜圖分類，異類掃描策略下的LPBF過程知識是可遷移的，且可用于它們間的質(zhì)量評估。

3）所提出的DTL-MDKF方法可以有效融合圖像分類經(jīng)驗(yàn)知識和LPBF缺陷知識，并保留它們在任務(wù)處理中的優(yōu)勢，具有較強(qiáng)的自適應(yīng)深度特征挖掘能力。在實(shí)驗(yàn)中，與DTL-ImageNet Dataset和DTL- RSSMD Dataset相比，使用DTL-MDKF方法訓(xùn)練的模型在準(zhǔn)確率、損失、混淆矩陣和特征可視化等分析中的表現(xiàn)均更優(yōu)。

在今后的工作中，還將測試遷移學(xué)習(xí)在處理更復(fù)雜變工況環(huán)境下LPBF缺陷監(jiān)測任務(wù)時的效果，并對其進(jìn)行針對性改進(jìn)，以滿足多種復(fù)雜工況并存環(huán)境下LPBF缺陷監(jiān)測的需求。

[1] XIAO X, CHU B, ZHANG Z. Quality Quantification and Control via Novel Self-Growing Process-Quality Model of Parts Fabricated by LPBF Process[J]. Materials, 2022, 15(23): 8520.

[2] ABOULKHAIR N T, SIMONELLI M, PARRY L, et al. 3D Printing of Aluminium Alloys: Additive Manufacturing of Aluminium Alloys Using Selective Laser Melting[J]. Progress in Materials Science, 2019, 106: 100578.

[3] AKBARI P, OGOKE F, KAO N, et al. Meltpoolnet: Melt Pool Characteristic Prediction in Metal Additive Manufacturing Using Machine Learning[J]. Additive Manufacturing, 2022, 55: 102817.

[4] WANG P, YANG Y, MOGHADDAM N S. Process Modeling in Laser Powder Bed Fusion Towards Defect Detection and Quality Control via Machine Learning: the State-of-the-Art and Research Challenges[J]. Journal of Manufacturing Processes, 2022, 73: 961-984.

[5] KAMBOJ N, RESSLER A, HUSSAINOVA I. Bioactive Ceramic Scaffolds for Bone Tissue Engineering by Powder Bed Selective Laser Processing: A Review[J]. Materials, 2021,14(18): 5338.

[6] YE D, HONG G S, ZHANG Y, et al. Defect Detection in Selective Laser Melting Technology by Acoustic Signals with Deep Belief Networks[J]. The International Journal of Advanced Manufacturing Technology, 2018, 96(5/6/7/8): 2791-2801.

[7] PANDIYAN V, DRISSI-DAOUDI R, SHEVCHIK S, et al. Analysis of Time, Frequency and Time-Frequency Domain Features from Acoustic Emissions during Laser Powder-Bed Fusion Process[J]. Procedia Cirp, 2020, 94: 392-397.

[8] ZHAO C, PARAB N D, LI X, et al. Critical Instability at Moving Keyhole Tip Generates Porosity in Laser Melting[J]. Science, 2020, 370(6520): 1080-1086.

[9] MOSTAFAEI A, ZHAO C, HE Y, et al. Defects and Anomalies in Powder Bed Fusion Metal Additive Manufacturing[J]. Current Opinion in Solid State and Materials Science, 2022, 26(2): 100974.

[10] ZHOU X, DAI N, CHU M, et al. X-Ray Ct Analysis of the Influence of Process on Defect in Ti-6Al-4V Parts Produced with Selective Laser Melting Technology[J]. The International Journal of Advanced Manufacturing Technology, 2020, 106(1/2): 3-14.

[11] SALEM H, CARTER L N, ATTALLAH M M, et al. Influence of Processing Parameters on Internal Porosity and Types of Defects Formed in Ti6Al4V Lattice Structure Fabricated by Selective Laser Melting[J]. Materials Science and Engineering: A, 2019, 767: 138387.

[12] HADADZADEH A, AMIRKHIZ B S, SHAKERIN S, et al. Microstructural Investigation and Mechanical Behavior of a Two-Material Component Fabricated through Selective Laser Melting of Alsi10Mg on an Al-Cu-Ni-Fe-Mg Cast Alloy Substrate[J]. Additive Manufacturing, 2020, 31: 100937.

[13] SHEVCHIK S A, KENEL C, LEINENBACH C, et al. Acoustic Emission for in Situ Quality Monitoring in Additive Manufacturing Using Spectral Convolutional Neural Networks[J]. Additive Manufacturing, 2018, 21: 598-604.

[14] LANE B, ZHIRNOV I, MEKHONTSEV S, et al. Transient Laser Energy Absorption, Co-Axial Melt Pool Monitoring, and Relationship to Melt Pool Morphology[J]. Additive Manufacturing, 2020, 36: 101504.

[15] YADROITSEV I, KRAKHMALEV P, YADROITSAVA I. Selective Laser Melting of Ti6Al4V Alloy for Biomedical Applications: Temperature Monitoring and Microstructural Evolution[J]. Journal of Alloys and Compounds, 2014, 583: 404-409.

[16] KRAUSS H, ZEUGNER T, ZAEH M F. Layerwise Monitoring of the Selective Laser Melting Process by Thermography[J]. Physics Procedia, 2014, 56: 64-71.

[17] CHENG B, LYDON J, COOPER K, et al. Infrared Thermal Imaging for Melt Pool Analysis in SLM: A Feasibility Investigation[J]. Virtual and Physical Prototyping, 2018, 13(1): 8-13.

[18] SONG L, HUANG W, HAN X, et al. Real-Time Composition Monitoring Using Support Vector Regression of Laser-Induced Plasma for Laser Additive Manufacturing[J]. IEEE Transactions on Industrial Electronics, 2017, 64(1): 633-642.

[19] ESCHNER N, WEISER L, H?FNER B, et al. Classification of Specimen Density in Laser Powder Bed Fusion (L-PBF) Using in-Process Structure-Borne Acoustic Process Emissions[J]. Additive Manufacturing, 2020, 34: 101324.

[20] HOSSAIN M S, TAHERI H. In-Situ Process Monitoring for Metal Additive Manufacturing through Acoustic Techniques Using Wavelet and Convolutional Neural Network (CNN)[J]. The International Journal of Advanced Manufacturing Technology, 2021, 116(11/12): 3473-3488.

[21] SHAO S, MCALEER S, YAN R, et al. Highly Accurate Machine Fault Diagnosis Using Deep Transfer Learning[J]. IEEE Transactions on Industrial Informatics, 2019, 15(4): 2446-2455.

[22] PANDIYAN V, DRISSI-DAOUDI R, SHEVCHIK S, et al. Deep Transfer Learning of Additive Manufacturing Mechanisms Across Materials in Metal-Based Laser Powder Bed Fusion Process[J]. Journal of Materials Processing Technology, 2022, 303: 117531.

[23] DEBROY T, WEI H L, ZUBACK J S, et al. Additive Manufacturing of Metallic Components-Process, Structure and Properties[J]. Progress in Materials Science, 2018, 92: 112-224.

[24] CHENG Y, LIN M, WU J, et al. Intelligent Fault Diagnosis of Rotating Machinery Based on Continuous Wavelet Transform-Local Binary Convolutional Neural Network[J]. Knowledge-Based Systems, 2021, 216: 106796.

[25] YANG J, HAN J, YU H, et al. Role of Molten Pool Mode on Formability, Microstructure and Mechanical Properties of Selective Laser Melted Ti-6Al-4V Alloy[J]. Materials & Design, 2016, 110: 558-570.

[26] QI T, ZHU H, ZHANG H, et al. Selective Laser Melting of Al7050 Powder: Melting Mode Transition and Comparison of the Characteristics Between the Keyhole and Conduction Mode[J]. Materials & Design, 2017, 135: 257-266.

[27] KING W E, BARTH H D, CASTILLO V M, et al. Observation of Keyhole-Mode Laser Melting in Laser Powder-Bed Fusion Additive Manufacturing[J]. Journal of Materials Processing Technology, 2014, 214(12): 2915-2925.

[28] AGGARWAL A, PATEL S, KUMAR A. Selective Laser Melting of 316L Stainless Steel: Physics of Melting Mode Transition and Its Influence on Microstructural and Mechanical Behavior[J]. JOM, 2019, 71(3): 1105-1116.

Online Monitoring for Laser Powder Bed Fusion Defects Based on Air-borne Acoustic Emission and Deep Transfer Learning

LI Zhi-wena,b, ZHANG Zhi-fena,b*, ZHANG Shuaia,b, WANG Jiea,b, BAI Zi-jiana,b, ZHANG Qia, HUANG Kea, WEN Guang-ruia,b

(a. School of Mechanical Engineering, b. National Key Lab of Aerospace Power System and Plasma Technology, Xi'an Jiaotong University, Xi'an 710049, China)

The work aims to research the monitoring mechanisms of defects generated in the laser powder bed fusion (LPBF) process and develop reliable on-site quality monitoring methods to guide the part production process. In this paper, air-borne acoustic emission (ABAE) technique was used to monitor the LPBF process, and several sets of ABAE signals of LPBF process under variable operating conditions were obtained. The LPBF defect acoustic monitoring mechanism was explored by analyzing the molten pool dynamics of the LPBF process and comparing the time-frequency domain characteristics of defect signals. Meanwhile, a deep transfer learning method with multi-source domain knowledge fusion (DTL-MDKF) was proposed for constructing an online monitoring model of LPBF defects, and the accuracy and effectiveness of the model were systematically evaluated. The LPBF melt pool state was closely related to the defect generated. The different generation mechanisms of the corresponding sound sources were the main reasons for the variability of their signal characteristics. The proposed DTL-MDKF method model could identify 5 types of LPBF defects with an accuracy of 98.2%, and the t-SNE visualization analysis results demonstrated its good deep feature mining capability and the effectiveness of the model's multi-source-domain adaptive fusion knowledge transfer for the task of monitoring LPBF defects in the target domain. Compared with the traditional single-source domain transfer learning method, the proposed method model has better performance and can realize accurate real-time monitoring of LPBF manufacturing defects in complex and variable working conditions, which can provide certain guidance for the production process of LPBF parts.

additive manufacturing (AM); laser powder bed fusion (LPBF); air-borne acoustic emission (ABAE); transfer learning; online monitoring of defects

10.3969/j.issn.1674-6457.2023.11.009

TG665

A

1674-6457(2023)11-0076-13

2023-08-17

2023-08-17

國家重點(diǎn)研發(fā)計(jì)劃（2022YFB4600803）

National Key R&D Program of China (2022YFB4600803)

李治文, 張志芬, 張帥, 等. 基于空氣傳播聲發(fā)射與深度遷移學(xué)習(xí)的激光粉末床熔融缺陷在線監(jiān)測[J]. 精密成形工程, 2023, 15(11): 76-88.

LI Zhi-wen, ZHANG Zhi-fen, ZHANG Shuai, et al. Online Monitoring for Laser Powder Bed Fusion Defects Based on Air-borne Acoustic Emission and Deep Transfer Learning[J]. Journal of Netshape Forming Engineering, 2023, 15(11): 76-88.

通信作者（Corresponding author）

責(zé)任編輯：蔣紅晨