多特征融合的焊縫圖像多標(biāo)簽分類算法

摘要： 為了實(shí)現(xiàn)焊縫缺陷的準(zhǔn)確分類，提出一種多特征融合的焊縫圖像多標(biāo)簽分類算法。首先，通過殘差神經(jīng)網(wǎng)絡(luò)（ResNet-50）提取圖像的特征信息，根據(jù)得到的特征圖構(gòu)建圖結(jié)構(gòu)，提出關(guān)聯(lián)度引導(dǎo)鄰域傳播（RDGNP）算法優(yōu)化圖結(jié)構(gòu)；然后，使用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）提取圖結(jié)構(gòu)的特征信息，并設(shè)計(jì)特征融合模塊實(shí)現(xiàn)圖像特征和圖結(jié)構(gòu)特征的結(jié)合；最后，得到多標(biāo)簽分類結(jié)果。實(shí)驗(yàn)結(jié)果表明：文中算法能夠有效地實(shí)現(xiàn)焊縫缺陷的多標(biāo)簽分類，在X射線焊縫缺陷數(shù)據(jù)集上的性能有明顯提升。

關(guān)鍵詞： 多標(biāo)簽分類； 全局相關(guān)性； 圖像特征； 圖結(jié)構(gòu)特征； 特征融合

中圖分類號(hào)： TP 391.41； TU 229文獻(xiàn)標(biāo)志碼： A"" 文章編號(hào)： 1000 5013（2024）04 0514 10

Weld Image Multi-Label Classification Algorithm Based on Multi-Feature Fusion

NIU Dun1， LIN Ning2， LIN Zhenchao2，

HUANG Kai2， WANG Hejia1， ZHENG Lixin1

（1. College of Engineering， Huaqiao University， Quanzhou 362021， China；

2. Fujian Special Equipment Inspection and Research Institute， Quanzhou 362021， China）

Abstract： In order to achieve accurate classification of welding defects， a weld image multi-label classification algorithm based on multi-feature fusion is proposed. Firstly， feature information of images is extracted by a residual neural network （ResNet-50）， and the graph structure is constructed based on the obtained feature maps. An algorithm named relation degree guided neighborhood propagation （RDGNP） is proposed to optimize the graph structure. Then， the feature information of the graph structure is extracted using graph convolutional neural network （GCN）， and a feature fusion module is designed to achieve the combination of image features and graph structure features. Finally， multi-label classification results are obtained. Experimental results show that the proposed method can effectively realize the multi-label classification of welding defects， and its performance on the X-ray welding defects dataset is significantly improved.

Keywords：

multi-label classification； global relevance； image feature； graph structure feature； feature fusion

隨著現(xiàn)代工業(yè)的迅速發(fā)展，工業(yè)焊接在高壓、高負(fù)荷環(huán)境下的廣泛應(yīng)用對(duì)焊件的質(zhì)量提出嚴(yán)格要求。在焊接過程中，焊件質(zhì)量容易受到環(huán)境和人為因素等多方面影響，產(chǎn)生裂紋、氣孔、夾渣、未熔合和未焊透等缺陷［1］。為了避免工程事故的發(fā)生，必須對(duì)焊件進(jìn)行全面的缺陷檢測與分類。

傳統(tǒng)的人工觀察焊縫圖像方法一般由專業(yè)檢驗(yàn)員執(zhí)行，然而這種方法存在多種主觀因素，效率較低，檢驗(yàn)過程中容易出現(xiàn)漏檢和誤檢等問題［2］。近年來，隨著大數(shù)據(jù)的普及和計(jì)算能力的提升，深度學(xué)習(xí)算法迅速崛起，以深度學(xué)習(xí)為基礎(chǔ)的焊縫圖像處理方法被廣泛應(yīng)用。Say等［3］利用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)公共數(shù)據(jù)集GDXray進(jìn)行數(shù)據(jù)擴(kuò)增，通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型識(shí)別出6種焊縫缺陷類別，取得了92.0%的準(zhǔn)確率。Kumaresan等［4］通過VGG-16模型實(shí)現(xiàn)焊縫缺陷分類，平均準(zhǔn)確率達(dá)到90.0%。Totino等［5］基于遷移學(xué)習(xí)方法，使用SqueezeNet模型實(shí)現(xiàn)4種焊縫缺陷的分類任務(wù)，準(zhǔn)確率達(dá)到93.3%。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)采用局部感受野和權(quán)值共享，以分層的方法提取局部特征［6］進(jìn)行圖像特征表示，但是該方法僅針對(duì)圖像的局部信息進(jìn)行分析，未能全面考慮到圖像的全局信息。由于焊縫區(qū)域可能存在環(huán)境復(fù)雜和缺陷形狀各異、分布隨機(jī)等情況，要求網(wǎng)絡(luò)從全局綜合分析并處理圖像的特征信息，而卷積神經(jīng)網(wǎng)絡(luò)從圖像中提取的局部特征會(huì)丟失其全局信息，使卷積神經(jīng)網(wǎng)絡(luò)難以提升應(yīng)用于多標(biāo)簽焊縫圖像的分類準(zhǔn)確率。

Bruna等［7］提出圖神經(jīng)網(wǎng)絡(luò)（GNN），通過向神經(jīng)網(wǎng)絡(luò)中引入圖結(jié)構(gòu)，能夠很好地獲取特征圖的全局結(jié)構(gòu)信息，彌補(bǔ)神經(jīng)網(wǎng)絡(luò)對(duì)圖像全局相關(guān)性的不敏感。Kipf等［8］提出一種創(chuàng)新的圖卷積神經(jīng)網(wǎng)絡(luò)（GCN），將卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到圖結(jié)構(gòu)上。Wang等［9］構(gòu)建一種圖引導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)（GCNN），利用訓(xùn)練樣本之間的相似度構(gòu)建圖結(jié)構(gòu)，結(jié)果表明，GCNN可以有效地提高VGG-11的特征提取能力，解決基礎(chǔ)模型在分析類間相似性和類內(nèi)差異性時(shí)的不足，使其具有更優(yōu)的分類效果。Balcioglu等［10］使用GCN進(jìn)行金屬螺母零件表面缺陷的分類任務(wù)，其準(zhǔn)確率相較于2D-CNN提高了2.955 4%。

目前，圖神經(jīng)網(wǎng)絡(luò)大多數(shù)應(yīng)用于表面缺陷的分類，表面缺陷往往具有較大的尺寸，且形狀較為簡單直觀，而內(nèi)部缺陷通常具有尺寸微小、結(jié)構(gòu)復(fù)雜等特點(diǎn)，利用GCN實(shí)現(xiàn)焊縫內(nèi)部缺陷分類任務(wù)不足以充分理解圖像的細(xì)節(jié)特征信息，因此，對(duì)焊縫內(nèi)部缺陷的分類研究仍然較少。綜合考慮當(dāng)前焊縫缺陷分類算法的不足和圖像分類算法的發(fā)展，結(jié)合分析焊縫圖像的局部關(guān)鍵信息和全局結(jié)構(gòu)信息，進(jìn)行焊縫缺陷的多標(biāo)簽分類任務(wù)［11］，從而代替人工實(shí)現(xiàn)高效焊件分類工作，本文提出一種多特征融合的焊縫圖像多標(biāo)簽分類算法。

1 多特征融合的焊縫圖像多標(biāo)簽分類算法

多特征融合的焊縫圖像多標(biāo)簽分類算法框架，如圖1所示。該框架主要包括圖像特征提取模塊、圖結(jié)構(gòu)重構(gòu)模塊、圖結(jié)構(gòu)特征提取模塊和特征融合模塊4個(gè)部分。首先，在殘差神經(jīng)網(wǎng)絡(luò)（ResNet-50）中引入Res2Net模塊以提取焊縫圖像的多尺度特征信息；其次，根據(jù)焊縫圖像的特征圖構(gòu)建初始的圖結(jié)構(gòu)，并提出關(guān)聯(lián)度引導(dǎo)鄰域傳播（RDGNP）算法，進(jìn)一步細(xì)致優(yōu)化圖結(jié)構(gòu)；接著，通過GCN提取圖結(jié)構(gòu)的特征信息；最后，將圖像特征與圖結(jié)構(gòu)特征輸入特征融合模塊進(jìn)行結(jié)合，經(jīng)過多標(biāo)簽分類器得到焊縫圖像所含缺陷類別。

1.1 圖像特征提取模塊

焊縫缺陷往往存在尺寸微小的情況，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)無法很好地提取缺陷區(qū)域的特征信息。為了豐富焊縫缺陷的語義信息，提高圖結(jié)構(gòu)表達(dá)特征之間相似性信息的準(zhǔn)確性，采用ResNet-50作為基礎(chǔ)模型用于焊縫圖像的特征提取。同時(shí)，在ResNet-50的每一個(gè)BottleNeck Block［12］中引入Res2Net模塊［13］，從粒度級(jí)別提取焊縫缺陷的多尺度特征，得到多層次的焊縫缺陷特征組合，增大每個(gè)網(wǎng)絡(luò)層的感受野，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)對(duì)焊縫缺陷的特征表達(dá)能力，以滿足網(wǎng)絡(luò)對(duì)焊縫圖像感興趣區(qū)域的關(guān)注需求。圖像特征提取模塊的結(jié)構(gòu)，如圖2所示。

在BottleNeck Block結(jié)構(gòu)中，使用Res2Net模塊替換中間的3×3卷積，具體地，經(jīng)過1×1卷積后，將輸入的特征圖劃分為T個(gè)子集，記為Xt，t=1，2，…，T，各子集尺寸大小相同，通道數(shù)為輸入特征圖通道數(shù)的1/t。在每一個(gè)子集中，除第一個(gè)通道外，每一個(gè)通道都包含前一個(gè)通道的特征信息；接下來，將T個(gè)子集輸出的特征圖進(jìn)行拼接，然后進(jìn)行1×1卷積，得到多層次的焊縫缺陷特征組合，這樣能夠產(chǎn)生具有多種尺度和不同感受野的特征，從而改善模型提取焊縫缺陷特征能力的不足。

為了進(jìn)行ResNet-50的預(yù)訓(xùn)練模型遷移，進(jìn)一步優(yōu)化模型的學(xué)習(xí)能力，在原模型基礎(chǔ)上，去除用于控制圖像維度的平均池化層及用于分類的全連接層，可以得到焊縫圖像的特征提取器。將焊縫圖像作為圖像特征提取器的輸入，可得到焊縫圖像的特征圖為

F=fResNet（I；θResNet）∈RH×W×C。（1）

式（1）中：F為包含Res2Net的ResNet-50提取的特征圖；fResNet為焊縫圖像的特征提取器，即包含Res2Net的ResNet-50模型；I為輸入的焊縫圖像；θResNet為圖像特征提取器的參數(shù)；H，W，C分別為特征圖的高度、寬度和通道數(shù)。

由圖2可知：在圖像特征提取模塊的末端，引入一個(gè)全局平均池化（GAP）層，用于處理最后一個(gè)BottleNeck Block輸出的特征圖，最終提取到圖像特征FCNN∈RC。

1.2 圖結(jié)構(gòu)重構(gòu)模塊

1.2.1 圖結(jié)構(gòu)初構(gòu)模塊 雖然圖像特征提取模塊利用包含Res2Net的ResNet-50提取焊縫圖像的局部關(guān)鍵特征，但是未能學(xué)習(xí)到其中的全局結(jié)構(gòu)特征，模型無法很好地學(xué)習(xí)和處理形狀各異、分布隨機(jī)的焊縫缺陷。圖結(jié)構(gòu)能夠有效地描述數(shù)據(jù)間的復(fù)雜關(guān)系，對(duì)焊縫圖像的特征圖進(jìn)行特征重構(gòu)，通過構(gòu)建圖結(jié)構(gòu)連接鄰居特征以增強(qiáng)單個(gè)特征，從而更好地捕捉圖像中的上下文信息。焊縫圖像作為圖像特征提取模塊的輸入，經(jīng)過提取多尺度特征得到特征圖后，將焊縫圖像的每個(gè)特征fi∈RC視為一組無序的節(jié)點(diǎn)V={v1，v2，…，vi，…，vn}（i=1，2，…，n）進(jìn)行圖結(jié)構(gòu)的構(gòu)建。為了更加快速地構(gòu)建焊縫圖像的初始圖，距離度量方法采用歐式距離函數(shù)，引入K近鄰（KNN）算法構(gòu)建KNN圖作為表示特征之間相似性關(guān)系的圖結(jié)構(gòu)。

為了提高模型的推理速度，從特征圖中劃分出一個(gè)子集進(jìn)行圖結(jié)構(gòu)的構(gòu)建。設(shè)子集特征個(gè)數(shù)為S，那么，子集的特征圖可以重寫為FS=［f1，f2，…，fs，…，fS］，其中，s=1，2，…，S，fs∈RC為所選子集的單個(gè)特征。在子集包含的特征樣本中，通過KNN算法為每一個(gè)節(jié)點(diǎn)vs找到與其最近鄰的k個(gè)節(jié)點(diǎn)，即vs的K近鄰節(jié)點(diǎn)Nk（vs），并在vs與其鄰居節(jié)點(diǎn)vm之間添加一條邊ems，則構(gòu)建出子集的KNN圖gS=（vS，εS），其中，vS為子集中每個(gè)特征fs組成的節(jié)點(diǎn)集合，εS為子集中所有節(jié)點(diǎn)之間的邊集合。

搜索特征圖的所有剩余特征樣本來完善子集的KNN圖，從而構(gòu)建初始圖，適應(yīng)焊縫缺陷的復(fù)雜結(jié)構(gòu)，并降低計(jì)算復(fù)雜度。對(duì)于子集中的每一個(gè)節(jié)點(diǎn)vs，引入爬山（HC）算法［14］搜索除子集外的所有剩余特征樣本，分別與vn進(jìn)行比較，并將比較后的特征樣本存儲(chǔ)在2個(gè)優(yōu)先級(jí)隊(duì)列Q和R中。在每次迭代中，Q中存儲(chǔ)vs的前k個(gè)最近鄰居節(jié)點(diǎn)，搜索到的鄰居節(jié)點(diǎn)根據(jù)與vs的距離按升序排名，不斷更新距離更近的鄰居節(jié)點(diǎn)，并保持最近鄰居節(jié)點(diǎn)的個(gè)數(shù)為k。R中存儲(chǔ)vs的最近鄰居節(jié)點(diǎn)個(gè)數(shù)不固定，但是優(yōu)先級(jí)順序與Q相同。R除了用于存儲(chǔ)最近鄰居節(jié)點(diǎn)，也存儲(chǔ)最近鄰居節(jié)點(diǎn)的K距離鄰域。

由于HC算法只是考慮當(dāng)前符合最近鄰居條件的節(jié)點(diǎn)，容易陷入局部最優(yōu)，為了保證算法更加全面地選擇特征樣本，使用反向K近鄰（RKNN）算法［15］，保證選擇的特征樣本與原特征樣本具有良好的相似性，避免選擇相異的特征樣本。通過搜索RKNN圖G找到與vs距離最近的r0，并根據(jù)RKNN圖分析r0的近鄰關(guān)系，從中選擇出與vs最相似的鄰居節(jié)點(diǎn)，并將其加入到Q和R中，進(jìn)行最近鄰居節(jié)點(diǎn)更新。接著，將KNN圖gS加入到Q中進(jìn)行最近鄰居節(jié)點(diǎn)更新。當(dāng)Q不再更新或者R已經(jīng)為空時(shí)，迭代結(jié)束，得到vi的K近鄰節(jié)點(diǎn)Nk（vi）。由此構(gòu)建焊縫圖像的初始圖g=（V，ε），其中，ε為初始圖中所有節(jié)點(diǎn)之間的邊集合。

1.2.2 圖結(jié)構(gòu)優(yōu)化模塊 在采用HC算法進(jìn)行搜索的過程中，僅僅考慮部分足夠接近節(jié)點(diǎn)vs的鄰居節(jié)點(diǎn)r0的鄰域用于更新vs的最近鄰居。然而，在R中存儲(chǔ)的所有最近鄰居節(jié)點(diǎn)的鄰域中，可能存在一些節(jié)點(diǎn)在搜索期間未與vs進(jìn)行比較，導(dǎo)致遺漏訪問特征樣本的問題。為此，選擇利用R中每一個(gè)最近鄰居節(jié)點(diǎn)r的鄰域進(jìn)一步更新vs的最近鄰居節(jié)點(diǎn)，以更加充分地完善圖結(jié)構(gòu)。

提出RDGNP算法，通過描述節(jié)點(diǎn)之間的關(guān)聯(lián)度（RD）［16］，引導(dǎo)鄰域的傳播，其表達(dá)式為

Rel（O，P）=OP+POk。（2）

式（2）中：Rel（·）表示關(guān)聯(lián)度函數(shù)；OP表示節(jié)點(diǎn)O在節(jié)點(diǎn)P的按升序排名的鄰居節(jié)點(diǎn)集合中的排名位置；PO表示節(jié)點(diǎn)P在節(jié)點(diǎn)O的按升序排名的鄰居節(jié)點(diǎn)集合中的排名位置。Rel（·）的值越小，節(jié)點(diǎn)之間的關(guān)聯(lián)度越高，則說明二者具有相似性關(guān)系的可能性越大。且當(dāng)Rel（O，P）≥1時(shí)，O與P的關(guān)聯(lián)度很低，則特征樣本之間不具有相似性。

在每次迭代中，將待傳播的最近鄰居節(jié)點(diǎn)r加入到工作隊(duì)列W中，若其鄰居節(jié)點(diǎn)滿足條件Rel（vs，p）lt;1。這說明p與vs具有一定相似性，故將其也加入到工作隊(duì)列W中，即實(shí)現(xiàn)鄰域的傳播。不斷重復(fù)上述步驟，直到工作隊(duì)列為空，即沒有新的鄰居節(jié)點(diǎn)可用于傳播。通過迭代地傳播鄰居信息，不斷提升KNN圖的質(zhì)量，從而提高特征之間相似性關(guān)系的描述準(zhǔn)確性。利用關(guān)聯(lián)度反映節(jié)點(diǎn)之間的相似性信息，算法更加針對(duì)性地選擇具有相似性的特征樣本進(jìn)行傳播。最終構(gòu)建焊縫圖像的圖結(jié)構(gòu)G=（V，E，A），其中，E為圖結(jié)構(gòu)中所有節(jié)點(diǎn)之間的邊集合；A為圖結(jié)構(gòu)的鄰接矩陣，A∈Rn×n，若vi∈Nk（vj）或vj∈Nk（vi），則Ai，j=1，否則Ai，j=0。

1.3 圖結(jié)構(gòu)特征提取模塊

為了學(xué)習(xí)圖結(jié)構(gòu)中各節(jié)點(diǎn)之間的鄰居信息，以挖掘不同復(fù)雜特征之間蘊(yùn)含的上下文關(guān)系，解決焊縫圖像中缺陷形狀各異、分布隨機(jī)的問題，采用GCN作為圖結(jié)構(gòu)的特征提取器，用于焊縫圖像的全局結(jié)構(gòu)特征的提取。圖結(jié)構(gòu)特征提取模塊結(jié)構(gòu)，如圖3所示。GCN通過聚合鄰居節(jié)點(diǎn)的特征信息來實(shí)現(xiàn)上下文信息的傳遞，由于構(gòu)建的圖結(jié)構(gòu)中每一個(gè)節(jié)點(diǎn)均代表單個(gè)特征樣本，其鄰接矩陣不能充分準(zhǔn)確地表達(dá)該圖結(jié)構(gòu)，因此，采用鄰接矩陣和節(jié)點(diǎn)矩陣共同進(jìn)行表達(dá)。然而，將鄰接矩陣和節(jié)點(diǎn)矩陣相乘后，矩陣會(huì)丟失節(jié)點(diǎn)自身的特征信息，故對(duì)模型中各節(jié)點(diǎn)進(jìn)行自連接處理，包含自連接的鄰接矩陣表示為

A=A+In。（3）

式（3）中：A表示包含自連接的鄰接矩陣；In表示單位矩陣。

信息傳遞的過程需要保證特征的分布狀態(tài)不受影響，故進(jìn)行歸一化操作。引入A的度矩陣D，D對(duì)角上的每一個(gè)元素的計(jì)算公式為

Di，i=∑nj=1Ai，j。（4）

則GCN的第l層的傳播方程為

h（l+1）=σ（D-12AD-12h（l）ω（l））。（5）

式（5）中：h（l）和h（l+1）分別為GCN第l層的輸入和輸出，且h（0）=V；ω（l）為GCN訓(xùn)練的權(quán)重參數(shù)；σ（·）為GCN的非線性激活函數(shù)，為了減少模型的計(jì)算量，使用ReLU函數(shù)。同樣地，在圖結(jié)構(gòu)特征提取模塊的末端，引入GAP層用于處理GCN輸出的特征圖，聚合所有節(jié)點(diǎn)特征，最終提取到圖結(jié)構(gòu)特征FResNet∈RC。

1.4 特征融合模塊

特征融合模塊通過捷徑分支操作將圖像特征提取模塊輸出的特征圖和圖結(jié)構(gòu)特征提取模塊輸出的特征圖進(jìn)行Concat融合。

傳統(tǒng)GCN模型最終的激活函數(shù)采用Softmax函數(shù)，主要適用于單標(biāo)簽分類問題。為了實(shí)現(xiàn)多標(biāo)簽圖像分類任務(wù)，將最終的激活函數(shù)替換為Sigmoid函數(shù)。該函數(shù)的輸出向量的各分量之間沒有總和約束，直接表達(dá)了各類別本身的可能性。隨著激活函數(shù)的更改，損失函數(shù)相應(yīng)替換為二元交叉熵?fù)p失函數(shù)，其數(shù)學(xué)表達(dá)式為

Loss=-1N∑N-1I=01c∑ca=1bI，aln（yI，a）+（1-bI，a）ln（1-yI，a）。（6）

式（6）中：Loss為二元交叉熵?fù)p失函數(shù)；N為焊縫圖像數(shù)；c為焊縫缺陷類別數(shù)；bI，a為焊縫圖像I第a個(gè)子標(biāo)簽的真實(shí)值；yI，a為焊縫圖像I第a個(gè)子標(biāo)簽的網(wǎng)絡(luò)輸出經(jīng)過Sigmoid函數(shù)的預(yù)測值。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的操作系統(tǒng)為Windows 11，處理器為12th Gen Intel（R） Core（TM） i7-12700H 2.30 GHz，顯卡為NVIDIA GeForce RTX 3060 Laptop GPU，并通過編程語言Python 3.8和深度學(xué)習(xí)框架Pytorch 2.0.0進(jìn)行訓(xùn)練。

將訓(xùn)練圖像分辨率統(tǒng)一調(diào)整為1 280 px×700 px，以保持輸入模型的圖像尺寸一致，訓(xùn)練過程中使用的優(yōu)化器為Adam，學(xué)習(xí)率設(shè)置為0.001，批次大小設(shè)置為16，并根據(jù)驗(yàn)證結(jié)果保存最優(yōu)的模型參數(shù)。

2.2 評(píng)價(jià)指標(biāo)

精確率（P）表示真實(shí)正樣本中被正確分類的樣本占所有樣本的比例，其計(jì)算公式為

P=TPTP+FP。（7）

式（7）中：TP表示真實(shí)正樣本中被正確分類的樣本；FP表示真實(shí)負(fù)樣本中被錯(cuò)誤分類的樣本。

召回率（R）表示真實(shí)正樣本中被正確分類的比例，其計(jì)算公式為

R=TPTP+FN。（8）

式（8）中：FN表示真實(shí)正樣本中被錯(cuò)誤分類的樣本。

F1表示P和R的調(diào)和平均數(shù)，用來衡量分類器的綜合性能。F1值越大，代表模型性能越好，其計(jì)算公式為

F1=2×P×RP+R。（9）

平均精準(zhǔn)度（PA）表示模型在每個(gè)類別上的性能表現(xiàn)，其計(jì)算公式為

PA=∫10P（R）dR。（10）

均值平均精度（PmA）表示PA的平均值，用來衡量模型在所有類別上的性能表現(xiàn)。PmA值越大，代表模型性能越好，其計(jì)算公式為

PmA=（∑PA）/c。（11）

選取P，R，F(xiàn)1和PmA 4種評(píng)價(jià)方法對(duì)焊縫圖像多標(biāo)簽分類模型的性能進(jìn)行評(píng)估。

2.3 實(shí)驗(yàn)數(shù)據(jù)集

數(shù)據(jù)集采用WELDX自建數(shù)據(jù)集和GDXray公開數(shù)據(jù)集［17］。使用VIDAR型工業(yè)膠片掃描儀對(duì)真實(shí)工業(yè)場景中采集的X射線焊縫缺陷底片樣本進(jìn)行掃描并轉(zhuǎn)換為數(shù)字圖像，由此自制了X射線焊縫缺陷WELDX數(shù)據(jù)集。數(shù)據(jù)集按照行業(yè)標(biāo)準(zhǔn)NB/T 47013.1-2015［18］將焊縫缺陷分為5種類別，分別是裂紋、未熔合、未焊透、條形缺陷和圓形缺陷，共計(jì)1 251張圖像，其中，裂紋、未熔合和未焊透缺陷尺寸較大，條形缺陷和圓形缺陷尺寸微小，且各缺陷尺寸大小均不一。經(jīng)過人工裁剪、篩除不符合要求的圖像后，共獲得528張圖像，各圖像的分辨率大小不等。使用LabelImg軟件標(biāo)注出X射線焊縫圖像中缺陷的類別和位置信息，并通過翻轉(zhuǎn)、平移及對(duì)比度變化等數(shù)據(jù)增強(qiáng)方法擴(kuò)充原始樣本，最終獲得2 112張X射線焊縫圖像。

為了確保訓(xùn)練結(jié)果的普遍性和可靠性，將WELDX數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集，其中，訓(xùn)練集包含1 372張X射線焊縫圖像，驗(yàn)證集包含529張X射線焊縫圖像，測試集包含211張X射線焊縫圖像。將GDXray數(shù)據(jù)集作為外部驗(yàn)證集來評(píng)估模型在其他焊縫缺陷檢測場景中的泛化能力。X射線焊縫缺陷數(shù)據(jù)集樣本示例，如圖4所示。

2.4 評(píng)估實(shí)驗(yàn)

為了評(píng)估文中算法的有效性，對(duì)多種基于不同建模方式的傳統(tǒng)算法輸出結(jié)構(gòu)進(jìn)行修改并對(duì)比輸出結(jié)果，挑選的傳統(tǒng)算法包括ResNet-50，ResNet-101，SqueezeNet［19］，VGG-16［20］，SCConv-R50［21］，RefConv［22］和GCN。其中，ResNet-50和ResNet-101分別是ResNet算法50層和101層的網(wǎng)絡(luò)模型。比較8種不同算法在WELDX數(shù)據(jù)集上的表現(xiàn)，結(jié)果如表1所示。

在傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)模型中，ResNet算法在WELDX數(shù)據(jù)集上的性能表現(xiàn)更加優(yōu)異，通過引入殘差模塊，該算法能解決隨著神經(jīng)網(wǎng)絡(luò)深度增加而出現(xiàn)的梯度彌散問題。相比ResNet-101算法，ResNet-50算法的F1值提高了0.9%，PmA值提高了0.9%，說明ResNet-50算法的擬合度更好，網(wǎng)絡(luò)層數(shù)更深的模型可能會(huì)增加過擬合的風(fēng)險(xiǎn)，從而影響模型的性能。由表1可知：ResNet-50算法比SqueezeNet，VGG-16，SCConv-R50，RefConv算法的F1值分別提高了1.5%，1.1%，0.7%，0.4%，且PmA值分別提高了2.6%，2.2%，0.4%和0.3%。因此，文中算法選取ResNet-50作為基礎(chǔ)網(wǎng)絡(luò)，對(duì)輸入焊縫圖像進(jìn)行特征提取。

從表1也可以看出，相比其他傳統(tǒng)算法，文中算法在WELDX數(shù)據(jù)集上取得了更優(yōu)的焊縫圖像多標(biāo)簽分類結(jié)果；與ResNet-50基礎(chǔ)網(wǎng)絡(luò)相比，文中算法的F1和PmA分別提高了7.8%，5.8%，說明采用圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征節(jié)點(diǎn)之間的上下文相似性關(guān)系可以幫助網(wǎng)絡(luò)提升多標(biāo)簽圖像分類的性能；與GCN相比，文中算法的F1和PmA分別提高了6.2%，3.6%，說明采用包含Res2Net的ResNet-50算法能夠充分發(fā)揮其強(qiáng)大的特征提取能力，深入挖掘X射線焊縫圖像中的細(xì)節(jié)信息。相比其他傳統(tǒng)算法，文中算法在WELDX數(shù)據(jù)集上的表現(xiàn)（P，R，F(xiàn)1和PmA 4個(gè)評(píng)價(jià)指標(biāo)）均有較大提升，說明在焊縫圖像多標(biāo)簽分類任務(wù)中，該算法表現(xiàn)出一定的效果。

選取RMIC［23］，ML-GCN［24］，F(xiàn)-GCN［25］，F(xiàn)AN［26］，CFMIC［27］和ViGh［28］6種不同的多標(biāo)簽圖像分類算法與文中算法進(jìn)行對(duì)比，進(jìn)一步評(píng)估文中算法的有效性。不同分類算法在WELDX數(shù)據(jù)集上的表現(xiàn)對(duì)比，如表2所示。

RMIC算法以強(qiáng)化學(xué)習(xí)的原始多標(biāo)簽問題為基礎(chǔ)，融合圖像特征與前序標(biāo)簽信息，從而建立新的標(biāo)簽預(yù)測狀態(tài)。與RMIC算法相比，文中算法的F1和PmA分別提高了3.8%和1.8%，說明采用圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建圖結(jié)構(gòu)來學(xué)習(xí)上下文信息可以取得更好的效果。

ML-GCN算法利用標(biāo)簽作為節(jié)點(diǎn)，標(biāo)簽相關(guān)性作為邊來構(gòu)建圖結(jié)構(gòu)，邊的權(quán)重基于標(biāo)簽共現(xiàn)概率，并通過GCN更新圖結(jié)構(gòu)。因?yàn)榧尤霕?biāo)簽共現(xiàn)數(shù)據(jù)的信息，在性能上得到較大提升。然而，采用標(biāo)簽共現(xiàn)關(guān)系會(huì)使標(biāo)簽類別較少的樣本被正確分類的可能性下降，而標(biāo)簽類別較多的樣本被正確分類的可能性上升。文中算法通過HC算法和RKNN算法在多尺度特征的基礎(chǔ)上構(gòu)建圖結(jié)構(gòu)能夠增強(qiáng)對(duì)圖像特征之間相似性關(guān)系的學(xué)習(xí)，F(xiàn)1和PmA分別提高了2.5%和1.3%。

F-GCN算法基于GCN采用多模態(tài)分解雙線性池化，將圖像信息和標(biāo)簽嵌入信息進(jìn)行融合。該算法通過端到端方式進(jìn)行訓(xùn)練，相較于ML-GCN算法，更強(qiáng)調(diào)標(biāo)簽語義信息和圖像特征信息的有效結(jié)合，以促進(jìn)對(duì)圖像特征的標(biāo)簽語義引導(dǎo)學(xué)習(xí)。FAN在ML-GCN基礎(chǔ)上引入一種穩(wěn)健的協(xié)方差池化，以匯總卷積特征，從而形成全局圖像表示，捕獲圖像特征。文中算法引入RDGNP算法，針對(duì)不同類別提取的圖像特征可以更加有效地提取圖結(jié)構(gòu)特征，從而進(jìn)一步提升模型的性能。由此，相較于F-GCN算法，文中算法的F1和PmA分別提高了1.2%和1.1%。相較于FAN算法，文中算法的F1和PmA分別提高了2.3%和0.9%。CFMIC算法結(jié)合注意力機(jī)制和GCN，并引入跨模式融合模塊，以捕獲局部和全局標(biāo)簽的依賴關(guān)系。盡管該算法取得良好的效果，但是其包含的跨模式融合模塊會(huì)增加模型的復(fù)雜度和規(guī)模。相比CFMIC算法，文中算法的復(fù)雜度更低，訓(xùn)練過程中需要的代價(jià)更少，能夠更好地滿足實(shí)際工程應(yīng)用中實(shí)時(shí)性的需求，其F1和PmA分別提高了0.7%和0.6%。

ViGh算法基于輸入圖像構(gòu)建圖結(jié)構(gòu)，采用注意力機(jī)制（HDmA）和GNN獲取圖像的上下文信息，從而構(gòu)建全局關(guān)系。文中算法采用GCN和RDGNP算法建立圖像特征的上下文關(guān)系的同時(shí)，使用包含Res2Net的ResNet-50提取圖像的細(xì)節(jié)特征信息，兩者結(jié)合實(shí)現(xiàn)圖像的多標(biāo)簽分類，豐富特征的表達(dá)能力，與ViGh算法相比，文中算法的F1和PmA分別提高了0.5%和0.4%。

實(shí)驗(yàn)表明，文中算法通過結(jié)合焊縫圖像的多尺度特征和圖結(jié)構(gòu)特征，綜合考慮特征細(xì)節(jié)信息和上下文信息，使模型更加適用于焊縫圖像的多標(biāo)簽分類任務(wù)，盡管真實(shí)工業(yè)場景中的焊縫缺陷分類困難，模型性能依然表現(xiàn)良好。然而，這并不代表文中算法在其他焊縫缺陷檢測場景中的可靠性。為了評(píng)估文中算法的泛化性，采用文中算法對(duì)外部驗(yàn)證集（GDXray）中的圖像進(jìn)行預(yù)測，最終得到F1和PmA分別達(dá)到61.5%和67.1%。雖然GDXray數(shù)據(jù)集是在其他檢測場景中利用不同的掃描方式獲得的焊縫圖像，但是文中算法也能相對(duì)準(zhǔn)確地將焊縫缺陷進(jìn)行分類，證明其具有良好的泛化能力。

2.5 消融實(shí)驗(yàn)

為了評(píng)估文中算法中不同模塊在焊縫圖像多標(biāo)簽分類任務(wù)中的有效性，在WELDX數(shù)據(jù)集上對(duì)文中算法的不同模塊進(jìn)行消融實(shí)驗(yàn)，消融實(shí)驗(yàn)結(jié)果如表3所示。

由表3可知：當(dāng)僅使用ResNet-50進(jìn)行特征提取時(shí)，由于網(wǎng)絡(luò)感受野有限，存在忽略圖像中微小缺陷的風(fēng)險(xiǎn)，并且只能獲取X射線焊縫圖像的局部信息，而未能捕獲全局信息；通過引入Res2Net到焊縫圖像的多標(biāo)簽分類網(wǎng)絡(luò)模型中，特征提取階段替換了具有不同感受野大小的卷積核，這樣，每個(gè)卷積核在粒度級(jí)別上更好地捕捉焊縫缺陷的特征信息，有效緩解了焊縫缺陷尺寸微小的問題，因此，該模型在提取特征時(shí)增強(qiáng)了對(duì)小目標(biāo)的敏感程度，從而進(jìn)一步提高了模型的多標(biāo)簽分類準(zhǔn)確率；與僅采用ResNet-50的模型相比，采用ResNet-50+Res2Net的模型F1和PmA分別提高了大約1.4%和2.3%。

添加Res2Net模塊能夠提高網(wǎng)絡(luò)針對(duì)焊縫缺陷的關(guān)注程度，然而，對(duì)于焊縫圖像的特征提取依然缺乏全局相關(guān)性的描述，而焊縫缺陷存在形狀各異的特點(diǎn)，因此更重要的是，基于預(yù)訓(xùn)練ResNet-50提取的特征圖構(gòu)建圖結(jié)構(gòu)后，引入GCN學(xué)習(xí)圖結(jié)構(gòu)的上下文信息，從而提取焊縫圖像的全局結(jié)構(gòu)特征。通過融合ResNet-50輸出的圖像特征和GCN輸出的圖結(jié)構(gòu)特征，有效結(jié)合X射線焊縫圖像中的局部關(guān)鍵信息和全局結(jié)構(gòu)信息，使特征表達(dá)更加充分準(zhǔn)確。與僅采用ResNet-50提取圖像特征相比，采用多特征融合的模型F1和PmA分別提高了大約3.3%和2.8%。

在小樣本數(shù)據(jù)集中，一般采用KNN算法直接構(gòu)建圖結(jié)構(gòu)，能夠更好地理解和學(xué)習(xí)網(wǎng)絡(luò)，但X射線焊縫圖像中往往包含噪聲信息，且焊縫缺陷的分布隨機(jī)，可能影響模型的穩(wěn)定性。通過引入RDGNP算法，利用關(guān)聯(lián)度計(jì)算方法來強(qiáng)化對(duì)構(gòu)建圖結(jié)構(gòu)過程中特征間關(guān)系的感知能力，能夠更加準(zhǔn)確地捕捉特征之間的相似性關(guān)系。相較于ResNet-50+GCN初始融合模型，ResNet-50+GCN+RDGNP模型的F1和PmA分別提高了大約0.7%和1.3%。

由此可以看出，加入Res2Net模塊、GCN模塊和RDGNP模塊均會(huì)提升焊縫圖像多標(biāo)簽分類的4個(gè)評(píng)價(jià)指標(biāo)，針對(duì)性地解決焊縫內(nèi)部缺陷存在的尺寸微小、結(jié)構(gòu)復(fù)雜、分布隨機(jī)和形狀各異等問題，說明文中算法中的各模塊都能促進(jìn)焊縫圖像多標(biāo)簽分類的實(shí)現(xiàn)，并且各模塊共同作用的效果更為顯著，其中，ResNet-50+GCN融合模型的性能影響最大。

通過實(shí)驗(yàn)明確模型的結(jié)構(gòu)，在圖結(jié)構(gòu)重構(gòu)模塊中，針對(duì)特征節(jié)點(diǎn)的最近鄰居節(jié)點(diǎn)的數(shù)量（k）進(jìn)行消融實(shí)驗(yàn)，目的在于確定合適的最近鄰居節(jié)點(diǎn)數(shù)量，以在特征信息之間實(shí)現(xiàn)有效的交換。不同鄰居節(jié)點(diǎn)數(shù)量在WELDX數(shù)據(jù)集上對(duì)模型性能的影響，如表4所示。

由表4可知：當(dāng)最近鄰居節(jié)點(diǎn)的數(shù)量k為7時(shí)，模型的性能達(dá)到了最佳狀態(tài)，表明在該配置下，特征節(jié)點(diǎn)之間的信息交流得以最優(yōu)化，實(shí)現(xiàn)了對(duì)圖結(jié)構(gòu)的有效重構(gòu)。當(dāng)鄰居節(jié)點(diǎn)數(shù)量太少時(shí)，交換的信息受限，降低了模型的表達(dá)能力；而當(dāng)鄰居節(jié)點(diǎn)數(shù)量過多時(shí)，一些無用特征的引入可能會(huì)干擾整體學(xué)習(xí)過程。因此，在圖結(jié)構(gòu)重構(gòu)模塊中將k設(shè)置為7，有助于平衡特征信息的交換與噪聲的干擾，為模型的整體性能提供有效的優(yōu)化策略，以確保GCN學(xué)習(xí)圖結(jié)構(gòu)的特征信息前實(shí)現(xiàn)更優(yōu)的重構(gòu)效果。

3 結(jié)論

針對(duì)現(xiàn)有傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)只能提取焊縫圖像的局部特征，而無法捕獲焊縫圖像的全局特征進(jìn)行有效分類的問題，提出一種多特征融合的焊縫圖像多標(biāo)簽分類算法，通過包含Res2Net的ResNet-50提取焊縫圖像的多尺度特征，基于此構(gòu)建圖結(jié)構(gòu)，并引入RDGNP算法進(jìn)一步優(yōu)化圖結(jié)構(gòu)，再利用GCN學(xué)習(xí)圖結(jié)構(gòu)蘊(yùn)含的空間特征，以獲取焊縫圖像的上下文信息。最后，將卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征和圖卷積神經(jīng)網(wǎng)絡(luò)提取的圖結(jié)構(gòu)特征結(jié)合，以預(yù)測最終的分類結(jié)果。在X射線焊縫缺陷WELDX數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于其他算法，文中算法在4個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于傳統(tǒng)算法，證明其在焊縫圖像多標(biāo)簽分類任務(wù)中的有效性，為解決因內(nèi)部缺陷存在形狀各異、尺寸微小、分布隨機(jī)和結(jié)構(gòu)復(fù)雜等特點(diǎn)導(dǎo)致缺陷難以實(shí)現(xiàn)準(zhǔn)確分類的問題打下良好的算法基礎(chǔ)。

然而，算法仍然存在一些不足，如對(duì)于焊縫圖像的特征提取還有待進(jìn)一步提高，數(shù)據(jù)集的建立需要進(jìn)一步擴(kuò)充等。因此，后續(xù)的研究工作將考慮引入注意力機(jī)制等增強(qiáng)網(wǎng)絡(luò)對(duì)感興趣區(qū)域的特征表達(dá)，收集更多X射線焊縫圖像用于網(wǎng)絡(luò)的訓(xùn)練，以提高焊縫圖像多標(biāo)簽分類效果。

參考文獻(xiàn)：

［1］ DING Kai，NIU Zhangqi，HUI Jizhuang，et al.A weld surface defect recognition method based on improved MobileNetV2 algorithm［J］.Mathematics，2022，10（19）：3678.DOI：10.3390/math10193678.

［2］ XU Hao，YAN Zhihong，JI Bowen，et al.Defect detection in welding radiographic images based on semantic segmentation methods［J］.Measurement，2022，188：110569.DOI：10.1016/j.measurement.2021.110569.

［3］ SAY D，ZIDI S，QAISAR S M，et al.Automated categorization of multiclass welding defects using the X-ray image augmentation and convolutional neural network［J］.Sensors，2023，23（14）：6422.DOI：10.3390/s23146422.

［4］ KUMARESAN S，AULTRIN K S J，KUMAR S S，et al.Deep learning-based weld defect classification using VGG16 transfer learning adaptive fine-tuning［J］.International Journal on Interactive Design and Manufacturing，2023，17（6）：2999-3010.DOI：10.1007/s12008-023-01327-3.

［5］ TOTINO B，SPAGNOLO F，PERRI S.RIAWELC： A novel dataset of radiographic images for automatic weld defects classification［J］.International Journal of Electrical and Computer Engineering Research，2023，3（1）：13-17.DOI：10.53375/ijecer.2023.320.

［6］ 張智慧，林耀進(jìn)，張小清，等.基于類別一致性的層次特征選擇算法［J］.閩南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，35（4）：41-49.DOI：10.16007/j.cnki.issn2095-7122.2022.04.007.

［7］ BRUNA J，ZAREMBA W，SZLAM A，et al.Spectral networks and locally connected networks on graphs［C］∥International Conference on Learning Representations.Banff：［s.n.］，2014：1-14.DOI：10.48550/arXiv.1312.6203.

［8］ KIPF T N，WELLING M.Semi-supervised classification with graph convolutional networks［C］∥International Conference on Learning Representations.Toulon：［s.n.］，2017：1-14.DOI：10.48550/arXiv.1609.02907.

［9］ WANG Yucheng，GAO Liang，GAO Yiping，et al.A graph guided convolutional neural network for surface defect recognition［J］.IEEE Transactions on Automation Science and Engineering，2022，19（3）：1392-1404.DOI：10.1109/tase.2022.3140784.

［10］ BALCIOGLU Y S，SEZEN B，ERASI C C，et al.Machine design automation model for metal production defect recognition with deep graph convolutional neural network［J］.Electronics，2023，12（4）：825.DOI：10.3390/electronics12040825.

［11］ 周忠眉，孟威.多角度標(biāo)簽結(jié)構(gòu)和特征融合的多標(biāo)簽特征選擇［J］.閩南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，34（1）：64-71.DOI：10.16007/j.cnki.issn2095-7122.2021.01.011.

［12］ HE Kaiming，ZHANG Xiangyu，REN Shaoqing，et al.Deep residual learning for image recognition［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE Press，2016：770-778.DOI：10.1109/cvpr.2016.90.

［13］ GAO Shanghua，CHENG Mingming，ZHAO Kai，et al.Res2Net： A new multi-scale backbone architecture［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（2）：652-662.DOI：10.1109/TPAMI.2019.2938758.

［14］ HAJEBI K，ABBASI-YADKORI Y，SHAHBAZI H，et al.Fast approximate nearest-neighbor search with k-nearest neighbor graph［C］∥Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence.Barcelona：AAAI Press，2011：1312-1317.DOI：10.5591/978-1-57735-516-8/IJCAI11-222.

［15］ CHEEMA M A，LIN Xuemin，ZHANG Wenjie，et al.Influence zone： Efficiently processing reverse k nearest neighbors queries［C］∥IEEE 27th International Conference on Data Engineering.Washington D C：IEEE Press，2011：577-588.DOI：10.1109/ICDE.2011.5767904.

［16］ LIU Yongli，ZHAO Congcong，CHAO Hao.Density peak clustering based on relative density under progressive allocation strategy［J］.Mathematical and Computational Applications，2022，27（5）：84.DOI：10.3390/mca27050084.

［17］ MERY D，RIFFO V，ZSCHERPEL U，et al.GDXray： The database of X-ray images for nondestructive testing［J］.Journal of Nondestructive Evaluation，2015，34（4）：42.DOI：10.1007/s10921-015-0315-7.

［18］ 全國鍋爐壓力容器標(biāo)準(zhǔn)化技術(shù)委員會(huì).承壓設(shè)備無損檢測： NB/T 47013.1-2015［S］.北京：新華出版社，2015.

［19］ IANDOLA F N，HAN Song，MOSKEWICZ M W，et al.SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and lt;0.5 MB model size［C］∥International Conference on Learning Representations.Toulon：［s.n.］，2017：1-13.DOI：10.48550/arXiv.1602.07360.

［20］ SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）［2024-02-10］.https：∥doi.org/10.48550/arXiv.1409.1556.

［21］ LI Jiafeng，WEN Ying，HE Lianghua.SCConv： Spatial and channel reconstruction convolution for feature redundancy［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Vancouver：IEEE Press，2023：6153-6162.DOI：10.1109/cvpr52729.2023.00596.

［22］ CAI Zhicheng，DING Xiaohan，SHEN Qiu，et al.Refconv： Re-parameterized refocusing convolution for powerful convnets［C］∥International Conference on Learning Representations.Vienna：［s.n.］，2024：1-17.DOI：10.48550/arXiv.2310.10563.

［23］ HUANG Xun，BELONGIE S.Arbitrary style transfer in real-time with adaptive instance normalization［C］∥Proceedings of the IEEE International Conference on Computer Vision.Venice：IEEE Press，2017：1501-1510.DOI：10.1109/iccv.2017.167.

［24］ CHEN Zhaoming，WEI Xiushen，WANG Peng，et al.Multi-label image recognition with graph convolutional networks［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE Press，2019：5177-5186.DOI：10.1109/cvpr.2019.00532.

［25］ WANG Yangtao，XIE Yanzhao，LIU Yu，et al.Fast graph convolution network based multi-label image recognition via cross-modal fusion［C］∥Proceedings of the 29th ACM International Conference on Information amp; Knowledge Management.New York：ACM，2020：1575-1584.DOI：10.1145/3340531.3411880.

［26］ LI Yaning，YANG Liu.More correlations better performance： Fully associative networks for multi-label image classification［C］∥25th International Conference on Pattern Recognition.Milan：IEEE Press，2021：9437-9444.DOI：10.1109/icpr48806.2021.9412004.

［27］ WANG Yangtao，XIE Yanzhao，ZENG Jiangfeng，et al.Cross-modal fusion for multi-label image classification with attention mechanism［J］.Computers and Electrical Engineering，2022，101：108002.DOI：10.1016/j.compeleceng.2022.108002.

［28］ PANG Wenkai，TAN Zhi.A steel surface defect detection model based on graph neural networks［J］.Measurement Science and Technology，2024，35（4）：046201.DOI：10.1088/1361-6501/ad1c4b.

（責(zé)任編輯：" 黃曉楠" 英文審校： 陳婧）