基于多模態(tài)信息融合的分流孔分類方法

周鋼亮， 秦 昊， 林卓勝， 張 昱

（1.五邑大學(xué) 智能制造學(xué)部， 廣東 江門 529020；2.廣東省科學(xué)院智能制造研究所， 廣東 廣州 510075）

0 引 言

在鋁型材擠壓模設(shè)計(jì)中，分流孔的設(shè)計(jì)是其重要組成部分及難點(diǎn)所在。根據(jù)型材面進(jìn)行分流孔的設(shè)計(jì)較為困難，雖然有對(duì)應(yīng)的設(shè)計(jì)原則，能夠根據(jù)擠壓比、型材面特性、擠壓機(jī)壓力、擠壓產(chǎn)品數(shù)目及其排列位置綜合設(shè)計(jì)分流孔，但沒(méi)有特定的公式可以參考，更多的是憑借以往的設(shè)計(jì)經(jīng)驗(yàn)[1-2]。理論上，一種型材面存在多種可行的分流孔設(shè)計(jì)方案，可從模具可擠壓性、經(jīng)濟(jì)性等綜合因素判斷較為合理的設(shè)計(jì)方案，模具設(shè)計(jì)師需花費(fèi)大量時(shí)間調(diào)整設(shè)計(jì)分流孔，因此分流孔模具設(shè)計(jì)智能化具有重要的實(shí)際工程意義[3]，能夠提升模具設(shè)計(jì)效率，但這同時(shí)對(duì)模具設(shè)計(jì)知識(shí)固化提出了挑戰(zhàn)。

目前，J LLORCA-SCHENK 等對(duì)分流孔設(shè)計(jì)進(jìn)行幾何數(shù)據(jù)的統(tǒng)計(jì)分析，擬合出2 套線性與非線性的模具設(shè)計(jì)公式，并采用有限元模擬證實(shí)其有效性[4]。章弦采用人工智能與數(shù)值模擬方法研究擠壓模分流橋結(jié)構(gòu)設(shè)計(jì)的優(yōu)化[5]。于利偉歸納平面模與分流組合模的結(jié)構(gòu)設(shè)計(jì)原則，將模具結(jié)構(gòu)和工藝參數(shù)化，利用MenuScript 腳本文件對(duì)UG 進(jìn)行二次開(kāi)發(fā)[6]。M KAZUYA 等提出通用鍛模設(shè)計(jì)方法GeneDie，結(jié)合專家系統(tǒng)改進(jìn)了知識(shí)設(shè)計(jì)方法以實(shí)現(xiàn)模具智能設(shè)計(jì)[7]。以上學(xué)者結(jié)合不同方法研究模具設(shè)計(jì)，提供不同結(jié)構(gòu)的設(shè)計(jì)方案，但采用機(jī)器學(xué)習(xí)方法與分流孔結(jié)構(gòu)研究較少。

近年來(lái)，隨著計(jì)算機(jī)運(yùn)算能力的不斷提升和機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)算法的快速發(fā)展，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在各行業(yè)得到應(yīng)用。薛陽(yáng)等采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同模態(tài)數(shù)據(jù)提取特征并融合，在有噪聲情況下可以較好判斷滾動(dòng)軸承的狀況[8]。張勝文等構(gòu)建深度學(xué)習(xí)零件特征分類器以及將加工零件圖像特征化，能準(zhǔn)確分類加工零件的結(jié)構(gòu)[9]。張文廣等提出基于殘差網(wǎng)絡(luò)構(gòu)建遲滯特性圖的檢測(cè)方法，判斷執(zhí)行器的磨損老化狀況，正確地對(duì)執(zhí)行器進(jìn)行遲滯檢測(cè)[10]。C SUMAN 等采用3 種模型（ResNet、VGG、CNN）提取不同模態(tài)特征，應(yīng)用不同的注意力機(jī)制融合，輸入全連接層，通過(guò)sigmoid 函數(shù)最終輸出預(yù)測(cè)分類[11]。特征選擇算法的數(shù)值數(shù)據(jù)處理能力出眾，其中ReliefF 算法屬于過(guò)濾式特征選擇方法，具有易實(shí)現(xiàn)、易結(jié)合的特點(diǎn)。ZHANG B S 等基于ReliefF 算法提出隨機(jī)多子空間的特征選擇方法，在不同分類器下的試驗(yàn)結(jié)果都高于其他特征選擇算法[12]；XUE Y 等提出了一種基于ReliefF 多目標(biāo)算法的混合特征選擇算法，能夠充分利用過(guò)濾式與包裹式方法的優(yōu)點(diǎn)，在切割大量特征的同時(shí)保證了良好的分類性能[13]。

現(xiàn)針對(duì)當(dāng)前機(jī)器學(xué)習(xí)在擠壓模設(shè)計(jì)領(lǐng)域的缺失，構(gòu)建分流孔模具設(shè)計(jì)數(shù)據(jù)庫(kù)，通過(guò)數(shù)據(jù)增強(qiáng)手段，如幾何變換、增加分流孔較少類別樣本、平衡每類樣本的數(shù)量。利用卷積神經(jīng)網(wǎng)絡(luò)模型（convolutional neural networks，CNN）對(duì)型材面提取圖像特征，使用ReliefF 算法篩選有效數(shù)值特征，以多模態(tài)融合的方式，構(gòu)建一個(gè)基于多模態(tài)信息融合的分流孔分類模型（classification model based on multimodal information fusion，CMMIF），展開(kāi)分流孔分類方法研究。最后在模具設(shè)計(jì)數(shù)據(jù)集上與主流基線模型進(jìn)行試驗(yàn)對(duì)比，證實(shí)CMMIF 在分流孔分類上具有優(yōu)勢(shì)。

1 模型的構(gòu)建

基于多模態(tài)信息融合的分流孔分類模型（CMMIF）的整體架構(gòu)如圖1 所示，模型主要由3 個(gè)主體部分構(gòu)成，分別是基于卷積神經(jīng)網(wǎng)絡(luò)CNN 的簡(jiǎn)單圖像型材截面特征提取、ReliefF 算法選擇分流孔設(shè)計(jì)相關(guān)數(shù)值特征和多模態(tài)融合與分類方法。

圖1 CMMIF整體架構(gòu)

1.1 圖片特征抽取

對(duì)于圖像模態(tài)部分，型材截面由黑色線條構(gòu)成，屬于簡(jiǎn)單圖像，其中有效像素點(diǎn)占比較少，如果采用類似VGG、ResNet 等深度神經(jīng)網(wǎng)絡(luò)，可能會(huì)導(dǎo)致無(wú)效像素點(diǎn)在特征向量中占比較重，而忽視型材截面圖像。為了避免該問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)作為提取特征的主要算法，設(shè)計(jì)了五層網(wǎng)絡(luò)結(jié)構(gòu)的CNN，如圖2 所示。CNN 的輸入是256×256×1 的單通道圖片，經(jīng)過(guò)3個(gè)以3×3為卷積核卷積層與3個(gè)采用最大池化方法的池化層進(jìn)行卷積提取圖片特征，生成特征向量，以ReLU 為激活函數(shù)[14]，用于保留圖像的重要細(xì)節(jié)，同時(shí)能夠減少參數(shù)。CNN 的最后連接2 個(gè)全連接層，采用dropout 方法[15]從網(wǎng)絡(luò)中隨機(jī)刪除節(jié)點(diǎn)，減少網(wǎng)絡(luò)的過(guò)擬合。該CNN 結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練效率高，用于抽取型材截面的特征。

圖2 神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

1.2 數(shù)值特征選擇

分流孔數(shù)值屬性多，維度較高，有非連續(xù)性數(shù)據(jù)，為了能夠更好挖掘分流孔數(shù)值屬性與分流孔的關(guān)系，采用ReliefF 算法對(duì)數(shù)值數(shù)據(jù)進(jìn)行建模，選擇相關(guān)性較高的數(shù)值屬性。ReliefF 算法是對(duì)Relief 算法的一種改進(jìn)[13]，能夠處理多分類的特征，該算法根據(jù)各個(gè)不同特征和類別的關(guān)聯(lián)性計(jì)算其權(quán)重。分流孔數(shù)據(jù)庫(kù)中提供8種特征值，分別是型材面名稱、模具編號(hào)、最小外接圓直徑、面積、周長(zhǎng)、擠壓機(jī)壓力、型材材料和擠壓比。首先，隨機(jī)從分流孔數(shù)據(jù)庫(kù)中挑選一個(gè)訓(xùn)練樣本R，并從樣本R的相同類型的數(shù)據(jù)中獲取k個(gè)近鄰樣本集合H（Near Hits）；其次，從樣本R的不同類型樣本的數(shù)據(jù)中找出k個(gè)最近鄰樣本M（Near Misses）；最后計(jì)算R與H和M中樣本的距離，如果類間距大于類內(nèi)距，增加該屬性特征的權(quán)重W，反之則減少權(quán)重[16]。不斷迭代更新n次后再將每個(gè)屬性的特征權(quán)重取均值，根據(jù)設(shè)定閾值a，篩選出大于閾值的特征[12]。算法流程如圖3所示。

圖3 ReliefF算法流程

1.3 多模態(tài)信息融合及分類

CNN 提取的圖片特征與ReliefF 算法選擇的數(shù)值特征，采用Concatenate 函數(shù)實(shí)現(xiàn)特征融合，組成全新的長(zhǎng)向量，該方法不僅能提升多模態(tài)分類模型的性能，而且方式簡(jiǎn)單有效[17]。提取的型材截面特征向量表示為v1，（v1∈R576）和v2，（v2∈R4），將2 個(gè)向量于同一階進(jìn)行組合，得到多模態(tài)特征向量如公式（1）所示。

其中，⊕表示拼接操作；580表示融合后多模態(tài)特征向量的維度。對(duì)于多分類問(wèn)題，神經(jīng)網(wǎng)絡(luò)輸出層的激活函數(shù)選擇SoftMax 函數(shù)。模型的損失函數(shù)選擇多分類交叉熵?fù)p失函數(shù)，如公式（2）所示。

其中，n表示分類個(gè)數(shù)；yi表示實(shí)際分類；ai表示模型分類預(yù)測(cè)值。損失函數(shù)用于衡量預(yù)測(cè)結(jié)果和實(shí)際標(biāo)簽之間的差異，通過(guò)最小化loss 函數(shù)來(lái)優(yōu)化模型參數(shù)。

2 試 驗(yàn)

試驗(yàn)設(shè)計(jì)如下：構(gòu)建分流孔數(shù)據(jù)集與設(shè)計(jì)預(yù)處理方法；搭建試驗(yàn)環(huán)境，確定使用CNN 與RelifF 算法，調(diào)整試驗(yàn)參數(shù)；設(shè)置不同模態(tài)的對(duì)照試驗(yàn)與不同模型的對(duì)照試驗(yàn)，用精確率、召回率、F1值作為試驗(yàn)的評(píng)價(jià)指標(biāo)，分析試驗(yàn)結(jié)果得出最后結(jié)論。

2.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

試驗(yàn)數(shù)據(jù)集來(lái)自于企業(yè)模具設(shè)計(jì)部近3年擠壓模設(shè)計(jì)數(shù)據(jù)，其中包含模具型材面圖、平面設(shè)計(jì)圖、三維圖、仿真結(jié)果與仿真視頻等，主要使用的數(shù)據(jù)是型材圖與平面設(shè)計(jì)圖。型材圖中包含的數(shù)據(jù)由型材面圖片與型材的周長(zhǎng)、最小外截面直徑、擬采用擠壓機(jī)壓力、材料等信息。模具平面設(shè)計(jì)圖記錄分流孔數(shù)目、位置、大小等相關(guān)信息，具體信息如圖4所示。

圖4 模具設(shè)計(jì)數(shù)據(jù)集屬性

數(shù)值數(shù)據(jù)中采用one-hot 將離散型數(shù)據(jù)處理成連續(xù)型，之后用Min-Max 歸一化方法將連續(xù)型數(shù)值映射到[0,1]區(qū)間，簡(jiǎn)化計(jì)算。數(shù)據(jù)樣本中分流孔數(shù)目類別從一孔至八孔都涵蓋在內(nèi)，但每類分流孔數(shù)目數(shù)量分布不均衡，四孔數(shù)據(jù)居多，二孔、七孔與八孔數(shù)據(jù)較少，采用數(shù)據(jù)增強(qiáng)方法，增加較少的類別樣本數(shù)量，使每類樣本數(shù)量相差不大。增強(qiáng)后的數(shù)據(jù)集每類樣本數(shù)目如圖5 所示。訓(xùn)練集、驗(yàn)證集和測(cè)試集以數(shù)據(jù)集7∶2∶1隨機(jī)劃分。

2.2 仿真環(huán)境及模型參數(shù)設(shè)置

分流孔分類模型使用Python3.6編寫，在Pytorch搭建深度學(xué)習(xí)網(wǎng)絡(luò)；電腦運(yùn)行環(huán)境：操作系統(tǒng)為Windows10，CPU 為Intel i5-7300HQ，內(nèi)存為32G，顯卡為NVIDIA RTX1050（2G 顯存）。利用OpenCV 讀取型材面圖片，將調(diào)整為256×256 的灰度圖像，使用transforms 函數(shù)歸一化處理，作為模型的輸入。隨機(jī)梯度下降（stochastic gradient descent，SGD）算法[18]作為權(quán)重更新優(yōu)化方法，初始學(xué)習(xí)率與動(dòng)量分別設(shè)置為0.01 與0.9。試驗(yàn)數(shù)據(jù)batch_size 與訓(xùn)練輪數(shù)epoch 分別設(shè)置為20 與30。網(wǎng)絡(luò)中隱藏層采用了dropout 策略避免過(guò)度擬合，并設(shè)置為0.5。為保證結(jié)果的可靠性，減少特殊情況，采用10折交叉方法。即通過(guò)重復(fù)10 次試驗(yàn)，將得到的指標(biāo)結(jié)果進(jìn)行平均，作為最終的結(jié)果。

2.3 評(píng)估指標(biāo)

分析分流孔分類情況，選擇評(píng)價(jià)指標(biāo)有3個(gè)：精確率（precision）、召回率（recall）、F1值[19]。每一類分流孔數(shù)目的評(píng)價(jià)指標(biāo)具體計(jì)算方法如公式（3）～（5）所示。

其中，TP表示真陽(yáng)的數(shù)量；FP表示假陽(yáng)的數(shù)量；FN表示假陰的數(shù)量。

2.4 試驗(yàn)結(jié)果及分析

2.4.1 CMMIF分類試驗(yàn)

CMMIF 訓(xùn)練目標(biāo)為預(yù)測(cè)分流孔類別，因此對(duì)模型不同模態(tài)進(jìn)行分類試驗(yàn)對(duì)比，比較分流孔分類效果，分析單模態(tài)與多模態(tài)的分流孔分類情況，分類結(jié)果如表1所示。首先，從單模態(tài)角度進(jìn)行對(duì)比，圖片特征的分類能力略強(qiáng)于數(shù)值特征，分類能力沒(méi)有較大的差距，評(píng)價(jià)指標(biāo)平均準(zhǔn)確率相差3.97%，召回率相差2.89%，F(xiàn)1相差5.71%。2 種單獨(dú)模態(tài)的分類結(jié)果準(zhǔn)確率都不高，F(xiàn)1指標(biāo)得分相對(duì)較低，表明單模態(tài)數(shù)據(jù)并不能較好表示分流孔數(shù)目的細(xì)節(jié)信息，仍有較大改進(jìn)的空間。將單模態(tài)與多模態(tài)行進(jìn)對(duì)比，結(jié)合圖片與數(shù)值，多模態(tài)分類性能均優(yōu)于各單模態(tài)的分類結(jié)果，有較大的提升，平均準(zhǔn)確率提升30.39%，召回率提升30.11%，F(xiàn)1提升27.39%。這表明圖片特征與數(shù)值特征兩者能夠彌補(bǔ)各自特征的不足，多模態(tài)數(shù)據(jù)能夠更好表示分流孔的特征，幫助模型較為準(zhǔn)確分類分流孔數(shù)目，同時(shí)驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用到模具的智能化設(shè)計(jì)中。

表1 不同模態(tài)分流孔分類結(jié)果

CMMIF 不足：多模態(tài)的特征提取未必是最優(yōu)的方案，對(duì)模型中的參數(shù)需要進(jìn)一步進(jìn)行調(diào)整；收集數(shù)據(jù)時(shí)間成本高，難收集，導(dǎo)致數(shù)據(jù)樣本量不足；該研究?jī)H考慮2 種模態(tài)數(shù)據(jù)，結(jié)合其他模態(tài)特征可能會(huì)更加準(zhǔn)確描述分流孔。由于企業(yè)數(shù)據(jù)資源的限制，目前沒(méi)有公開(kāi)的擠壓模設(shè)計(jì)數(shù)據(jù)集能夠進(jìn)行驗(yàn)證。

2.4.2 對(duì)比模型設(shè)計(jì)試驗(yàn)

為了評(píng)估模型的分類表現(xiàn)，選擇多種模型進(jìn)行對(duì)比試驗(yàn)。

（1）VGG19 與ResNet18[11]。這2 種模型是深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的代表，在視覺(jué)任務(wù)上有較好的效果，具有驗(yàn)證深層網(wǎng)絡(luò)提取簡(jiǎn)單圖形后的分類能力。

（2）SIFT+SVM[20]。圖片特征采用傳統(tǒng)特征提取SIFT 方法，該算法使用廣泛，具有良好的表現(xiàn)，支持向量機(jī)作為分類器，驗(yàn)證傳統(tǒng)圖片特征提取分類方法在簡(jiǎn)單圖片上的表現(xiàn)。

（3）無(wú)ReliefF數(shù)值特征篩選。CMMIF數(shù)值數(shù)據(jù)不使用ReliefF 算法，將全部的數(shù)值特征融合圖片特征，驗(yàn)證ReliefF算法在選擇數(shù)值特征時(shí)的有效性。

將多模態(tài)模型CMMIF 同其他基線模型進(jìn)行對(duì)比，平均評(píng)估指標(biāo)比較結(jié)果如表2 所示。從表2 可以看出，由淺層CNN 構(gòu)造的CMMIF 在各項(xiàng)指標(biāo)中均值達(dá)到最優(yōu)效果，平均F1值為91.83%。而作為對(duì)比由深層CNN 構(gòu)造的VGG19 模型F1值最低僅為37.12%，說(shuō)明深度CNN 網(wǎng)絡(luò)模型對(duì)簡(jiǎn)單圖片的分類效果未必最佳；圖像特征采用SIFT 的多模態(tài)特征與SVM 分類器組合模型分類結(jié)果與單模態(tài)圖片類似，比使用SVM 的CMMIF 中F1值下降了13.67%，說(shuō)明SIFT 提取的圖片特征與數(shù)值特征融合后表現(xiàn)分流孔特征能力較弱；對(duì)比不同的分類器對(duì)分類結(jié)果的影響，CMMIF 中全連接層后分別接入SoftMax 與SVM 分類器，SoftMax 分類器F1值比傳統(tǒng)SVM 分類器高13.01%，SoftMax 分類器對(duì)多模態(tài)數(shù)據(jù)分類效果更佳；不采用ReliefF 算法選擇數(shù)值特征模型比CMMIF 中F1值降低2.86%，表明ReliefF 算法能正確選擇與分流孔相關(guān)的數(shù)值特征，并提高模型的精度。

表2 CMMIF模型同各基線模型的對(duì)比結(jié)果

3 結(jié)束語(yǔ)

為了實(shí)現(xiàn)分流孔設(shè)計(jì)的智能化，針對(duì)當(dāng)前擠壓模設(shè)計(jì)中分流孔數(shù)目研究不足的問(wèn)題，提出基于多模態(tài)融合的分流孔數(shù)目分類模型CMMIF。該模型通過(guò)圖像識(shí)別、CNN 圖像特征提取、ReliefF 數(shù)值特征選擇與特征融合等技術(shù)的綜合運(yùn)用，能夠準(zhǔn)確地根據(jù)型材面預(yù)測(cè)最佳分流孔數(shù)目。該研究初步探索了神經(jīng)網(wǎng)絡(luò)在模具設(shè)計(jì)智能化的應(yīng)用，能為擠壓模行業(yè)設(shè)計(jì)師提供分流孔數(shù)目位置和大小的設(shè)計(jì)思路，為后續(xù)分流孔規(guī)格檢查，同時(shí)為實(shí)現(xiàn)分流孔設(shè)計(jì)的智能化提供支撐。

未來(lái)研究中，嘗試采集更多模態(tài)數(shù)據(jù)，優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取更佳的數(shù)據(jù)特征，并能結(jié)合其他技術(shù)如知識(shí)圖譜實(shí)現(xiàn)智能化擠壓模設(shè)計(jì)。