基于神經(jīng)網(wǎng)絡(luò)和仿真數(shù)據(jù)的粗糙度分類檢測*

易懷安，陸玲莉，舒愛華，路恩會

(1.桂林理工大學(xué)a.機械與控制工程學(xué)院；b.外國語學(xué)院，桂林 541006；2.揚州大學(xué)機械工程學(xué)院，揚州 225009)

0 引言

表面粗糙度是評定表面質(zhì)量的一個重要指標(biāo)。對于接觸式表面粗糙度的測量方法主要缺點是測量過程中觸控筆可能會劃傷工件表面，且該方法不支持在線測量，效率低下[1]。因此基于機器視覺的粗糙度測量方法越來越受到研究者的重視。非接觸式測量方法主要包括光學(xué)測量，電子測量和機器視覺測量等。其中，機器視覺方法成本低，效率高而廣受關(guān)注。但是機器視覺的測量方法大多通過人為設(shè)計好的評價指標(biāo)，建立與粗糙度的對應(yīng)關(guān)系，以實現(xiàn)粗糙度的測量[2-5]。人為設(shè)計評價指標(biāo)受限于人的知識水平，達不到自動化測量自提取特征的要求，因而近些年許多學(xué)者嘗試?yán)蒙疃葘W(xué)習(xí)等方法對粗糙表面進行特征的自動提取。

利用深度學(xué)習(xí)來預(yù)測粗糙度，前人做了大量的工作[6-7]。但是上述基于深度學(xué)習(xí)的粗糙度測量方法存在著不足：深度卷積神經(jīng)網(wǎng)絡(luò)對訓(xùn)練樣本的需求量大，單純通過實際實驗建立的粗糙度數(shù)據(jù)庫不夠豐富，在缺乏訓(xùn)練數(shù)據(jù)的情下，訓(xùn)練出較好表現(xiàn)性能的卷積神經(jīng)網(wǎng)絡(luò)比較困難。

為彌補訓(xùn)練樣本數(shù)據(jù)不足的問題，利用仿真可得到大量銑削表面圖像，但仿真圖像與實測圖像屬于兩個不同的域。遷移學(xué)習(xí)可將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識應(yīng)用到不同但相關(guān)的領(lǐng)域。ZHANG等[8]研究發(fā)現(xiàn)隨著表面粗糙度的增加，實際圖像和模擬圖像的紅綠混疊效應(yīng)也隨之增加，基于顏色信息設(shè)計了混疊區(qū)域面積指標(biāo)，利用遷移學(xué)習(xí)方法對實際數(shù)據(jù)和仿真數(shù)據(jù)進行學(xué)習(xí)，提高預(yù)測的精度。但該方法必須從被紅綠色光照射的磨削工件上獲得紅綠色工件圖像，才能通過紅綠混疊區(qū)域面積指標(biāo)評估工件的表面粗糙度，這對光源的顏色和亮度都有較為嚴(yán)格的要求，不適用于工業(yè)生產(chǎn)中復(fù)雜光源環(huán)境下的在線視覺檢測。與文獻[8]類似，銑削表面隨著粗糙度的增大，紋理間距呈有規(guī)律性的增大，紋理輪廓越來越明顯，這種特征在銑削光學(xué)仿真圖像中也同樣體現(xiàn)，因此可以通過遷移學(xué)習(xí)根據(jù)銑削實際圖像和光學(xué)仿真圖像的這些特征加以匹配。

基于上述原因，本文在紋理匹配實驗的基礎(chǔ)上提出一種采用神經(jīng)網(wǎng)絡(luò)結(jié)合仿真數(shù)據(jù)的銑削表面粗糙度分類預(yù)測方法。該方法不僅能夠彌補數(shù)據(jù)樣本不足的問題，還能對亮度有較好的魯棒性。

1 紋理匹配模型及預(yù)測模型

本節(jié)首先介紹邊緣提取紋理及匹配過程，然后介紹借助深度遷移學(xué)習(xí)進行紋理等級分類匹配的Deep CORAL模型的目標(biāo)函數(shù)，結(jié)構(gòu)，以及訓(xùn)練流程，最后介紹銑削表面粗糙度等級預(yù)測Xception模型的訓(xùn)練流程。

1.1 邊緣提取紋理及匹配過程

由于光學(xué)仿真圖像和實際圖像的差異，直接使用仿真數(shù)據(jù)訓(xùn)練后的模型對目標(biāo)域的實際數(shù)據(jù)進行預(yù)測泛化性較差。遷移學(xué)習(xí)可以將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識應(yīng)用到不同但相關(guān)的領(lǐng)域，能夠同時學(xué)習(xí)仿真域和實際域共有的特征，從而提高目標(biāo)域的預(yù)測精度。因此，本文通過邊緣提取Laplace算法來對實際和光學(xué)仿真的圖像進行紋理提取。當(dāng)有少量的實際紋理圖像時，可將少量實際紋理圖像和大量光學(xué)仿真紋理圖像作為混合域輸入到深度遷移學(xué)習(xí)Deep CORAL模型中進行訓(xùn)練，學(xué)習(xí)有標(biāo)簽的混合域和無標(biāo)簽的實際域共有的特征，使得來自同一類的特征將更加聚類，最終實現(xiàn)對實際域的匹配精度。實際紋理圖像與光學(xué)仿真紋理圖像如圖1所示。

(a) 仿真紋理圖像(Ⅰ) (b) 實際紋理圖像(Ⅰ) (c) 仿真紋理圖像(Ⅱ) (d) 實際紋理圖像(Ⅱ)

1.2 用于紋理等級分類匹配的Deep CORAL模型

1.2.1 Deep CORAL網(wǎng)絡(luò)的目標(biāo)函數(shù)

Deep CORAL網(wǎng)絡(luò)是在深度神經(jīng)網(wǎng)絡(luò)AlexNet[9]中加入改進的CORAL算法[10]。在紋理等級分類匹配任務(wù)中，對CORAL算法進行擴展，使用非線性變換，整合到AlexNet的最后一個連接層上，將CORAL的損失直接納入深層網(wǎng)絡(luò)中。CORAL是一種簡單的無監(jiān)督自適應(yīng)方法，它通過調(diào)整混合域和實際域數(shù)據(jù)分布的二階統(tǒng)計量來最小化領(lǐng)域差異，對實際域和混合域的CORAL 損失優(yōu)化到最小。描述單個特征層在兩個域之間的CORAL損失函數(shù)LCORAL被定義為源特征和目標(biāo)特征的二階統(tǒng)計特征距離，其表達式為：

(1)

(2)

(3)

式中，1是所有元素均等于1的列向量。

Deep CORAL的目標(biāo)函數(shù)同時包含紋理分類損失和CORAL損失，可表示為：

L=LCLASS+λLCORAL

(4)

式中，λ為用于權(quán)衡混合域的分類準(zhǔn)確度和實際域上適應(yīng)性能的一個參數(shù)；LCLASS為混合域上的分類損失，按照式(5)計算：

(5)

式中，C為標(biāo)簽類別數(shù)；nc為混合域第c個類別的樣本數(shù)；yi(pi)為第i個混合域樣本的真實標(biāo)簽(預(yù)測標(biāo)簽)。

1.2.2 Deep CORAL網(wǎng)絡(luò)的結(jié)構(gòu)

Deep CORAL的結(jié)構(gòu)如圖2所示。

圖2 基于AlexNet的Deep CORAL

由圖可知，該模型將擴展的CORAL算法應(yīng)用于AlexNet的fc8層，而AlexNet的前7層與普通的AlexNet完全一致。網(wǎng)絡(luò)最終的目的是要將classification loss和CORAL loss共同優(yōu)化到最小，即源域的分類更精確，目標(biāo)域的輸出與源域的分布更相似。

1.2.3 Deep CORAL模型的訓(xùn)練流程

在Xception模型中，假設(shè)訓(xùn)練集中每一類粗糙度圖片的紋理信息非常顯著，比如銑削表面的紋理、紋理的寬度、紋理的弧度等，這些信息在模型訓(xùn)練中會被神經(jīng)網(wǎng)絡(luò)提取并加以利用，使得模型更加精準(zhǔn)、有效[11]。因此，本文首先實現(xiàn)仿真紋理與實際紋理的匹配，然后將仿真圖像與實際圖像輸入到Xception模型中對粗糙度進行預(yù)測。

銑削工件紋理等級分類匹配網(wǎng)絡(luò)整體步驟為：首先將ImageNet數(shù)據(jù)集通過AlexNet網(wǎng)絡(luò)進行訓(xùn)練，并整合擴展的CORAL算法，得到預(yù)訓(xùn)練模型；其次，將設(shè)置好的圖像數(shù)據(jù)輸入到預(yù)訓(xùn)練好的AlexNet網(wǎng)絡(luò)進行微調(diào)得到紋理等級分類匹配的Deep CORAL模型。Deep CORAL模型主要參數(shù)與訓(xùn)練流程如表1和圖3所示。

表1 Deep CORAL模型主要參數(shù)

圖3 Deep CORAL模型訓(xùn)練流程

1.3 基于粗糙度等級預(yù)測的Xception模型

基于粗糙度等級預(yù)測的Xception網(wǎng)絡(luò)中的圖像特征不需要復(fù)雜精準(zhǔn)的數(shù)學(xué)表達，通過大量的樣本，網(wǎng)絡(luò)能學(xué)習(xí)該數(shù)據(jù)潛在的映射關(guān)系，從而實現(xiàn)特征自提取。模型的主要參數(shù)和訓(xùn)練流程如表2和圖4所示。

表2 網(wǎng)絡(luò)主要參數(shù)

圖4 Xception模型訓(xùn)練流程

2 實驗

實驗包括銑削樣品的制備，圖像采集，基于銑削樣塊邊緣提取紋理等級識別匹配的Deep CORAL模型分類和基于粗糙度等級預(yù)測的Xception模型分類。

2.1 樣塊制備

銑削樣塊的制備包括實際樣塊的制備和仿真樣塊的制備。

60×40 mm2的45號鋼塊銑削樣品由FANUC Series Oi Mate-MD型數(shù)控機床配合盤形銑刀TAP400R100-32-6T主軸加工而成。用觸針式粗糙度測量儀TR210對表面的6個位置采樣測量。根據(jù)測量結(jié)果，本文將粗糙度等級分為6類：(0.4-0.7)，[0.7-1)，[1-1.4)，[1.4-1.8)，[1.8-2.2)，[2.2-2.6]。

仿真樣塊是指模擬銑削加工得到的具有不同粗糙度表示的仿真樣本實體。數(shù)控仿真能夠在零件進行加工之前模擬其制造過程,在給定數(shù)控程序、加工參數(shù)等條件下，得到特定的粗糙度表面，這為分析表面粗糙度提供了一種更有效的方法[12]。本文基于Z-Map算法[13-14]生成銑削表面仿真形貌，構(gòu)建粗糙度表面成像的仿真模型，獲取粗糙度與實際粗糙度相近的仿真圖片。生成的仿真表面形貌如圖5a所示,仿真表面形貌粗糙度范圍從0.3 μm到2.6 μm。最后導(dǎo)入三維建模軟件逆向擬合生成虛擬樣本實體，如圖5b所示。

(a) 仿真表面形貌 (b) 虛擬樣本實體

2.2 圖像采集

將銑削工件平放于光平臺上，并與平臺平行；相機的光軸與樣塊被測面垂直。在實驗過程中，樣品和光源的相對位置保持不變，相機的位置在離測量平臺25 cm處。實驗設(shè)備如圖6所示。

拍攝到的原圖尺寸太大，所以將每張銑削工件圖像中工件所在區(qū)域劃分成6個不重疊區(qū)域，經(jīng)過圖像預(yù)處理后大小均為100×100像素的區(qū)域，如圖7所示，并按區(qū)域進行裁剪后得到6類數(shù)據(jù)集，每一類數(shù)據(jù)集都包含72張工件圖像,為紋理等級分類匹配與粗糙度分類預(yù)測實驗建立粗糙度樣本數(shù)據(jù)庫。

圖6 圖像采集裝置實物圖 圖7 剪裁后的銑削工件圖像

在圖像仿真中，將中生成的虛擬實體樣塊導(dǎo)入到光學(xué)仿真軟件tracepro中。該仿真條件包括一個白色光源，并通過Dallmeyer PATENT 3A鏡頭生成反射圖像。仿真實驗中成像模型如圖8a所示，白色光源設(shè)置為1500萬條光線。光學(xué)仿真圖像如圖8b所示。

(a) 光學(xué)仿真模型圖 (b) 光學(xué)仿真圖像

2.3 Deep CORAL模型紋理等級分類匹配實驗

為了驗證光學(xué)仿真紋理圖像與實際紋理圖像之間的匹配度，本文設(shè)計了以下兩個對比實驗：

實驗a：在制備好的粗糙度樣本數(shù)據(jù)庫中，每類隨機選擇50個圖像作為訓(xùn)練集，并提取紋理。在剩余的數(shù)據(jù)庫圖像中隨機選擇50個作為測試集。

實驗b：將實驗a每類中的40個實際紋理圖像換成光學(xué)仿真紋理圖像，保留10個實際紋理圖像，測試集與實驗a相同。

2.4 基于粗糙度等級預(yù)測的Xception模型分類

深度學(xué)習(xí)對數(shù)據(jù)集的數(shù)據(jù)量有一定的要求，需要將6類銑削工件表面圖像(包括實際圖像和光學(xué)仿真圖像)進行數(shù)據(jù)擴充，然后通過翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整飽和度、調(diào)整對比度、調(diào)整色相、平移等方式對圖像進行預(yù)處理，增強原始數(shù)據(jù)集。加入仿真數(shù)據(jù)對分類預(yù)測精度的影響由下面3個實驗方案進行比較：

實驗1：訓(xùn)練集為數(shù)據(jù)增強后的6類銑削工件表面圖像，均是實際拍攝的圖像。

實驗2：訓(xùn)練集是在實驗1基礎(chǔ)上加入了光學(xué)仿真圖像，數(shù)據(jù)增強后每類實際圖像與光學(xué)仿真圖像比例為2:1。

實驗3：在實驗2的基礎(chǔ)上調(diào)整每類實際圖像與光學(xué)仿真圖像比例為1:2。3個實驗采用同樣的測試集來測試。

實驗1～實驗3數(shù)據(jù)增強后樣本的分類和數(shù)量統(tǒng)計如表3～表5所示。

表3 實驗1數(shù)據(jù)增強后樣本的分類和數(shù)量統(tǒng)計

表4 實驗2數(shù)據(jù)增強后樣本的分類和數(shù)量統(tǒng)計

表5 實驗3數(shù)據(jù)增強后樣本的分類和數(shù)量統(tǒng)計

在粗糙度分類預(yù)測Xception模型中，樣本集可以劃分訓(xùn)練集和驗證集。在本次實驗中為了均衡訓(xùn)練和驗證，將實驗1～實驗3數(shù)據(jù)增強后的每類粗糙度圖像的訓(xùn)練集和驗證集比例設(shè)置為8:2。

3 實驗結(jié)果

3.1 Deep CORAL模型分類結(jié)果

根據(jù)實驗結(jié)果，將Deep CORAL模型的損失函數(shù)與分類準(zhǔn)確率隨epoch的變化繪制成如圖9所示。

(a) 損失函數(shù)曲線 (b) 準(zhǔn)確率曲線

可以觀察到，實驗a和實驗b的損失函數(shù)在epoch=42后都已基本達到穩(wěn)定，同時，識別準(zhǔn)確率也在一個較小的范圍內(nèi)波動。實驗a的準(zhǔn)確率為91.665%，實驗b的準(zhǔn)確率為90%。實驗a與實驗b的準(zhǔn)確率差別不大。在實驗b中，加入了大量銑削仿真紋理圖片，準(zhǔn)確率與實驗a相近，這說明了基于深度遷移學(xué)習(xí)的識別模型提取到了源域混合紋理的圖像和目標(biāo)域?qū)嶋H紋理圖像的共同特征，縮小仿真樣本與實際樣本的特征指標(biāo)差異。由實驗結(jié)果可知；銑削圖片仿真紋理與實際圖片紋理匹配度高。

3.2 Xception模型分類結(jié)果

將模型訓(xùn)練和測試保存的數(shù)據(jù)用Tensorboard可視化工具打開。Xception模型的網(wǎng)絡(luò)訓(xùn)練損失曲線以及準(zhǔn)確率曲線如下，包括訓(xùn)練集和驗證集。實驗1～實驗3的測試集均為沒有參與模型訓(xùn)練的111張照片。

實驗1分類結(jié)果如圖10和表6所示。

圖10 實驗1Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

表6 實驗1Xception損失函數(shù)值和模型準(zhǔn)確率

在Xception模型訓(xùn)練過程中，選取迭代次數(shù)為100。可以看出，隨著迭代次數(shù)的增加，粗糙度分類模型的loss曲線整體呈收斂趨勢，在第50次迭代之后雖然出現(xiàn)小幅度的波動，但損失值都收斂在0.05以內(nèi)，這表明本模型已經(jīng)從銑削樣塊數(shù)據(jù)集中學(xué)習(xí)到了數(shù)據(jù)特征，模型訓(xùn)練達到預(yù)期效果。但網(wǎng)絡(luò)訓(xùn)練也要結(jié)合模型識別正確率，在迭代次數(shù)達到50次以后，驗證集準(zhǔn)確率維持在98%以上，說明模型已經(jīng)具備有效的分類能力。在進行測試集測試時，準(zhǔn)確率達到86.48%。

實驗2分類結(jié)果如圖11和表7所示。

圖11 實驗2Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

表7 實驗2Xception模型損失函數(shù)值和準(zhǔn)確率

可以看出，在43次迭代之后模型損失值都收斂在0.04，本模型也已經(jīng)從銑削樣塊數(shù)據(jù)集中學(xué)習(xí)到了數(shù)據(jù)特征，驗證集準(zhǔn)確率維持在99%，同樣說明模型已經(jīng)具備有效的分類能力。在進行測試集測試時，準(zhǔn)確率達到92.79%。

實驗3分類結(jié)果如圖12和表8所示。

圖12 實驗3Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

表8 實驗3Xception模型損失函數(shù)值和準(zhǔn)確率

可以看出，在69次迭代之后，模型損失值都收斂在0.03以內(nèi)，驗證集準(zhǔn)確率維持99%。在進行測試集測試時，準(zhǔn)確率達到92.79%。

4 討論

基于粗糙度等級預(yù)測的Xception模型中，可以從輸入的二維圖片像素中提取圖像的高低頻特征，如圖像的紋理、顏色等底層細節(jié)特征，并在更深層結(jié)構(gòu)中提取一般性的、組合性的特征，整個過程中對目標(biāo)的特征提取更有針對性。本文分別改變Xception模型訓(xùn)練集的亮度，顏色，紋理，以此來研究哪個因素對于深度卷積神經(jīng)網(wǎng)絡(luò)的影響最大。

4.1 亮度與顏色

本文分別改變3.2節(jié)實驗中訓(xùn)練集的亮度與顏色，來研究亮度與顏色對于Xception模型的影響。改變亮度與顏色之后Xception模型訓(xùn)練損失曲線和準(zhǔn)確率曲線如圖13和圖14所示，損失函數(shù)值和準(zhǔn)確率如表9和表10所示，包括訓(xùn)練集和驗證集。在進行測試集測試時，準(zhǔn)確率分別為93.69%，88.28%。

圖13 改變亮度之后Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

圖14 改變顏色之后Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

表9 改變亮度之后Xception模型損失函數(shù)值和準(zhǔn)確率

表10 改變顏色之后Xception模型損失函數(shù)值和準(zhǔn)確率

從實驗結(jié)果可知，從實驗結(jié)果可知，Xception模型對亮度和顏色具有較好的魯棒性，證明了文獻[11]深度卷積神經(jīng)網(wǎng)絡(luò)Xception模型對光源環(huán)境魯棒性的結(jié)論，但是Xception模型對顏色信息比亮度較敏感。

4.2 紋理

隨著進給速度的增大，銑削紋理間距呈有規(guī)律性的增大，紋理輪廓越來越明顯。所以在6類粗糙度等級中，銑削表面的紋理特征差異明顯。針對這一規(guī)律，改變每一類中仿真圖片的弧度，但粗糙度的范圍仍保持一致。最后將改變的仿真圖像的訓(xùn)練集導(dǎo)入到Xception模型進行訓(xùn)練。通過測試結(jié)果來研究紋理對于Xception模型的影響。改變仿真紋理之后，Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線如圖15所示，損失函數(shù)值和準(zhǔn)確率如表11所示。在進行測試集測試時，準(zhǔn)確率為72.07%。

綜上所述，在Xception模型中，紋理對模型預(yù)測準(zhǔn)確率影響最大，其次是顏色，而對亮度有很好的魯棒性。3大因素的影響比例如表11所示。

圖15 改變紋理之后Xception模型訓(xùn)練損失函數(shù)曲線和準(zhǔn)確率曲線

表11 改變顏色之后Xception模型損失函數(shù)值和準(zhǔn)確率

5 結(jié)論

(1)基于深度遷移學(xué)習(xí)的銑削樣塊紋理等級分類匹配Deep CORAL模型，該模型可以實現(xiàn)銑削仿真紋理與實際紋理的匹配，為粗糙度分類擴充數(shù)據(jù)集數(shù)量做了鋪墊。

(2)針對在樣本圖像較少不能建立較好的預(yù)測模型的情況下，加入的仿真圖片可以擴充數(shù)據(jù)量，使模型提取到更多跟粗糙度相關(guān)的特征，提高準(zhǔn)確率。

(3)在Xception模型的中，紋理對模型預(yù)測準(zhǔn)確率影響最大，其次是顏色，而對亮度的魯棒性最好。