基于MPCA-LSSVM的生產(chǎn)制造過程異常監(jiān)控模型

劉玉敏，張 帥

（鄭州大學(xué) 商學(xué)院，鄭州 450001）

0 引言

對(duì)生產(chǎn)制造過程進(jìn)行質(zhì)量異常模式識(shí)別是解決生產(chǎn)制造過程異常波動(dòng)識(shí)別問題的有效途徑[1，2]。根據(jù)生產(chǎn)過程歷史和實(shí)時(shí)觀測(cè)數(shù)據(jù)對(duì)生產(chǎn)過程中可能存在的異常波動(dòng)進(jìn)行識(shí)別和監(jiān)控，執(zhí)行不同的設(shè)備調(diào)整方法，保持生產(chǎn)過程的穩(wěn)定性，避免生產(chǎn)過程出現(xiàn)停工停產(chǎn)等重大事故，對(duì)企業(yè)提高經(jīng)濟(jì)效益具有重要的現(xiàn)實(shí)意義[3，4]。

目前，生產(chǎn)制造過程質(zhì)量異常模式識(shí)別的研究主要集中在特征提取方法的選擇上[5]。其中主元分析（PCA）依據(jù)輸入變量的線性變換，由相關(guān)矩陣的特征值大小確定坐標(biāo)變換和變量提取，通過引入核函數(shù)將輸入變量映射到高維特征空間，可以解決非線性問題[6]，而得到廣泛應(yīng)用。楊世元等[7]將PCA與支持向量機(jī)（SVM）方法相結(jié)合構(gòu)建了MSVM分類器，并對(duì)漆包線生產(chǎn)過程進(jìn)行監(jiān)控和識(shí)別。李誠等[8]利用PCA提取小波重構(gòu)數(shù)據(jù)并構(gòu)建MSVM識(shí)別質(zhì)量異常模式。蔣少華等[9]利用KPCA方法提取過程數(shù)據(jù)特征，建立MSVM對(duì)密閉鼓風(fēng)爐煉爐過程識(shí)別和監(jiān)控，提高了識(shí)別效率和魯棒性。雖然采用PCA對(duì)過程數(shù)據(jù)進(jìn)行特征提取可以降維去噪，但是由于已有研究大都按照累積方差貢獻(xiàn)率達(dá)到固定閾值的方法進(jìn)行提取，閾值的設(shè)定具有很大主觀性；同時(shí)，在生產(chǎn)制造過程六種質(zhì)量模式識(shí)別中，待分類樣本數(shù)較多，所有分類器都采用同樣的主元特征進(jìn)行識(shí)別必然會(huì)影響生產(chǎn)制造過程質(zhì)量異常模式識(shí)別的效率和準(zhǔn)確性。因此，如何針對(duì)不同的異常模式提取維數(shù)低且細(xì)節(jié)信息強(qiáng)的主元特征，是利用PCA方法提高質(zhì)量異常模式識(shí)別效率的關(guān)鍵。

生產(chǎn)制造過程的質(zhì)量模式數(shù)據(jù)含有大量噪聲，可以利用PCA方法對(duì)數(shù)據(jù)進(jìn)行降維去噪。六種質(zhì)量模式特征各不相同，PCA方法能夠?qū)⒘N質(zhì)量模式的樣本數(shù)據(jù)轉(zhuǎn)化成不同的主元特征數(shù)據(jù)，進(jìn)而分別利用LSSVM分類器對(duì)質(zhì)量模式進(jìn)行識(shí)別，同時(shí)將多個(gè)分類器組合成一個(gè)MSVM模型解決多分類問題，對(duì)生產(chǎn)過程進(jìn)行監(jiān)控和識(shí)別。本文提出了一種基于多主元分析與最小二乘支持向量機(jī)的生產(chǎn)制造過程異常模式識(shí)別模型，通過提取不同的主元特征對(duì)質(zhì)量模式數(shù)據(jù)進(jìn)行降維處理、增強(qiáng)聚類特征，同時(shí)利用LSSVM的快速求解算法提高分類器的識(shí)別效率。仿真實(shí)驗(yàn)表明本文所提的MPCA-LSSVM識(shí)別方法比傳統(tǒng)識(shí)別模型的整體識(shí)別精度有顯著提升，并且能夠大大縮減模型訓(xùn)練和在線監(jiān)控時(shí)間。

1 基于MPCA-LSSVM的生產(chǎn)過程質(zhì)量模式識(shí)別模型

1.1 基于MPCA-LSSVM的識(shí)別方法

由于六種基本質(zhì)量模式的數(shù)據(jù)樣本分布不盡相同，所以很難直接利用原始數(shù)據(jù)進(jìn)行識(shí)別。因此，采用PCA方法對(duì)樣本數(shù)據(jù)進(jìn)行特征提取，可以得到最具特征的主元數(shù)據(jù)，進(jìn)而找到各個(gè)模式的主元特征，并利用得到的主元數(shù)據(jù)對(duì)LSSVM分類器進(jìn)行訓(xùn)練和建模。這樣不僅能夠降低輸入數(shù)據(jù)維數(shù)，而且能夠有效地提高分類器的識(shí)別精度。此外，LSSVM分類器的識(shí)別效率還會(huì)受到模型參數(shù)的影響，因此需要對(duì)LSSVM識(shí)別模型進(jìn)行參數(shù)優(yōu)化。本文采用網(wǎng)格尋優(yōu)方法對(duì)識(shí)別模型的參數(shù)進(jìn)行優(yōu)化，以提高識(shí)別模型的性能?；贛PCA-LSSVM的生產(chǎn)過程質(zhì)量模式識(shí)別框架如下頁圖1所示。

1.2 樣本數(shù)據(jù)的主元提取

圖1 基于MPCA-LSSVM的質(zhì)量模式識(shí)別框架

在生產(chǎn)過程質(zhì)量異常模式識(shí)別中，首先可以通過對(duì)已有歷史數(shù)據(jù)的學(xué)習(xí)，分析提取出不同基本質(zhì)量模式的數(shù)據(jù)分布情況。由于生產(chǎn)過程受到工藝流程復(fù)雜、影響因素繁多的影響，樣本數(shù)據(jù)具有高噪聲、高維度的特性，在一定程度上影響了分類器對(duì)質(zhì)量異常模式波動(dòng)狀態(tài)的識(shí)別，進(jìn)而影響過程監(jiān)控的效率。

具有相似主元特征的樣本數(shù)據(jù)往往屬于同一質(zhì)量模式，樣本變量的方差越大表明其包含的特征信息越多，聚類效果越明顯。主元分析方法正是利用這樣的思想，對(duì)樣本數(shù)據(jù)進(jìn)行變量轉(zhuǎn)換，以其能夠使用較少的主元變量對(duì)生產(chǎn)過程的波動(dòng)信息進(jìn)行較全面的描述。

不妨設(shè)：

X是變量數(shù)為m，樣本數(shù)為n的生產(chǎn)過程樣本數(shù)據(jù)集。

S是樣本數(shù)據(jù)的協(xié)方差矩陣，則有：

不妨設(shè)：

其中，P為主元轉(zhuǎn)換矩陣，λ為協(xié)方差矩陣S的特征值，ξ為主元方差貢獻(xiàn)率。

因此，可以通過設(shè)置ξ的大小，將前k個(gè)主元特征進(jìn)行提取，則Λ和P分別可以被分解成兩部分：

采用上述方法方法可將X分解為主元空間和殘差空間[7]：

1.3 LSSVM異常模式識(shí)別模型

支持向量機(jī)方法是基于VC維理論與結(jié)構(gòu)經(jīng)驗(yàn)最小化原則提出的，在訓(xùn)練樣本數(shù)量有限的情況下，能夠同時(shí)兼顧模型復(fù)雜度和泛化能力。該方法已在圖像識(shí)別、設(shè)備故障診斷中得到了較好的應(yīng)用和研究[10]。然而，標(biāo)準(zhǔn)的SVM算法屬于一種凸二次規(guī)劃問題，在樣本量大時(shí)，其計(jì)算規(guī)模和計(jì)算時(shí)間都會(huì)顯著增加。因此，本文采用LSSVM算法對(duì)生產(chǎn)過程的質(zhì)量模式進(jìn)行識(shí)別。相比于標(biāo)準(zhǔn)的SVM，LSSVM算法在構(gòu)建目標(biāo)函數(shù)時(shí)加入了誤差項(xiàng)的2范數(shù)，同時(shí)將不等式約束變?yōu)榱说仁郊s束，從而大大簡化了模型的求解過程，提高了模型的訓(xùn)練速度。

LSSVM的基本思想和標(biāo)準(zhǔn)的SVM比較相似，也是通過尋找使兩類數(shù)據(jù)最小間隔最大化的分類平面來解決二分類問題。設(shè)單個(gè)最小二乘支持向量機(jī)的學(xué)習(xí)樣本為，其中，xi表示樣本的輸入，yi表示期望輸出值。在二分類問題中，LSSVM通過樣本學(xué)習(xí)，使得有一個(gè)分類平面將這兩類數(shù)據(jù)完全分開，這樣的分類平面可以描述為：

其中，ω∈G φ:Rn→G，ω為權(quán)向量，b為偏置向量。對(duì)于線性不可分的情況，可以通過引入松弛變量降低對(duì)超平面的要求，同時(shí)增加一個(gè)表示對(duì)錯(cuò)分造成損失的懲罰參數(shù)γ＞0，則該二分類問題可以轉(zhuǎn)化以下優(yōu)化問題：

同時(shí)，引入拉格朗日乘子求解上述優(yōu)化問題，則有：

分別對(duì)w、b、e、a求偏導(dǎo)并化簡可以求得：

其中，l為單位矩陣，Ω為核矩陣。根據(jù)已知的樣本數(shù)據(jù)可以求得參數(shù)a,b的值，進(jìn)而得到LSSVM最優(yōu)超平面的決策函數(shù)為：

其中，k(xi,x)為核函數(shù)，可以將低維空間線性不可分問題轉(zhuǎn)化為高維空間中的線性可分的問題。在對(duì)識(shí)別對(duì)象缺乏先知知識(shí)的情況下，選取高斯核函數(shù)能夠取得較好的整體識(shí)別效果。因此，本文采用高斯核函數(shù)，其表達(dá)式為，則模型需要優(yōu)化的參數(shù)是γ和g。核參數(shù)的選取對(duì)LSSVM分類效果有很大影響，GS、PSO、GA都是有效的參數(shù)尋優(yōu)方法[11]。本文采用GS方法對(duì)模型參數(shù)進(jìn)行優(yōu)化，在指定的參數(shù)空間內(nèi)，采用遍歷法尋找最優(yōu)的參數(shù)組合，以期能夠進(jìn)一步提高分類器的識(shí)別效果。

生產(chǎn)制造過程質(zhì)量異常模式識(shí)別屬于典型的多分類問題，為了識(shí)別生產(chǎn)過程質(zhì)量模式，需要構(gòu)建一個(gè)組合分類器進(jìn)行識(shí)別。常用的構(gòu)建組合分類器的方法主要有O-V-A、O-V-O、H-A-H、無向圖等，本文構(gòu)建的組合分類器模型的結(jié)構(gòu)如圖2所示。其中，LSSVM1分類器首先用來識(shí)別正常模式與其他異常模式；接下來，由于周期模式與其余四種異常模式的主元特征存在明顯差異，因此構(gòu)建LSSVM2分類器用于識(shí)別周期模式；根據(jù)主元特征的相似性，將上升趨勢(shì)和向上階躍模式劃分為上升類異常模式，同時(shí)下降趨勢(shì)和向下階躍模式劃分為下降類異常模式，構(gòu)建LSSVM3用來識(shí)別上升類模式和下降類模式；最后，分別構(gòu)建LSSVM4和LSSVM5用于識(shí)別趨勢(shì)模式和階躍模式。在進(jìn)行上述識(shí)別時(shí)，由于不同分類器的樣本數(shù)據(jù)不同，因此需要根據(jù)不同的分類器選擇不同的主元特征。

圖2 PCA-LSSVM識(shí)別模型

2 仿真實(shí)驗(yàn)分析

2.1 生產(chǎn)制造數(shù)據(jù)流的產(chǎn)生

采用Monte Carlo仿真方法來獲得生產(chǎn)制造過程中的樣本數(shù)據(jù)流，即：

其中，X(t)為t時(shí)刻的產(chǎn)品質(zhì)量特性觀測(cè)值；μ為質(zhì)量特性的設(shè)計(jì)均值，為簡化仿真實(shí)驗(yàn)，通常取μ=0；s(t)=γ×σ為在t時(shí)刻下，由偶然因素造成的隨機(jī)干擾，通常為服從N（0，δ2）的高斯白噪聲；d(t)為異常因素干擾項(xiàng)。觀測(cè)數(shù)據(jù)的各種模式主要就是依靠d(t)的變化而形成的：

正常模式：

周期模式：

上升趨勢(shì)模式：

下降趨勢(shì)模式：

向上階躍模式：

向下階躍模式：

其中，T為周期模式的變化周期，取值范圍是[1,45]；A為周期模式的波動(dòng)幅度，數(shù)值范圍是[0.5σ,5σ]；k為趨勢(shì)模式的變化斜率，取值范圍是[0.1σ,0.5σ]；s為階躍模式的波動(dòng)幅度，取值范圍是[σ,3σ]；g為階躍判異系數(shù)，在階躍發(fā)生前g=0，階躍發(fā)生后g=1；σ表示實(shí)際生產(chǎn)加工過程中處于穩(wěn)定時(shí)的標(biāo)準(zhǔn)差。

每種質(zhì)量模式分別生成200組數(shù)據(jù)流，樣本變量維數(shù)為100，將每種質(zhì)量模式數(shù)據(jù)隨機(jī)分成100組訓(xùn)練樣本和100組測(cè)試樣本。

2.2 識(shí)別模型訓(xùn)練

將LSSVM1-LSSVM5分類器的訓(xùn)練樣本和測(cè)試樣本數(shù)據(jù)按照公式（1）至公式（8）分別計(jì)算出不同的主元特征。然后，將不同的主元特征按照累積方差貢獻(xiàn)率的大小依次作為LSSVM分類器的輸入訓(xùn)練識(shí)別模型，同時(shí)設(shè)定約束參數(shù)γ和核參數(shù)g在[2-10,210]范圍內(nèi)進(jìn)行網(wǎng)格優(yōu)化，并自動(dòng)記錄不同累積方差貢獻(xiàn)率水平下分類器的識(shí)別精度和參數(shù)組合。

2.3 識(shí)別性能分析

2.3.1 與傳統(tǒng)PCA方法的對(duì)比

將傳統(tǒng)PCA方法與本文所提PCA方法分別作為LSSVM分類器的輸入進(jìn)行訓(xùn)練和測(cè)試。傳統(tǒng)PCA是按照提取累積方差貢獻(xiàn)率大于85%的主元數(shù)據(jù)為原則進(jìn)行特征提取。通過仿真實(shí)驗(yàn)發(fā)現(xiàn)，該原則并不能夠得到最高的識(shí)別精度，特別是針對(duì)生產(chǎn)過程的質(zhì)量異常模式識(shí)別問題，按照傳統(tǒng)PCA方法進(jìn)行提取一般都無法得到令人滿意的識(shí)別效果。圖3是LSSVM分類器的訓(xùn)練結(jié)果。不難看出，所有LSSVM分類器在用傳統(tǒng)PCA進(jìn)行特征提取時(shí)（即提取包含85%方差貢獻(xiàn)率的主元特征），都不能獲得最好的識(shí)別效果。因此，該仿真實(shí)驗(yàn)說明：不同的主元特征會(huì)對(duì)LSSVM分類器的識(shí)別精度造成很大影響，按照傳統(tǒng)PCA方法往往采用固定的閾值設(shè)定，提取出來的主元特征并不能夠得到最佳的識(shí)別精度。同時(shí)，主元特征的選擇也并非越多越好，提取有效的主元特征不僅可以提高識(shí)別精度，而且可以減少模型計(jì)算的復(fù)雜度。

圖3 不同主元特征對(duì)識(shí)別精度的影響

利用GS方法對(duì)模型參數(shù)進(jìn)行尋優(yōu)，進(jìn)一步提高模型的識(shí)別效果，得到具體的訓(xùn)練結(jié)果如表1和表2所示。

表1 傳統(tǒng)方法訓(xùn)練結(jié)果

表2 MPCA方法訓(xùn)練結(jié)果

按照單一LSSVM訓(xùn)練得到的參數(shù)，對(duì)組合分類器進(jìn)行設(shè)定，并對(duì)生產(chǎn)過程仿真數(shù)據(jù)流進(jìn)行識(shí)別。結(jié)果顯示，PCA-LSSVM方法的識(shí)別結(jié)果只有少數(shù)模式數(shù)據(jù)被錯(cuò)分為其他類別，識(shí)別精度可以達(dá)到96.8%，而傳統(tǒng)方法存在較多的錯(cuò)分情況，識(shí)別精度僅為94.2%。通過選擇有效的主元特征作為分類器的訓(xùn)練樣本，不僅降低了模型訓(xùn)練時(shí)間，而且顯著提高了識(shí)別模型的分類精度和識(shí)別效率。

2.3.2 與其他傳統(tǒng)方法的對(duì)比

為了進(jìn)一步驗(yàn)證本文所提的基于MPCA-LSSVM識(shí)別模型的有效性，利用仿真生成的200*6組樣本數(shù)據(jù)與文獻(xiàn)中提到的一些傳統(tǒng)識(shí)別模型（多主元特征與BPNN相結(jié)合的識(shí)別模型Ⅰ，多主元特征與MSVM相結(jié)合的識(shí)別模型Ⅱ、PCA與LSSVM相結(jié)合的識(shí)別模型Ⅲ、形狀特征與LSSVM相結(jié)合的識(shí)別模型Ⅳ）進(jìn)行識(shí)別精度對(duì)比，各識(shí)別模型的識(shí)別結(jié)果如表3所示。

表3 不同識(shí)別模型的識(shí)別結(jié)果

由表3可知，采用不同的特征提取方法和分類器構(gòu)建的識(shí)別模型，在識(shí)別精度以及訓(xùn)練時(shí)間方面都存在巨大差異。對(duì)比模型Ⅰ、模型Ⅱ可知，采用標(biāo)準(zhǔn)的SVM算法對(duì)數(shù)據(jù)進(jìn)行處理時(shí)雖然可以提高識(shí)別精度，但是由于需要求解二次規(guī)劃問題從而大幅增加模型訓(xùn)練時(shí)間，如果在樣本數(shù)量巨大的情況下，時(shí)間成本將十分巨大。而本文所提方法雖然在識(shí)別精度上跟標(biāo)準(zhǔn)的SVM算法略有差別，但是在模型訓(xùn)練時(shí)間上有顯著優(yōu)勢(shì)。對(duì)比模型Ⅲ、模型Ⅳ可知，采用傳統(tǒng)PCA特征和圖形特征對(duì)分類器進(jìn)行訓(xùn)練可以通過減少訓(xùn)練樣本輸入的維數(shù)有效降低模型訓(xùn)練時(shí)間，但是識(shí)別精度跟本文所提方法有著較大差異。由于本文提出的基于MPCA-LSSVM識(shí)別模型，可以根據(jù)不同的分類器特點(diǎn)，通過選擇有效的主元特征對(duì)LSSVM分類器進(jìn)行訓(xùn)練，LSSVM算法又可以快速求解，因此，較其他傳統(tǒng)識(shí)別模型不僅提高分類器的識(shí)別精度，而且大幅降低訓(xùn)練時(shí)間。仿真實(shí)驗(yàn)表明基于MPCA-LSSVM識(shí)別模型對(duì)生產(chǎn)制造過程的質(zhì)量異常模式識(shí)別更加有效。

3 應(yīng)用實(shí)例

在注塑件成型生產(chǎn)過程中，采用螺桿式注塑成型技術(shù)進(jìn)行加注，其中模具溫度是影響注塑件質(zhì)量的關(guān)鍵質(zhì)量特性。采用本文所提識(shí)別方法對(duì)模具底部溫度的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)流進(jìn)行監(jiān)控，尋找注塑生產(chǎn)過程的質(zhì)量異常波動(dòng)問題。設(shè)定滑動(dòng)取值窗口的以長度為50個(gè)數(shù)據(jù)點(diǎn)，對(duì)窗口內(nèi)的實(shí)測(cè)數(shù)據(jù)點(diǎn)進(jìn)行特征提取和識(shí)別計(jì)算。圖4是模具外表面溫度實(shí)時(shí)測(cè)量值，當(dāng)窗口滑動(dòng)到第52個(gè)觀測(cè)值時(shí)，識(shí)別模型報(bào)警提示注塑過程發(fā)生了上升趨勢(shì)。經(jīng)檢查發(fā)現(xiàn)，由于模具外降溫槽水位過低，未能夠及時(shí)添水，造成模具降溫不及時(shí)。識(shí)別模型的識(shí)別結(jié)果與實(shí)際生產(chǎn)過程發(fā)生異常的位置基本一致。因此，本文所提基于MPC-LSSVM的識(shí)別模型能夠?qū)?shí)際生產(chǎn)過程進(jìn)行有效識(shí)別和監(jiān)控。

圖4 注塑生產(chǎn)過程模具外表面溫度實(shí)時(shí)測(cè)量值

4 結(jié)束語

本文將PCA特征提取方法進(jìn)行優(yōu)化并與LSSVM分類器算法進(jìn)行有效結(jié)合，提出了基于MPCA-LSSVM的生產(chǎn)制造過程質(zhì)量異常監(jiān)控模型，通過與其他傳統(tǒng)模型的仿真實(shí)驗(yàn)結(jié)果對(duì)比分析表明：利用PCA方法進(jìn)行特征提取時(shí)，雖然可以降低樣本維數(shù)，增強(qiáng)聚類效果，但是提取的主元特征信息需要根據(jù)樣本數(shù)據(jù)的特征分布進(jìn)行選擇。針對(duì)不同的數(shù)據(jù)分布特征，選擇相適應(yīng)的閾值，不僅能夠提高訓(xùn)練效率，而且能夠增強(qiáng)聚類效果。將MPCA方法與LSSVM相結(jié)合對(duì)生產(chǎn)制造過程進(jìn)行異常模式監(jiān)控，可以對(duì)具有高噪聲、非線性的觀測(cè)數(shù)據(jù)進(jìn)行有效監(jiān)控。