基于主元分析的SVM動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別

劉玉敏，張 帥

LIU Yu-min, ZHANG Shuai

(鄭州大學(xué) 商學(xué)院，鄭州 450001)

0 引言

現(xiàn)代工業(yè)不斷向復(fù)雜化和連續(xù)化方向發(fā)展，自動(dòng)化生產(chǎn)及加工過(guò)程會(huì)產(chǎn)生大量的實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)。隨著信息技術(shù)的進(jìn)步，對(duì)動(dòng)態(tài)數(shù)據(jù)實(shí)時(shí)采集進(jìn)而實(shí)現(xiàn)質(zhì)量監(jiān)控已成為可能。以控制圖為代表的傳統(tǒng)質(zhì)量監(jiān)控方法在對(duì)動(dòng)態(tài)過(guò)程監(jiān)控中無(wú)法有效利用實(shí)時(shí)數(shù)據(jù)，因此，基于人工智能的動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別方法引起了愈來(lái)愈多學(xué)者的關(guān)注。而如何有效地提高智能監(jiān)控的識(shí)別精度以及減少模型計(jì)算復(fù)雜度是動(dòng)態(tài)過(guò)程質(zhì)量診斷的核心問(wèn)題[1,2]。

目前，國(guó)內(nèi)外學(xué)者對(duì)動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別的研究主要集中在基于特征提取和分類器優(yōu)化兩個(gè)方面[3～7]。在特征提取方面，很多學(xué)者使用數(shù)據(jù)的原始特征對(duì)異常模式進(jìn)行識(shí)別和診斷，但是由于數(shù)據(jù)中往往包含大量噪聲，使用原始數(shù)據(jù)并不能取得很好的識(shí)別效果。Susanta等人提出了用9種幾何圖形特征的提取方法對(duì)原始樣本數(shù)據(jù)進(jìn)行特征提取，取得了不錯(cuò)的識(shí)別效果[8]。Vahid等利用小波特征和統(tǒng)計(jì)特征結(jié)合作為分類器的輸入，對(duì)控制圖模式進(jìn)行識(shí)別[6]。在分類器優(yōu)化方面，學(xué)者們嘗試著將SVM算法與其他方法相結(jié)合來(lái)實(shí)現(xiàn)對(duì)生產(chǎn)動(dòng)態(tài)過(guò)程的質(zhì)量異常模式識(shí)別[7,9,10]。肖應(yīng)旺提出一種多支持向量機(jī)的方法，對(duì)生產(chǎn)過(guò)程進(jìn)行監(jiān)控和診斷[7]。蔣少華等構(gòu)建了基于四個(gè)高斯核函數(shù)支持向量機(jī)的MSVM識(shí)別模型，用于識(shí)別鼓風(fēng)爐冶煉過(guò)程的質(zhì)量異常模式[11]。吳常坤等通過(guò)多支持向量機(jī)的異常模式識(shí)別框架，分別對(duì)趨勢(shì)、階躍、趨勢(shì)階躍混合和周期等控制圖異常模式進(jìn)行識(shí)別[12]。

綜上所述，雖然現(xiàn)有特征提取方法可以在一定程度上提高識(shí)別效率，但是未能考慮到動(dòng)態(tài)數(shù)據(jù)的實(shí)際特點(diǎn)，提取、識(shí)別過(guò)程中耗時(shí)較多，不能滿足對(duì)動(dòng)態(tài)過(guò)程的實(shí)時(shí)監(jiān)控。在分類器優(yōu)化中，由于SVM的核函數(shù)及其參數(shù)對(duì)識(shí)別效果有著較大影響，對(duì)于SVM參數(shù)的選取仍沒(méi)有權(quán)威的方法，所以當(dāng)前分類器很難在實(shí)際生產(chǎn)過(guò)程中得到廣泛的推廣和應(yīng)用。因此，本文提出了一種基于主元分析的SVM質(zhì)量異常模式識(shí)別模型。首先運(yùn)用主元分析對(duì)原始數(shù)據(jù)進(jìn)行特征提取，繼而，采用PSO算法對(duì)SVM分類器參數(shù)進(jìn)行全局尋優(yōu)，接著，采用優(yōu)化后的SVM分類器對(duì)生產(chǎn)過(guò)程的質(zhì)量異常模式進(jìn)行識(shí)別。最后，通過(guò)仿真實(shí)驗(yàn)對(duì)模型加以驗(yàn)證，并與其它識(shí)別模型進(jìn)行識(shí)別精度的對(duì)比。

1 動(dòng)態(tài)過(guò)程質(zhì)量異常模式

在連續(xù)生產(chǎn)加工的動(dòng)態(tài)過(guò)程中，由于受到諸多因素的交互影響，基本的質(zhì)量異常模式主要有以下六種，分別為正常模式（NOR）、向上趨勢(shì)模式（IT）、向下趨勢(shì)模式（DT）、向上階躍模式（US）、向下階躍模式（DS）和周期模式（CC）。具體表現(xiàn)形式如圖1所示。

圖1 質(zhì)量異常模式

圖1（a）為正常模式，其主要表現(xiàn)形式為質(zhì)量特性值在設(shè)計(jì)均值附近隨機(jī)波動(dòng)。圖1（b）為周期模式，其表現(xiàn)為質(zhì)量特性值以一定周期進(jìn)行波動(dòng)，通常加工部件松動(dòng)或者電控設(shè)備電壓不穩(wěn)定會(huì)造成這種模式地出現(xiàn)。當(dāng)質(zhì)量特性值隨時(shí)間地推移出現(xiàn)逐漸上升或者下降的現(xiàn)象時(shí)，動(dòng)態(tài)過(guò)程被認(rèn)為處于向上趨勢(shì)或向下趨勢(shì)模式如圖1（c）、（d）中所示，通常由于設(shè)備老化造成這類模式。階躍模式則表現(xiàn)為在某一時(shí)刻質(zhì)量特性值突然出現(xiàn)大幅上升或者下降如圖1（e）、（f）中所示，通常由更換部件等因素造成。動(dòng)態(tài)過(guò)程只有在正常模式下才可以使生產(chǎn)成本達(dá)到最小化，其他五種質(zhì)量異常模式都會(huì)造成動(dòng)態(tài)過(guò)程的異常波動(dòng)，引起生產(chǎn)成本的增加。

上述六種模式基本代表了動(dòng)態(tài)過(guò)程的異常情況，通常被作為異常模式研究的對(duì)象。因此，對(duì)動(dòng)態(tài)過(guò)程的質(zhì)量異常模式識(shí)別與診斷能夠?qū)崟r(shí)監(jiān)控生產(chǎn)過(guò)程，及時(shí)發(fā)現(xiàn)異常因素，減少異常波動(dòng)對(duì)生產(chǎn)的影響，從而減少生產(chǎn)成本，提高生產(chǎn)效率。

2 基于PCA的SVM動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別模型

在進(jìn)行動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別時(shí)，通常需要對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理，以消除樣本數(shù)據(jù)中存在的大量噪聲，提高識(shí)別精度；接著選用合適的分類器優(yōu)化方法，對(duì)分類器的結(jié)構(gòu)、參數(shù)進(jìn)行優(yōu)化；最后，提出質(zhì)量異常模式識(shí)別的方法。本文首先運(yùn)用主元分析方法對(duì)樣本數(shù)據(jù)進(jìn)行特征提取，將數(shù)據(jù)特征進(jìn)行降維、去噪處理；接著，利用PSO算法對(duì)支持向量機(jī)的參數(shù)進(jìn)行全局優(yōu)化，得到五個(gè)基于PSO算法的SVM分類器；最后，提出一種基于PCA的SVM動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別方法。

2.1 基于PCA的數(shù)據(jù)特征提取

圖2 原始樣本數(shù)據(jù)投影

在生產(chǎn)過(guò)程中，質(zhì)量特性值之間無(wú)法避免地會(huì)存在較大的相關(guān)性，這導(dǎo)致樣本數(shù)據(jù)特征被反復(fù)使用[13]。運(yùn)用PCA方法對(duì)樣本數(shù)據(jù)進(jìn)行特征提取，可以極大地消除原始樣本數(shù)據(jù)中存在的多重共線性，有效地去除了數(shù)據(jù)中的冗余信息和噪聲。主成分分析的基本思路是借助一個(gè)正交變換，將分量相關(guān)的原隨機(jī)變量轉(zhuǎn)換成分量不相關(guān)的新變量。從幾何角度，將原變量系統(tǒng)變換成新的正交系統(tǒng)，使之指向樣本點(diǎn)散布最開(kāi)的正交方向，進(jìn)而對(duì)多維變量系統(tǒng)進(jìn)行降維和去噪處理[13]。

本文將原始數(shù)據(jù)進(jìn)行PCA特征提取前后數(shù)據(jù)分布情況進(jìn)行對(duì)比，由于版面原因，不能將所有數(shù)據(jù)特征分布展示，所以只是有選擇地將原始樣本數(shù)據(jù)的第1、30、55維原始特征進(jìn)行投影和特征提取后的第一、二、三主元特征的投影進(jìn)行說(shuō)明。如圖2所示，未進(jìn)行PCA特征提取時(shí)的原始樣本數(shù)據(jù)中，六種基本模式的投影相互重疊，難以區(qū)分。

然而，通過(guò)對(duì)原始樣本數(shù)據(jù)進(jìn)行PCA特征提取，我們可以從圖3中發(fā)現(xiàn)，樣本數(shù)據(jù)在第一主元和第二主元建立的特征空間上的投影能夠明顯地區(qū)分周期模式和趨勢(shì)模式，但是正常模式和階躍模式還有部分重疊。我們引入第三主元進(jìn)行投影發(fā)現(xiàn)向上趨勢(shì)模式、向下趨勢(shì)模式、向上階躍模式和向下階躍模式已經(jīng)完全區(qū)分開(kāi)，沒(méi)有重疊。由此可知，對(duì)原始樣本數(shù)據(jù)進(jìn)行PCA預(yù)處理后，不僅降低了數(shù)據(jù)維數(shù)，減少模型復(fù)雜程度，而且還將原始樣本數(shù)據(jù)的特征突出出來(lái)，為后續(xù)的分類器分類創(chuàng)造了良好的條件。

2.2 基于SVM的分類器設(shè)計(jì)

SVM是一種能夠有效解決針對(duì)小樣本數(shù)據(jù)的分類器。支持向量機(jī)的核心思想是通過(guò)建立線性的超平面來(lái)解決線性可分問(wèn)題。在線性可分的情況下，利用Lagrnage乘子法可以將尋求最優(yōu)分類面轉(zhuǎn)化為其對(duì)偶問(wèn)題，求解該問(wèn)題可得到最優(yōu)分類函數(shù)：

針對(duì)生產(chǎn)動(dòng)態(tài)過(guò)程質(zhì)量異常模式所涉及的非線性問(wèn)題，通過(guò)引入核函數(shù)，將樣本數(shù)據(jù)映射到高維特征空間，使原本線性不可分的問(wèn)題 ，在高維特征空間轉(zhuǎn)化為線性可分的問(wèn)題，這樣就可以對(duì)其進(jìn)行分類[14]。核函數(shù)k(xi, x)的引入，可得到SVM的分類函數(shù)為：

根據(jù)其他一些學(xué)者的研究發(fā)現(xiàn)，用支持向量機(jī)做分類時(shí)，最大的問(wèn)題就是如何選取模型的參數(shù)[15]。在進(jìn)行模式識(shí)別時(shí)，一旦參數(shù)選取不合理，識(shí)別精度就會(huì)受到很大影響。所以，對(duì)SVM分類器進(jìn)行參數(shù)尋優(yōu)是在質(zhì)量異常模式識(shí)別的一個(gè)十分關(guān)鍵的步驟。由于粒子群算法無(wú)需編碼，操作實(shí)現(xiàn)比較簡(jiǎn)單，另外其收斂速度快，使得粒子群算法在優(yōu)化SVM參數(shù)方面得到了廣泛應(yīng)用。本文在進(jìn)行SVM分類器參數(shù)尋優(yōu)時(shí)采用粒子群算法，以期能夠快速地找到合適的參數(shù)，幫助分類器提高其識(shí)別性能。

2.3 動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別流程

從支持向量機(jī)的識(shí)別原理上可以發(fā)現(xiàn)，SVM是專門用于解決二分類問(wèn)題的。然而，不考慮混合模式情況下，質(zhì)量異常模式就有6種基本模式，顯然屬于多分類問(wèn)題。用SVM來(lái)解決質(zhì)量異常模式識(shí)別時(shí)，就必須建立多個(gè)SVM分類器進(jìn)行分層次分階段識(shí)別。因此，本文將“一對(duì)一”和“一對(duì)多”分類方法結(jié)合起來(lái)，提出了一種新的識(shí)別方法，如圖4所示，其中SVM1-3為“一對(duì)多”分類器用于識(shí)別正常模式和周期模式；SVM4-5為“一對(duì)一”分類器用于識(shí)別上升趨勢(shì)模式和向下趨勢(shì)模式以及向上階躍模式和向下階躍模式。

圖3 特征數(shù)據(jù)投影

圖4 質(zhì)量異常模式識(shí)別模型

如圖4所示，本文動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別方法可以概括為如下三步：

首先，在進(jìn)行分類前，先對(duì)原始樣本數(shù)據(jù)進(jìn)行PCA預(yù)處理提取出來(lái)樣本數(shù)據(jù)的特征，將訓(xùn)練樣本和測(cè)試樣本的數(shù)據(jù)進(jìn)行降維，形成新的訓(xùn)練樣本和測(cè)試樣本作為分類器的輸入向量。

其次，通過(guò)分類器SVM1判斷樣本數(shù)據(jù)是否屬于正常模式（NOR）。當(dāng)分類器輸出為1是，表示該模式為正常。若分類器輸出為-1，利用SVM2分類器進(jìn)行識(shí)別。同樣地，當(dāng)分類器輸出為1時(shí)，判斷該模式為周期模式。

最后，用SVM3分類器識(shí)別趨勢(shì)模式和階躍模式。將識(shí)別出來(lái)的趨勢(shì)模式放入SVM4分類器進(jìn)行識(shí)別向上趨勢(shì)和向下趨勢(shì)模式；將識(shí)別出來(lái)的階躍模式放入SVM5分類器中識(shí)別向上階躍和向下階躍模式。

利用該識(shí)別方法，可以在第一次分類時(shí)檢驗(yàn)出樣本數(shù)據(jù)是否正常，這在實(shí)際生產(chǎn)過(guò)程中極大地提高了識(shí)別效率。不僅如此，生產(chǎn)動(dòng)態(tài)過(guò)程質(zhì)量模式主要集中于正常模式、周期模式、趨勢(shì)模式和階躍模式，本文針對(duì)這四種模式建立了三個(gè)“一對(duì)多”分類器就可以全部識(shí)別，對(duì)趨勢(shì)模式和階躍模式建立了兩個(gè)“一對(duì)一”分類器，這樣極大地避免了六種模式混在一起錯(cuò)分的情況，提高了識(shí)別精度。

3 仿真分析

本文通過(guò)Monte Carlo方法對(duì)動(dòng)態(tài)過(guò)程的質(zhì)量異常模式進(jìn)行仿真，并與其他識(shí)別方法的結(jié)果進(jìn)行對(duì)比，驗(yàn)證了所提出的方法的有效性。

3.1 實(shí)驗(yàn)設(shè)計(jì)

根據(jù)其他學(xué)者的研究經(jīng)驗(yàn)，采用Monte Carlo仿真方法來(lái)獲得生產(chǎn)動(dòng)態(tài)過(guò)程中的仿真數(shù)據(jù)，即：

其中，Y(t)為t時(shí)刻的動(dòng)態(tài)數(shù)據(jù)質(zhì)量特性值；μ為質(zhì)量特性的均值，為簡(jiǎn)化仿真實(shí)驗(yàn)，通常取為在t時(shí)刻下，由偶然因素造成的隨機(jī)干擾，通常為服從的高斯白噪聲；d(t)為異常因素干擾項(xiàng)。動(dòng)態(tài)數(shù)據(jù)的各種模式主要就是依靠d(t)的變化而形成的，模式數(shù)據(jù)如下表所示。

在進(jìn)行數(shù)據(jù)仿真的時(shí)候，利用上述公式對(duì)生產(chǎn)動(dòng)態(tài)過(guò)程的六種基本模式進(jìn)行仿真，每組數(shù)據(jù)均為60維（60個(gè)數(shù)據(jù)點(diǎn)），每種模式生成100組數(shù)據(jù)，共生成600組數(shù)據(jù)，總計(jì)仿真36000個(gè)質(zhì)量特性值。每種模式的前40組數(shù)據(jù)作為支持向量機(jī)的訓(xùn)練樣本，后60組數(shù)據(jù)作為測(cè)試樣本。質(zhì)量異常模式識(shí)別的基本規(guī)則就是分類器根據(jù)訓(xùn)練樣本的數(shù)據(jù)特征，總結(jié)和計(jì)算出分類的規(guī)律進(jìn)而建立一定的判斷規(guī)則，然后在遇到新的質(zhì)量特性值時(shí)，可以根據(jù)已經(jīng)建立的判斷規(guī)則對(duì)其進(jìn)行分類[11]。通過(guò)對(duì)生產(chǎn)動(dòng)態(tài)過(guò)程的樣本數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，選取高斯核為核函數(shù)時(shí)，六種模式的整體識(shí)別效果較高，因此仿真實(shí)驗(yàn)選取高斯核作為分類器的核函數(shù)。

表1 樣本數(shù)據(jù)仿真參數(shù)

表2 識(shí)別結(jié)果

3.2 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提出的基于主元分析的PSO-SVM識(shí)別模型的性能，分別采用SVM和PSO-SVM與本文提出的方法做對(duì)比，采用同樣的樣本數(shù)據(jù)進(jìn)行測(cè)試。得到的結(jié)果如表1所示。從表1可以看出，未經(jīng)PCA特征提取，直接用原始樣本數(shù)據(jù)進(jìn)行訓(xùn)練、分類時(shí)，是識(shí)別精度達(dá)到91.5%，對(duì)正常模式和周期模式的識(shí)別有很大誤差。采用PSO-SVM分類方法，整體識(shí)別精度有所提高，但是也很難發(fā)現(xiàn)有實(shí)質(zhì)性地提高。然而，利用本文所提出的方法，對(duì)正常模式的識(shí)別，識(shí)別精度從82.1%提升到98.3%,效果十分明顯。此外，利用所提出的識(shí)別方法可以使平均識(shí)別精度達(dá)到97.5%，識(shí)別結(jié)果要優(yōu)于其他常用的分類方法，特別是對(duì)趨勢(shì)模式的識(shí)別能夠達(dá)到100%，驗(yàn)證了本文提出的識(shí)別方法的有效性，為生產(chǎn)動(dòng)態(tài)過(guò)程的質(zhì)量異常模式識(shí)別提供了新的方法。

4 結(jié)論

動(dòng)態(tài)過(guò)程的質(zhì)量異常模式識(shí)別為生產(chǎn)自動(dòng)化過(guò)程在線監(jiān)控和診斷提供了必要支持，針對(duì)動(dòng)態(tài)過(guò)程的實(shí)際特點(diǎn)，提出了的一種基于主元分析的SVM質(zhì)量異常模式識(shí)別方法。該方法具有以下兩個(gè)特點(diǎn)，一是運(yùn)用PCA方法對(duì)原始樣本數(shù)據(jù)進(jìn)行降維處理，發(fā)揮了PCA特征提取的優(yōu)勢(shì)，消除了原始數(shù)據(jù)中包含的大量噪聲，避免了復(fù)雜的計(jì)算，簡(jiǎn)化了后續(xù)分類器識(shí)別的復(fù)雜性；二是利用PSO算法對(duì)SVM進(jìn)行參數(shù)尋優(yōu)，優(yōu)化后可極大提高分類器的性能，同時(shí)保證了分類器具有很好的泛化能力。仿真實(shí)驗(yàn)結(jié)果表明，這種動(dòng)態(tài)過(guò)程質(zhì)量異常模式識(shí)別方法是有效的，并通過(guò)與其他識(shí)別方法對(duì)比發(fā)現(xiàn)其具有較高的識(shí)別精度，為生產(chǎn)動(dòng)態(tài)過(guò)程實(shí)現(xiàn)在線監(jiān)控和診斷提供了一種新的思路。

[1]Shewhart M. Interpreting Statistical Process Control(SPC)Charts Using Machine Learning and Expert System Techniques[A].Aerospace and Electronics Conference[C].Processing of the IEEE1992 National,1992.

[2]Chen, N., Zhou,S.Delectability study for statistical monitoring of multivariate dynamic processes[J].IIE Transactions,2009, 41(7),593-604.

[3]Cheng C S. A Multi-layer Neural Network Model for Detecting Changes in the Process Mean[J].Computers&Industrial Engineering(S0360-8352),1995,28(1):51-61.

[4]Guh R S, Hsich Y C.A Neural Network Based Model for Abnormal Pattern Recognition of Control Charts[J].Computer & Industrial Engineering (S0360-8352),1999,36(1):97-108.

[5]Guh R S, Zorriassatine F.On Line Control Chart Pattern Detection and Discrimination—A Neural Network Approach[J].Arti fi cial Intelligence in Engineering(S0954-1810),1999,13(4):413-425.

[6]Vahid R, Reza G. Application of the PSO-SVM Model for Recognition of Control Chart Patterns[J].ISA Transactions,2010, 49:577-586.

[7]肖應(yīng)旺.基于小波變換核主元分析和多支持向量機(jī)的過(guò)程監(jiān)控[J].小型微型計(jì)算機(jī)系統(tǒng),2011,32(7):1348-1353.

[8]Susanta K, Shankar C. Feature-based recognition of control chart patterns[J].Computers & Industrial Engineering,2006,51(5):726-742.

[9]Wang C H, Kuo W. identi fi cation of control chart patterns using wavelet filtering and robust fuzzy clustering[J].Journal of Intelligent Manufacturing, 2007,18(3):343-350.

[10]Cherkassky V,Ma Y.Practical selection of SVM parameters and noise estimation for SVM regression [J]. Neural Networks,2004,17(1):113-126.

[11]蔣少華,桂衛(wèi)華,陽(yáng)春花,等.基于核主元分析與多支持向量機(jī)的監(jiān)控診斷方法及其應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐,2009,29(9):153-159.

[12]吳常坤,趙麗萍.基于小波分析和SVM的控制圖模式識(shí)別[J].中國(guó)機(jī)械工程,2010, 21(13):1572-1576.

[13]楊世元,吳德會(huì).基于PCA和SVM的控制圖失控模式智能識(shí)別方法[J].系統(tǒng)仿真學(xué)報(bào),2006,18(5):1314–1318.

[14]王萌, 孫樹(shù)棟. 基于相異度核空間的支持向量機(jī)算法[J].系統(tǒng)工程理論與實(shí)踐,2013,33(6):1596-1600.

[15]張敏,程文明.基于自適應(yīng)粒子群算法和支持向量機(jī)的控制圖模式識(shí)別[J].工業(yè)工程,2012,15(5):125-129.