一種過程支持向量機模型及其若干理論性質(zhì)

許少華， 龐躍武， 王 兵

( 東北石油大學 計算機與信息技術(shù)學院，黑龍江 大慶 163318 )

0 引言

支持向量機(Support Vector Machines，簡稱SVM)是一種建立在統(tǒng)計學習理論結(jié)構(gòu)風險最小化原則上的模式分類方法[1-2]，具有數(shù)學理論完備、算法復雜度與特征空間維數(shù)無關(guān)、易于實際應(yīng)用等優(yōu)點，在很多領(lǐng)域獲得成功應(yīng)用[3-7].在科學研究和工程領(lǐng)域中，存在大量時變信號的模式分類與識別問題，如抽油機井動態(tài)平衡狀況診斷[8]、地震信號實時監(jiān)測與辨識[9]、運動圖像特征分析[10]等.在SVM模型中，系統(tǒng)的輸入一般為與時間無關(guān)的常量，即輸入/輸出之間是幾何點式的對應(yīng)關(guān)系，從信息處理機制上無法反映時變輸入信號的過程特征和輸入過程中的累積效應(yīng)[11-12]，難以直接分類判別時變信號.

筆者將SVM的分類機制擴展至時域空間，提出一種過程支持向量機(Process Support Vector Machines，簡稱PSVM)模型.PSVM的輸入為時變過程信號，通過核函數(shù)變換將動態(tài)模式映射到高維特征空間，經(jīng)過學習訓練集中函數(shù)樣本的類別特性，自適應(yīng)提取動態(tài)模式的過程特征，實現(xiàn)對動態(tài)模式的判別；給出PSVM的一般模型，證明PSVM與單隱層前饋過程神經(jīng)元網(wǎng)絡(luò)[13]的二分類能力等價；將復雜的動態(tài)模式集合非線性地映射到高維特征空間，提高動態(tài)模式的可分性；非時變SVM是PSVM的一種特例等理論問題.PSVM放寬傳統(tǒng)SVM模型對輸入的同步瞬時限制，拓寬支持向量機的應(yīng)用領(lǐng)域.

圖1 PSVM模型

1 PSVM模型

PSVM的輸入為時變過程信號，輸出為模式類別，其結(jié)構(gòu)由時變信號輸入層、核函數(shù)變換層和輸出層組成(見圖1).其中：xi(t)為時變輸入信號，x(t)=(x1(t),x2(t),…,xn(t))∈(C[0,T])n,[0,T]為信號輸入過程區(qū)間；Xj(t)為過程支持向量，Xj(t)∈(C[0,T])n(j=1,2,…,m)；K(·,·)為PSVM的核函數(shù)；αj(j=1,2,…,m)為隱層節(jié)點到輸出節(jié)點的連接權(quán)；d(X(t))為PSVM的輸出.

PSVM模型的動態(tài)模式分類規(guī)則為

(1)

由圖1中PSVM的輸入、輸出之間的動態(tài)信號變換關(guān)系，構(gòu)建3種過程核函數(shù).

(1)多項式核函數(shù)：

(2)

式中：(Y(t))T為函數(shù)向量Y(t)的轉(zhuǎn)置，Y(t)∈(C[0,T])n.

(2)徑向基核函數(shù)：

(3)

式中：‖·‖為函數(shù)空間(C[0,T])n中的范數(shù)；σ為均方差參數(shù).

(3)兩層過程感知機核函數(shù)：

(4)

式中：βj為性質(zhì)參數(shù).

2 PSVM性質(zhì)

PSVM的性質(zhì)是其對動態(tài)模式分類問題應(yīng)用有效性的基礎(chǔ).

定理1PSVM與單隱層前饋過程神經(jīng)元網(wǎng)絡(luò)的二分類能力等價.

證明由PSVM構(gòu)建1個單隱層前饋過程神經(jīng)元網(wǎng)絡(luò)(Process Neural Network，簡稱PNN)，該PNN可與PSVM實現(xiàn)相同的動態(tài)模式二分類.

(1)定義1個結(jié)構(gòu)為n-m-1的PNN.設(shè)該PNN的輸入層有n個時變函數(shù)輸入節(jié)點，隱層有m個過程神經(jīng)元節(jié)點，其激勵函數(shù)為PSVM的核函數(shù)Kj，時空聚合運算[1,14]由過程支持向量機的核函數(shù)變換確定；輸出層為1個非時變神經(jīng)元，該神經(jīng)元與PSVM輸出節(jié)點的信息變換機制相同.輸入層節(jié)點到隱層各節(jié)點的連接權(quán)設(shè)為1，隱層各節(jié)點到輸出節(jié)點的連接權(quán)為αj(j=1,2,…,m).顯然，所構(gòu)建的PNN與PSVM具有相同的信息處理機制，可實現(xiàn)對時變函數(shù)樣本集S相同的二分類.

(2)設(shè)PNN為由n個輸入節(jié)點、m個過程神經(jīng)元隱層節(jié)點和1個非時變神經(jīng)元輸出節(jié)點組成的多輸入單輸出系統(tǒng)，二分類訓練樣本集為S.PNN隱層m個過程神經(jīng)元節(jié)點對應(yīng)的激勵函數(shù)為Kj(j=1,2,…,m).當m>n時，K=(K1,K2,…,Km)將S中的樣本映射到高維特征空間.設(shè)PNN輸入層節(jié)點與過程神經(jīng)元隱層節(jié)點的連接權(quán)為wij(t)(i=1,2,…,n;j=1,2,…,m)，隱層各節(jié)點到輸出節(jié)點的連接權(quán)為αj(j=1,2,…,m).定義PSVM的核函數(shù)變換為過程神經(jīng)元在過程區(qū)間[0,T]上的時空加權(quán)聚合運算的激勵輸出，過程支持向量取為Wj(t)=(w1j(t),w2j(t),…,wnj(t))(j=1,2,…,m)，輸出單元為PNN的輸出神經(jīng)元，輸入層節(jié)點到核函數(shù)變換層各節(jié)點的連接權(quán)為1，核函數(shù)變換層各節(jié)點到輸出層節(jié)點的連接權(quán)為αj(j=1,2,…,m)，則定義一個結(jié)構(gòu)為n-m-1的PSVM(見圖1)，且該PSVM與PNN關(guān)于訓練樣本集S具有相同的二分性.

單隱層前饋過程神經(jīng)元網(wǎng)絡(luò)具有連續(xù)性，以及對滿足Lipschitz條件泛函和連續(xù)泛函的可逼近能力[14-15]，因此PSVM對復雜動態(tài)模式具有很強的分類能力.

定理2傳統(tǒng)支持向量機是過程支持向量機的一種特例.

證明在過程支持向量機模型中(見圖1)，令系統(tǒng)輸入為與時間無關(guān)的常量，即X(t)=(x1,x2,…,xn)∈Rn.此時系統(tǒng)輸入由時變函數(shù)變?yōu)榉菚r變數(shù)值(或數(shù)值向量).將過程核函數(shù)替換為非時變核函數(shù)，即取核函數(shù)K(X(t),Xj(t))=K(X,Xj)，則PSVM模型簡化為一般SVM模型.

定理3將復雜的動態(tài)模式集合非線性地映射到高維特征空間，提高動態(tài)模式的可分性.

證明設(shè)S為包含N個時變模式向量Xi(t)(i=1,2,…,N)的集合，其中Xi(t)∈(C[0,T])n，且Xi(t)屬于2個模式類χ1和χ2之一.若存在非線性函數(shù)K(X(t))=(K1(X(t)),K2(X(t)),…,Km(X(t)))，可將S中的點一一映射到1個新的m維特征空間(m>n)，記映射點的全體為H(H為由泛函K生成的集合S的特征空間).H中的點表示為

K(Xi(t))={K1(Xi(t)),K2(Xi(t)),…,Km(Xi(t))},Xi(t)∈S,i=1,2,…,N.

(5)

如果存在一個m維向量ω，使得

(6)

則稱1個關(guān)于S的二分{χ1,χ2}是φ可分的.其中，由方程K(X(t))·ω=0定義的超平面描述特征空間H中2類樣本的分離曲面.

從概率角度分析，1個動態(tài)模式集合的二分問題可被看作是1個依賴于所選擇的分類原則，以及樣本函數(shù)空間中動態(tài)模式分布的隨機事件.假設(shè)動態(tài)模式向量X(t)=(X1(t),X2(t),…,XN(t))，根據(jù)動態(tài)系統(tǒng)的概率特性獨立選取，同時所有關(guān)于S的二分為等可能.令P(N,m)表示某一隨機選取的二分是K可分的概率，則根據(jù)Cover定理[16]，P(N,m)表示為

(7)

式(7)表明特征空間H的維數(shù)m越高，則概率P(N,m)越趨向于1.這證明,通過將復雜的動態(tài)模式分類問題非線性地映射到高維數(shù)特征空間，比在低維數(shù)特征空間中更可能使模式可分.

3 結(jié)束語

針對時變信號的分類問題，建立一種過程支持向量機PSVM模型，對其分類能力、模式可分性、傳統(tǒng)SVM是PSVM的一種特例等性質(zhì)進行證明.PSVM將傳統(tǒng)SVM的信息處理域擴展為時變空間，可直接將時變過程信號作為SVM模型的輸入，簡化傳統(tǒng)動態(tài)分類方法需要預(yù)先提取時變信號形態(tài)特征的過程，擴大SVM的應(yīng)用領(lǐng)域，對于時變對象的模式分類等問題的解決具有重要意義.