基于在線支持向量機的電子鼻模式識別算法

·信息科學·

基于在線支持向量機的電子鼻模式識別算法

余煒1,2,萬代立1, 周婭1,楊喜敬1

(1.昆明理工大學 信息工程與自動化學院, 云南 昆明650500; 2.成都工業(yè)學院 電氣與電子工程系, 四川 成都611730)

摘要：針對現(xiàn)有電子鼻系統(tǒng)訓練誤差大、運行速度慢等特點,提出了一種新的基于在線支持向量機(Online-SVM)的電子鼻系統(tǒng)模式識別方法。該方法使用CH4氣體與傳感器陣列響應的值作為輸入數(shù)據,經在線支持向量機算法進行模式識別,對CH4氣體的濃度進行預測和分類。與期望結果對比,新方法的平均誤差降低為5.3%,運行時間降為0.199 4s,表明基于在線支持向量機的電子鼻系統(tǒng)模式識別方法能有效提高電子鼻系統(tǒng)識別的精度和速度。

關鍵詞：電子鼻;在線支持向量機;模式識別;預測;損失函數(shù)

收稿日期：2013-10-12

基金項目：四川省教育廳重點項目資助(14ZA0286)；四川省應用基礎研究計劃資助項目(2013SZZO)；云南省應用基礎研究計劃基金資助項目(2011FZ037)

作者簡介：余煒，男，重慶人，博士，副教授，從事通信與信號處理、智能信息處理研究。

中圖分類號：TN911.6

A pattern recognition method for electronic nose based

on online support vector machine

YU Wei12, WAN Dai-li1, ZHOU Ya1, YANG Xi-jing1

(1.Faculty of Information Engineering and Automation, Kunming University of Science and Technology,

Kunming 650500, China; 2.Department of Electrical and Electronic Engineering,

Chengdu Technological University, Chengdu 611730， China)

Abstract:A new online support vector machine (online-SVM) method was presented as the electronic nose system pattern recognition algorithm in the paper to solve the problems of big training error and low execution speed which exist in current electronic nose systems. In the paper, the response values from CH4 gas sensor array was the input data, and online support vector machine algorithm was used as the pattern recognition algorithm to predict and classify the concentration of CH4 gas to obtain predictions. Compared with the expected results, the average error of the proposed algorithm was lowered to about 5.3%, and the operating time was reduced to 0.199 4s, which showed that the new algorithm based on online-SVM could improve the discrimination accuracy and execution speed of the electronic nose systems.

Key words: electronic nose; online support vector machine; pattern recognition; forecasting; loss function

人工嗅覺系統(tǒng)俗稱電子鼻[1],電子鼻系統(tǒng)的研究始于20世紀80年代[2],它具有仿生科學的痕跡,作為一種仿生學器件,電子鼻系統(tǒng)的工作原理與人鼻嗅覺形成過程類似。目前,電子鼻系統(tǒng)已經廣泛應用到食品工業(yè)、環(huán)境監(jiān)測、質量控制、醫(yī)療事業(yè)等各個領域。一個簡單的電子鼻系統(tǒng)主要由氣體傳感器陣列及相應的模式識別算法構成。

在電子鼻系統(tǒng)中模式識別算法占有舉足輕重的地位,目前應用最為廣泛的模式識別算法主要有以下兩類:一類是建立在統(tǒng)計理論上的線性分類方法,包括:K-近鄰法(K-NN)、聚類算法(CA)、主成分分析法(PCA)、判別分析(DA);另外一類基于神經網絡,包括:概率神經網絡(PNN)、反向傳播人工神經網絡(BP-ANN)、學習向量量化(LVQ)及自組織映射(SOM)等。前者算法模型較為簡單,無需訓練,但抗干擾能力較差,比較適合于環(huán)境變化不大的場合;后者具有較強的抗干擾能力,但網絡訓練過程中花費的時間遠大于運算的時間,另外還存在一些局限性:如PNN對內存容量的需求大,神經網絡算法容易產生過學習,陷入局部最小化,LVQ訓練速度較慢等[3-4]。

一種優(yōu)秀的模式識別算法應具備以下6個特征[5-8]:①高精度;②運算速度快;③抗干擾能力強;④存儲空間小;⑤易于訓練;⑥能對不確定性進行估計。目前還沒有一種算法能滿足以上所有特征,只能綜合考慮選擇一種較優(yōu)的算法。在線支持向量機Online-SVM(online support vector machine)具有以下兩方面的優(yōu)點,一是占用存儲空間少,無須對全部的歷史數(shù)據進行保存;二是訓練過程中充分利用歷史訓練結果,顯著地減少了后續(xù)訓練時間[9]。在線支持向量機不但能克服神經網絡的缺點,而且還使整個系統(tǒng)的運算速度得以提高?；谝陨系膬?yōu)點，本文提出了在線支持向量機算法作為電子鼻系統(tǒng)中模式識別的方法。

1在線支持向量機的原理

從統(tǒng)計學理論角度出發(fā),支持向量機函數(shù)回歸[10]可表示為:對于給定的訓練樣本集為{(xi,yi),i=1,2，…,l},其中,xi∈Rd為輸入值,yi∈R為對應的目標值,l為樣本數(shù),在特征空間F,構建一個線性回歸函數(shù):f(x)=wφ(x)+b,其中:φ:Rx→Fw∈F;使得函數(shù)y和f之間的距離為:R(y,f)=∫L(y,f)dx最小,L()是損失函數(shù)(Lossfunction)。根據結構風險最小化準則，定義損失函數(shù)為

L(xi,yi)=

用于函數(shù)逼近的支持向量機為

(1)

(2)

(3)

將式(3)代入式(2)得到對偶優(yōu)化問題

(4)

(5)

W的一階條件為

(6)

-gi+2ε，

(7)

(8)

W的一階條件引出KKT[9]條件,因此將訓練集X中的樣本分為

E:誤差支持向量集；

S:邊界支持向量集；

R:剩余支持向量集。

一個向量只允許從當前集合移動到相鄰集合。圖1所示為各集合間的幾何解釋,下圖為向量可能的移動方向。

圖1　各集合間的幾何關系 Fig.1　The relationships of sets

算法具體流程為[11]:增加新向量(xc,yc),

1) 令θc=0;

③ 集合S，E，E*和R中的樣本轉移,更新矩陣γ。

4)X=X∪{(xc,yc)},算法結束。

2基于在線支持向量機電子鼻數(shù)據分析

2.1氣體定量分析

混合氣體進入電子鼻系統(tǒng)后,對氣體進行定性分析,識別出氣體的類別,之后對氣體進行濃度的定量分析。在該系統(tǒng)中定量分析對象是CH4。氣體測量范圍從200×10-6到6 000×10-6,每增加200×10-6測量一次各個傳感器的響應值,共有30組數(shù)據。數(shù)據來源為文獻[12]。

2.2算法及步驟

步驟1定性分析,確認出CH4氣體；

步驟2建立訓練模型。采用在線支持向量機算法得到訓練模型；

步驟3結果預測。使用步驟2中的模型對步驟1中的確定出氣體濃度進行預測,輸出結果。

2.3實驗結果分析

系統(tǒng)中采用在線支持向量機對CH4氣體定量分析,傳感器共有6只,每組數(shù)據為30組,共采集到180組數(shù)據。Online-SVM性能的好壞與懲罰因子C及核函數(shù)、不敏感系數(shù)ε及其寬度系數(shù)等參數(shù)的選擇密切相關。實驗中選取合適的參數(shù)能使在線支持向量機的誤判率降低。經過實驗分析,選取懲罰因子為10,不敏感系數(shù)為0.001,通過選取線性核函數(shù)和高斯基核函數(shù)為核函數(shù)的online-SVM對CH4氣體的定量分析實驗結果對比如表1所示。

表1兩種核函數(shù)結果比較

Tab.1The comparison result of two kinds of kernel function

%

表2　CH 4氣體定量分析結果

通過表1的分析可以得到,采用線性核函數(shù)運行時間較長,定量分析平均誤差和最大誤差較差。鑒于表1采用高斯基核函數(shù)為系統(tǒng)的核函數(shù)性能較優(yōu)。采用高斯基核函數(shù)為核函數(shù)對CH4氣體濃度進行定量分析,結果如表2。

3結語

本文針對電子鼻系統(tǒng)數(shù)據的高維特點及實時性特點,提出了在線支持向量作為電子鼻系統(tǒng)的模式識別算法,與傳統(tǒng)電子鼻模式識別算法相比,該算法不僅占用較少內存資源,具有更快的運行速度,而且使用更少的支持向量,對數(shù)據定量分析誤差更小;通過實例證明了該算法易于訓練并且能對不確定性進行相對準確的估計。通過傳感器陣列與在線支持向量機作為模式識別的電子鼻系統(tǒng)性能較好,在改進現(xiàn)有商用電子鼻系統(tǒng)具有一定的參考價值。

參考文獻：

[1]金翠云,崔瑤,王穎.基于核PCA與SVM相結合的電子鼻模式識別算法研究[J]. 北京化工大學學報,2012,39(2):106-109.

[2]GARDNER J W, BARTLETT N.A briefhistory ofelectronic nose[J].Sensors and Actuators B，1994,18-19：211-220.

[3]耿志廣,王希武,王寅龍,等.基于人工神經網絡的電子鼻對混合氣體檢測研究[J].現(xiàn)代計算機,2010(5):45-48.

[4]范超群,張順平,占瓊, 等.特征提取及其在電子鼻對可燃液體識別中的應用[J].傳感器與微系統(tǒng),2007,26(8):108-110.

[5]張覃軼,謝長生,陽浩,等.電子鼻模式識別方法的比較研究[J].傳感技術學報,2005,18(3):576-579.

[6]MANUELE B,GINO T,GIAMPIETRO T, et al. A comparative analysis of basic pattern recognition techniques for the development of small size electronic nose[J].Sensors and Actuators B,2002,85:137-144.

[7]GETINO J, HORRILLO M C, GUTIKRREZ J, et al. Analysis of VOCs with a tin oxide sensor array[J]. Sensors and Actuators B,1997,43:200-205.

[8]ALEIXANDRE M, SAYAGO I, HORRILLO M C, et al. Analysis of neural networks and analysis of feature selection with genetic algorithm to discriminate among pollutant gas[J].Sensors and Actuators B, 2004, 103: 122-128.

[9]孔鳳.傳送帶給料生產加工站的神經元在線優(yōu)化算法[D]. 合肥:合肥工業(yè)大學,2010.

[10]VAPNIK V. The nature of statistical learning theory [M]. NewYork:Springer,1999.

[11]MA Jun-shui,THEILER J,PERKINS S. Accurate on-line support vector regression[J].Neural Computation,2003,15(11)：2683-2703.

[12]石春燕.基于人工神經網絡的多氣體分析系統(tǒng)研究與設計[D]. 吉林:吉林大學，2004.

(編輯曹大剛)