最小二乘支持向量機(jī)的濃度讀數(shù)模型及實(shí)現(xiàn)

范昌勝，劉澤照，郭 強(qiáng)，陳新莊

(1.陜西工商職業(yè)學(xué)院工程與建筑學(xué)院，西安 710119；2.西北工業(yè)大學(xué)理學(xué)院應(yīng)用數(shù)學(xué)系，西安 710072)

近年來，隨著工業(yè)化和城市化水平的提高，工業(yè)和生活污水中通常含有可溶酸性硫化物質(zhì)。作為水污染控制工作中的基礎(chǔ)性工作，硫化物含量的檢測(cè)是水體環(huán)境監(jiān)測(cè)的一個(gè)重要指標(biāo)，其意義和作用也變得更加重要?，F(xiàn)代數(shù)碼照相技術(shù)的發(fā)展，使得采用儀器分析方法作為檢測(cè)手段，溶液色度量化表示成為可能。這不僅可以大大改觀以往以化學(xué)反應(yīng)為顯色原理的檢測(cè)方法，而且避免了出現(xiàn)顏色的主觀性判斷、背景光線的影響以及不能用于定量及實(shí)現(xiàn)分析自動(dòng)化等弊端。

根據(jù)朗伯-比耳定律(Beer-Lambert Law)可知，圖像比色分析方法的原理：有色溶液的顏色深度(即有色溶液的色度)并不是簡(jiǎn)單的正比例于溶液的濃度關(guān)系，有色溶液的濃度與紅(R)、綠(G)、藍(lán)(B)三個(gè)顏色值和色調(diào)(H)和飽和度(S)值之間更多情況下呈現(xiàn)的是復(fù)雜的非線性關(guān)系[1,2]。由于圖像色彩質(zhì)量由R值、G值、B值3個(gè)數(shù)值有極大關(guān)系，于是討論如何組合3個(gè)色彩值與濃度讀數(shù)之間關(guān)系，建立相應(yīng)的數(shù)學(xué)模型就顯得尤為重要?，F(xiàn)有文獻(xiàn)使用比色法預(yù)測(cè)濃度使用的方法主要有偏最小二乘法、曲線擬合、多元線性擬合和支持向量回歸等方法[3-5,13]。目前很多成熟的線性模型的數(shù)據(jù)擬合方法和理論，但對(duì)于實(shí)際問題的系統(tǒng)描述，這些方法往往會(huì)忽略數(shù)據(jù)本身固有的噪聲，非穩(wěn)定性和無序性等因素。支持向量機(jī)(Support Vector Machine, SVM)不僅在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，而且還可以克服局部最優(yōu)問題[6]。最小二乘支持向量機(jī)(Least squares support vector machines ，LS-SVM)是在標(biāo)準(zhǔn)支持向量機(jī)基礎(chǔ)上的擴(kuò)展，它在保留支持向量機(jī)優(yōu)秀特性的前提下，將支持向量機(jī)優(yōu)化模型中的損失函數(shù)設(shè)定為最小二乘損失函數(shù)，并將不等式約束轉(zhuǎn)化為等式約束．這樣最小二乘支持向量機(jī)就將支持向量機(jī)的二次尋優(yōu)問題轉(zhuǎn)化成線性方程組的求解，極大地降低了求解的復(fù)雜性[7]。當(dāng)前，最小二乘支持向量機(jī)方法比較成熟，被廣泛應(yīng)用于回歸預(yù)測(cè)模型中[8，9]。

本文對(duì)溶液中二氧化硫的比色法測(cè)濃度問題，建立對(duì)應(yīng)的濃度和讀數(shù)擬合模型，采用最小二乘支持向量機(jī)(LSSVM)算法進(jìn)行回歸預(yù)測(cè)，改進(jìn)圖像比色法測(cè)定有色溶液濃度。文中針對(duì)比色法測(cè)試溶液濃度的問題，對(duì)于已有的顏色和濃度關(guān)系，建立支持向量機(jī)回歸擬合模型，并用網(wǎng)格對(duì)其中所用參數(shù)進(jìn)行尋優(yōu)，通過實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了驗(yàn)證并簡(jiǎn)要說明了原理。當(dāng)前，最小二乘支持向量機(jī)的研究比較成熟，已經(jīng)形成了一套快速有效的實(shí)現(xiàn)算法。由于模型中有兩個(gè)預(yù)置參數(shù)，文中給出了用網(wǎng)格法尋找最優(yōu)參數(shù)的方法。同時(shí)對(duì)預(yù)測(cè)結(jié)果引入評(píng)價(jià)指標(biāo)，并對(duì)給定的數(shù)據(jù)進(jìn)行了實(shí)際驗(yàn)證，計(jì)算結(jié)果顯示，LSSVM擬合結(jié)果與真實(shí)值比較吻合，與傳統(tǒng)的線性擬合方法比較誤差分析優(yōu)勢(shì)明顯，是可以作為比色法使用的測(cè)量算法。同時(shí)對(duì)預(yù)測(cè)結(jié)果引入評(píng)價(jià)指標(biāo)，并對(duì)給定的數(shù)據(jù)進(jìn)行了實(shí)際驗(yàn)證。

1 構(gòu)造最小二乘支持向量機(jī)(LSSVM)回歸模型

假設(shè)樣本集S={(xi,yi)|i=1,...,n}，其中xi∈Rp,p是解釋變量個(gè)數(shù)，解釋變量X∈Rp預(yù)測(cè)變量Y∈R.

支持向量機(jī)(SVM)模型思想為：如果訓(xùn)練樣本在自身空間里是線性不可分的，那么就將輸入空間X∈Rp.通過一個(gè)非線性映射φ(.)映射到一個(gè)特征空間φ(X)=φ(X1,X2,...,Xn)，然后在這個(gè)高維空間里進(jìn)行線性擬合，即用一個(gè)超平面擬合樣本點(diǎn)[9]。

本文采用函數(shù)f(x)=ωTφ(x)+b擬合數(shù)據(jù)點(diǎn)集，使擬合得到的值f(xi)與樣本點(diǎn)值yi差值的平方最小，即求如下的優(yōu)化問題：

(1)

其中，γ為正規(guī)化參數(shù)，ek為誤差，b為偏置。針對(duì)此優(yōu)化問題構(gòu)造拉格朗日函數(shù)進(jìn)行優(yōu)化求解，然后求出問題的對(duì)偶問題，由對(duì)偶理論的最優(yōu)解滿足KKT條件，得到矩陣方程(詳細(xì)推導(dǎo)參考文獻(xiàn)[10])：

(2)

(3)

其中K(xi,xj)為核函數(shù)，本文采用徑向基函數(shù)：

(4)

其中σ為尺度參數(shù)，它的取值決定了擬合函數(shù)的支持度和平滑性，σ的大小與待擬合的散亂數(shù)據(jù)點(diǎn)分布有關(guān)。

2 LSSVM回歸模型求解

2.1 溶液的濃度、顏色讀數(shù)及多次記錄結(jié)果的原始數(shù)據(jù)關(guān)系

由于照片色彩易受外界因素影響的關(guān)系，選擇一種能夠排除外界因素影響照片色彩的拍照方式獲取數(shù)據(jù)尤為重要。

1)在實(shí)驗(yàn)箱內(nèi)拍照、采集溶液圖像：將二氧化硫標(biāo)準(zhǔn)溶液依次加入到比色皿中，光照均勻，依次拍照采集溶液的圖像并保存。這樣獲取得溶液圖像RGB值穩(wěn)定，能夠量化表示溶液顏色。

2)數(shù)據(jù)組合統(tǒng)計(jì)方式：試驗(yàn)中使用上述方式，獲取了7組25個(gè)不同濃度的二氧化硫溶液的顏色RGB值采樣，經(jīng)過取均值加工處理，見列表1.

表1 二氧化硫溶液濃度值與圖像RGB均值表(N=25)
Tab.1 Potassium aluminum sulfate oncentration and image RGB mean value table(N=25)

顏色不同濃度二氧化硫溶液的RGB值/ppm020305080100150藍(lán)(B)157.4170.3175175181.67175177.5紅(R)153.2144.3145.25141.67140.67139138.75綠(G)146.411511499969686.25

其中，ppm濃度(parts per million)表示用溶質(zhì)質(zhì)量占全部溶液質(zhì)量的百萬分比來表示的濃度，也稱百萬分比濃度，經(jīng)常用于濃度非常小的場(chǎng)合下。如某溶液濃度為50 ppm，相當(dāng)于是50 mg/L.

表2提供了簡(jiǎn)單的7種濃度的25個(gè)樣本數(shù)據(jù)區(qū)間分布狀況，每組濃度值對(duì)應(yīng)的數(shù)據(jù)記錄數(shù)為該組顏色采樣的數(shù)據(jù)個(gè)數(shù)。

表2 溶液對(duì)應(yīng)濃度值的數(shù)據(jù)記錄數(shù)
Tab.2 The number of data records corresponding to the concentration value of the solution

濃度值/ppm020305080100150記錄數(shù)5343334

2.2 LSSVM模型的擬合參數(shù)求解

針對(duì)最小二乘支持向量機(jī)回歸模型的資料也非常多，如參考文獻(xiàn)資料[11-14]。在提前給定正規(guī)化參數(shù)γ和尺度參數(shù)σ的情況下，將樣本點(diǎn)、濃度顯示數(shù)的表1數(shù)據(jù)帶入優(yōu)化模型，通過求解矩陣方程(2)可得到此模型的參數(shù)b和β，此過程稱之為訓(xùn)練。然后上述LSSVM回歸模型可以用來預(yù)測(cè)，對(duì)給定的待測(cè)值x=(X1,X2,...,Xt)，代入回歸模型即可得到對(duì)應(yīng)的預(yù)測(cè)值y(x)=(Y1,Y2,...,Yt).

根據(jù)經(jīng)驗(yàn)，選擇大約2/3進(jìn)行訓(xùn)練是比較合理的，剩余的1/3用來驗(yàn)證回歸結(jié)果。按照分層數(shù)據(jù)抽樣和典型抽樣結(jié)合的辦法，每個(gè)濃度水平下留一條記錄作為驗(yàn)證測(cè)試樣本。對(duì)給定的25個(gè)樣本按循序標(biāo)號(hào)(1,2，…，25)，選取標(biāo)號(hào)是(2，6，11，13，19，24)作為測(cè)試驗(yàn)證樣本，其余的作為訓(xùn)練樣本。

圖1 在γ=10和σ2=0.5的預(yù)測(cè)結(jié)果
Fig.1 The results of the forecastγ=10andσ2=0.5

2.3 參數(shù)的優(yōu)化

從上面的驗(yàn)證結(jié)果發(fā)現(xiàn)，設(shè)置不同的γ和σ的值，會(huì)得到不同的參數(shù)b和β值，預(yù)測(cè)的精準(zhǔn)度會(huì)不同。實(shí)際上，不同的樣本特征，最優(yōu)的正規(guī)化參數(shù)γ和尺度參數(shù)σ的值是不同的。

圖2 是在γ=15和σ2=0.8的預(yù)測(cè)結(jié)果
Fig.2 The results of the forecastγ=15andσ2=0.8

本文采用網(wǎng)格法來選擇最優(yōu)的γ和σ：設(shè)γ∈[a,b]，σ∈[c,d]，這兩個(gè)變量的可行域構(gòu)成一個(gè)矩形區(qū)域，然后對(duì)此矩形區(qū)域進(jìn)行網(wǎng)格劃分，網(wǎng)格的每一個(gè)交點(diǎn)對(duì)應(yīng)一組γ、σ值。

對(duì)給定的一組γ、σ值,使用LSSVM方法對(duì)待測(cè)試集中數(shù)據(jù)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)值與真實(shí)值的方差的倒數(shù)作為此組γ、σ的適應(yīng)度。即：

(5)

網(wǎng)格上適應(yīng)度最大的點(diǎn)，就是最優(yōu)參數(shù)點(diǎn)。

為了減少搜索過程中的計(jì)算，可以先在大范圍用大網(wǎng)格尋優(yōu)，從結(jié)果中發(fā)現(xiàn)最優(yōu)點(diǎn)所在的較小范圍，然后再在網(wǎng)格劃分重新尋優(yōu)。多次這個(gè)操作，直到找到滿意的最優(yōu)點(diǎn)。

以上述表1數(shù)據(jù)為例，首先選擇γ∈[1,20]，σ2∈[0.3,1.1]，構(gòu)造網(wǎng)格meshgrid(1:1:20, 0.3:0.5:1.1)，然后使用LSSVM算法預(yù)測(cè)，網(wǎng)格每個(gè)點(diǎn)都會(huì)得到一個(gè)表示該值，如下圖3所示：

圖3中，發(fā)現(xiàn)在γ∈[10,12]，σ2∈[0.5,0.8]之間可能存在最大適應(yīng)度的點(diǎn)。于是再次構(gòu)造圖4，網(wǎng)格meshgrid (10:0.2:12, 0.5:0.02:0.8)，找到最小適應(yīng)度的點(diǎn)γ=10.4、σ2=0.6.

在這組值下，用LSSVM方法預(yù)測(cè)，依然選擇序號(hào)是(2，6，11，13，19，24)的記錄作為測(cè)試對(duì)象，結(jié)果如下：

圖3γ∈[1,20]，σ2∈[0.3,1.1]，網(wǎng)格meshgrid(1:1:20, 0.3:0.5:1.1)
Fig.3γ∈[1,20]，σ2∈[0.3,1.1]，meshgrid(1:1:20, 0.3:0.5:1.1)

圖4γ∈[10,12]，σ2∈[0.5,0.8]，網(wǎng)格meshgrid (10:0.2:12, 0.5:0.02:0.8)
Fig.4γ∈[10,12]，σ2∈[0.5,0.8], meshgrid (10:0.2:12, 0.5:0.02:0.8)

圖5 序號(hào)是(2，6，11，13，19，24)的記錄作為測(cè)試結(jié)果
Fig.5 The test results of serial records number 2,6,11,13,19,24

3 模型預(yù)測(cè)誤差分析及評(píng)價(jià)

通常采用平均相對(duì)誤差MRE、平均絕對(duì)誤差MAE和均方根誤差RMSE 三個(gè)性能指標(biāo)評(píng)價(jià)預(yù)測(cè)模型，各自定義如下:

(6)

(7)

(8)

表3給出了所有的樣本點(diǎn)(N=25)在三個(gè)性能指標(biāo)評(píng)價(jià)下的預(yù)測(cè)值、差值、誤差情況分析情況。

表3 所有的樣本點(diǎn)(N=25)預(yù)測(cè)值、差值、誤差情況分析表
Tab.3 All the sample points (N=25)prediction, difference, error analysis table

樣本序號(hào)真實(shí)濃度值預(yù)測(cè)值差值平均相對(duì)誤差MRE(單個(gè)貢獻(xiàn))平均絕對(duì)誤差MAE(單個(gè)貢獻(xiàn))均方根誤差RMSE(單個(gè)貢獻(xiàn))101.3221.3221.3221.3221.748201.0931.0931.0931.0931.195301.0371.0371.0371.0371.075401.0371.0371.0371.0371.075502.8232.8232.8232.8237.97262023.3413.3410.1673.34111.16272019.624-0.3760.0190.3760.14182024.2634.2630.2134.26318.17393026.564-3.4370.1153.43711.810103030.2770.2770.0090.2770.077113028.360-1.6400.0551.6402.688123029.510-0.4900.0160.4900.240135047.726-2.2740.0452.2745.173145053.9533.9530.0793.95315.623155054.3434.3430.0874.34318.860168078.861-1.1390.0141.1391.298178077.799-2.2010.0282.2014.843188082.2062.2060.0282.2064.8671910094.441-5.5590.0565.55930.9062010099.177-0.8230.0080.8230.67821100103.2653.2650.0333.26510.66022150145.859-4.1410.0284.14117.15123150144.670-5.3300.0365.33028.40724150148.147-1.8540.0121.8543.43525150149.537-0.4630.0030.4630.214

注釋：上表中，測(cè)試驗(yàn)證樣本數(shù)據(jù)用底紋深色進(jìn)行標(biāo)記。

最終得到LSSVM回歸模型對(duì)應(yīng)誤差指標(biāo)值，如表3.

對(duì)表3原始數(shù)據(jù)，論文所用方法與最小二乘線性擬合法等進(jìn)行實(shí)驗(yàn)對(duì)比，給出對(duì)比數(shù)據(jù)和分析結(jié)果；在顯著性水平為0.05的情況下，假設(shè)預(yù)測(cè)變量:三種顏色B,R,G值；因變量為濃度值，使用SPSS統(tǒng)計(jì)軟件給出了表5誤差分析表和表6 三元線性回歸方程系數(shù)及標(biāo)準(zhǔn)誤差。

表4 LSSVM回歸模型對(duì)應(yīng)誤差指標(biāo)值
Tab.4 Index value of LSSVM regression model corresponding error

平均相對(duì)誤差MRE平均絕對(duì)誤差MAE均方根誤差RMSE訓(xùn)練樣本誤差0.2380.2673.015驗(yàn)證樣本誤差0.3652.2592.761全體誤差0.3342.3472.825

表5 所有的樣本點(diǎn)(N=25)線性回歸的方差分析
Tab.5 ANOVA analysis of linear regression for all sample points (N=25)

模型平方和df均方FSig.回歸13 409.41434 469.8054.662.119殘差2876.3003958.767總計(jì)16 285.7146

表6 所有的樣本點(diǎn)(N=25)的線性回歸系數(shù)及誤差分析
Tab.6 Linear regression coefficients and error analysis of all sample points (N= 25)

模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)B標(biāo)準(zhǔn)誤差試用版tSig.常量492.2081 952.158.252.817R7.53016.230.727.464.674G-5.8884.551-2.261-1.294.286B-5.0634.147-.750-1.221.309

顯然，樣本的回歸方差分析檢驗(yàn)顯著性并不明顯，在濃度值與三種顏色B,R,G值的回歸方程中， R、G、B三色系數(shù)分別是7.53、-5.888、-5.063，常數(shù)為492.208.經(jīng)過計(jì)算，該線性回歸模型的預(yù)測(cè)值與實(shí)際值的標(biāo)準(zhǔn)誤差為4.165.于最小二乘的線性回歸模型的標(biāo)準(zhǔn)誤差明顯大于本文給出的預(yù)測(cè)回歸方法。計(jì)算結(jié)果表明，LSSVM在三種誤差指標(biāo)下都有很好的表現(xiàn)，是一種可靠有效的預(yù)測(cè)回歸方法。

4 結(jié)束語

本文針對(duì)比色法測(cè)試二氧化硫溶液濃度的問題，對(duì)于已有的顏色和濃度關(guān)系，建立最小二乘支持向量機(jī)LSSVM回歸擬合模型，并簡(jiǎn)要說明了原理。由于模型中有兩個(gè)預(yù)置參數(shù)，本文給出了用網(wǎng)格法尋找最優(yōu)參數(shù)的方法。同時(shí)對(duì)預(yù)測(cè)結(jié)果引入評(píng)價(jià)指標(biāo)，并對(duì)給定的數(shù)據(jù)進(jìn)行了實(shí)際驗(yàn)證，計(jì)算結(jié)果顯示LSSVM擬合結(jié)果與真實(shí)值比較吻合，是可以作為比色法使用的測(cè)量算法。同時(shí)對(duì)預(yù)測(cè)誤差分析，LSSVM在三種誤差指標(biāo)下都有很好的表現(xiàn)，是一種可靠有效的預(yù)測(cè)回歸方法。與傳統(tǒng)的線性擬合方法比較誤差分析優(yōu)勢(shì)明顯，是可以作為比色法使用的測(cè)量算法。由于LSSVM具有良好的推廣特性，目前已成功地應(yīng)用于函數(shù)逼近、信息融合、數(shù)據(jù)挖掘、金融預(yù)測(cè)等領(lǐng)域。