基于核主成分分析和粒子群優(yōu)化支持向量機(jī)的統(tǒng)計數(shù)據(jù)缺失值插補(bǔ)

吳桐雨，吳少雄

（1.福州大學(xué) 經(jīng)濟(jì)與管理學(xué)院，福州 350116；2.福建工程學(xué)院 交通學(xué)院，福州 350118）

0 引言

現(xiàn)有統(tǒng)計數(shù)據(jù)因各種原因存在缺失值，給統(tǒng)計分析帶來一定的困難。通常采用刪除缺失的單元項進(jìn)行統(tǒng)計分析，然而這種做法會丟失有用的信息，容易得出誤導(dǎo)性的結(jié)論。插補(bǔ)技術(shù)能夠為缺失項確定一個合理的數(shù)值，減小由數(shù)據(jù)缺失帶來的估計偏差，完善統(tǒng)計數(shù)據(jù)集利于后期操作。

常用的插補(bǔ)方法有演繹估計、均值插補(bǔ)、隨機(jī)插補(bǔ)、回歸插補(bǔ)和多重插補(bǔ)、極大似然估計、EM算法等；李序穎考慮空間相關(guān)性引入空間自回歸模型；張松蘭提出統(tǒng)計方法與機(jī)器學(xué)習(xí)相結(jié)合的支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)和決策樹方法[1]；其他方法還有最近鄰插補(bǔ)法和關(guān)聯(lián)規(guī)則法、得分匹配法等。其中，單值插補(bǔ)的不足在于根本上改變了數(shù)據(jù)的原始分布，造成抽樣誤差，且不能很好地體現(xiàn)出缺失值的不確定性?？臻g自回歸模型需要驗證數(shù)據(jù)間的相關(guān)性，對相鄰缺失值的插補(bǔ)可能存在一定的偏差，難以處理大量的缺失數(shù)據(jù)。研究表明，通過學(xué)習(xí)相關(guān)度較大的已知屬性值進(jìn)行估計的精度更高[1]，用支持向量機(jī)方法對數(shù)據(jù)進(jìn)行插補(bǔ)較傳統(tǒng)方法有更高的恢復(fù)率[2]?？偟恼f來，采取以上方法處理數(shù)據(jù)缺失存在各自的優(yōu)勢，但也有其不足之處，比如一些研究僅適用于小樣本情況下的插補(bǔ)，對于大樣本插補(bǔ)的精度有所下降；一些研究雖然考慮了數(shù)據(jù)間的影響關(guān)系，但考慮的因素并不全面；大部分文獻(xiàn)集中于研究社會調(diào)查中的數(shù)據(jù)缺失插補(bǔ)方法，鮮有文獻(xiàn)研究統(tǒng)計數(shù)據(jù)的缺失插補(bǔ)方法，而且插補(bǔ)的精度還有待進(jìn)一步改善。支持向量機(jī)作為一種新興的統(tǒng)計學(xué)習(xí)算法在模式識別、回歸估計等方面均取得理想效果，本文以福建省流通產(chǎn)業(yè)的統(tǒng)計數(shù)據(jù)為例，將核主成分分析、粒子群算法和支持向量機(jī)三者有機(jī)結(jié)合，對統(tǒng)計數(shù)據(jù)的缺失值進(jìn)行插補(bǔ)。

1 模型原理

1.1 核主成分分析（KPCA）

核主成分分析是通過一個非線性變換將數(shù)據(jù)從輸入空間投影到高維特征空間，然后在高維空間進(jìn)行線性主成分分析，其中，非線性變換通過定義內(nèi)積函數(shù)實現(xiàn)，該函數(shù)由一個核函數(shù)代替。這種方法可以避免單純使用線性主成分分析遇到的特征向量線性不可分的問題[3]。

根據(jù) λν=Cν，求C的特征值 λ及特征向量V∈F{0}，C的特征值非負(fù)。設(shè)C的特征值為0≤λ1≤λ2≤…≤λn，對應(yīng)的特征向量為 ν1，ν2，…，νn。記：

在實際操作中，可以根據(jù)一定的規(guī)則選取式（4）的前幾個分量作為主成分。

1.2 粒子群優(yōu)化（PSO）

粒子群優(yōu)化是一種智能群體搜索方法，其基本思想是初始化為一群隨機(jī)粒子，每個粒子代表解空間的一個候選解，粒子通過跟蹤個體最優(yōu)值和全局最優(yōu)值來更新自己的速度和位置，迭代直至達(dá)到預(yù)先設(shè)定的目標(biāo)則實現(xiàn)最優(yōu)解[4]。粒子通過以下兩個公式更新其位置和速度：

式中，k為進(jìn)化代數(shù)，νij（k+1）為粒子i在第k次迭代中第j維的速度，νij∈[ ]-νmax，νmax，νmax是粒子被允許移動的最高速度；c1，c2是加速系數(shù)，通常取值為2；r1，r2是[0,1]之間的隨機(jī)數(shù)；pij是粒子i在第j維上的個體極值點(diǎn)的位置，pij∈[ ]-pmax，pmax，pmax是粒子被允許移動的最大位置；gj是整體在第j維上的全局極值點(diǎn)的位置。設(shè)搜索空間的第j維定義為區(qū)間 j∈[ ]-pjmax，pjmax，則通常有

1.3 最小二乘支持向量機(jī)

最小二乘支持向量機(jī)的基本思想是通過非線性變換將數(shù)據(jù)映射到高維特征空間，并構(gòu)造最優(yōu)決策函數(shù)，利用原空間的核函數(shù)代替高維特征空間中的點(diǎn)積運(yùn)算，用有限樣本的學(xué)習(xí)訓(xùn)練來獲得全局最優(yōu)解[5]。

對于給定的樣本數(shù)據(jù)，作非線性映射Φ:Rn→F，則被估計函數(shù) f(x)為：

在權(quán)w空間中的函數(shù)估計描述為以下求解問題：

其中：w為空間F中的權(quán)向量，b∈R為偏置，誤差變量ξk∈R,b是偏差量，γ是可調(diào)超參數(shù)。

根據(jù)式（8），可定義拉格朗日函數(shù)：

其中，拉格朗日乘子ak∈R。對上式各變量求偏導(dǎo)并整理線性方程組：

最小二乘支持向量機(jī)的函數(shù)估計為：

其中，a、b由式（9）求解出。不為零的ai對應(yīng)的樣本為支持向量。

2 流通產(chǎn)業(yè)統(tǒng)計評價指標(biāo)與數(shù)據(jù)

在研究省域流通產(chǎn)業(yè)評價指標(biāo)體系中，將評價指標(biāo)分為6個一級指標(biāo)，22個二級指標(biāo)，45個三級指標(biāo)[6]，具體見表1。

表1 省域流通產(chǎn)業(yè)競爭力評價指標(biāo)體系

由于我國對流通產(chǎn)業(yè)的統(tǒng)計并沒有統(tǒng)一的口徑，而是分散在批發(fā)業(yè)、零售業(yè)、餐飲業(yè)、交通運(yùn)輸、倉儲和郵政業(yè)幾個行業(yè)中。本文共收集了各省從1949—2015年85項統(tǒng)計指標(biāo)的數(shù)據(jù)，數(shù)據(jù)來源于《中國統(tǒng)計年鑒》、《中國貿(mào)易外經(jīng)統(tǒng)計年鑒》、《中國第三產(chǎn)業(yè)統(tǒng)計年鑒》等。其中，1949—1991年和2015年統(tǒng)計數(shù)據(jù)缺失較多，1992—2014年存在少量缺失值，若將含有缺失數(shù)據(jù)的年份全部剔除后進(jìn)行分析，將會丟失大量有用的信息，對流通產(chǎn)業(yè)競爭力的評價可能會出現(xiàn)誤導(dǎo)性的結(jié)果。因此，選取1992—2014年含有缺失值的福建省流通產(chǎn)業(yè)相關(guān)統(tǒng)計數(shù)據(jù)為例進(jìn)行數(shù)據(jù)插補(bǔ)研究。

3 統(tǒng)計數(shù)據(jù)缺失值插補(bǔ)

3.1 統(tǒng)計數(shù)據(jù)缺失值插補(bǔ)過程

統(tǒng)計數(shù)據(jù)缺失值插補(bǔ)的詳細(xì)流程如下：

（1）為增加樣本集和提高數(shù)據(jù)修補(bǔ)的準(zhǔn)確性，采用增量變化的方法進(jìn)行數(shù)據(jù)處理，即將各年份的數(shù)據(jù)相減所得作為訓(xùn)練與測試的樣本，這樣23年的統(tǒng)計數(shù)據(jù)共產(chǎn)生132組數(shù)據(jù)。

（2）因各項統(tǒng)計數(shù)據(jù)存在較大差異,且量綱不一致,需對數(shù)據(jù)進(jìn)行預(yù)處理，使它們統(tǒng)一歸一化到-1～1。

（3）選取有數(shù)據(jù)缺失的指標(biāo)作為研究對象，采用高斯徑向基核函數(shù)，對其余的44項統(tǒng)計指標(biāo)進(jìn)行核主成分分析。主成分累計貢獻(xiàn)率如圖1所示，其中第1主成分貢獻(xiàn)率為0.266，第2主成分累計貢獻(xiàn)率達(dá)0.448，第13主成分的累計貢獻(xiàn)率為0.908，選取前13個主成分作為最小二乘支持向量機(jī)的新影響因子。

圖1 主成分累積貢獻(xiàn)率

（4）將新影響因子和數(shù)據(jù)缺失指標(biāo)的數(shù)據(jù)分成兩部分，前100組數(shù)據(jù)作為訓(xùn)練樣本，后32組數(shù)據(jù)為測試樣本。

（5）應(yīng)用PSO優(yōu)化最小二乘支持向量機(jī)的超參數(shù)，加速系數(shù)c1.c2均設(shè)為2，慣性權(quán)重w設(shè)為0.6，種群規(guī)模設(shè)為20，最大迭代步數(shù)設(shè)為100。搜索得到支持向量機(jī)的參數(shù)懲罰因子=3124.8795和RBF核函數(shù)參數(shù)=20.5206。

（6）應(yīng)用最小二乘支持向量機(jī)對樣本分別進(jìn)行訓(xùn)練和測試，測試結(jié)果如圖2和表2所示。

表2 測試結(jié)果分析

圖2 模型測試值與真實值比較

3.2 測試結(jié)果分析

由表2可以看出基于核主成分與支持向量機(jī)的方法進(jìn)行數(shù)據(jù)插補(bǔ)可以取得較好的效果，最大相對誤差為9.863%，最小相對誤僅為0.1742，平均相對誤差為4.094%。

4 結(jié)論

在開展統(tǒng)計數(shù)據(jù)分析時，對缺失數(shù)據(jù)進(jìn)行插補(bǔ)是十分必要的。將核主成分分析與支持向量機(jī)模型結(jié)合，建立數(shù)據(jù)插補(bǔ)模型，具有很好的非線性信息提取和降噪的能力，研究表明其具有較高的精度，可以應(yīng)用于數(shù)據(jù)插補(bǔ)。

參考文獻(xiàn):

[1]張松蘭,王鵬,徐子偉.基于統(tǒng)計相關(guān)的缺失值數(shù)據(jù)處理研究[J].統(tǒng)計與決策,2016，(12).

[2]張嬋.一種基于支持向量機(jī)的缺失值填補(bǔ)算法[J].計算機(jī)應(yīng)用與軟件,2013,30(5).

[3]Scholkopf B,Smola A J,Muller K R.Kernel Principal Component Analysis[M].Massachustees：MIT Press,1999.

[4]楊維,李歧強(qiáng).粒子群優(yōu)化算法綜述[J].中國工程科學(xué),2004,6(5).

[5][美]瓦普尼克.統(tǒng)計學(xué)習(xí)理論的本質(zhì)[M].北京：清華大學(xué)出版社,2000.

[6]張連剛.省域流通產(chǎn)業(yè)競爭力評價體系構(gòu)建與實證研究[D].成都：西南財經(jīng)大學(xué)博士學(xué)位論文,2011.