基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別

(國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041)

0 引 言

信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展使得大數(shù)據(jù)分析和人工智能等新技術(shù)應(yīng)用應(yīng)運而生，在建設(shè)電力物聯(lián)網(wǎng)的背景下，大數(shù)據(jù)和人工智能新技術(shù)與能源行業(yè)相結(jié)合引發(fā)了越來越多研究人員的關(guān)注[1]。電力大數(shù)據(jù)平臺在全面管控電網(wǎng)營銷服務(wù)和企業(yè)安全生產(chǎn)等方面獲得顯著成效[2-3]。一種應(yīng)用電網(wǎng)用電信息采集系統(tǒng)數(shù)據(jù)以實現(xiàn)城市大氣污染排放在線管控的方法被提出。該方法基于大數(shù)據(jù)手段，將電網(wǎng)企業(yè)用電信息采集系統(tǒng)電量與環(huán)保管控數(shù)據(jù)進行批量化關(guān)聯(lián)分析，無需新增硬件設(shè)備，實現(xiàn)了城市企業(yè)大范圍在線監(jiān)管，其中，排污企業(yè)對于環(huán)保措施的響應(yīng)程度評判是電力數(shù)據(jù)在環(huán)保應(yīng)用的一個重要功能。

支持向量機(support vector machine，SVM)是在分類、回歸和其他學(xué)習(xí)任務(wù)方面廣受歡迎的一種機器學(xué)習(xí)方法，在計算機視覺、自然語言處理、神經(jīng)成像、生物信息學(xué)等領(lǐng)域已有成功的應(yīng)用[4]。支持向量機一般分為3類：支持向量分類(support vector classification,SVC)、支持向量回歸(support vector regression,SVR)和一類支持向量機(one-class support vector machine ,1-SVM)[5]。其中：根據(jù)分類特征，支持向量分類可分為兩值分類和多值分類；支持向量回歸用于處理數(shù)據(jù)回歸問題；支持向量機還可實現(xiàn)一種特殊的一類分類問題，有學(xué)者將其稱為一類支持向量機(one-class support vector machine,1-SVM)，在實際中通常應(yīng)用于異常值檢測[6]。

下面研究以企業(yè)用電和納稅信息為特征的排污企業(yè)生產(chǎn)狀態(tài)識別方法，考慮到實際輸入特征異常和部分缺失的情況，采用回歸分析解決數(shù)據(jù)異常和部分缺失的問題，提高了分析結(jié)果的魯棒性；通過網(wǎng)格搜索選擇多個支持向量回歸組合模型來識別污染企業(yè)生產(chǎn)狀況，增加了模型的泛化能力，提高了分類精度。

1 支持向量機數(shù)學(xué)模型

從模式分類中可分離模式的情況下了解支持向量機是如何工作的可能是最容易的。給定可線性或非線性分離的訓(xùn)練樣本，支持向量機通過非線性核函數(shù)映射，生成一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。

考慮訓(xùn)練樣本{(xi,yi),i=1,2,3...N}，xi為輸入模式的第i個樣例，yi為對應(yīng)的期望響應(yīng)，用于分離的超平面形式的決策曲面方程為

wTx+b=0

(1)

式中：x為輸入向量；w為權(quán)值向量；b為偏置。對于一個給定的權(quán)值向量w和偏置b，支持向量機的目標就是找到一個特殊的超平面，這個超平面的分離邊緣最大。支持向量機是一個二次規(guī)劃問題，數(shù)學(xué)推導(dǎo)如下。

當(dāng)樣本中yi=+1和yi=-1代表的兩類模式是線性可分時，式(1)可以為

wTxi+b≥0 當(dāng)yi=+1
wTxi+b≤0 當(dāng)yi=-1

(2)

考慮使式(2)等號成立的那些點，也就是距離超平面最近的兩類點，只要成比例地調(diào)整w和b的值就能保證這兩類點的存在，且對分類結(jié)果沒有任何影響。設(shè)2個超曲面為H1、H2。

H1:wTx+b=1
H2:wTx+b=-1

(3)

對于非線性問題，可以通過非線性變換轉(zhuǎn)化為高維空間的線性問題。因此，對于非線性分類，首先，采用一個映射φ將數(shù)據(jù)映射到一個高維空間。此時，在高維特征空間中就可對輸入數(shù)據(jù)進行線性分類，映射回原空間后就成了輸入數(shù)據(jù)的非線性分類。支持向量機采用了一個核函數(shù)K(x,y)代替高維空間的內(nèi)積運算，避免高維空間的復(fù)雜運算。為使得所有樣本都能被分離超平面正確分類，增加模型的魯棒性，可采用松弛變量解決這個問題，因此優(yōu)化問題為

(4)

式中：w是權(quán)值向量；C為懲罰因子；ξi為松弛變量。

約束為

wTΦ(xi)+b≥1-ξii=1,……,l
ξi≥0i=1,……,l

(5)

式中：Φ(xi)為核函數(shù)。

2 排污企業(yè)生產(chǎn)識別

2.1 排污企業(yè)生產(chǎn)識別整體流程

基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別的輸入數(shù)據(jù)為企業(yè)的用電量和稅收值，與企業(yè)生產(chǎn)狀態(tài)有強相關(guān)性。對輸入數(shù)據(jù)進行歸一化處理可直觀迅速判斷企業(yè)的基本運行情況，同時大量簡化了計算。規(guī)則化后的輸入數(shù)據(jù)存在負值或缺失的情況，這是異常的輸入數(shù)據(jù)。通過對企業(yè)用電量和稅收值的歷史回歸分析，可校正負值的輸入數(shù)據(jù)，預(yù)測缺失的輸入數(shù)據(jù)，提高了分析結(jié)果的魯棒性。

將輸入數(shù)據(jù)分為3部分：訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。輸入數(shù)據(jù)用來訓(xùn)練支持向量回歸的超參數(shù)，不同的超參數(shù)對應(yīng)一個支持向量回歸模型。通過網(wǎng)格搜索可以確定多個支持向量回歸模型，驗證數(shù)據(jù)用來篩選已確定的支持向量回歸模型，得到最優(yōu)的支持向量回歸模型集用于組合回歸判斷，可提高單一模型的精度。最后，將最優(yōu)的支持向量回歸模型集來測試歷史數(shù)據(jù)。排污企業(yè)生產(chǎn)識別整體流程如圖1所示。

2.2 排污企業(yè)數(shù)據(jù)來源

排污企業(yè)的主要數(shù)據(jù)有企業(yè)類型、企業(yè)注冊地、企業(yè)納稅、企業(yè)用電等，取自于不同的機構(gòu)。其中，企業(yè)類型和企業(yè)注冊地來自四川省工商局，企業(yè)納稅歷史數(shù)據(jù)來自于四川省稅務(wù)局，企業(yè)用電歷史數(shù)據(jù)來自國網(wǎng)四川省電力公司用電信息采集系統(tǒng)和營銷系統(tǒng)。將歷史數(shù)據(jù)分為3部分：訓(xùn)練數(shù)集、驗證數(shù)集和測試數(shù)集。其中，訓(xùn)練數(shù)據(jù)用來確定模型的參數(shù)；驗證數(shù)據(jù)用來做模型驗證，選定預(yù)測誤差小的超參數(shù)組合，提高總模型的精度；最后，測試數(shù)據(jù)用來做模型測試及分析結(jié)果。

圖1 排污企業(yè)生產(chǎn)識別總體流程

2.3 輸入特征選擇與正則化

支持向量機的輸入特征選擇為企業(yè)用電量和納稅值。這兩個特征與企業(yè)生產(chǎn)密切相關(guān)，輸出數(shù)據(jù)為企業(yè)開工判據(jù)。

輸入數(shù)據(jù)為企業(yè)用電量和納稅值，輸出數(shù)據(jù)為企業(yè)開工判據(jù)，其中，輸入數(shù)據(jù)的幅值遠遠大于輸出數(shù)據(jù)的幅值。為了降低運算難度，輸入數(shù)據(jù)的大小被規(guī)則化，企業(yè)用電量被企業(yè)配電變壓器容量整除，納稅值被最大納稅值整除，則企業(yè)用電量和納稅值規(guī)則化后的范圍均為[0,1]。

(6)

實際情況中存在輸入特征值為負或者缺失的異常情況，為處理這種異常值情況，通過歷史數(shù)據(jù)回歸建立起企業(yè)用電量和納稅值的關(guān)系，如圖2所示。

圖2給出了企業(yè)歷史的稅收值和用電量，存在異常與缺失，圖3對缺失與異常做了標記，通過回歸分析，可對異常輸入特征進行修正，并填補缺失的特征，如圖4所示。

圖2 企業(yè)歷史輸入特征(存在特征異常與缺失)

圖3 異常與缺失特征辨識

圖4 異常與缺失特征回歸處理

2.4 核函數(shù)非線性映射

使用非線性映射φ把訓(xùn)練數(shù)據(jù)映射到一個高維特征空間，然后在高維特征空間里進行線性回歸，映射回原空間后就成了輸入空間的非線性分類。用核函數(shù)K(x，y)就可以實現(xiàn)非線性回歸，如圖5所示。

圖5 核函數(shù)的非線性映射

2.5 網(wǎng)格搜索與驗證

采用網(wǎng)格搜索法來選擇了441組超參數(shù)(即不同的C，γ，ε組合),一組超參數(shù)可以確定一個SVM模型，選擇網(wǎng)格搜索多個超參數(shù)以提高模型的邊化能力，C為懲罰因子，γ為核函數(shù)的參數(shù)，ε為一個大于0的常數(shù)。在使用相同數(shù)據(jù)集的情況下，訓(xùn)練了441個不同的SVM模型。用一部分數(shù)據(jù)來做驗證，避免過擬合。通過網(wǎng)格搜索得到的441個模型，在驗證集上取誤差最小的前25個模型，測試數(shù)據(jù)的最后結(jié)果取25個回歸模型的平均值。

網(wǎng)格搜索法是一種直接的方法，它將不同組合的γ、C和ε值逐個進行測試，查看情況，網(wǎng)格搜索中，令：

C=(2(-5),2(-3),2(-1),2(1),2(3),2(5),2(7),2(9),2(11))

γ=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

ε=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

(7)

不同的參數(shù)組合依次求解，得到最優(yōu)的超參數(shù)。

基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別流程如圖6所示。

圖6 基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別流程

3 測試結(jié)果分析

對企業(yè)1500個實際生產(chǎn)數(shù)據(jù)進行測試識別。輸入數(shù)據(jù)為這1500個實際生產(chǎn)下的納稅值和用電量，其中，輸入數(shù)據(jù)存在部分缺失和異常。組合支持向量機模型給出對于1500個輸入特征下對應(yīng)的生產(chǎn)判斷。

輸入的數(shù)據(jù)中，納稅數(shù)據(jù)小于0時為異常值，納稅數(shù)據(jù)為0時為缺失值。異常值和缺失值都是因為實際管理等原因造成的真實數(shù)據(jù)不能查詢。

輸入數(shù)據(jù)的總數(shù)為1500個，異常即小于0的數(shù)據(jù)為313個，占總輸入數(shù)據(jù)的20.87%;部分缺失數(shù)據(jù)數(shù)量為29個，占總輸入數(shù)據(jù)的1.93%，如表1所示。

表1 輸入數(shù)據(jù)分析

通過回歸模型對異常數(shù)據(jù)進行處理，如圖7所示，異常和部分缺失輸入數(shù)據(jù)進行回歸處理后，其規(guī)則化后的范圍為(0,1)。

圖7 異常和部分缺失數(shù)據(jù)處理后的輸入特征數(shù)據(jù)

通過組合支持向量回歸模型對異常和部分缺失值處理后的數(shù)據(jù)進行生產(chǎn)狀態(tài)識別，結(jié)果如圖8所示。

組合支持向量回歸模型識別企業(yè)生產(chǎn)狀態(tài)結(jié)果如表2所示。其中，正確識別的生產(chǎn)狀態(tài)1484個，識別正確率為98.93%，多個支持向量機組合模型具有分類精度高的特點。由于異常和部分缺失數(shù)據(jù)有342個，未進行異常和缺失值處理時，正確識別1142個，識別正確率為76.13%，異常和缺失值回歸處理提高企業(yè)生產(chǎn)狀態(tài)識別率22.8%。

圖8 企業(yè)生產(chǎn)狀態(tài)識別結(jié)果

表2 組合支持向量回歸模型識別企業(yè)生產(chǎn)狀態(tài)結(jié)果

4 結(jié) 語

提出了一種綜合考慮企業(yè)用電和納稅信息的污染企業(yè)生產(chǎn)狀況識別方法。該識別方法考慮了實際應(yīng)用過程中的數(shù)據(jù)部分病態(tài)的問題，采用回歸分析，解決輸入特征異常和部分缺失的問題，提高了分析結(jié)果魯棒性；同時，通過網(wǎng)格搜索選擇多個支持向量機組合模型識別污染企業(yè)生產(chǎn)狀況，增加了模型的泛化能力，提高了分類精度。