改進(jìn)的灰狼優(yōu)化算法在SVM參數(shù)優(yōu)化中的應(yīng)用

宋玉生， 劉光宇, 朱 凌， 王 堅(jiān)

(1.杭州電子科技大學(xué) 自動(dòng)化學(xué)院，浙江 杭州 310018；2.浙江財(cái)經(jīng)大學(xué) 信息管理與人工智能學(xué)院，浙江 杭州 310018)

0 引 言

支持向量機(jī)(support vector machine,SVM)是一種專門針對(duì)小樣本而提出的有監(jiān)督機(jī)器學(xué)習(xí)方法，該方法具有結(jié)構(gòu)簡(jiǎn)單、泛化能力強(qiáng)和易于實(shí)現(xiàn)等優(yōu)點(diǎn)。目前,SVM已經(jīng)廣泛應(yīng)用于機(jī)器學(xué)習(xí)的各種領(lǐng)域，如人臉圖像識(shí)別[1]、語(yǔ)音情感識(shí)別[2]及故障診斷[3]等。SVM的性能受模型內(nèi)部參數(shù)影響較大[4]，選擇合適的SVM參數(shù)可獲得較好的SVM分類效果。為此，許多學(xué)者提出多種SVM的參數(shù)選擇方法，如網(wǎng)格搜索、雙線性搜索、遺傳算法等。其中網(wǎng)格搜索方法非常耗時(shí)，而且只能找到給定的格點(diǎn)上的值，有一定局限性。許多學(xué)者利用蟻群優(yōu)化算法[5]、粒子群優(yōu)化算法[6]等方法對(duì)SVM的參數(shù)進(jìn)行尋優(yōu)，但這些算法在存在易陷入局部最優(yōu)和求解精度低等問(wèn)題，無(wú)法獲得較理想的SVM模型參數(shù)。

2014年,Seyedali M等人[7]提出灰狼優(yōu)化(gray wolf optimization,GWO)算法，該算法具有結(jié)構(gòu)簡(jiǎn)單、全局性好等優(yōu)點(diǎn)，更適合SVM的參數(shù)尋優(yōu)。但GWO算法仍然存在易陷入局部最優(yōu)、開發(fā)能力不足等問(wèn)題。

本文在原GWO基礎(chǔ)上使用控制參數(shù)非線性遞減和隨機(jī)權(quán)重的位置更新策略來(lái)改進(jìn)GWO。在標(biāo)準(zhǔn)的測(cè)試函數(shù)上進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明,改進(jìn)的灰狼優(yōu)化(improved gray wolf optimization,IGWO)算法性能優(yōu)于GWO。隨后將IGWO應(yīng)用于光伏陣列故障診斷的SVM參數(shù)尋優(yōu)過(guò)程中。實(shí)驗(yàn)結(jié)果表明，IGWO-SVM模型在光伏陣列故障診斷中有很好的表現(xiàn)。

1 SVM

對(duì)于非線性近似可分樣本的SVM優(yōu)化問(wèn)題可描述為[8]

(1)

s.t.yi(ωTφ(xi)+b)≥1-εi,i=1,…,n

(2)

式中ω為超平面法向量，εi(εi≥0)為松弛變量，C為懲罰因子，用來(lái)對(duì)錯(cuò)誤分類進(jìn)行懲罰。n為訓(xùn)練樣本個(gè)數(shù)，yi∈{+1,-1}為類別標(biāo)簽，φ(·)為低維空間到高維空間的映射函數(shù)。

在式(1)和式(2)的基礎(chǔ)上引入拉格朗日函數(shù)、對(duì)偶原理及核函數(shù)，獲得SVM的決策函數(shù)，其具體表達(dá)式為

(3)

K(xi,x)=exp{-g‖xi-x‖2}

(4)

式中ai為拉格朗日因子，K(xi,x)為高斯核函數(shù)，g為核函數(shù)參數(shù)。

2 標(biāo)準(zhǔn)GWO算法和IGWO算法

2.1 標(biāo)準(zhǔn)GWO算法

(5)

A=2a·r1-a

(6)

C=2·r2

(7)

a=2-2t/tmax

(8)

然而,在獵捕過(guò)程中獵物的實(shí)際位置是未知的，由于α,β,δ狼更接近獵物，將α,β,δ狼的位置近似視為獵物的位置，通過(guò)式(5)～式(8)來(lái)更新各灰狼的位置，最后對(duì)位置求平均得到灰狼ω的最終位置?；依俏恢酶碌木唧w過(guò)程如式(9)～式(10)所示

(9)

(10)

式中Xα，Xβ，Xδ分別為本次迭代適應(yīng)度為前三的灰狼的位置。A1，A2，A3和C1，C2，C3為每次迭代時(shí)產(chǎn)生的系數(shù)。

2.2 IGWO算法

2.2.1 控制因子非線性遞減策略

群體智能算法前期注重算法的全局搜索，后期注重算法的局部開發(fā)[9]。較強(qiáng)的全局搜索能力能避免算法的早熟收斂，較強(qiáng)的局部開發(fā)能力可提高算法后期的收斂速度。GWO作為群體智能算法的一種，其全局搜索和局部開發(fā)能力的協(xié)調(diào)為算法較快獲得全局最優(yōu)的關(guān)鍵。

在GWO算法中，當(dāng)A≤1時(shí)，灰狼攻擊獵物，進(jìn)行局部搜索，當(dāng)A>1時(shí)，灰狼散去，進(jìn)行全局搜索。由式(8)可知，參數(shù)A隨著控制因子a的變化而不斷的變化。因此，整個(gè)圍捕獵物過(guò)程主要通過(guò)參數(shù)a的線性變化來(lái)完成?？刂茀?shù)a在迭代過(guò)程中的變化方式影響算法的開發(fā)和搜索能力的平衡。標(biāo)準(zhǔn)的GWO算法的參數(shù)a是線性遞減的，然而,在算法搜索過(guò)程并非線性變化的，因此,參數(shù)a的線性變化無(wú)法適應(yīng)實(shí)際的搜索情況。尤其在解決多峰函數(shù)問(wèn)題時(shí)，GWO容易陷入局部最優(yōu)[7]。為此，本文提出一種非線性控制因子策略

(11)

在迭代初期a的衰減速度較小，式(6)中A的值波動(dòng)較大，算法更容易跳出局部最優(yōu)，從而提升了算法的全局搜索能力。迭代后期a的衰減速度較大，算法在局部更快找到最優(yōu)解。因此,改進(jìn)的控制策略較好地平衡算法的全局搜索和局開發(fā)的能力。

2.2.2 隨機(jī)權(quán)重的位置更新策略

由式(9)和式(10)可知，標(biāo)準(zhǔn)的GWO算法以三個(gè)最佳灰狼的位置平均值作為下次迭代的灰狼的位置，該方法并未考慮實(shí)際灰狼種群的等級(jí)差異。在實(shí)際的尋優(yōu)過(guò)程中，起引導(dǎo)作用的α,β,δ狼的適應(yīng)度依次降低，α狼的位置更可能接近實(shí)際最優(yōu)解。為突出最優(yōu)狼對(duì)種群的全局帶領(lǐng)能力，在位置更新過(guò)程中增加α狼的位置權(quán)重，同時(shí)減小δ狼的權(quán)重。同時(shí)為進(jìn)一步避免算法的陷入局部最優(yōu)，在保證α狼權(quán)重系數(shù)大于δ狼權(quán)重系數(shù)的情況下，采用隨機(jī)權(quán)重更新下一代種群的方式。本文引入隨機(jī)權(quán)重的位置更新策略

(12)

式中r3為[0,1]之間的隨機(jī)數(shù)。

3 建立IGWO-SVM的分類模型

SVM模型懲罰因子C表示用最優(yōu)超平面對(duì)樣本進(jìn)行分類時(shí)對(duì)錯(cuò)分的容忍程度，其權(quán)衡了SVM分類正確率與模型復(fù)雜度的關(guān)系[10]。C越大，訓(xùn)練數(shù)據(jù)集的分類正確率越高，但分類間隔減小，容易出現(xiàn)過(guò)擬合問(wèn)題，分類器對(duì)推廣泛化能力降低。反之，訓(xùn)練數(shù)據(jù)集被錯(cuò)分的幾率增大，分類間隔增大，但容易出現(xiàn)欠擬合問(wèn)題，分類器的泛化能力也會(huì)降低。

高斯核函數(shù)中g(shù)確定原始數(shù)據(jù)特征空間和高維數(shù)據(jù)特征空間的映射關(guān)系[11]。g較大時(shí)，高斯核函數(shù)的數(shù)值將趨近于0，SVM會(huì)對(duì)所有的訓(xùn)練樣本正確分類，但分類超平面會(huì)變復(fù)雜，模型的泛化能力降低。g較小時(shí)，SVM判別函數(shù)將趨近于1，模型會(huì)把所有的測(cè)試樣本判斷為訓(xùn)練樣本較多的一類，模型的推廣能力依舊不好。找到合適的懲罰因子C和核函數(shù)σ對(duì)SVM在樣本的泛化能力推廣有重要意義。本文利用改進(jìn)的GWO算法對(duì)SVM參數(shù)進(jìn)行優(yōu)化。

IGWO優(yōu)化SVM參數(shù)的流程如下：

1)輸入實(shí)驗(yàn)數(shù)據(jù)，為消除量綱對(duì)分類的影響，對(duì)原始數(shù)據(jù)集進(jìn)行歸一化處理，具體處理方式如下

(13)

式中x為原始的數(shù)據(jù)特征；xmin和xmax分別為每組特征的最小值和最大值，y為歸一化處理后得到的數(shù)據(jù)。

2)將整個(gè)數(shù)據(jù)集按著比例隨機(jī)分成訓(xùn)練集和驗(yàn)證集兩部分，其中訓(xùn)練集用于訓(xùn)練SVM模型，驗(yàn)證集用來(lái)對(duì)SVM模型評(píng)價(jià)和選擇。

3)將灰狼將參數(shù)C和參數(shù)g作為灰狼的位置參數(shù)，對(duì)灰狼的種群規(guī)模、個(gè)體維度、參數(shù)尋優(yōu)范圍和算法最大迭代次數(shù)進(jìn)行初始化。

4)利用參數(shù)C和參數(shù)g在訓(xùn)練集上得到SVM模型，將得到的模型在驗(yàn)證集上進(jìn)行分類，將分類正確率作為每匹狼的適應(yīng)度值。

5)根據(jù)適應(yīng)度值將灰狼種群劃分為α，β，γ和ω共4個(gè)等級(jí)。

6)根據(jù)式(5)～式(7)、式(9)、式(11)和式(12)對(duì)種群中每個(gè)灰狼位置進(jìn)行更新。

7)判斷是否達(dá)到最大迭代次數(shù)，若達(dá)到則參數(shù)尋優(yōu)結(jié)束，否則轉(zhuǎn)向步驟(4)，利用灰狼更新后的位置參數(shù)繼續(xù)進(jìn)行迭代尋優(yōu)。

8)迭代結(jié)束時(shí)輸出最優(yōu)狼位置，即C和g的值，并且利用C和g建立SVM分類模型。

4 算例結(jié)果與分析

4.1 利用標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)IGWO進(jìn)行性能分析

為測(cè)試IGWO算法的尋優(yōu)能力，使用IGWO算法和標(biāo)準(zhǔn)的GWO算法在10個(gè)標(biāo)準(zhǔn)測(cè)函數(shù)上進(jìn)行仿真實(shí)驗(yàn)，統(tǒng)計(jì)并分析兩種算法在不同測(cè)度下的仿真結(jié)果如表1。仿真函數(shù)分別為Sphere (f1),Sum of Different Powers (f2),Schwefel1.2(f3),Schwefel2.21(f4),Rosenbrock(f5),Step(f6),Quartic Function with noise(f7),Schwefel 2.26(f8),Rastrigin(f9),Penalized(f10),其中，f1-f5為單峰函數(shù)，f6-f10為多峰函數(shù)。10個(gè)測(cè)試函數(shù)的維度設(shè)置為30，測(cè)試函數(shù)的理論最優(yōu)值都為0。算法的參數(shù)設(shè)置：種群規(guī)模N=30，最大迭代次數(shù)tmax=500。

表1 IGWO和GWO對(duì)10個(gè)測(cè)試函數(shù)的尋優(yōu)結(jié)果

利用IGWO和GWO分別進(jìn)行30次迭代實(shí)驗(yàn)，用30次實(shí)驗(yàn)結(jié)果的最優(yōu)值(Best)、最差值(Worst)和平均值(Mean)評(píng)價(jià)算法的尋優(yōu)精度，用30次實(shí)驗(yàn)結(jié)果的標(biāo)準(zhǔn)差(St.dev)來(lái)評(píng)價(jià)算法的穩(wěn)定性。

由表1的實(shí)驗(yàn)結(jié)果可知，IGWO在單峰和多峰測(cè)試函數(shù)上表現(xiàn)都優(yōu)于GWO。相比GWO,IGWO得到的均值、最優(yōu)值和最差值更接近理論最優(yōu)值，說(shuō)明改進(jìn)策略提升IGWO的尋優(yōu)精度。同時(shí)IGWO獲得的結(jié)果的標(biāo)準(zhǔn)差更小，說(shuō)明改進(jìn)算法的穩(wěn)定性更高。IGWO在函數(shù)f7,f8和f9上獲了全局最優(yōu)的結(jié)果，而GWO只在函數(shù)f7上獲得理論最優(yōu)值，表明改進(jìn)策略有效提升GWO算法克服陷入局部最優(yōu)的能力。

為更直觀反映IGWO在參數(shù)尋優(yōu)方面的優(yōu)勢(shì)，圖1給出IGWO算法和GWO算法在3個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)f1,f3和f6尋優(yōu)收斂曲線。從圖1可清晰地看出，IGWO較快的收斂速度和收斂精度。

圖1 IGWO和GWO在函數(shù)f1,f3,f6上的尋優(yōu)迭代曲線

4.2 IGWO-SVM算法在光伏故障診斷的應(yīng)用

本次實(shí)驗(yàn)數(shù)據(jù)來(lái)源于本團(tuán)隊(duì)自主研發(fā)的微型光伏電站系統(tǒng)。該系統(tǒng)利用傳感器采集光伏陣列的工作狀態(tài)信息，包括系統(tǒng)內(nèi)部的電流、電壓等電氣信息和系統(tǒng)工作的溫度、光照強(qiáng)度等環(huán)境信息。系統(tǒng)包含8塊光伏組件，在采集實(shí)驗(yàn)數(shù)據(jù)時(shí)，設(shè)置4種常見的光伏故障類型來(lái)模擬實(shí)際的光伏故障，其中包括斷路、短路、全部遮擋和部分遮擋，同時(shí)設(shè)置正常的工作狀態(tài)作為一種特殊的故障類型。各種故障的具體的實(shí)現(xiàn)方式如表2所示。

表2 光伏陣列故障狀態(tài)類型

采用微型光伏電站系統(tǒng)在中國(guó)浙江某地的2020年8月14日上午9：00～下午3：00的室外環(huán)境下的6908組實(shí)驗(yàn)數(shù)據(jù)。本次實(shí)驗(yàn)在一個(gè)微電站上進(jìn)行實(shí)驗(yàn)，每隔一定時(shí)間切換一種故障狀態(tài)，分別記錄不同故障狀態(tài)下的故障樣本數(shù)據(jù)。每個(gè)樣本包含輸出電壓、總輸出電流、外界光照強(qiáng)度和外界溫度4個(gè)特征值。整個(gè)實(shí)驗(yàn)過(guò)程光照強(qiáng)度和光伏整列輸出隨時(shí)間變化曲線如圖2所示。

圖2 光照強(qiáng)度和光伏整列輸出隨時(shí)間變化曲線

本次實(shí)驗(yàn)采用簡(jiǎn)單的交叉驗(yàn)證方法，將整個(gè)實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集和驗(yàn)證集，測(cè)試集和驗(yàn)證集各占總數(shù)據(jù)量的70 %和30 %。用驗(yàn)證集的分類正確率作為優(yōu)化算法的適應(yīng)度，利用訓(xùn)練集對(duì)SVM模型進(jìn)行訓(xùn)練。同時(shí)將灰狼種群設(shè)置為10，最大迭代次數(shù)設(shè)置為30。此參數(shù)尋優(yōu)的范圍設(shè)置為C∈[0.1,100],g∈[0.1,100]。在MATLAB平臺(tái)上利用LIBSVM[12]進(jìn)行實(shí)驗(yàn)。

IGWO-SVM和GWO-SVM在整個(gè)迭代過(guò)程中適應(yīng)度變化如圖3所示。由圖可知，IGWO-SVM在第6代左右即達(dá)到最大的適應(yīng)度值，而GWO-SVM在第10代左右才達(dá)到其最大的適應(yīng)度值。IGWO-SVM比GWO-SVM更快達(dá)到更大的適應(yīng)度值，說(shuō)明IGWO-SVM在真實(shí)的光伏故障數(shù)據(jù)集上有更快的收斂速度。同時(shí)IGWO-SVM模型的最大適應(yīng)度值大于GWO-SVM的最大適應(yīng)度值，說(shuō)明IGWO-SVM有更高的收斂精度，同時(shí)IGWO-SVM模型在一定程度上克服了GWO-SVM陷入局部最優(yōu)的問(wèn)題。

圖3 尋找最佳參數(shù)適應(yīng)度曲線

IGWO算法在獲得最大適應(yīng)度時(shí)對(duì)應(yīng)的C為13.7,g為0.34，同時(shí)GWO算法在獲得最大適應(yīng)度時(shí)對(duì)應(yīng)的C為2.1,g為1.3。利用所得的參數(shù)在訓(xùn)練集上建立SVM分類器模型進(jìn)行訓(xùn)練，之后利用該模型對(duì)光伏陣列故障驗(yàn)證集進(jìn)行分類。

由表3可知，IGWO-SVM模型相比GWO-SVM模型在C3,C4三種故障類型的識(shí)別正確率均有提升，尤其對(duì)C4故障判斷的準(zhǔn)確率提升幅度較大。短路故障(C4)是微電站系統(tǒng)中非常嚴(yán)重的故障，該故障容易引起微電站系統(tǒng)性故障，對(duì)系統(tǒng)安全平穩(wěn)運(yùn)行極為不利。本文提出的IGWO-SVM模型極大地提升了短路故障的識(shí)別率，對(duì)光伏陣列的故障診斷有很高的實(shí)用價(jià)值。

表3 光伏陣列故障分類的實(shí)驗(yàn)結(jié)果

5 結(jié) 論

本文針對(duì)SVM參數(shù)C和參數(shù)g的選擇困難問(wèn)題，提出一種IGWO優(yōu)化SVM參數(shù)的方法。在GWO算法的基礎(chǔ)上，引入非線性控制因子和新的位置更新策略，利用標(biāo)準(zhǔn)測(cè)試函數(shù)對(duì)GWO算法性能進(jìn)行驗(yàn)證，結(jié)果表明:改進(jìn)策略提高算法的全局搜索能力和局部開發(fā)的能力。隨后建立IGWO-SVM模型，利用IGWO對(duì)SVM的參數(shù)進(jìn)行優(yōu)化，并將該模型應(yīng)用到光伏陣列故障診斷。最后實(shí)驗(yàn)驗(yàn)證了IGWO-SVM模型的優(yōu)越性。