基于譜風(fēng)險度量的SVM求解算法與實證分析

李瑞祺， 韓有攀

（西安工程大學(xué)理學(xué)院，西安 710048）

支持向量機(jī)是機(jī)器學(xué)習(xí)中最成功的分類算法之一. 支持向量機(jī)是尋找一個超平面，使該超平面以最大限度地分離不同類別中的訓(xùn)練樣本. 目前最具代表性的SVM模型有：C-SVM、V-SVM、EV-SVM. C-SVM的分類權(quán)重是由參數(shù)C控制的，但由于在實際應(yīng)用中，該分類器參數(shù)C是未知的，需要被提前設(shè)定，并且該分類器參數(shù)的可解釋性也不強(qiáng)，這在應(yīng)用中會帶來不小的麻煩. 為了有效地解決該問題，Sch?lkopf 等［1］提出了V-SVM模型，該模型的參數(shù)無須提前設(shè)定，它是通過機(jī)器自行學(xué)習(xí)獲得的數(shù)值，并且該分類器的參數(shù)比原始的C-SVM 的參數(shù)有著更好的解釋性. 后來Chang 和Lin［2］發(fā)現(xiàn)V-SVM 的參數(shù)并不能取遍［0，1］之間的數(shù).為了解決這個問題，Perez-Cruz等［3］提出了EV-SVM，該模型通過改變V-SVM模型中的限制條件使得參數(shù)V可以取遍［0，1］之間的數(shù). 他們還通過實驗證明了EV-SVM的泛化性能優(yōu)于原始V-SVM模型，該模型不僅有助于闡明V-SVM的理論性質(zhì)，而且有助于提高其泛化性能.

SVM模型與金融風(fēng)險度量之間有著緊密的聯(lián)系. Gotoh等［4］基于金融風(fēng)險與機(jī)器學(xué)習(xí)之間的關(guān)系，提出了金融風(fēng)險度量與SVM 模型之間的異同點，并使用SVM 模型對金融債券評級進(jìn)行了數(shù)值實驗. Takeda 和Sugiyama［5］在V-SVM 的研究基礎(chǔ)上提出了EV-SVM 的優(yōu)化算法. 同時發(fā)現(xiàn)了V-SVM模型與金融風(fēng)險度量中的CVaR之間存在聯(lián)系，并證實了V-SVM模型可以當(dāng)作計算CVaR最小值時使用. Gotoh和Takeda［6］通過研究SVM模型與CVaR模型之間的特殊關(guān)系，提出了一種獲得全局或局部最優(yōu)解的求解方法，并通過數(shù)值實驗證實了該求解模型在分類效果預(yù)測上有更精確的預(yù)測精度. 后來Wang［7］提出了一種基于最壞情況下CVaR最小值的魯棒SVM模型，該模型可以用來計算最壞情況下的CVaR最小值，實驗證明該模型的計算結(jié)果要比傳統(tǒng)的V-SVM模型精確. 由于譜風(fēng)險度量不僅有CVaR的優(yōu)點，還充分考慮了投資者對風(fēng)險態(tài)度偏好的問題，Wang等［8］提出了一種基于譜風(fēng)險度量最小值的支持向量機(jī)模型，并通過數(shù)值實驗證實了該模型的計算精度比傳統(tǒng)的V-SVM 模型精確，該模型在單一權(quán)重加和的CVaR 基礎(chǔ)上，通過采取不同的權(quán)重比例構(gòu)造了一個多權(quán)重加和的風(fēng)險度量模型. 隨后，不斷有新的SVM 模型出現(xiàn)，例如：Takeda 等［9］提出了一種基于金融風(fēng)險最小值的SVM 模型——ER-SVM（Extended Robust Support Vector Machine），實驗證實了該分類模型相比于之前的分類模型，有著更精確的分類精度. Takeda和Kanamori［10］提出了一個統(tǒng)一的機(jī)器學(xué)習(xí)模型（Unified Machine Learning Model，UMLM），該模型不僅適用于二分類模型，還適用于回歸、異常值檢測等模型. 除此之外，還有許多學(xué)者研究了支持向量機(jī)的理論［11-15］.

此外，我國許多研究學(xué)者將支持向量機(jī)模型應(yīng)用到銀行信用風(fēng)險評級研究中去. 余晨曦［16］采用支持向量機(jī)模型來研究我國商業(yè)銀行信用風(fēng)險識別模型，并與傳統(tǒng)的多元判別分析方法進(jìn)行對比. 通過實驗結(jié)果的對比容易發(fā)現(xiàn)，支持向量機(jī)模型判別的誤判率明顯低于多元線性判別模型的誤判率. 葛青青［17］，朱琳［18］同樣使用SVM模型來研究金融行業(yè)信用風(fēng)險評級模型，實驗證明使用支持向量機(jī)模型可以提高分類精度，在金融信用評級預(yù)測方面較為精準(zhǔn)和有效.

本文根據(jù)一致風(fēng)險度量表示定理，通過求解出譜風(fēng)險度量的不確定集合表示形式，構(gòu)造出基于譜風(fēng)險度量的支持向量機(jī)模型，并通過求解該不確定型集合，找到該模型的最優(yōu)解. 在實證分析方面，與傳統(tǒng)的基于CVaR 的支持向量機(jī)進(jìn)行對比. 數(shù)據(jù)結(jié)果表明，基于譜風(fēng)險度量的SVM 模型比傳統(tǒng)的基于CVaR 的SVM 模型計算精度高，誤差小.

1 預(yù)備知識

定義1.1（譜風(fēng)險度量） 若φ∈L1(Ω,?,P)，即φ屬于L1范數(shù)空間，并且滿足：①φ≥0；②φ是遞減的；③‖φ‖ =1. 則

并指出存在如下等式關(guān)系：

其中Xi:N為順序統(tǒng)計量.

定義1.2（一致風(fēng)險度量） 設(shè)V?L1(Ω,?,P)是一實值隨機(jī)變量集合，函數(shù)ρ:V→? 若滿足下列條件，則稱為一致風(fēng)險度量：

（i）單調(diào)性：任意X、Y∈V，若Y≥X，則ρ(Y)≤ρ(X)；

（ii）次可加性：任意X、Y，若X+Y∈V，則ρ(X+Y)≤ρ(X)+ρ(Y)；

（iii）正齊次性：任意X∈V，h＞0，若hX∈V，則ρ(hX)=hρ(X)；

（iv）平移不變性：任意X∈V，a∈?，有ρ(X+a)=ρ(X)-a.

定義1.3（分布不變性） 設(shè)V是實值隨機(jī)變量集合?X、Y∈V，若F(X≤c)=F(Y≤c)，滿足ρ(X)=ρ(Y)，則稱兩個隨機(jī)變量滿足分布不變性.

定義1.4（共調(diào)性） 若兩個隨機(jī)變量Y1,Y2在L1空間中，若對于所有的ω、ω′∈Ω 有：

則稱兩個隨機(jī)變量Y1、Y2具有共調(diào)性.

關(guān)于共調(diào)性，文獻(xiàn)［20］有如下結(jié)論：若存在Y1=f(U);Y2=g(U)，f、g是單調(diào)遞增的函數(shù)，U為一個隨機(jī)變量，且U∈[0,1]，則可以說明兩個隨機(jī)變量Y1、Y2具有共調(diào)性.

定義1.5（二階隨機(jī)占優(yōu)） 任意X、Y∈V，若存在一個凸的、單調(diào)函數(shù)ψ，滿足：

則稱隨機(jī)變量Y二階隨機(jī)占優(yōu)于隨機(jī)變量X，即X?SD(2)Y.

2 譜風(fēng)險度量的性質(zhì)

命題2.1（譜風(fēng)險度量滿足一致性） 設(shè)V是一實值隨機(jī)變量集合，譜風(fēng)險度量是一致風(fēng)險度量.

即Mφ(X)≥Mφ(Y)，證明完畢.

（ii）次可加性. 根據(jù)定義1.1有：

證明完畢.

證明完畢.

由命題2.1知，譜風(fēng)險度量是一致風(fēng)險度量. 除此之外，它還具有如下的性質(zhì).

命題2.2（譜風(fēng)險度量滿足分布不變性） 設(shè)V是一實值隨機(jī)變量集合，?X、Y∈V，若F(X≤c)=F(Y≤c)，則Mφ(X)=Mφ(Y) .

所以，Mφ(X)=Mφ(Y). 證明完畢.

命題2.3（譜風(fēng)險度量滿足共調(diào)可加性） 若Y1和Y2都滿足共調(diào)性，則有：Mφ(Y1+Y2)=Mφ(Y1)+Mφ(Y2).

證明 具體證明過程見參考文獻(xiàn)［21］.

命題2.4（譜風(fēng)險度量滿足二階隨機(jī)占優(yōu)） 設(shè)V是一實值隨機(jī)變量集合，任意X、Y∈V，存在一個凸的、單調(diào)的函數(shù)，滿足：

證明 根據(jù)定義1.1譜風(fēng)險度量輔助函數(shù)定義

3 基于譜風(fēng)險度量的SVM模型

本部分將給出基于譜風(fēng)險度量的SVM形式，為此先介紹一致風(fēng)險度量的表示定理.

命題3.1［4］（一致風(fēng)險度量表示定理） 若ρ是一致風(fēng)險度量，則ρ可有下面表示：

3.1 基于一致風(fēng)險度量的SVM模型

首先給出最基本的SVM模型［4］：

把損失函數(shù)作為隨機(jī)變量，考慮損失函數(shù)在一致風(fēng)險度量下的SVM模型. 由命題3.1得：

再由Charnes-Cooper變換，可將（3）式改寫成（4）式：

3.2 基于譜風(fēng)險度量的SVM模型

由上述可知，譜風(fēng)險度量是一致風(fēng)險度量，所以只需給出Q譜風(fēng)險的具體形式，就可以將（4）式改寫為基于譜風(fēng)險度量的SVM模型.

為了求出Q譜風(fēng)險的具體形式，首先寫出譜風(fēng)險度量的輔助函數(shù)變形形式：

使用拉格朗日乘子法：

對變量求導(dǎo)有：

由上式知：

得：

那么Q譜風(fēng)險的表示形式為：

那么基于譜風(fēng)險的SVM模型的具體表達(dá)式為：

當(dāng)上式范數(shù)的限制條件取1-范數(shù)時，是一種非凸的情況，為了解決非凸問題所帶來的計算困難，可以將上式限制條件改寫為‖w‖ ≤1形式：

從而可以使用凸優(yōu)化方法求解該模型.

3.3 基于譜風(fēng)險度量的SVM模型可求解性分析

定理3.1 若（13）式的最優(yōu)值為負(fù)，則（14）式中任意滿足w≠0 的最優(yōu)解對于（13）式也是最優(yōu)的；若（13）式的最優(yōu)值為正，則（14）式有一個無意義的解.

下面考慮問題（13）最優(yōu)值為正的情況，由問題（14）知，若滿足問題（14）的解為正值，則唯一滿足的解為（0，0），是個無意義的解. 這是因為問題（14）總有一個目標(biāo)值為非正的可行解，要保證問題（13）最優(yōu)值為正的情況下，唯一解只能為（0，0）. 證明完畢.

對于其他情形，可以參照Gotoh 等［4］提出的引入正則化范數(shù)的方法. 引入l1正則化范數(shù)，可以將非凸優(yōu)化問題轉(zhuǎn)化為一個凸優(yōu)化問題. 將問題（13）‖w‖ =1 的限制改為線性不等式的形式：w=1，w≥0 即可. 即：

通過問題（16）可以轉(zhuǎn)化成一個凸優(yōu)化問題，從而求出最優(yōu)解.

3.4 基于譜風(fēng)險度量的SVM模型求解算法

為了更加清楚地對基于譜風(fēng)險度量的SVM模型進(jìn)行求解，下面給出該模型算法具體的求解步驟：

4 實證分析

ROC曲線越靠近左上角，試驗分類的準(zhǔn)確性就越高；AUC值表示誤分率，即ROC曲線下的面積主要用于衡量模型的泛化性能，即分類效果的好壞，數(shù)值越接近1，則表示分類效果越好.

K=1時，分類效果和ROC曲線以及AUC數(shù)值如圖1、圖2所示.

圖1 K=1時，分類對比圖Fig.1 Classification comparison graph when K=1

圖2 K=1時，ROC曲線、AUC數(shù)值Fig.2 ROC curve and AUC value when K=1

得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.356、0.740.

K=2時，分類效果和ROC曲線以及AUC數(shù)值如圖3、圖4所示.

圖3 K=2時，分類對比圖Fig.3 Classification comparison graph when K=2

圖4 K=2時，ROC曲線、AUC數(shù)值Fig.4 ROC curve and AUC value when K=2

得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.527、0.944.

K=3時，分類效果和ROC曲線以及AUC數(shù)值如圖5、圖6所示.

圖5 K=3時，分類對比圖Fig.5 Classification comparison graph when K=3

圖6 K=3時，ROC曲線、AUC數(shù)值Fig.6 ROC curve and AUC value when K=3

得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.418、0.938.

K=4時，分類效果和ROC曲線以及AUC數(shù)值如圖7、圖8所示.

圖7 K=4時，分類對比圖Fig.7 Classification comparison graph when K=4

圖8 K=4時，ROC曲線、AUC數(shù)值Fig.8 ROC curve and AUC value when K=4

得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.916、0.917.

K=5時，分類效果和ROC曲線以及AUC數(shù)值如圖9、圖10所示.

圖9 K=5時，分類對比圖Fig.9 Classification comparison graph when K=5

圖10 K=5時，ROC曲線、AUC數(shù)值Fig.10 ROC curve and AUC value when K=5

得到基于CVaR的SVM和基于SRM的SVM的AUC數(shù)值分別為0.423、0.444.

由上述實驗結(jié)果可以看出，使用譜風(fēng)險度量的SVM模型分類效果基本良好，其ROC曲線都在基于CVaR的SVM 曲線上方，并且基于譜風(fēng)險度量的SVM 的AUC 數(shù)值都要高于基于CVaR 的SVM 的AUC 數(shù)值. 通過使用K-folder 交叉驗證，得到譜風(fēng)險的SVM 模型的平均誤分率（MSR）為0.3，而基于CVaR 的SVM 模型平均誤分率為0.365，比譜風(fēng)險度量模型的平均誤分率高（表1）.

表1 AUC、MSR數(shù)值表Tab.1 AUC，MSR value table

對比上述分類效果圖、ROC 曲線、AUC 數(shù)值和MSR 數(shù)值可知，使用譜風(fēng)險度量的SVM 模型效果比使用CVaR的SVM模型分類效果好，并且譜風(fēng)險度量的SVM模型的平均誤分率比CVaR的低，這在實際應(yīng)用中有更加精確的分類精度.

5 結(jié)論

本文主要利用譜風(fēng)險度量構(gòu)造SVM模型來解決分類問題，提升分類精度. 傳統(tǒng)的SVM模型受參數(shù)影響限制太多，本文通過數(shù)值實驗使用基于譜風(fēng)險度量的SVM模型與傳統(tǒng)的基于CVaR 的SVM 模型進(jìn)行對比，這是由于目前使用的CVaR based-SVM只采用了單一的風(fēng)險權(quán)重，并不能真實反映投資者對待風(fēng)險的態(tài)度.所以通過引入譜風(fēng)險函數(shù)，將風(fēng)險度量擴(kuò)展到一大類的風(fēng)險度量. 譜風(fēng)險度量引用了不同的風(fēng)險權(quán)重，是CVaR的加權(quán)和，它的訓(xùn)練模型通過使用輔助函數(shù)可以表述成一個凸優(yōu)化問題，這個問題在計算上很容易處理. 使用譜風(fēng)險度量在分類中有兩個明顯的優(yōu)勢：第一，它引用了不同風(fēng)險權(quán)重的CVaR加權(quán)和，充分考慮了不同投資者對待風(fēng)險的態(tài)度，更加符合實際情況；第二，它的分類效果要比CVaR的分類效果好，并且平均誤分率要比CVaR模型的平均誤分率低，提高了分類的精準(zhǔn)度.