基于流形學習的企業(yè)信用風險組合評價模型

羅 敏,周禮剛,劉欣悅,朱家明,陳華友

(1.安徽大學 數(shù)學科學學院,安徽 合肥 230601；2.安徽大學 應用數(shù)學中心,安徽 合肥 230601；3.安徽大學 互聯(lián)網(wǎng)學院,安徽 合肥 230601)

2009年10月，中國創(chuàng)業(yè)板正式上市，首批28家企業(yè)開市交易，作為主板市場的重要補充，有效緩解了暫時無法在主板市場上市的中小企業(yè)、創(chuàng)業(yè)型企業(yè)的融資難題，市場規(guī)模迅速發(fā)展壯大。截至2021年8月4日，創(chuàng)業(yè)板總市值達135 510.81億元，累計融資10 003.63億元，上市公司數(shù)量突破1 000家。但企業(yè)大多處于創(chuàng)業(yè)成長期，成立時間較短，資本規(guī)模較小，業(yè)績較不穩(wěn)定，相較于大型成熟企業(yè)，抗風險能力較弱，易受政策調(diào)整、經(jīng)營不善、經(jīng)濟下行等因素的沖擊，導致資金運轉(zhuǎn)失靈，進而產(chǎn)生信用風險。對此，金融監(jiān)管部門先后推行了創(chuàng)業(yè)板企業(yè)退市制度、創(chuàng)業(yè)板注冊制等改革，并不斷完善相關法律法規(guī)，從政策層面上降低企業(yè)發(fā)生違約的概率?？紤]到企業(yè)的財務指標等信息能夠從數(shù)據(jù)層面上揭示企業(yè)的違約風險，有必要分析影響企業(yè)信用風險的諸多因素，構建科學合理的信用風險評價模型，預測企業(yè)潛在的信用風險，完善風險預警機制，為創(chuàng)業(yè)板企業(yè)信用風險評價提供豐富的理論依據(jù)和技術支持。

企業(yè)信用風險評價一直是國內(nèi)外學者廣泛關注和研究的課題[1-3]，研究者通常將信用風險評價視為模式識別的分類問題，即判斷企業(yè)信用風險水平屬于正?；虍惓Ｖ小＿\用一定方法從企業(yè)歷史數(shù)據(jù)樣本中探究分類規(guī)則，并建立評價模型判別新樣本。根據(jù)方法的不同，可分為單變量判別分析、多變量判別分析、機器學習等。BEAVER[4]最早使用單個財務指標分析企業(yè)信用風險水平。該方法簡單易理解，但單一的財務指標不能反映企業(yè)整體的信用風險水平，利用不同指標信息得出的評價結(jié)果也可能相互矛盾。因此，在單變量判別分析的基礎上擴展出了企業(yè)信用風險多變量評價模型。典型的多變量模型包括多元判別模型[5]和多元回歸模型[6]。

隨著現(xiàn)代信息技術的進步，貝葉斯分類[7]、決策樹(decision tree, DT)分類[8]、支持向量機(support vector machine, SVM)分類[9]、神經(jīng)網(wǎng)絡(neural networks, NNs)[10]等非線性分類方法迅猛發(fā)展。文獻[7]構建了離散型貝葉斯網(wǎng)絡模擬貸款用戶的違約概率，結(jié)果顯示貝葉斯網(wǎng)絡能夠突破傳統(tǒng)統(tǒng)計方法的諸多限制，分類準確率較高。TIAN等[11]采用梯形提升決策樹算法，預測精度達92.19%。文獻[9]在對德國公司違約概率的預測中，發(fā)現(xiàn)SVM分類器的預測精度顯著高于Logistic模型，其增幅約為25%。涂艷等[12]基于“拍拍貸”平臺的真實交易數(shù)據(jù)，構建了支持向量機、神經(jīng)網(wǎng)絡、決策樹等機器學習模型，預測借款者發(fā)生違約行為的概率，結(jié)果表明，機器學習方法能有效提升預測的準確率，其中神經(jīng)網(wǎng)絡、決策樹、隨機森林算法的分類效果更佳。

上述方法有著各自的適用情形和限定條件，為綜合不同方法的優(yōu)點，分散單一模型分類錯誤所產(chǎn)生的風險，張新紅等[13]將Logistic模型和RBF神經(jīng)網(wǎng)絡模型進行組合，分析我國上市公司的信用風險情況，結(jié)果表明組合評價模型優(yōu)于單一模型。彭偉[14]將最優(yōu)組合的思想應用到信用風險評價中，提出了基于隨機森林和Logistic回歸的組合評價模型，結(jié)果與文獻[13]研究成果一致，組合評價模型不僅能夠綜合各單項模型的優(yōu)勢，提高評價的精度，還能降低單一模型評價錯誤所帶來的風險。但是，已有的組合評價模型一方面是對方法進行組合，另一方面是對不同單項評價模型的結(jié)果賦予一定的權重進行最優(yōu)組合。事實上，不同單項評價模型對不同企業(yè)的評價性能是“時好時壞”的，比如說，數(shù)據(jù)差異較小時貝葉斯分類效果更好，數(shù)據(jù)差異較大時BP神經(jīng)網(wǎng)絡分類效果更好，組合權重體現(xiàn)了該種單項評價方法的重要性程度，同時，單項評價方法在組合評價中的權系數(shù)用變權會更貼切一些，即根據(jù)單項評價方法的評價結(jié)果，對評價高的時刻賦予較大的權重。

然而，在實際企業(yè)信用風險評價問題中，影響企業(yè)信用風險的指標眾多，如果不能合理選取變量，將會產(chǎn)生嚴重的多重共線性問題，從而降低分類的準確度和模型的解釋性。常用的數(shù)據(jù)降維方法有主成分分析和Lasso回歸方法等，但這些降維方法或丟失部分原始數(shù)據(jù)信息，或提高了數(shù)據(jù)的稀疏性，從而導致評價誤差的增大，因此，筆者基于流形學習的局部線性嵌入(locally linear embedding, LLE)方法對企業(yè)財務指標數(shù)據(jù)進行降維。與傳統(tǒng)降維方法相比，流形學習是局部線性的，利用線性重構的局部對稱性質(zhì)，學習非線性流形的全局結(jié)構，進而將高維數(shù)據(jù)映射到低維空間，保持數(shù)據(jù)在高維空間的幾何拓撲結(jié)構。姚明海等[15]利用LLE方法對瓷片表面樣本數(shù)據(jù)進行降維處理，繼而利用SVM方法進行分類學習，提出一種基于局部線性嵌入的SVM增量學習方法，結(jié)果表明，該算法提高了對高維數(shù)據(jù)的運算速度以及分類的精度。王波等[16]利用局部線性嵌入算法對人臉數(shù)據(jù)的特征進行特征,并利用極限學習機算法對降維后的數(shù)據(jù)進行分類，數(shù)據(jù)表明，與利用主成分分析算法相比，LLE算法具有更高的識別速度和識別精度。

綜上所述，筆者對財務指標與企業(yè)違約狀況進行相關性分析，剔除不相關指標，為解決指標之間的多重共線性問題，降低冗余信息對評價結(jié)果的影響，引入局部線性嵌入的流形學習方法對財務指標數(shù)據(jù)進行降維處理，考慮到已有的企業(yè)信用風險組合評價模型在組合的過程中僅使用固定權重對單項方法進行賦權，提出一種變權組合評價模型并隨機選取樣本進行實驗，驗證模型的有效性。

1 基于流形學習與誘導有序集成的企業(yè)信用風險變權組合評價模型

首先介紹基于流形學習的局部線性嵌入(LLE)方法對財務指標數(shù)據(jù)的處理過程，分別利用貝葉斯分類、決策樹分類和BP神經(jīng)網(wǎng)絡3種方法對LLE處理后的數(shù)據(jù)進行分類學習，最后，基于3種單項分類模型的結(jié)果，構建基于流形學習與誘導有序集成的企業(yè)信用風險變權組合評價模型。

1.1 基于流形學習的財務指標數(shù)據(jù)降維方法

企業(yè)財務評價指標種類繁多，這將導致收集到的數(shù)據(jù)存在一定的冗余信息，為了降低冗余信息對評價結(jié)果的影響，基于流形學習的局部線性嵌入(LLE)法[17]對財務指標數(shù)據(jù)進行降維。與傳統(tǒng)的降維方法相比，LLE方法是局部線性的，利用線性重構的局部對稱性質(zhì)，學習非線性流形的全局結(jié)構，該方法能夠保持樣本數(shù)據(jù)的局部拓撲結(jié)構。假設有n個企業(yè)，違約情況序列記為Yi,i=1,2,…,n，其中Yi=1表示第i個企業(yè)未違約，Yi=0表示第i個企業(yè)違約，若第i個企業(yè)的財務指標數(shù)據(jù)為Xij=(Xi1,Xi2,…,Xim)，則用矩陣表示為X=(xij)n×m。為將矩陣X降成d維矩陣Z=(zij)n×d，基于LLE方法的降維步驟如下：

(1)尋找各樣本點的近鄰點，構建鄰域圖。對于任意樣本點Xij，計算與相鄰樣本點的歐式距離，確定其ε-鄰域內(nèi)的近鄰點所構成的集合，記為Qi，將每個點與其近鄰點建立加權鄰域圖。

(2)采用如下模型計算集合Qi中的近鄰樣本點對Xij進行局部線性重構的權重系數(shù)ωik：

(1)

若k?Qi，則ωik=0。

(3)令(W)ik=ωik，由式(2)可得降維后的低維矩陣M：

M=(I-W)T(I-W)

(2)

(4)對低維矩陣M進行特征分解，即M=PΛPT，其中P為特征值所對應的特征向量，Λ為對角線元素為特征值的對角矩陣，取Λ的最小的d個特征值所對應的特征向量，令Λ*=diag(λ1,λ2,…,λd)，則P*為d個最下特征值對應的特征向量矩陣。

(5)通過計算Z=P*Λ*1/2∈Rm×d，得到降維后的矩陣Z，其中，每一行代表一個樣本數(shù)據(jù)的低維坐標。

根據(jù)上述步驟即可得到基于流形學習的局部線性嵌入法降維后的財務指標數(shù)據(jù)。為得到變權組合評價值，利用貝葉斯分類、決策樹分類和BP神經(jīng)網(wǎng)絡3種分類方法根據(jù)財務指標降維后的數(shù)據(jù)進行分類評價。

1.2 基于貝葉斯分類的企業(yè)信用風險評價模型

樸素貝葉斯是基于先驗概率的一種常用的分類學習算法，其思想是對于給定的待分類項，分別計算在該項條件下各個類別的概率，然后選擇概率最大的，歸為該類。

設Yi為第i個企業(yè)的違約情況，Yi的類別集合為C={0,1}，Xij(i=1,2,…,n,j=1,2,…,m)為Yi第i個企業(yè)第j個財務指標數(shù)據(jù)，計算p(0|Yi)和p(1|Yi)，若p(0|Yi)>p(1|Yi)則Yi=0，即Yi是違約的；反之則Yi=1，為未違約。

一般情況下，p(0|Yi)和p(1|Yi)是未知的，可根據(jù)樣本集合計算各類別下不同特征的條件概率，即pj(Xij|0)和pj(Xij|1)，由貝葉斯定理可知：

(3)

(4)

由于式(3)和式(4)中分母均為所有的類別，對概率計算無影響，因此只考慮分子，假設各個特征相互獨立，則有式(5)和式(6)成立，從而得到p(0|Yi)和p(1|Yi)，進而可得Yi的分類。

(5)

(6)

1.3 基于決策樹分類的企業(yè)信用風險評價模型

決策樹分類是一種有監(jiān)督的分類學習算法，能夠從樣本數(shù)據(jù)中總結(jié)出決策規(guī)則，并且用樹狀圖呈現(xiàn)分類規(guī)則，一棵決策樹包含一個根結(jié)點、若干個葉結(jié)點和內(nèi)部節(jié)點，從根結(jié)點到葉結(jié)點形成一條路徑作為一條分類規(guī)則，最終在非葉結(jié)點上進行決策。在識別企業(yè)是否違約的實際決策問題中，首先將企業(yè)的樣本數(shù)據(jù)全部納入根結(jié)點，通過判斷各指標加入后對決策結(jié)果的影響水平，即各指標的信息增益，若某一指標的信息增益越大，說明該指標對分類的作用越大。因此，可通過各指標的信息增益來對指標進行特征劃分，選擇出最重要的指標優(yōu)先分裂。

假設企業(yè)是否違約的數(shù)據(jù)為Y=(y1,y2,…,yn)，相應的概率為P=(p1,p2,…,pn)，則樣本Y的信息熵為：

(7)

則在每個指標屬性下樣本的條件熵為：

H(Y|Xi)=P(Xi)H(Y|Xi)

(8)

結(jié)合式(7)和式(8)可得第i個指標的信息增益為：

IG(Xi)=H(Y|Xi)-H(Y)

(9)

由式(9)可依次選擇指標進行分列，生成一棵決策樹分類，進而根據(jù)樣本數(shù)據(jù)對企業(yè)的違約情況進行分類。

于是非常的熱鬧，比方我的母親，她一點也不懂這行，但是她也列了席，她坐在旁邊觀看，連家里的廚子，女工，都停下了工作來望著我們，似乎他們不是聽什么樂器，而是在看人。我們聚滿了一客廳。這些樂器的聲音，大概很遠的鄰居都可以聽到。

1.4 基于BP神經(jīng)網(wǎng)絡的企業(yè)信用風險評價模型

BP神經(jīng)網(wǎng)絡[18]最早由RUMELHART等提出，是一種誤差逆向傳播訓練的多層神經(jīng)網(wǎng)絡，由輸入層、模式層和隱藏層構成，可用于分類和預測問題。它通過對訓練結(jié)果與期望結(jié)果進行誤差分析，不斷修正模型的權值和閾值，最終得到理想結(jié)果，如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡結(jié)構圖

針對企業(yè)違約的二分類問題，假設評價企業(yè)違約情況的相關指標數(shù)據(jù)及企業(yè)是否違約的數(shù)據(jù)集為{(Xi,Yi)},i=1,2,…,n，Xi∈Rn為第i個指標數(shù)據(jù)的特征向量，Yi為第i個企業(yè)的違約情況，若違約則Yi=0；反之，Yi=1。令Xi為輸入變量，Yi為輸出變量，設vip(i=1,2,…,d;p=1,2,…,q)為輸入層到隱藏層的連接權重，αp為第q個隱藏層單元的輸出，則：

(10)

設vpj(p=1,2,…,q;j=1,2,…,q)為隱藏層到輸出層的連接權重，隱藏層第p個神經(jīng)元的閾值為γp，則第j個輸出神經(jīng)元的輸入為：

(11)

式中：bp=f(αp-γp)，f為激活函數(shù)，可選用Sigmod函數(shù)。

最終可得到最后輸出為：Yi=f(βj-θj)，θj為輸出層第j個神經(jīng)元的閾值。

1.5 基于誘導有序集成的企業(yè)信用風險最優(yōu)變權組合評價模型

同一單項分類評價方法對不同企業(yè)的評價精度不同，不同單項評價模型由于自身特點對不同企業(yè)的評價性能也“時好時壞”。因此，可能出現(xiàn)某種單項分類方法對某個企業(yè)的評價精度較高而對其他企業(yè)評價精度低的情況，為克服這些缺陷，引入誘導有序加權平均(induced ordered weighted averaging，IOWA)算子，將單項分類評價方法對樣本企業(yè)的評價精度由高到低排序后進行賦權，提出一種新的變權組合評價方法。

設Yi為第i個企業(yè)是否違約數(shù)據(jù)，假設有m種分類方法對其進行分類預測，令第j種分類方法對第i個企業(yè)是否違約的預測結(jié)果為Yji，稱eji=Yji-Yi為第j種分類方法對第i個企業(yè)的評價誤差。

根據(jù)定義1和定義2，由第j種單項分類評價方法對第i個企業(yè)的評價值Yji及實際值Yi可以得到第j種單項分類評價方法在第i個企業(yè)的評價精度uji，以uji作為Yji的誘導值，組成一個二維數(shù)組，記為。設u-index(ji)是第i個企業(yè)評價精度序列u1i,u2i,…,umi按從大到小排列后第j大位置對應的下標，可得由各單項評價方法的精度序列u1i,u2i,…,umi所生成的基于誘導有序加權平均算子的第i個企業(yè)的變權組合評價值。

(12)

(13)

2 實例仿真與結(jié)果分析

2.1 數(shù)據(jù)來源

以深圳證券交易所的300家創(chuàng)業(yè)板企業(yè)為研究樣本，其中21家ST類公司為信用異常樣本，將這21家公司被ST前一年的數(shù)據(jù)作為訓練數(shù)據(jù)。根據(jù)與ST公司所處行業(yè)相同或相近、資產(chǎn)規(guī)模相差控制在20%以內(nèi)的原則，配比279家信用正常樣本。數(shù)據(jù)來源于國泰安數(shù)據(jù)庫、上市公司企業(yè)年報等。

綜合創(chuàng)業(yè)板企業(yè)的風險特征和已有文獻的研究經(jīng)驗，從盈利能力、短期償債能力、長期償債能力、發(fā)展能力及運營效率5方面初步選取21個影響企業(yè)信用水平的指標，分別為毛利率、凈資產(chǎn)收益率、總資產(chǎn)凈利潤率、資產(chǎn)負債率、流動比率、速動比率、現(xiàn)金比率、長期資本負債率、產(chǎn)權比率、流動資產(chǎn)比率、流動負債率、凈利潤增長率、凈資產(chǎn)增長率、營業(yè)收入增長率、總資產(chǎn)增長率、現(xiàn)金流量增長率、總資產(chǎn)周轉(zhuǎn)率、流動資產(chǎn)周轉(zhuǎn)率、存貨周轉(zhuǎn)率、股東權益周轉(zhuǎn)率和應收賬款周轉(zhuǎn)率。

2.2 信用風險分類評價指標

(14)

(15)

(16)

(17)

(18)

(19)

2.3 實證結(jié)果分析

利用樣本數(shù)據(jù)計算企業(yè)違約情況與各指標的相關系數(shù)，結(jié)果為：0.39，0.40，0.46，-0.54，0.16，0.14，0.10，-0.31，-0.40，-0.33，0.07，0.16，0.43，0.11，0.16，0.06，0.23，0.16，-0.01，0.22，-0.01，并剔除相關性弱的指標，分別為流動比率、速動比率、現(xiàn)金比率、流動負債率、凈利潤增長率、營業(yè)收入增長率、總資產(chǎn)增長率、現(xiàn)金流量增長率、流動資產(chǎn)周轉(zhuǎn)率、存貨周轉(zhuǎn)率和應收賬款周轉(zhuǎn)率?？紤]到剩余指標之間可能存在多重共線性問題，采用基于流形學習的局部線性嵌入法對指標進行約簡。從300家創(chuàng)業(yè)板企業(yè)中隨機選取2組樣本，每組樣本中，包含270家訓練樣本及30家測試樣本。再利用貝葉斯分類模型、決策樹模型、BP神經(jīng)網(wǎng)絡模型和最優(yōu)組合模型對2組樣本進行分類評價。

圖2 隨機樣本1模型測試結(jié)果

由式(14)～式(19)可得各模型的分類準確率，結(jié)果如表1所示，可知在訓練樣本和測試樣本中，組合分類評價模型的分類精度在4個模型中均為最高。在測試樣本中，組合模型對總體識別的正確率為96.67%，高于3種單項分類方法；對異常樣本的識別正確率為83.33%，與決策樹方法相同，遠高于貝葉斯方法和BP神經(jīng)網(wǎng)絡方法；對正常樣本的識別正確率為100%，高于3種單項分類方法。

表1 創(chuàng)業(yè)板企業(yè)信用風險評價方法識別精度比較(隨機樣本1) %

為驗證模型的穩(wěn)定性，隨機選取第2個樣本，進行再次驗證，結(jié)果如圖3所示，可知組合分類模型的預測準確率高于3種單項分類模型。

圖3 隨機樣本2模型測試結(jié)果

由式(14)～式(19)可得各模型的分類準確率，結(jié)果如表2所示,可知在訓練樣本和測試樣本中，組合評價模型的分類精度在4個模型中仍為最高，與隨機樣本1的結(jié)論保持一致。在測試樣本中，組合模型對總體識別的正確率為93.33%，高于3種單項分類方法；對異常樣本識別的正確率為66.67%，與決策樹方法相同，遠高于其他兩種方法；對正常樣本識別的正確率為100%，高于3種單項分類方法。綜上，相較于正常樣本的識別問題，組合模型能顯著改善部分單項方法對異常樣本識別正確率較低的問題，具有現(xiàn)實意義和應用價值，提出的基于誘導有序集成的變權組合分類評價模型是合理有效的。

表2 創(chuàng)業(yè)板企業(yè)信用風險評價方法識別精度比較(隨機樣本2) %

3 結(jié)論

(1)選取了21個影響企業(yè)信用的評價指標，基于300家創(chuàng)業(yè)板企業(yè)的樣本數(shù)據(jù)，首先計算各評價指標與企業(yè)違約情況的相關性，并剔除了相關性弱的指標；其次利用基于流形學習的LLE方法對指標進行約簡，以消除冗余信息對模型的影響；繼而利用貝葉斯分類、決策樹模型以及BP神經(jīng)網(wǎng)絡3種分類模型對企業(yè)是否違約進行分類評價。結(jié)果表明3種分類方法對不同企業(yè)的評價精度“忽高忽低”，為融合不同方法所提供的有效信息，構建基于誘導有序集成的變權組合評價模型，并隨機選擇兩組訓練樣本和測試樣本，結(jié)果表明，組合評價模型能有效提高分類精度，并分散由單一模型分類錯誤所帶來的風險。這說明筆者提出的模型在解決企業(yè)信用評價分類問題時效果顯著。

(2)在未來的研究中，一方面，考慮繼續(xù)挖掘數(shù)據(jù)特征，利用深度學習方法進行評價。另一方面，考慮將文本信息等非結(jié)構化數(shù)據(jù)與財務數(shù)據(jù)相結(jié)合，構建基于結(jié)構化與非結(jié)構化融合的組合評價模型，進一步提高模型的分類精度及適用性。