基于組稀疏多核統(tǒng)計學習的財務困境預測

張向榮，胡瓏瑛

（1．哈爾濱工業(yè)大學 經(jīng)濟與管理學院，哈爾濱150001；2．黑龍江工程學院 經(jīng)濟管理學院，哈爾濱150008）

財務困境是企業(yè)所面臨的內(nèi)外部風險因素最終惡化后的綜合和顯著的表現(xiàn)。一般是指企業(yè)因遭受嚴重的外部挫折或內(nèi)部財務活動失去控制而使得財務狀況所處的危險或緊急狀態(tài)，一般包括流動性不足、無力支付到期債務、拖欠優(yōu)先股股利、盈利能力實質(zhì)性或持續(xù)性削弱、甚至破產(chǎn)等情形。財務困境預測是以企業(yè)財務信息為基礎，對企業(yè)在經(jīng)營管理活動中的潛在財務困境風險進行監(jiān)測、診斷與報警的一種技術。它貫穿企業(yè)經(jīng)營活動的全過程，以企業(yè)的財務報表、經(jīng)營計劃及其他相關的財務材料為依據(jù)，利用會計、金融、企業(yè)管理、市場營銷等理論，采用比率分析、數(shù)學模型等方法，發(fā)現(xiàn)企業(yè)存在的風險，并向利益相關者發(fā)出警示，以便采取相應對策的管理方法［1］。

自20世紀60年代以來，財務困境預測在歐美得到廣泛發(fā)展，從多元判別分析等線性預測模型，到以神經(jīng)網(wǎng)絡模型為代表的各種非參數(shù)預測模型，相關的模型、方法層出不窮。在這些模型中，有一個共同的前提假設，就是可以對公司進行分組，其基本的思想即利用企業(yè)的各種財務指標，建立判別模型，從而根據(jù)企業(yè)的總體財務狀況進行分類［2］～［8］。

縱觀國內(nèi)外現(xiàn)有的研究成果，財務困境預測方法主要分為兩大類：傳統(tǒng)統(tǒng)計方法和人工智能專家系統(tǒng)方法。以支持向量機（support vector machine，SVM）為代表的核方法，憑借其良好的非線性數(shù)據(jù)處理能力，已經(jīng)在上市公司財務困境預測中得到了足夠的重視和廣泛的研究。作為機器學習的一個有效方法，SVM能夠處理動態(tài)的、不穩(wěn)定數(shù)據(jù)，具有參數(shù)少、保證唯一最優(yōu)全局解、采用結構風險原則使得模型針對有限樣本集合也具有較好的泛化性能等優(yōu)點。在應用中，特征集和核函數(shù)參數(shù)的選擇對SVM模型的預測性能具有重要的影響。因此，如何選擇合適的特征集和核函數(shù)參數(shù)進一步提高SVM模型的預測性能是研究者關注的焦點。在標準SVM基礎上，眾多改進形式的SVM分類器被提出來應用于企業(yè)財務困境預測。其中一個類型是對SVM自身進行改進，提出了結合模糊理論的支持向量機算法，用于預測企業(yè)破產(chǎn)情況。第二類集中在SVM預測模型參數(shù)的搜索以及混合模型構建，都在一定程度上進一步提高了SVM的預測性能，如聯(lián)合利用粒子群算法和人工蟻群克隆算法，對SVM進行參數(shù)優(yōu)化處理，進而提高了財務困境趨勢預測的準確性。該研究也代表了當前國內(nèi)外企業(yè)財務困境預測研究的一種重要預測模型類型，即智能優(yōu)化方法與機器學習、人工智能專家系統(tǒng)模型的結合。第三類則是將特征預處理、特征選擇處理同SVM結合，構成相應的混合預測模型；此外，有學者分別將流形學習、偏最小二乘模型等同SVM進行結合，構建了特征提取與預測的聯(lián)合模型。核方法在財務困境預測中的應用，如線性核與非線性核分類器、核局部Fisher判別分析用于特征提取、利用流形正則化改進SVM，提高了預測精度［6］～［9］。

近年來，多核學習（multiple kernel learning，MKL）理論和方法在分類和預測等應用體現(xiàn)出了相對于單核學習的顯著優(yōu)勢。作為有效處理非線性問題的核方法，由單一核函數(shù)構成的核機器在學習和應用過程中，很容易遇到樣本不平坦分布、數(shù)據(jù)不規(guī)則等實際問題?；诖耍斜匾獙⒍鄠€核函數(shù)進行有效組合，以期望獲得更好的處理結果。這些不同的核函數(shù)可能是由不同的相似性度量方法得到的，也可能是利用多源數(shù)據(jù)信息得到的。為了突出這些核函數(shù)之間的相似性和差異性，越來越多的多核學習算法得到研究人員的重視與肯定。研究證明，MKL被認為是一項很有前景的技術，在解決實際問題的應用中表現(xiàn)出先進的性能，特別是利用多核來融合多源數(shù)據(jù)信息。盡管大家都在積極地研究多核，但是傳統(tǒng)的多核方法仍然存在嚴重的局限性。尤其是現(xiàn)有的多核方法通常轉化為復雜的優(yōu)化任務，比較典型的是凸優(yōu)化問題，例如半定規(guī)劃，可以用現(xiàn)有的優(yōu)化技術來解決。盡管凸優(yōu)化的效果不錯，但要解決這樣復雜的優(yōu)化任務往往具有很大的挑戰(zhàn)性［10］～［13］。

本文提出了一種稀疏多核學習方法用于財務風險預測。首先，一個利用預定義的基核進行無監(jiān)督學習。在此過程中，一個稀疏性約束條件被引入，用于限制基核的線性組合，進而改進學習性能和預測模型的可解譯性。通過無監(jiān)督學習可以得到一個“最優(yōu)”的線性組合核。最終，這個“最優(yōu)”組合核用于支持向量機中，進而得到具備稀疏學習能力的多核預測機。本文利用214對ST和非ST公司財務數(shù)據(jù)進行了仿真實驗。實驗結果證實，本文所提出的稀疏多核學習方法在全部數(shù)據(jù)集和不同產(chǎn)業(yè)數(shù)據(jù)集上均優(yōu)于現(xiàn)有的主流預測方法。

一、基于核學習的預測方法

（一）支持向量機到多核學習

支持向量機（Support Vector Machine，SVM）是針對兩類問題的判別分類器，給定N個獨立同分布的樣本｛（xi，yi）｝，xi是D維的輸入向量，yi∈｛－1，＋1｝是其對應的類別標簽。SVM的目的是在特征空間中尋找擁有最大分類間隔的線性判別準則，其中特征空間是由映射函數(shù)Φ：?D→?S對原始空間數(shù)據(jù)進行映射得到的。判別函數(shù)形式為：

分類器可以通過求解以下二次優(yōu)化問題來進行訓練：

其中w是確定分類超平面的法向量，ξi為松弛變量，對應數(shù)據(jù)點xi允許偏離函數(shù)間隔的量，b為截距，C是懲罰因子，用于控制目標函數(shù)中兩項之間的權重，實現(xiàn)對學習能力和泛化能力的折衷。

上述問題可通過拉格朗日對偶法變換到對偶變量的優(yōu)化問題，進而得到一種更加有效的方法來進行求解。這樣做的優(yōu)點在于：一者對偶問題往往更容易求解；二者可以自然地引入核函數(shù)。如此，給出原問題的對偶問題：

其中，k：?D×?D→?為核函數(shù)（Kernel Function），α為對偶變量。通過求解這個問題，得到和判別函數(shù)：

在訓練過程中，合理選取核函數(shù)k（·，·）及其參數(shù)（如q或σ）就顯得尤為重要。近些年來提出的多核學習（Multiple kernel learning，MKL）方法替代了選取單一核函數(shù)的方法而得到了很大發(fā)展，其一般形式為：

這里，fη：?P→?為核函數(shù)的組合函數(shù)，它可以是線性的或非線性的函數(shù)。核函數(shù)為｛km：?Dm×?Dm→?｝Mm＝1，其可以輸入具有M個特征的數(shù)據(jù)樣本xi＝xmi｛ ｝Mm＝1，其中xmi∈?Dm，Dm為第m個特征的維數(shù)。η為組合函數(shù)的參數(shù)，其更一般的表達式為：

這個參數(shù)用于組合預先定義好的核函數(shù)（有時也稱基核，即訓練之前給定的核函數(shù)及其參數(shù)）。

（二）代表性多核學習方法

多數(shù)現(xiàn)有的多核學習方法都是從學習模型的目標函數(shù)出發(fā)，構造同時求解多核組合和目標極值的最優(yōu)化問題。將多核特征空間嵌入公式（2）中，可以得到多核SVM的優(yōu)化問題：

其中wm是第m個希爾伯特特征空間中的決策超平面的權向量，對應核Km的非線性映射函數(shù)為Φm（xi）。

多核SVM的對偶優(yōu)化問題表示為：

公式（3）中的目標函數(shù)L（αi，αj）是一個外凸且可微的函數(shù)，因此多核組合系數(shù)dm可以通過迭代更新L（αi，αj）的梯度下降方向求得最優(yōu)解。在主流的多核學習算法中，SimpleMKL即利用梯度下降法迭代優(yōu)化多核SVM決策函數(shù)。

目標函數(shù)的梯度表示如下：

沿著梯度下降的方向D更新組合系數(shù)：

其中γ是迭代更新步長，d＝［d1，d2，…，dM］T是多核組合系數(shù)向量。并不需要在每次迭代中都計算新的梯度，只有當目標函數(shù)的值下降時才需要更新梯度。梯度迭代更新的過程直到滿足終止條件為止。終止條件可以根據(jù)對偶區(qū)間、KKT條件或者d的變化等。

二、組稀疏多核學習方法

（一）多核Boosting學習的基本形式基于對數(shù)組選擇的稀疏多核學習

正如上一節(jié)所述，在進行多核學習之前，候選基核函數(shù)已經(jīng)確定。一般的多核學習過程中會賦予每個基核函數(shù)一定的權值，以尋求最優(yōu)的基核線性組合。不同于一般的多核學習，稀疏多核學習目的在于學習具有少量非零權值的組合核。通過這樣的處理，去除在學習過程中存在冗余的基核，最終得到的權值在一定程度上代表了該基核學習能力的重要性。

上面公式（7）給出了多核學習的一般形式。由該公式我們可以看出，最大化邊緣意味著來自不同Hilbert空間的基核構成一個加權距離形式。不同的基核之間存在一定的相關性，因此，借助于文獻［13］提出的方法，我們引入組選擇項（Group Selection Term，GST）來描述這種關系。通過引入對數(shù)組選擇項到多核學習的線性組合中，稀疏多核學習問題可以表示為如下形式：

其中g（w）給出了罰函數(shù)項。

文獻［13］給出了三種罰函數(shù)的具體形式。這樣，方程（11）可以重新描述為如下形式：

其中Bk是罰函數(shù)g（w）的上界。

進一步，方程（7）的對偶優(yōu)化問題可以描述為：

由此可見，上述形式具有同單核標準支持向量機一致的優(yōu)化問題形勢，只是引入了k另Ω為一個對角矩陣，有Ωjj＝Bk，j∈sk。方程（13）拉格朗日函數(shù)形式：

上述方程可利用標準支持向量機來進行求解，具體求解方法可見文獻［12］。

（二）組稀疏多核學習財務預警過程

利用組稀疏多核學習進行財務預警的主要步驟可以描述如下：

（1）采集中國上市公司財務比率指標，并對其進行歸一化；

（2）確定訓練數(shù)據(jù)和測試數(shù)據(jù)集；

（3）確定基核形式和基核數(shù)目；

（4）利用組稀疏多核學習進行訓練數(shù)據(jù)的學習，并計算得到稀疏多核中基核函數(shù)的權值，進而得到組稀疏多核學習預測模型；

（5）在測試數(shù)據(jù)集上，進行預測處理。

三、仿真實驗

（一）數(shù)據(jù)描述

為了測試所提出方法用于財務困境預測的有效性，本文由中國上市公司中選擇實際財務數(shù)據(jù)指標進行研究。財務數(shù)據(jù)采集原則主要考慮了公司的多樣性、時間的連續(xù)性和每類樣本的比例。實驗選擇了207家財務狀況正常的公司和207家ST公司，財務指標周期涵蓋了2006年至2012年。根據(jù)上述準則，44個不同的原始財務指標數(shù)據(jù)選用實驗中。相關的實驗數(shù)據(jù)見表1。

表1 實驗數(shù)據(jù)

（二）實驗結果

為了驗證所提出方法的有效性和先進性，在仿真實驗中本文選用了當前典型的財務困境預測方法作為對比。對于不同的方法，每組實驗中選擇相同的訓練集和測試集。第一組實驗主要用于測試不同預測方法的預測精度。這組實驗數(shù)據(jù)包括全部年限數(shù)據(jù)預測精度和不同行業(yè)預測精度。對比的方法包括：經(jīng)典的多線性分析MDA、Logit方法、k近鄰（KNN）、神經(jīng)網(wǎng)絡NN和標準支持向量機。第二組實驗主要用于測試不同方法進行財務指標特征提取的能力，即提取的特征用于最終預測的性能。選擇對比方法包括：主成分分析＋支持向量機、線性判別分析＋支持向量機、ZETA＋支持向量機方法。

表2給出了六種不同方法的平均預測精度，這里選擇了100個公司數(shù)據(jù)作為訓練樣本，時間模型為T－1、T－2和T－3。由表2可以看出，本文所提出的方法在平均預測精度方面，明顯優(yōu)于其他常用方法。進一步，為了評價不同方法在訓練樣本數(shù)目變化情況下的預測能力，我們在實驗中改變訓練樣本數(shù)目，由10到100變化，間隔為10，并采用T－2模型。表3給出了預測精度測試結果。進一步，我們在實驗中測試了不同方法用于不同行業(yè)公司財務困境預測能力。相應的行業(yè)數(shù)據(jù)預測結果列于表4中。其中，C1表示能源行業(yè)或礦業(yè)公司，C2表示電子工業(yè)公司，C3表示地產(chǎn)行業(yè)公司。由表4列出的實驗結果可以看出，本文所提出的方法在不同行業(yè)數(shù)據(jù)中，大多數(shù)情況都要優(yōu)于其他常用預測方法。

表2 全部數(shù)據(jù)集測試的預測精度（訓練樣本數(shù)為100）

表3 T－2模式不同訓練樣本數(shù)目下預測精度

表4 三類不同行業(yè)預測結果

本文所提出的方法由于具備組稀疏特性，因此能夠在預測的同時實現(xiàn)特征的選擇，即財務指標的選擇。換言之，通過將不同指標指定給不同的基核，在學習過程中通過控制基核權值的非零數(shù)目，會選擇性地自動保留對于預測更為有效的指標，進而實現(xiàn)指標的自動篩選過程。表5給出了在進行特征選擇下的預測精度實驗結果。

表5 全部數(shù)據(jù)集測試的特征提取后預測精度（訓練樣本數(shù)為100）

結 論

針對上市公司財務困境預警問題，本文提出了一種基于組選擇的稀疏多核學習方法。該方法的主要特點在于通過引入對數(shù)組選擇項作為罰函數(shù)，達到去除大量基核之間預測能力冗余的目的，通過去除冗余的基核函數(shù)，實現(xiàn)更優(yōu)性能的財務困境企業(yè)預測能力，與此同時對用于財務困境預測的企業(yè)財務數(shù)據(jù)指標具備良好的選擇性能。利用中國上市公司真實數(shù)據(jù)進行的仿真實驗結果表明，同現(xiàn)有預警方法相比，本文提出的方法能夠取得良好的預測結果。

［1］BEAVER W．Financial Ratios as Predictors of Failure［J］．Journal of Accounting Research，1966，4：71–111．

［2］ALTMAN E I．Financial Ratios Discriminant Analysis and the Prediction of Corporate Bankruptcy［J］．Journal of Finance，1968，23：589－609．

［3］OHLSON J A．Financial Ratios and the Probabilistic Prediction of Bankruptcy［J］．Journal of Accounting Research，1980，18（1）：109－131．

［4］CARLOS S C．Self－organizing Neural Networks for Financial Diagnosis［J］．Decision Support Systems，1996，17：227－238．

［5］CHO S，KIM J，BAE J K．An Integrative Model with Subject Weight Based on Neural Network Learning for Bankruptcy Prediction［J］．Expert Systems with Applications，2009，36：403－410．

［6］CORTES C，VAPNIK V．Support－Vector Networks［M］．Machine Learning，1995，20：273－297．

［7］CHEN L H，HSIAO H D．Feature Selection to Diagnose a Business Crisis by Using a Real GA－based Support Vector Machine：An Empirical Study［J］．Expert Systems with Applications，2008，35：1145－1155．

［8］DING Y，SONG X，ZEN Y．Forecasting Financial Condition of Chinese Listed Companies Based on Support Vector Machine［J］．Expert Systems with Applications，2008，34：3081－3089．

［9］FRIENDMAN J H，HALL P．On Bagging and Nonlinear Estimation［J］．Journal of Statistical Planning and Inference，2007，137：669－683．

［10］GOENEN M，ALPAYDN E．Multiple Kernel Learning Algorithms［J］．Journal of Machine Learning Research，2011，12：2211－2268．

［11］RAKOTOMAMONJY A，et al．SimpleMKL［J］．Journal of Machine Learning Research，2008，9：2491－2521．

［12］SUBRAHMANYA N，SHIN Y C．Sparse Multiple Kernel Learning for Signal Pprocessing Applications［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）：788－798．

［13］BACH F R，et al．Multiple Kernel Learning，Conic Duality，and the SMO Algorithm［C］／／Proc．21st Int’l Conference on Machine Learning．2004：41－48．