基于兩階段優(yōu)化算法的客戶信用評估問題研究

■王興宇 四川大學

一、前言

目前，我國的信用卡業(yè)務雖然還處于發(fā)展初期，但是隨著客戶貸款數(shù)量的迅速增長，為了防范潛在風險，減少發(fā)卡機構的損失。在對客戶發(fā)放信用卡之前，對其進行信用評估已成為解決客戶信用風險的重要方法之一。決策樹是基于統(tǒng)計理論的非參數(shù)識別技術，可以自動進行變量選擇，降低維數(shù)，分類結果表達形式簡單易懂，并可有效的用于對數(shù)據(jù)的處理，所以被廣泛應用于數(shù)據(jù)挖掘的分類當中。但對于現(xiàn)實的信用評估問題，由于客戶的信息量大、屬性多，單獨使用決策樹易造成運算過程復雜。這就需要在建立決策樹之前刪除多余的屬性，然后再用決策樹進行分類。本文利用澳大利亞銀行的數(shù)據(jù)研究信用評估問題，在建立決策樹之前，采用GMDH輸入輸出模型先挑選中對分類結果影響較重要的屬性，然后再利用決策樹進行分類，以達到對決策樹優(yōu)化的效果。

二、相關模型方法概述

1. GMDH輸入輸出模型

數(shù)據(jù)分組處理算法（Group Method of Data Handling）是烏克蘭科學院A.G.Ivakhnenko在1967年首次提出的。GMDH作為一種自動產(chǎn)生模型的算法，它使用的是演化（遺傳、變異和選擇）的原則，實現(xiàn)一個模型結構綜合和模型確認的自動化過程，模型從數(shù)據(jù)中自動產(chǎn)生，以最優(yōu)的傳遞函數(shù)網(wǎng)絡的形式，重復產(chǎn)生大量具有增長復雜度的競爭模型。進行相應的模型確認并留下最好的選擇，直到產(chǎn)生一個最優(yōu)復雜度模型。

GMDH方法有兩個基本思想：（1）以黑箱方法為主要方法分析輸入輸出關系；（2）用基本函數(shù)的網(wǎng)絡互聯(lián)來表達復雜函數(shù)。它從參考函數(shù)構成的初始模型（函數(shù)）集合出發(fā)，按一定的法則產(chǎn)生新的中間候選模型（遺傳、變異），再經(jīng)過篩選（選擇），重復這樣一個遺傳、變異、選擇和進化的過程，使中間候選模型的復雜度不斷增加，直至得到最優(yōu)復雜度模型。

2.決策樹理論

決策樹是一種類似于流程圖的樹結構，起源于20世紀70年代后期和80年代初期，由J.Ross Quinlan提出了ID3算法，這種算法使用貪心方法，以自頂向下的遞歸的分治方式構造，將數(shù)據(jù)從根節(jié)點向下逐步劃分，在內(nèi)部節(jié)點上進行屬性的比較，訓練集即被遞歸地劃分為子集，最后形成分類的規(guī)則。比較經(jīng)典的決策樹算法有基于信息熵的ID3算法及能處理連續(xù)屬性的C4.5算法。

ID3算法計算每個屬性的信息增益，并選取具有最高增益的屬性作為給定集合的測試屬性。對被選取的測試屬性創(chuàng)建一個節(jié)點，并以該節(jié)點的屬性標記，對該屬性的每個值創(chuàng)建一個分支并以此來劃分樣本。C4.5算法是對ID3算法的改進，ID3處理的是離散的屬性，而C4.5算法能處理連續(xù)的屬性，并在以下幾方面對ID3算法進行了改進：（1）用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；（2）在樹構造過程中進行剪枝；（3）能夠完成對連續(xù)屬性的離散化處理；（4）能夠?qū)Σ煌暾麛?shù)據(jù)進行處理。

三、兩階段優(yōu)化算法模型及算法步驟

針對信用評估這一實際問題，本文將特征提取與決策樹結合起來構建算法模型，以達到對決策樹的優(yōu)化。第一階段：先用GMDH特征提取方法對原有屬性進行篩選，從中抽取對結果影響較大的屬性；第二階段：用提取出的屬性建立決策樹模型，具體操作步驟如下：

（2）用K-G多項式建立因變量（輸出）和自變量（輸入）之間的一般關系，例如對于三輸入單輸出系統(tǒng)，可采取二次K-G多項式

（3）從具有外補充性質(zhì)的選擇準則中選出一個（或若干個）作為目標函數(shù)（體系），或稱為外準則（體系），產(chǎn)生第一層中間模型。同時在訓練集A上估計參數(shù)，對第一層中間模型進行篩選。根據(jù)外準則，在檢測集B上對第一層中間模型進行篩選，選出的中間模型作為網(wǎng)絡第二層的輸入變量；

（4）形成最優(yōu)復雜度模型網(wǎng)絡結構。重復步驟3，可依次產(chǎn)生第二、第三…層中間模型，最終形成可用于分析的顯式最優(yōu)復雜度模型。即得出與輸出變量最相關的幾個輸入變量，假設為xi，xj，…xn；

（5）計算xi，xj，…，xn的信息增益率，以信息增益率最大的屬性作為根節(jié)點的測試屬性，對屬性的值創(chuàng)建分支，據(jù)此劃分樣本；

（6）在各節(jié)點內(nèi)計算剩余屬性的信息增益率，選擇信息增益率最大的屬性作為此分支的下一個測試屬性，重復此步驟直到結點屬性各分支下的訓練樣本屬于同一類或者所有屬性都已被用過為止生成決策樹。

四、實證研究

1.樣本及變量選擇

為了驗證本文所提方法的效果，本文采用了澳大利亞一家銀行的信貸數(shù)據(jù)作為初始建模樣本，共690條數(shù)據(jù)（已做預處理）。我們選取了14個類屬性，1個決策屬性，并對其做了相應的調(diào)整，例如A4最初有三個標簽屬性p、g、gg，這些標簽被改為1、2、3。各類屬性的詳細信息如表1所示：

表1

2.實證結果分析

用GMDH輸入輸出模型對原有屬性進行提取之后還剩下屬性A5，A8，A9。在此基礎上運用C4.5算法得到最優(yōu)樹如圖1所示：

同時本文也將使用特征提取前C4.5算法的精確度與使用特征提取后C4.5算法的精確度進行了對比，如表2所示。

表2

在信用評估這一實際問題中，銀行誤貸款給信用不好的客戶給企業(yè)帶來的損失遠遠大于拒絕貸款給信用好的客戶所帶來的損失。因此我們可以從兩方面來評價算法的準確度，一是總的錯判率，二是把不好的客戶誤判為好客戶的錯判率，從表2可以看出，在這兩方面，GMDH輸入輸出模型與決策樹相結合的算法比單獨使用決策樹算法的錯判率都低，即前者具有更高的預測精確度。

五、結論

本文采用的GMDH輸入輸出模型對客戶的屬性進行了篩選，選出了對客戶分類結果影響較大的屬性，達到了對決策樹優(yōu)化的效果，有效的降低了算法的復雜度，簡化了整個決策樹的構造。

[1] Xu Peng，Lin Shen.Internet traffic classification using C4.5 decision tree.Journal of Software,2009，20(10)：2692-2704.

[2]黃穎，周云軒，吳穩(wěn).基于決策樹模型的上海城市濕地遙感提取與分類[J].吉林大學學報，2009，39（6）：1156-1162.

[3]黃愛輝.決策樹C4.5算法的改進及應用[J].科學技術與工程，2009，9（1）：34-36.

[4]崔健.商業(yè)銀行個人信用風險評價[D]天津：天津大學管理學院，2005.06.

[5]Pan-ning Tan.Michael Steinbach.Vipin Kumar.數(shù)據(jù)挖掘?qū)д揫M].人民郵電出社.2006：181.