數(shù)據(jù)挖掘技術(shù)在財(cái)務(wù)分析中的應(yīng)用

[摘 要] 數(shù)據(jù)挖掘技術(shù)是多學(xué)科交叉的新興技術(shù)，它是隨著數(shù)據(jù)的大量積累以及市場競爭對信息與知識(shí)的迫切需求而產(chǎn)生和發(fā)展起來的，并逐漸成為人們關(guān)注的熱點(diǎn)。它將傳統(tǒng)的數(shù)據(jù)分析方法與處理大量數(shù)據(jù)的復(fù)雜算法相結(jié)合，為探查和分析新的數(shù)據(jù)類型以及用新方法分析舊有數(shù)據(jù)類型提供了令人振奮的機(jī)會(huì)。將數(shù)據(jù)挖掘技術(shù)應(yīng)用于財(cái)務(wù)分析，不僅拓寬了財(cái)務(wù)分析的范圍，而且還可以發(fā)現(xiàn)那些隱藏在財(cái)務(wù)報(bào)表數(shù)據(jù)中的信息，對于幫助管理層做出及時(shí)、適當(dāng)?shù)臎Q策是很有價(jià)值的。

[關(guān)鍵詞] 財(cái)務(wù)分析;決策樹;聚類;關(guān)聯(lián)分析

[中圖分類號]F275;F232[文獻(xiàn)標(biāo)識(shí)碼]A[文章編號]1673-0194(2009)02-0034-05

一、研究背景

數(shù)據(jù)挖掘技術(shù)主要應(yīng)用于商業(yè)、醫(yī)學(xué)、科研領(lǐng)域，著眼于海量數(shù)據(jù)集存儲(chǔ)、檢索與處理，目標(biāo)是從繁冗復(fù)雜的數(shù)據(jù)對象中找出其相關(guān)性。誠然，大多數(shù)公司的財(cái)務(wù)分析所需要的一些數(shù)據(jù)相對有限，尚不能稱得上“海量”，但是如果能從另一個(gè)角度去換位思考，或許能得到意想不到的效果，為更深層次的財(cái)務(wù)分析作準(zhǔn)備。

當(dāng)前，大多數(shù)公司的財(cái)務(wù)分析是用一些財(cái)務(wù)指標(biāo)來反映本公司的經(jīng)營情況，分門別類、分項(xiàng)列出，先總體、后局部，個(gè)別異常個(gè)別說明。這種分析方式是正確的，然而很多情況下財(cái)務(wù)人員會(huì)忽略數(shù)據(jù)的相關(guān)性，無法抓住問題的實(shí)質(zhì)，進(jìn)而影響財(cái)務(wù)分析的準(zhǔn)確性、全面性。造成這樣的情況，一是由于財(cái)務(wù)數(shù)據(jù)范圍相對較小，容易根據(jù)一些財(cái)務(wù)指標(biāo)直觀上發(fā)現(xiàn)問題，這就往往使人們忽視管理與經(jīng)營上的不足;二是財(cái)務(wù)人員的知識(shí)水平相對有限，無法從更深層次角度去分析報(bào)表數(shù)據(jù)。本文以某財(cái)產(chǎn)保險(xiǎn)公司省級分公司2004年度財(cái)務(wù)數(shù)據(jù)為例，分別從決策樹算法、聚類、關(guān)聯(lián)分析等角度來闡述數(shù)據(jù)挖掘技術(shù)在財(cái)務(wù)分析中的應(yīng)用。

二、數(shù)據(jù)集選擇

本文使用的樣本數(shù)據(jù)來自某財(cái)產(chǎn)保險(xiǎn)公司省級分公司2004年所公布的財(cái)務(wù)報(bào)表數(shù)據(jù)。由于該公司車險(xiǎn)所占比例較大，因此將車險(xiǎn)賠付率指標(biāo)列入其中，同時(shí)為方便計(jì)算，對個(gè)別數(shù)據(jù)進(jìn)行了處理。具體數(shù)據(jù)集見表1。

三、決策樹算法

決策樹分類法是一種廣泛使用的簡單分類算法，具有直觀、容易解釋的特點(diǎn)，其冗余屬性也不會(huì)對決策樹的準(zhǔn)確率造成不利的影響，即個(gè)別屬性的差異對總體分析及決策不會(huì)造成太大的誤差。決策樹廣泛用于分類、聚類和預(yù)測型建模方法，采用“分而治之”的方法將問題的搜索空間分為若干子集。在財(cái)務(wù)分析中使用決策樹，不僅可以“化繁為簡”，而且具有直觀、易于快速發(fā)現(xiàn)問題的特點(diǎn)，給人耳目一新的感覺。

1. 用Hunt算法建立決策樹

從原則上講，對于給定的屬性集，可以構(gòu)造的決策樹的數(shù)目能達(dá)到指數(shù)級。盡管某些決策樹比其他決策樹更準(zhǔn)確，但是由于搜索空間是指數(shù)級的，找出最佳決策樹原則上是不可行的。盡管如此，學(xué)者們還是開發(fā)了一些有效的算法，能夠在合理的時(shí)間內(nèi)構(gòu)造出具有一定準(zhǔn)確率的次最優(yōu)決策樹。這些算法通常都采用貪心算法，能夠在合理的時(shí)間內(nèi)構(gòu)造出具有一定準(zhǔn)確率的次最優(yōu)決策樹，Hunt算法就是一種這樣算法，它是許多決策樹算法的基礎(chǔ)。

在Hunt算法中，通過將訓(xùn)練記錄相繼劃分成較純的子集，以遞歸方式建立決策樹。設(shè)Dt是與結(jié)點(diǎn)t相關(guān)聯(lián)的訓(xùn)練記錄集，而Y={ y₁，y₂，…，y_n}是類標(biāo)號，Hunt算法的遞歸定義如下:

(1)如果Dt中所有記錄都屬于同一個(gè)類y_t，則t是葉結(jié)點(diǎn)，用y_t標(biāo)記。

(2)如果Dt中包含屬于多個(gè)類的記錄，則選擇一個(gè)屬性測試條件，將記錄劃分成較小的子集。對于測試條件的每個(gè)輸出，創(chuàng)建一個(gè)子女結(jié)點(diǎn)，并根據(jù)測試結(jié)果將Dt中的記錄分布到子女結(jié)點(diǎn)中。然后，對于每個(gè)子女結(jié)點(diǎn)，遞歸地調(diào)用該算法。

2. 算法演示

需要說明的是，本文將盈利性作為葉結(jié)點(diǎn)，主要是由于其屬性只有“是”與“否”兩類，可以簡化算法的演示步驟，還可以從總體上發(fā)現(xiàn)公司各機(jī)構(gòu)的利潤情況，從而在一定程度上迎合了公司決策者的要求。此外，為方便說明，將每一步劃分的機(jī)構(gòu)情況也列入其中，但是這并不表明在實(shí)際應(yīng)用中需要這么做。具體步驟如圖1至圖4所示。

其中，大機(jī)構(gòu)是指保費(fèi)收入大于1 500萬元的機(jī)構(gòu)，小機(jī)構(gòu)是指保費(fèi)收入小于1 500萬元的機(jī)構(gòu)。

3. 對財(cái)務(wù)分析的啟示

從圖4中可以發(fā)現(xiàn)公司虧損主要集中在{A，B，D，E，F(xiàn)，K}與{I，L，M}等機(jī)構(gòu)，它們占公司機(jī)構(gòu)數(shù)目較大的比例。所以，公司下一步的經(jīng)營治理計(jì)劃應(yīng)集中在這幾個(gè)機(jī)構(gòu)中?？梢钥闯?，決策樹以圖形方式給出較為直觀、簡潔的描述，不同于那種枯燥、冗長的文字描述形式。

四、聚類分析

聚類已經(jīng)被廣泛地應(yīng)用于許多領(lǐng)域，例如生物學(xué)、信息檢索、氣象學(xué)、心理學(xué)、醫(yī)學(xué)以及商業(yè)等諸多領(lǐng)域。通過對聚類的發(fā)現(xiàn)，我們可以找出在概念上有意義的具有公共特性的對象組，進(jìn)而發(fā)現(xiàn)總體的特性。聚類分析根據(jù)在數(shù)據(jù)中發(fā)現(xiàn)的描述對象及其關(guān)系的信息，將數(shù)據(jù)劃分成有意義或有用的簇(也可以稱為組)。其目標(biāo)是，簇內(nèi)的對象相互之間是相似的(相關(guān)的)，而不同簇中的對象是不同的(不相關(guān)的)。簇內(nèi)的相似性(同質(zhì)性)越大，聚類就越好。

在財(cái)務(wù)分析中，靈活運(yùn)用聚類分析技術(shù)，對各種財(cái)務(wù)指標(biāo)下的數(shù)據(jù)進(jìn)行分組，可以方便找出其“由量變到質(zhì)變”的臨界點(diǎn)，為公司制定各類考核指標(biāo)提供依據(jù)。對于簇內(nèi)及簇間相似性的度量需要運(yùn)用統(tǒng)計(jì)學(xué)中方差、標(biāo)準(zhǔn)差等概念，相對比較簡單，不贅述。

1. K-均值算法

K-均值算法是一種迭代算法，迭代過程中不斷地移動(dòng)組集中的成員直至得到理想的組集為止。K-均值算法比較簡單，也是一種最古老的、最廣泛使用的聚類算法。雖然該算法的收斂準(zhǔn)則不是基于平方誤差來定義的，但它也可視為一種平方算法來度量各組內(nèi)及組間的誤差情況。利用K-均值聚類算法所得到的組，組內(nèi)成員間的相似程度很高，同時(shí)不同組中成員的相異度也很高。給定組Ki ={t_i1，t_i2，…，t_im}，則其均值定義為:

M_i= (t_i1+ t_i2+ …+t_im)/m。

在定義中假設(shè)每個(gè)元組僅有一個(gè)數(shù)值型屬性值，而不是多個(gè)屬性值，當(dāng)然在財(cái)務(wù)報(bào)表中也不可能出現(xiàn)多個(gè)屬性的數(shù)據(jù)。以下的算法描述了K-均值算法，但應(yīng)注意簇均值的初始值是任意分配的，可以隨機(jī)分配也可以直接使用前k個(gè)成員的屬性值。此外，當(dāng)沒有元組(或很少的元組)被分配到不同的簇中時(shí)，就可以停止算法。也可以直接設(shè)置一個(gè)最大的迭代次數(shù)作為終止準(zhǔn)則，使用最大迭代次數(shù)準(zhǔn)則是為了在算法不收斂時(shí)也可以停止算法。

其基本算法如下:

(1)選擇K個(gè)點(diǎn)作為初始均值，K是用戶指定的參數(shù)，即所期望簇的個(gè)數(shù);

(2)repeat;

(3)將每個(gè)點(diǎn)指派到最近的均值，形成K個(gè)組;

(4)重新計(jì)算每個(gè)組的均值;

(5)until 均值不發(fā)生變化。

2. 算法演示

為方便說明問題，我們選擇賠付率與費(fèi)用率作為數(shù)據(jù)集實(shí)驗(yàn)對象，并且將其分為3個(gè)簇，初始時(shí)按機(jī)構(gòu)順序選擇前3個(gè)數(shù)值作為簇的均值。同時(shí)，利用比較歐幾里得距離(差的絕對值)作為收斂參考準(zhǔn)則，即將與均值距離最近的數(shù)值分配到該均值所代表的簇中去，如果存在于兩個(gè)或多個(gè)均值距離相等，可以任意選擇其均值所對應(yīng)的簇。具體計(jì)算過程如表2、表3所示。

3. 對財(cái)務(wù)分析的啟示

在表2中可以看出，作為聚類的機(jī)構(gòu)集合{A，K}，{B，C，D，E，F(xiàn)，H}與{G，I，J，L，M}，如果該公司以賠付率35%作為考核要求，則A，K屬于嚴(yán)重超標(biāo)，B，C，D，E，F(xiàn)，H超標(biāo)較多，只有G#65380;I#65380;J#65380;L#65380;M等機(jī)構(gòu)合格#65377;但是，如若從數(shù)據(jù)挖掘角度出發(fā)，本期需對不同機(jī)構(gòu)集合采取不同的懲獎(jiǎng)措施，我們還可以設(shè)置50%與35%為動(dòng)態(tài)臨界指標(biāo)作為下期考核經(jīng)營業(yè)績的依據(jù)，并且每期進(jìn)行調(diào)整#65377;費(fèi)用率可以參照以上進(jìn)行分析，基本相同#65377;

值得一提的是，我們還可以將以上兩個(gè)不同聚類取交集得到一個(gè)二維聚類，即{A，K}，{B，C}，{I，L，M}#65377;對它們進(jìn)行進(jìn)一步的分析，可以綜合得出哪些機(jī)構(gòu)的財(cái)務(wù)指標(biāo)是更為合理的，或者是極不合理的，為精確考核#65380;計(jì)劃提供依據(jù)#65377;

五#65380;關(guān)聯(lián)分析

許多商業(yè)企業(yè)在日復(fù)一日#65380;年復(fù)一年的經(jīng)營活動(dòng)中積聚了大量的數(shù)據(jù)#65377;例如，某大型購物中心的結(jié)算系統(tǒng)每天收集大量顧客的數(shù)據(jù)#65377;零售商對這些數(shù)據(jù)的分析通常稱作“購物籃”事務(wù)分析，以便了解顧客的購買行為，來支持各種商業(yè)應(yīng)用，如市場促銷#65380;庫存管理和顧客關(guān)系管理等#65377;

關(guān)聯(lián)分析方法，用于發(fā)現(xiàn)隱藏在大型數(shù)據(jù)集中的令人感興趣的聯(lián)系#65377;所發(fā)現(xiàn)的聯(lián)系可以用關(guān)聯(lián)規(guī)則或頻繁項(xiàng)集的形式表示#65377;例如，從大型購物中心銷售終端所提供的數(shù)據(jù)中可以提出如下規(guī)則:

{奶粉，尿布，餅干}→{巧克力}

該規(guī)則表明奶粉#65380;尿布和餅干與巧克力之間存在著很強(qiáng)的聯(lián)系，因?yàn)樵S多購買奶粉#65380;尿布和餅干的顧客也會(huì)購買巧克力#65377;商家可以使用這類規(guī)則，幫助他們發(fā)現(xiàn)新的交叉銷售機(jī)會(huì)#65377;同樣在財(cái)務(wù)分析中，我們可以根據(jù)感興趣的財(cái)務(wù)指標(biāo)進(jìn)行內(nèi)在數(shù)據(jù)挖掘，找出造成財(cái)務(wù)指標(biāo)差異的原因#65377;

1. Apriori算法

Apriori算法是最著名的關(guān)聯(lián)規(guī)則算法，已經(jīng)為大部分商業(yè)產(chǎn)品所使用#65377;該算法利用大項(xiàng)目集性質(zhì)，即大項(xiàng)目集的任一子集也一定是大的#65377;

大項(xiàng)目集也被稱為是向下封閉的，因?yàn)槿绻粋€(gè)項(xiàng)目集滿足最小支持度的要求，其所有的子集也滿足這一要求#65377;其逆否命題也成立，即知道一個(gè)項(xiàng)目集是小的，它的子集也是小的#65377;可用圖5和圖6來展示這種重要的性質(zhì)#65377;在這個(gè)例子中有4個(gè)項(xiàng)目{A，B，C，D}#65377;圖中的線表示子集的關(guān)系，大項(xiàng)目集性質(zhì)表明如果原來的項(xiàng)目集是大的，則在路徑中位于其上面的任何集合也一定是大的#65377;在圖中，ACD的非空子集是{AC，AD，CD，A，C，D}#65377;如果ACD是大的，則其每一個(gè)子集也是大的#65377;如果任何一個(gè)子集是小的，則ACD也是小的#65377;

Apriori算法的基本思想是生成特定規(guī)模的候選項(xiàng)目集，然后掃描數(shù)據(jù)庫并進(jìn)行計(jì)數(shù)，以確定這些候選項(xiàng)目集是否是大的#65377;由于在財(cái)務(wù)分析中，往往使用定性的方法去查找原因，這可以極大地提高Apriori算法效率#65377;比如管理層往往對利潤虧損比較敏感，我們就可以直接以利潤虧損這一財(cái)務(wù)指標(biāo)為起點(diǎn)進(jìn)行搜索計(jì)數(shù)#65380;排序，只要查找一遍就可以找出頻繁項(xiàng)集#65377;

2. 算法演示

從公司財(cái)務(wù)數(shù)據(jù)可以看出大部分機(jī)構(gòu)虧損，為了找出公司虧損的內(nèi)在原因，我們就以這一財(cái)務(wù)指標(biāo)作為掃描的起點(diǎn)#65377;假定:

Φ =利潤虧損;

A =大機(jī)構(gòu)(機(jī)構(gòu)保費(fèi)收入>1 500萬元);

B =小機(jī)構(gòu)(機(jī)構(gòu)保費(fèi)收入≤1 500萬元);

C =費(fèi)用率超標(biāo)(費(fèi)用率>30%);

D =賠款率超標(biāo)(賠付率>35%);

E =車險(xiǎn)賠付率超標(biāo)(賠付率>35%)#65377;

圖7表示這一事件集的信息，圖8表示對所有數(shù)據(jù)進(jìn)行掃描后的最終結(jié)果，為方便說明，涉及的機(jī)構(gòu)數(shù)標(biāo)在指標(biāo)上面#65377;另需說明，本文采用較高支持度的數(shù)據(jù)作為分析依據(jù)，排除了個(gè)別異常的干擾#65377;

3. 對財(cái)務(wù)分析的啟示

根據(jù)關(guān)聯(lián)分析得出如下結(jié)論:{大機(jī)構(gòu)，賠款率超標(biāo)，車險(xiǎn)賠付率超標(biāo)}→虧損，{小機(jī)構(gòu)，費(fèi)用率超標(biāo)}→虧損，另由大項(xiàng)目集性質(zhì)得出附加結(jié)論:{車險(xiǎn)賠付率超標(biāo)}→賠款率超標(biāo)#65377;

為什么會(huì)得出以上結(jié)論呢?這需要深入分析公司的具體情況#65377;大機(jī)構(gòu)虧損是由于其賠款支出過多這一原因造成的，說明大機(jī)構(gòu)的規(guī)模與其效益不成正比，所擔(dān)保的產(chǎn)品易于受損，屬于典型的“越擴(kuò)張就越虧損”#65377;而小機(jī)構(gòu)情況則不同，由于成立初期需要消化的費(fèi)用多，并且賠款效應(yīng)尚未出現(xiàn)，因此造成了一定程度的虧損，但后期應(yīng)高度重視保費(fèi)質(zhì)量#65377;其實(shí)，附加結(jié)論“{車險(xiǎn)賠付率超標(biāo)}→賠款率超標(biāo)”所帶來的問題更為嚴(yán)峻#65377;公司的大部分賠款支出來自車險(xiǎn)，而車險(xiǎn)是公認(rèn)的虧損險(xiǎn)種，這說明公司險(xiǎn)種結(jié)構(gòu)極為不合理，亟需改善險(xiǎn)種結(jié)構(gòu)，選擇多元化營銷來分散風(fēng)險(xiǎn)#65377;

六#65380;結(jié) 論

最后，數(shù)據(jù)挖掘技術(shù)是在統(tǒng)計(jì)學(xué)#65380;人工智能(特別是機(jī)器學(xué)習(xí))和數(shù)據(jù)庫技術(shù)等多種技術(shù)的基礎(chǔ)上發(fā)展起來的，強(qiáng)調(diào)的是大數(shù)據(jù)量和算法的可伸縮性#65377;對于財(cái)務(wù)人員來說，掌握一些這方面的知識(shí)是必要的，不僅可以拓寬現(xiàn)有的知識(shí)面，也可以提高自身業(yè)務(wù)水平，并且可以在實(shí)際工作中及時(shí)為公司決策者提供更具價(jià)值的財(cái)務(wù)信息#65377;

主要參考文獻(xiàn)

[1] 〔新西蘭〕 Ian H Witten，Eibe Frank. 數(shù)據(jù)挖掘:實(shí)用機(jī)器學(xué)習(xí)技術(shù)[M]. 原書第2版. 北京:機(jī)械工業(yè)出版社，2006.

[2] 〔美〕 Michael J A Berry，Gordon S Linoff. 數(shù)據(jù)挖掘技術(shù):市場營銷#65380;銷售與客戶關(guān)系管理領(lǐng)域應(yīng)用[M]. 原書第2版. 北京:機(jī)械工業(yè)出版社，2006.

[3] 〔美〕Pang-Ning Tan，Michael Steinbach，Vipin Kumar. 數(shù)據(jù)挖掘技術(shù)導(dǎo)論[M]. 英文版. 北京:人民郵電出版社，2006.

[4] 李劍鋒，李一軍，等. 數(shù)據(jù)挖掘在財(cái)務(wù)分析中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用，2005(2):217-219.

[5] 張嫻. 數(shù)據(jù)挖掘技術(shù)及其在金融領(lǐng)域的應(yīng)用[J]. 金融教學(xué)與研究，2003(4):15-18.

[6] Robert Groth. Data Mining:Building Competitive Advantage[M]. 2nd ed. NewYork:Prentice Hall PTR，1999.

[7] Xia Hongxia， Shen Qi， HAO Rui. Application of Data Mining Technology to Intrusion Detection System[J]. 通訊和計(jì)算機(jī)，2005，2(3):29-33.

[8] Chen Bo，Jiang Yongguang，HuBo， LiuJuan. Association Analysis Datamining the Compatibility Regulations of Li Dong Yuan＇s Formula of Spleen and Stomach[J]. 中醫(yī)藥學(xué)刊，2004，22(4):613-615.

[9] ZAKI M J，GOUDA K. Fast Vertical Mining Using Diffsets[C]. Proceedings of the 9th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，Washington，DC，2003.