淺談金融行業(yè)中的數(shù)據(jù)挖掘

□文/張俊芝

（河北大學(xué)文科綜合實(shí)驗教學(xué)中心 河北·保定）

銀行、證券公司、保險公司每天的業(yè)務(wù)都會產(chǎn)生大量數(shù)據(jù)，利用目前的數(shù)據(jù)庫系統(tǒng)可以高效地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢。

如何才能不被信息的汪洋大海所淹沒，從中及時發(fā)現(xiàn)有用的知識，提高信息利用率呢？于是，數(shù)據(jù)挖掘技術(shù)就應(yīng)運(yùn)而生，并得以蓬勃發(fā)展，越來越顯示出其強(qiáng)大的生命力。缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。它可以從大量的數(shù)據(jù)中抽取潛在的有用信息和模式，來幫助我們進(jìn)行科學(xué)的決策。

一、基本概念

1、數(shù)據(jù)挖掘（DataMining）。數(shù)據(jù)挖掘又稱數(shù)據(jù)開采、數(shù)據(jù)發(fā)掘等，就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。發(fā)現(xiàn)了的知識可以被用于信息管理、查詢優(yōu)化、決策支持、過程控制等，還可以進(jìn)行數(shù)據(jù)自身的維護(hù)。

2、數(shù)據(jù)倉庫（DataWarehouse）。數(shù)據(jù)倉庫是W.H.Inmon 在1993年所寫的論著《Building the Data Warehouse》中提出的。W.H.Inmon 給數(shù)據(jù)倉庫下的定義是：“數(shù)據(jù)倉庫是面向主題（Subject-Oriented）的、集成（Integrated）的、穩(wěn)定（Nonvolatile）的、時變（Time-Variant）的數(shù)據(jù)集合，用以支持管理決策的制定過程。”數(shù)據(jù)倉庫可以在數(shù)據(jù)模型的指導(dǎo)下，收集系統(tǒng)內(nèi)部和系統(tǒng)外部的數(shù)據(jù)信息，保證數(shù)據(jù)的一致性、準(zhǔn)確性和時效性，真正實(shí)現(xiàn)數(shù)據(jù)共享和分析利用。

二、數(shù)據(jù)挖掘的主要技術(shù)

在應(yīng)用到金融領(lǐng)域的各種數(shù)據(jù)挖掘技術(shù)中，主要有以下幾種方法：

1、基于神經(jīng)網(wǎng)絡(luò)的方法。神經(jīng)網(wǎng)絡(luò)方法是模擬人腦信息加工過程的一種智能化信息技術(shù)。人工神經(jīng)網(wǎng)絡(luò)是電腦通過多重輸入相似平行處理結(jié)構(gòu)來模擬人類識別模式的功能建造起來的。

神經(jīng)網(wǎng)絡(luò)很適合非線性數(shù)據(jù)和含噪聲數(shù)據(jù)，所以在市場數(shù)據(jù)庫的分析和建模方面應(yīng)用廣泛。神經(jīng)網(wǎng)絡(luò)提供了一類準(zhǔn)確性令人滿意、程度上接近金融模式的工具。

2、基于貝葉斯網(wǎng)絡(luò)的方法。貝葉斯網(wǎng)絡(luò)，又叫概率因果網(wǎng)絡(luò)、信任網(wǎng)絡(luò)、知識圖等，是一種有向無環(huán)圖。貝葉斯網(wǎng)絡(luò)用圖形來表示變量間連接概率關(guān)系。結(jié)點(diǎn)表示：領(lǐng)域變量；有向邊：結(jié)點(diǎn)間的依賴關(guān)系；對每一個結(jié)點(diǎn)都對應(yīng)著一個條件概率分布表，該分布表指明了該變量與父結(jié)點(diǎn)之間的依賴關(guān)系。

3、遺傳算法。遺傳算法的基本思想是給出一個問題，在特有的人口遺傳群體中潛在地含有解決方案或者較好的解決方案?；谶z傳和進(jìn)化原則，遺傳算法反復(fù)修改人口的人工結(jié)構(gòu)，操作員通過預(yù)置、選擇、交叉和改變來逐步形成解決方案。

4、基于規(guī)則和決策樹的工具。決策樹方法作為一種數(shù)據(jù)挖掘?qū)崿F(xiàn)基于統(tǒng)計理論的非參數(shù)識別技術(shù)，不僅保持了多元參數(shù)，非參數(shù)統(tǒng)計的一些優(yōu)點(diǎn)，而且克服了其不足，主要表現(xiàn)在：自動進(jìn)行變量選擇降低維數(shù)，充分利用先驗信息處理數(shù)據(jù)間的非同質(zhì)的關(guān)系，并可有效地用于對數(shù)據(jù)的分類。

三、數(shù)據(jù)挖掘的主要步驟

1、定義問題。對目標(biāo)有一清晰、明確的定義，也就是確定需要解決的問題，這個目標(biāo)應(yīng)是可行的、能夠操作與評價的。

2、數(shù)據(jù)收集。大量全面豐富的數(shù)據(jù)是數(shù)據(jù)挖掘的前提，沒有數(shù)據(jù)，數(shù)據(jù)挖掘也就無從作起。因此，數(shù)據(jù)收集是數(shù)據(jù)挖掘的首要步驟。數(shù)據(jù)可以來自于現(xiàn)有事務(wù)處理系統(tǒng)，也可以從數(shù)據(jù)倉庫中得到。

3、數(shù)據(jù)整理。數(shù)據(jù)整理是數(shù)據(jù)挖掘的必要環(huán)節(jié)。由數(shù)據(jù)收集階段得到的數(shù)據(jù)可能有一定的“污染”，表現(xiàn)在數(shù)據(jù)可能存在自身的不一致性，或者有缺失數(shù)據(jù)的存在等，因此數(shù)據(jù)的整理是必需的。同時，通過數(shù)據(jù)整理，可以對數(shù)據(jù)做簡單的泛化處理，從而在原始數(shù)據(jù)的基礎(chǔ)之上得到更為豐富的數(shù)據(jù)信息，進(jìn)而便于下一步數(shù)據(jù)挖掘的順利進(jìn)行。

4、數(shù)據(jù)挖掘。利用人工智能、數(shù)理統(tǒng)計等各種數(shù)據(jù)挖掘方法對數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)有用的知識與模式。這是整個過程的核心步驟。

5、數(shù)據(jù)挖掘結(jié)果的評估。數(shù)據(jù)挖掘的結(jié)果有些是有實(shí)際意義的，而有些是沒有實(shí)際意義的，或是與實(shí)際情況相違背的，這就需要進(jìn)行評估。評估可以根據(jù)用戶多年的經(jīng)驗，也可以直接用實(shí)際數(shù)據(jù)來驗證模型的正確性，進(jìn)而調(diào)整挖掘模型，不斷重復(fù)進(jìn)行數(shù)據(jù)挖掘。

6、分析決策。數(shù)據(jù)挖掘的最終目的是輔助決策。決策者可以根據(jù)數(shù)據(jù)挖掘的結(jié)果，結(jié)合實(shí)際情況，調(diào)整競爭策略等。

總之，數(shù)據(jù)挖掘過程需要多次的問題修改、模型調(diào)整、重新評估、檢驗等循環(huán)反復(fù)，才有可能達(dá)到預(yù)期的效果。

四、數(shù)據(jù)挖掘在金融業(yè)的應(yīng)用

數(shù)據(jù)挖掘在金融領(lǐng)域應(yīng)用廣泛，包括：金融市場分析和預(yù)測、賬戶分類、銀行擔(dān)保和信用評估等。這些金融業(yè)務(wù)都需要收集和處理大量數(shù)據(jù)，很難通過人工或使用一兩個小型軟件進(jìn)行分析預(yù)測。而數(shù)據(jù)挖掘可以通過對已有數(shù)據(jù)的處理，找到數(shù)據(jù)對象的特征和對象之間的關(guān)系，并可觀察到金融市場的變化趨勢。然后，利用學(xué)習(xí)到的模式進(jìn)行合理的分析預(yù)測，進(jìn)而發(fā)現(xiàn)某個客戶、消費(fèi)群體或組織的金融和商業(yè)興趣等。

1、客戶關(guān)系管理。數(shù)據(jù)挖掘可以進(jìn)行客戶行為分析來發(fā)現(xiàn)客戶的行為規(guī)律，包括整體行為表現(xiàn)和群體行為模式，市場部門可以根據(jù)這些規(guī)律制定相應(yīng)的市場戰(zhàn)略與策略；也可以利用這些信息找出客戶的關(guān)注點(diǎn)及消費(fèi)趨勢，從而提高產(chǎn)品的市場占有率及企業(yè)的競爭能力。數(shù)據(jù)挖掘能夠幫助企業(yè)找出對企業(yè)有重要意義的客戶，包括能給企業(yè)帶來豐厚利潤的黃金客戶和對企業(yè)進(jìn)一步發(fā)展至關(guān)重要的潛在客戶。

2、風(fēng)險識別與管理?？梢越⒁粋€分類模型，對銀行貸款的安全或風(fēng)險進(jìn)行分類。也可利用數(shù)據(jù)挖掘技術(shù)進(jìn)行信貸風(fēng)險的控制。信貸風(fēng)險管理主要包括：風(fēng)險識別、風(fēng)險測量、選擇風(fēng)險管理工具、效果評價。信息的龐雜造成手工評估、管理的難度大大增加。而現(xiàn)有的銀行信貸系統(tǒng)一般都是業(yè)務(wù)運(yùn)營系統(tǒng)，并非為決策分析應(yīng)用而建立，其數(shù)據(jù)的集成性、完整性、可訪問性、可分析性都難以滿足信貸風(fēng)險分析的需求。為此，可以建立一套獨(dú)立于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)倉庫，專門解決信貸分析和風(fēng)險管理的問題。

3、市場趨勢預(yù)測。數(shù)據(jù)挖掘技術(shù)可以進(jìn)行數(shù)據(jù)的趨勢預(yù)測，比如金融市場的價格走勢預(yù)測、客戶需求的變化趨勢等。

4、識別金融欺詐、洗錢等經(jīng)濟(jì)犯罪。金融犯罪是當(dāng)今業(yè)內(nèi)面臨的棘手問題之一，包括惡意透支、盜卡、偽造信用卡、盜取賬戶密碼以及洗黑錢等。要偵破洗黑錢和其他金融犯罪，重要的是要把多個數(shù)據(jù)庫的信息集成起來，然后采用多種數(shù)據(jù)挖掘工具尋找異常模式，發(fā)現(xiàn)短時間內(nèi)，少數(shù)人員之間的巨額現(xiàn)金的流動，發(fā)現(xiàn)可疑線索。

［1］樊重俊，王浣塵.遺傳算法的改進(jìn)與應(yīng)用［J］.上海大學(xué)學(xué)報，1998.12.

［2］王明進(jìn)，程乾生.自組織網(wǎng)絡(luò)在混沌時間序列預(yù)測應(yīng)用［J］.系統(tǒng)工程理論與實(shí)踐，1997.7.

［3］姚洪興，盛昭瀚，陳洪香.股市預(yù)測中的小波神經(jīng)網(wǎng)法［J］.系統(tǒng)工程理論與實(shí)踐，2002.6.