基于數(shù)據(jù)挖掘技術(shù)的保險行業(yè)決策分析研究

摘要:本文針對目前保險行業(yè)信息管理的現(xiàn)狀，提出數(shù)據(jù)挖掘技術(shù)對保險行業(yè)的重大影響，簡要說明了“保險行業(yè)決策系統(tǒng)V1.0”項目及其對挖掘算法的改進等。并通過實驗論證了改進算法的優(yōu)勢，通過分析結(jié)果展示了數(shù)據(jù)挖掘技術(shù)能使保險行業(yè)有效地利用現(xiàn)有數(shù)據(jù)實現(xiàn)經(jīng)營目標(biāo)，預(yù)測保險業(yè)的發(fā)展趨勢，進而在激烈的競爭中贏得先機。

關(guān)鍵詞:數(shù)據(jù)挖掘;關(guān)聯(lián)分析;Apriori

1 引言

隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，各行各業(yè)積累的數(shù)據(jù)越來越多。日益劇增的數(shù)據(jù)背后隱藏著許多重要的信息，人們希望能夠?qū)ζ溥M行更高層次的分析，以便更好地利用這些數(shù)據(jù)。目前的數(shù)據(jù)庫系統(tǒng)可以高效地實現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢。缺乏挖掘數(shù)據(jù)背后隱藏的知識手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。

隨著計算機及網(wǎng)絡(luò)技術(shù)的發(fā)展，獲得某一行業(yè)有關(guān)資料已切實可行。而對于數(shù)量大、涉及面廣的數(shù)據(jù)，依靠傳統(tǒng)的簡單匯總、按指定模式去分析的統(tǒng)計方法無法完成對數(shù)據(jù)的分析。因此，一種智能化的信息分析技術(shù)——“數(shù)據(jù)挖掘”(Data Mining)應(yīng)運而生。

數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。通過挖掘數(shù)據(jù)倉庫中存儲的大量數(shù)據(jù)，從中發(fā)現(xiàn)有意義的新的關(guān)聯(lián)模式和趨勢的過程。數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。從而使企業(yè)在激烈的市場競爭中獲得先機。就保險行業(yè)而言，目前具有廣闊的市場需求。

2 項目說明

本項目開發(fā)了“保險行業(yè)決策系統(tǒng)V1.0”。本系統(tǒng)操作主界面利用ASP編程實現(xiàn):數(shù)據(jù)預(yù)處理、客戶購買險種分析、客戶購買習(xí)慣分析、分析結(jié)果輸出等功能;后臺數(shù)據(jù)庫利用Sql Server 2005網(wǎng)絡(luò)數(shù)據(jù)庫實現(xiàn);挖掘工具采用SPSS Clementine 11.0;在研究實驗階段，針對Apriori算法存在的“存儲復(fù)雜度”及“大量冗余規(guī)則”兩大缺點進行了算法改進，通過利用一個模式樹結(jié)構(gòu)來降低Apriori算法的存儲復(fù)雜度，并同時減少冗余規(guī)則的出現(xiàn)。

本系統(tǒng)共分:數(shù)據(jù)預(yù)處理、客戶購買險種分析、客戶購買習(xí)慣分析、分析結(jié)果輸出等主要功能模塊。

(1)“數(shù)據(jù)預(yù)處理”模塊包括:上傳、數(shù)據(jù)平臺、數(shù)據(jù)處理、統(tǒng)計、生成數(shù)據(jù)集等功能。

●上傳:可完成保險總公司下設(shè)所有分公司數(shù)據(jù)的上傳。

●數(shù)據(jù)平臺:在數(shù)據(jù)上傳前允許對數(shù)據(jù)平臺進行選擇。

●數(shù)據(jù)處理:對數(shù)據(jù)進行清理、格式轉(zhuǎn)換等操作。

●統(tǒng)計:對經(jīng)過預(yù)處理的數(shù)據(jù)進行分析，提取有效性數(shù)據(jù)。

●生成數(shù)據(jù)集:將統(tǒng)計過程提取的有效數(shù)據(jù)生成數(shù)據(jù)集，為數(shù)據(jù)挖掘提供較高質(zhì)量的數(shù)據(jù)源。

(2)“客戶購買險種分析”模塊包括:數(shù)據(jù)導(dǎo)入、參數(shù)設(shè)定、結(jié)果分析等功能。

●數(shù)據(jù)導(dǎo)入:在此操作界面上，可通過選擇不同數(shù)據(jù)平臺將經(jīng)過“數(shù)據(jù)預(yù)處理”生成的數(shù)據(jù)集分別導(dǎo)入。

●參數(shù)設(shè)定:在此操作界面上設(shè)定“支持度”“置信度”等參數(shù)，對有效數(shù)據(jù)集中有分析價值的數(shù)據(jù)記錄范圍進行篩選。

●結(jié)果分析:在此操作界面上可將“客戶購買險種分析”的最終分析結(jié)果以“報表”、“圖表”形式展示，此分析結(jié)果為行業(yè)提供了“同一客戶購買本公司多種(次)保險”的客戶信息，進而為行業(yè)提供了“可爭取客戶”的決策依據(jù)。

(3)“客戶購買習(xí)慣分析”模塊包括:數(shù)據(jù)導(dǎo)入、參數(shù)設(shè)定、結(jié)果分析等功能。

●數(shù)據(jù)導(dǎo)入:此操作同(2)“客戶購買險種分析”模塊中的“數(shù)據(jù)導(dǎo)入”。

●參數(shù)設(shè)定:在此分別設(shè)定“輸入?yún)?shù)”(包括:年齡、性別、職業(yè)等客戶基本信息)及“輸出參數(shù)”(客戶購買的險種信息)。

●結(jié)果分析:通過此操作界面可展示出客戶購買習(xí)慣的分析結(jié)果，進而為行業(yè)提供了“可保持客戶”的決策依據(jù)。

(4)“分析結(jié)果輸出”模塊包括:“客戶購買險種分析”“客戶購買習(xí)慣分析”等分析結(jié)果的打印輸出功能。

3 項目中改進的快速算法

由于Apriori算法存在時間空間復(fù)雜度高及產(chǎn)生大量冗余規(guī)則兩大缺陷。因此本項目通過利用一個模式樹結(jié)構(gòu)來降低Apriori算法的存儲復(fù)雜度，并同時減少冗余規(guī)則的出現(xiàn)。

3.1 一個模式樹的結(jié)構(gòu)

root是一個標(biāo)為“1”的根結(jié)點，root以下是作為根結(jié)點的孩子的項目前綴子樹集合，以及項目頭表組成;樹中的每一結(jié)點包含四個域user_id，count，node_link，node_next。其中，user_id為user的標(biāo)記(唯一標(biāo)識一個user)，count為該父結(jié)點到達該結(jié)點的路徑的數(shù)目，node_link指向樹中具有相同的user_id的下一個結(jié)點的下一結(jié)點，當(dāng)下一個結(jié)點不存在時，node_link為1，node_next指向樹中其子結(jié)點;項目頭表的每一表項包含三個域:user_id，count，head of node，user_id與樹中的定義相同，count為樹中所有相同user_id之和，head of node指向樹中具有相同user_id值的首結(jié)點的指針。

3.2 建立模式樹

算法如下:

設(shè)事務(wù)數(shù)據(jù)庫為A，其中的一個項集為Ai。

算法:Patterntree(tree，p)，構(gòu)造模式樹

輸入:用戶事務(wù)數(shù)據(jù)庫A

輸出:用戶模式樹

Procedure Patterntree(T，p)

{create_ tree (T);//創(chuàng)建Pattern-Tree的根節(jié)點，以“1”標(biāo)記

t=T; //t為當(dāng)前結(jié)點

While A<>1 do

{讀入一個事務(wù)數(shù)據(jù)庫項集Ai

while p !=1

do

{if p.user_id==t的祖先n.user_id

then

{ n.count=n.count+l;

t=n;

}

Elseif p.user_id==T的孩子c.user_id

then

{ c.count=c.count+ l;

t=c ;

}

else

insert_Patterntree(T，p) ;//把p作為新結(jié)點插入樹中，作為當(dāng)前結(jié)點的孩子結(jié)點

p=p.next;

}

}

}

3.3 對模式樹進行剪枝

模式樹建立后，可能存在大量的冗余的分枝，為了保證數(shù)據(jù)挖掘結(jié)果不被這些冗余分枝產(chǎn)生的噪聲所影響，因此需要對樹進行剪枝，剔除噪聲信息。

算法:SPT(Tree，a)，通過調(diào)用此算法對模式樹進行剪枝

//SPT為支持度模式樹，即Supported Access Pattern Tree;a為項目頭表

輸入:模式樹PatternTree，Min_Sup(模式樹的最小支持度)

輸出:經(jīng)過修剪后的支持度模式樹SPT，模式B={bi|i=1，2，3……n｝

SPT(Tree，a)

{ i=1;

While(ai!= 1) // 為項目頭表的某一項

{

if(ai.count>= Min_Sup)

then

{

模式bi= ai.head of node ;

p= ai.head of node ;//p指向ai在模式樹中

的位置

While (p!= 1 and ai.count>= Min_Sup)

{

查找p的前綴基，將p的前綴基和p連接，構(gòu)

成模式b;

if (bi.count>= Min_Sup)

then

{

//bi.count 為模式b中p與p的前綴基中

的最小計數(shù)

在模式bi中保留p及其前綴基;

bi = bi. node_link

}

else

{

根據(jù)模式b中的p及其前綴基刪除

PatternTree中的相應(yīng)節(jié)點，重構(gòu)子節(jié)點

與父節(jié)點，同時修改項目頭表中的ai;

p=p. node_next//p指向 在模式樹中的

下一個位置;

}

}

}

else

{

修改項目頭結(jié)點的ai值;

刪除模式樹中相應(yīng)的節(jié)點及其前綴基，重構(gòu)父子

節(jié)點;

i++;

}

}

}

通過模式樹的建立可以避免多次掃描事務(wù)數(shù)據(jù)庫;同時利用count域有效的保留了項集的數(shù)目，避免大量產(chǎn)生頻繁項集，對于減小空間時間復(fù)雜度起到了一定的作用。通過樹形結(jié)構(gòu)可以避免產(chǎn)生大量冗余規(guī)則。

通過對模式樹的剪枝，可以減除在模式樹產(chǎn)生過程中產(chǎn)生的大量冗余分枝，起到了減小空間復(fù)雜度的作用，同時可以利用輸出模式B產(chǎn)生規(guī)則，避免了多項集的頻繁出現(xiàn)，減小了時間復(fù)雜度。

4 結(jié)束語

本項目中通過模式樹結(jié)構(gòu)改進了Apriori算法，彌補了Apriori算法存在的缺陷。此種方法既能夠?qū)priori算法從時間復(fù)雜度和空間復(fù)雜度上進行改進，同時又避免了中間規(guī)則的產(chǎn)生。本研究表明，通過利用一個模式樹結(jié)構(gòu)來降低Apriori算法的存儲復(fù)雜度，并同時減少冗余規(guī)則的出現(xiàn)，這對于Apriori算法的改進是一種有效的措施。

參考文獻

[1]鄧納姆.數(shù)據(jù)挖掘教程[M].郭崇慧，田鳳占，靳曉明，等譯.北京:清華大學(xué)出版社，2005.

[2]蘇新寧，楊建林，江念南，等.數(shù)據(jù)倉庫和數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社，2006.

[3]GAL C S， KANTOR P B， SHAPIRA B. Security Informatics and Terrorism: Patrolling the Web. Amsterdam: IOS Press，2008.

[4]BORGES J， LEVENE M. Evaluating Variable Length Markov Chain Models for Analysis of User Web Navigation Sessions.IEEE Transactions on Knowledge and Data Engineering.2007，19(4): 441-452.