基于數(shù)據(jù)挖掘技術(shù)的信息處理分析

韓小龍

（寶雞文理學院 陜西 寶雞 721000）

1 引言

信息化時代的到來，使得數(shù)據(jù)信息的重要性越發(fā)突出。在現(xiàn)代社會背景下，數(shù)據(jù)信息既可以是支持現(xiàn)代科學技術(shù)發(fā)展的載體，也可以是推動行業(yè)創(chuàng)新發(fā)展的動力，還可以是保障社會和諧發(fā)展的基石。若充分發(fā)揮數(shù)據(jù)信息的價值與作用，則需要對數(shù)據(jù)挖掘技術(shù)等先進技術(shù)進行合理利用，故而有必要對基于數(shù)據(jù)挖掘技術(shù)的信息處理分析進行研究[1]。

2 數(shù)據(jù)挖掘技術(shù)概述

所謂數(shù)據(jù)挖掘技術(shù)，簡單來說就是基于計算機信息技術(shù)對大量、隨機的實際應用數(shù)據(jù)中提取有用信息的技術(shù)，廣泛包含統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)、模式識別等諸多模式，并且可分為統(tǒng)計分析法、神經(jīng)網(wǎng)絡(luò)法、遺傳算法、決策樹法等方法。隨著大數(shù)據(jù)時代的到來，整個社會所面臨的信息數(shù)據(jù)量呈現(xiàn)幾何級的增長。一方面，海量數(shù)據(jù)中難免包含無用信息，需要借助數(shù)據(jù)挖掘技術(shù)對有用信息進行快速、有效挖掘；另一方面，海量數(shù)據(jù)之間有著各種難以直接發(fā)現(xiàn)的規(guī)律、關(guān)系等，借助數(shù)據(jù)挖掘技術(shù)能夠有目的地對這些規(guī)律、關(guān)系等加以發(fā)現(xiàn)和總結(jié)，進一步提高數(shù)據(jù)信息的可利用價值。通過數(shù)據(jù)準備、數(shù)據(jù)挖掘以及結(jié)果評價和解釋，對數(shù)據(jù)中的有用信息進行有目的、針對性地搜集、整理與處理，并將這些信息轉(zhuǎn)化為更容易被人所理解的形式，真正做到為人所用。

一般而言，數(shù)據(jù)挖掘包含確定業(yè)務(wù)對象、數(shù)據(jù)集成、數(shù)據(jù)選取、數(shù)據(jù)預處理、數(shù)據(jù)挖掘以及評價和解釋多個階段，并能根據(jù)數(shù)據(jù)挖掘結(jié)果實現(xiàn)預測、聚類關(guān)聯(lián)分析、異常檢測等重要功能。其中預測功能主要是通過對歷史數(shù)據(jù)進行挖掘、處理與分析，找出事物變化的規(guī)律，并以此為基礎(chǔ)對事物未來變化情況以及相關(guān)數(shù)據(jù)加以預測，目前該功能已經(jīng)被廣泛應用于股票漲跌預測、犯罪率預測、交通運輸客流預測等方面。聚類功能簡單來說就是將數(shù)據(jù)劃分成簇。該功能的實現(xiàn)需要以數(shù)據(jù)挖掘技術(shù)、人工智能技術(shù)、專家系統(tǒng)等先進技術(shù)為基礎(chǔ)，在不會知道目標數(shù)據(jù)集存在多少類的情況下，對海量數(shù)據(jù)進行自動化、智能化處理，并盡可能做到不同簇中數(shù)據(jù)差異性明顯、同簇中數(shù)據(jù)相似性高。目前聚類功能已經(jīng)被嘗試應用于生物學的物種分類輔助、疾病時間分布模式檢測、客戶劃分等方面，并取得了一定成效。關(guān)聯(lián)分析功能指對數(shù)據(jù)之間的關(guān)聯(lián)管理進行分析和研究。數(shù)據(jù)挖掘技術(shù)中關(guān)聯(lián)分析功能的實現(xiàn)，主要通過支持度和置信度來確定數(shù)據(jù)間的關(guān)聯(lián)規(guī)則，進而挖掘出數(shù)據(jù)間的簡單關(guān)聯(lián)、時序關(guān)聯(lián)等關(guān)系。目前，關(guān)聯(lián)分析功能被廣泛應用于零售行業(yè)物品擺放位置調(diào)整、基因芯片研發(fā)、電話卡捆綁銷售、保險金額設(shè)定等方面。而異常檢測功能則是對海量數(shù)據(jù)中的異常數(shù)據(jù)加以發(fā)現(xiàn)，并進一步對異常原因、結(jié)果等進行分析。該功能的實現(xiàn)可以通過統(tǒng)計模型、聚力模型、密度模型、偏離模型等進行數(shù)據(jù)挖掘和分析，從而針對不同模型發(fā)現(xiàn)特定的異常數(shù)據(jù)。目前異常檢測功能被應用于不尋常信用卡的探測、醫(yī)療保險欺詐等方面[2-3]。

3 基于數(shù)據(jù)挖掘技術(shù)的信息處理分析實現(xiàn)

基于數(shù)據(jù)挖掘技術(shù)進行信息處理分析，需要對處理對象加以了解和研究，并應用相應的信息系統(tǒng)進行數(shù)據(jù)處理，實現(xiàn)功能。接下來本文以移動通信企業(yè)的用戶信息分析為例，就基于數(shù)據(jù)挖掘技術(shù)的信息處理分析實現(xiàn)進行探討。

3.1 系統(tǒng)分析

要保障信息處理分析的有效實現(xiàn)，需要先對相應的系統(tǒng)進行分析，進而指導系統(tǒng)設(shè)計與建設(shè)。對移動通信企業(yè)的用戶信息分析而言，構(gòu)建相應的系統(tǒng)應當能夠?qū)崿F(xiàn)保留老用戶、發(fā)展新用戶、降低運營成本、提高企業(yè)競爭力等目標。其中，從保留老用戶的層面看，對用戶信息進行全面分析，實現(xiàn)企業(yè)內(nèi)部用戶信息共享，協(xié)調(diào)各部門、崗位，把握用戶需求并盡可能加以滿足，能夠切實提高用戶的實際體驗，進而增強用戶對企業(yè)的信賴感，留住老用戶。從發(fā)展新用戶的層面看，對企業(yè)內(nèi)部信息與外部信息進行綜合化分析，對潛在用戶的基本特征和需求加以分析，進而為企業(yè)戰(zhàn)略調(diào)整、決策制定等提供依據(jù)，有效發(fā)展新用戶。從降低運營成本的層面看，借助系統(tǒng)對企業(yè)運行管理情況加以分析，推動企業(yè)結(jié)構(gòu)以及資源配置優(yōu)化，整合企業(yè)內(nèi)部環(huán)節(jié)，并以市場為導向指導企業(yè)業(yè)務(wù)工作開展，能夠在提高工作質(zhì)量與效率的同時，降低運營成本。從提高市場競爭力層面看，借助用戶信息分析系統(tǒng)對用戶需求、市場變化等進行分析、預測，能夠有效增強市場競爭力，促進企業(yè)經(jīng)濟效益提高。

而要確保系統(tǒng)正常運行并發(fā)揮作用，則需要對系統(tǒng)架構(gòu)進行合理設(shè)置。用戶信息分析系統(tǒng)直接從企業(yè)系統(tǒng)數(shù)據(jù)服務(wù)器導入檔案數(shù)據(jù)，同時通過生產(chǎn)或錄入的方式生成調(diào)查信息、分析相關(guān)信息等，共同組成數(shù)據(jù)信息。通常移動通信企業(yè)的用戶信息分析系統(tǒng)架構(gòu)由3個層次構(gòu)成，分別為基礎(chǔ)數(shù)據(jù)層、業(yè)務(wù)邏輯層以及應用表現(xiàn)層?；A(chǔ)數(shù)據(jù)層以數(shù)據(jù)庫為核心，并且直接與業(yè)務(wù)邏輯層以及應用表現(xiàn)層相連，既可以根據(jù)系統(tǒng)需求自動開展相應的業(yè)務(wù)工作，也可以按照人為需要對數(shù)據(jù)進行分析處理。業(yè)務(wù)邏輯層則是連接應用表現(xiàn)層與基礎(chǔ)訪問層的中間橋梁，其需要基于業(yè)務(wù)實體以及數(shù)據(jù)業(yè)務(wù)實體直接進行數(shù)據(jù)訪問，也需要通過業(yè)務(wù)實體以及業(yè)務(wù)邏輯組件支持系統(tǒng)功能和服務(wù)的實現(xiàn)。而應用表現(xiàn)層則是進行人機交互的部分，直觀地展現(xiàn)系統(tǒng)功能，提供專業(yè)服務(wù)，是移動通信企業(yè)應用系統(tǒng)的核心部分。移動通信企業(yè)的用戶信息分析系統(tǒng)通常包含系統(tǒng)管理、用戶管理、業(yè)務(wù)管理以及分析管理等四大模塊，同時具有分級權(quán)限、自動提醒和報警等基礎(chǔ)功能，能夠滿足企業(yè)開展用戶信息分析工作的實際需求[4]。

3.2 系統(tǒng)總體設(shè)計

在對移動通信企業(yè)的用戶信息分析系統(tǒng)進行設(shè)計時，需要先對系統(tǒng)模型進行設(shè)計。系統(tǒng)需要先將包括用戶信息、用戶行為、運營數(shù)據(jù)以及其他數(shù)據(jù)等在內(nèi)的所有數(shù)據(jù)進行收集、整理，并將數(shù)據(jù)錄入數(shù)據(jù)庫中。根據(jù)數(shù)據(jù)挖掘目標，對數(shù)據(jù)庫中的數(shù)據(jù)進行選擇以及預處理，并通過包含關(guān)聯(lián)分析、序列分析、分類分析、聚類分析以及其他分析法的數(shù)據(jù)挖掘算法庫，執(zhí)行數(shù)據(jù)挖掘算法。然后，通過用戶行為分析、用戶信用分析、用戶滿意度分析、用戶忠誠度分析、用戶消費預測等，對數(shù)據(jù)挖掘結(jié)果進行分析，并根據(jù)反饋修正結(jié)果，再為用戶服務(wù)、營銷策略、管理應用等工作的開展提供重要數(shù)據(jù)。在此基礎(chǔ)上，再對系統(tǒng)功能的實現(xiàn)進行設(shè)計。其中系統(tǒng)管理模塊應當具備添加、查看、刪除、修改等必要的系統(tǒng)功能；用戶管理模塊應當具備添加業(yè)務(wù)用戶、查看用戶信息等基本功能；業(yè)務(wù)管理模塊應當具備添加業(yè)務(wù)記錄、查看業(yè)務(wù)記錄、刪除業(yè)務(wù)記錄、留言管理等基本功能；分析管理模塊則應當具備用戶信息分析、用戶滿意度管理、用戶消費分析和預測、用戶分類等必要功能。將整個系統(tǒng)劃分為數(shù)據(jù)層、邏輯層與表現(xiàn)層，對各層的功能和作用加以明確。

3.3 數(shù)據(jù)庫設(shè)計

在對數(shù)據(jù)庫進行設(shè)計時，一般可選用SQL Server數(shù)據(jù)庫，并建設(shè)相應的信息表，主要包括用戶基本資料信息表、用戶聯(lián)系人信息表、用戶組織結(jié)構(gòu)信息表、系統(tǒng)操作員信息表、業(yè)務(wù)記錄信息表、用戶滿意度調(diào)查表、用戶意見反饋表等，不同數(shù)據(jù)需要按部就班地錄入對應信息表。其中，用戶基本資料信息表包含用戶編號、用戶姓名、用戶地址、用戶郵編、用戶聯(lián)系人、信用度、滿意度、用戶等級、用戶種類、地區(qū)、注冊時間、注冊地址、負責團隊、最近聯(lián)系時間以及備注等基本信息；用戶聯(lián)系人信息表包含聯(lián)系人編號、客戶編號、聯(lián)系人姓名、聯(lián)系人電話號碼、備注等信息。

3.4 數(shù)據(jù)預處理

對數(shù)據(jù)進行預處理，是系統(tǒng)進一步實現(xiàn)各項信息處理分析功能的基礎(chǔ)。在實踐時，需要根據(jù)實際需要，明確調(diào)查對象，進而對數(shù)據(jù)庫中的表進行合理篩選，并對這些表中的數(shù)據(jù)進行預處理。先通過系統(tǒng)直接從數(shù)據(jù)庫中導入需要的數(shù)據(jù)，并通過消減維度的方式將其中與挖掘目的無關(guān)的屬性進行消減。然后，再對數(shù)據(jù)進行觀察，并將其中的噪聲數(shù)據(jù)忽視掉，以免無效數(shù)據(jù)影響信息處理分析結(jié)果的準確性。之后，再進行數(shù)據(jù)變換，對連續(xù)型數(shù)據(jù)進行離散化處理，通常是基于行業(yè)領(lǐng)域經(jīng)驗、挖掘需求等進行分層離散。

3.5 數(shù)據(jù)挖掘算法編程實現(xiàn)

移動通信企業(yè)用戶信息分析系統(tǒng)的數(shù)據(jù)挖掘算法，主要包括Apriori算法與FP-Growth算法兩種。通過編程手段，對這兩種算法功能加以實現(xiàn)。其中，Apriori算法中應用了自連接、剪枝技術(shù)以及Hash樹求解候選項集的支持數(shù)，能夠有效預防重復挖掘，也能對一些無用或者不必要的候選項集進行過濾，挖掘速度較快。不過該算法在實際應用時，需要重復掃描數(shù)據(jù)庫和所有事物，會在很大程度上影響挖掘效率。而FPGrowth算法應用了FP樹與條件FP樹等技術(shù)，能夠?qū)崿F(xiàn)對大量數(shù)據(jù)的壓縮存儲，也能得到頻繁項集，而且只需要掃描數(shù)據(jù)庫兩次。

3.6 系統(tǒng)實現(xiàn)

操作人員需要通過賬號、密碼以及動態(tài)驗證碼登錄系統(tǒng)，并獲得相應的系統(tǒng)權(quán)限。進入系統(tǒng)界面后，操作人員可以根據(jù)實際需要，通過不同的系統(tǒng)模塊進行用戶信息操作和用戶信息分析，獲得自身需要的信息，并為用戶管理提供支持[5]。

4 結(jié)語

綜上所述，在大數(shù)據(jù)時代，根據(jù)實際需要對數(shù)據(jù)挖掘技術(shù)進行合理應用，并對相應的數(shù)據(jù)信息進行挖掘、處理與分析，得到需要的信息，支持相關(guān)工作開展，是未來數(shù)據(jù)挖掘技術(shù)應用的主要趨勢。