智能數(shù)據(jù)分析系統(tǒng)研究及應(yīng)用

藍(lán)善根

摘 要在大數(shù)據(jù)時(shí)代，數(shù)據(jù)信息數(shù)量快速增長(zhǎng)，為了實(shí)現(xiàn)對(duì)這些數(shù)據(jù)信息的有效存儲(chǔ)和利用，本文提出了一套基于商業(yè)智能的數(shù)據(jù)分析系統(tǒng)。智能數(shù)據(jù)分析系統(tǒng)的存在能夠?yàn)檎蛘咂髽I(yè)的工作提供重要的數(shù)據(jù)信息支持。文章在闡述智能數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的基礎(chǔ)上，具體分析智能數(shù)據(jù)分析系統(tǒng)在政務(wù)系統(tǒng)中的應(yīng)用。

【關(guān)鍵詞】智能 數(shù)據(jù)分析系統(tǒng) 關(guān)聯(lián)分析 聚類分析

1 智能數(shù)據(jù)分析關(guān)鍵技術(shù)

1.1 智能數(shù)據(jù)抽取工具——ODI

ODL作為Qracle公司的智能數(shù)據(jù)抽取工具，實(shí)現(xiàn)對(duì)大量數(shù)據(jù)信息的收集、轉(zhuǎn)換、加載和整理，并實(shí)現(xiàn)多種關(guān)系型數(shù)據(jù)庫(kù)的繼集成操作。智能數(shù)據(jù)挖掘方法如圖1所示。

1.2 智能數(shù)據(jù)分析工具——BIEE

智能數(shù)據(jù)分析系統(tǒng)以Qracle公司的BIEE作為數(shù)據(jù)分析軟件，數(shù)據(jù)分析軟件的功能十分強(qiáng)大，具體分為物理層、邏輯層、展現(xiàn)層等數(shù)據(jù)模型。通過(guò)應(yīng)用這個(gè)模型實(shí)現(xiàn)企業(yè)各異構(gòu)數(shù)據(jù)源的有效連接。BIEE范圍與預(yù)測(cè)準(zhǔn)確度的關(guān)系如表1所示。

1.3 智能系統(tǒng)功能模塊

智能系統(tǒng)功能模塊主要包括數(shù)據(jù)的關(guān)聯(lián)性分析、數(shù)據(jù)相關(guān)性分析、數(shù)據(jù)聚類分析、數(shù)據(jù)回歸分析等。其中，數(shù)據(jù)相關(guān)分析模塊是指在相應(yīng)的路徑下導(dǎo)入所需要的分類文件，之后選擇變量，應(yīng)用MTC的方法來(lái)對(duì)變量相關(guān)性問(wèn)題展開(kāi)分析。確定多變量信息，借助多變量之間的相關(guān)性數(shù)據(jù)分析來(lái)對(duì)數(shù)據(jù)中各個(gè)變量的關(guān)聯(lián)大小問(wèn)題進(jìn)行分析。數(shù)據(jù)關(guān)聯(lián)分析模塊。數(shù)據(jù)關(guān)聯(lián)分析模塊能夠應(yīng)用關(guān)聯(lián)性的規(guī)則算法來(lái)來(lái)對(duì)各個(gè)數(shù)據(jù)之間的影響問(wèn)題展開(kāi)分析，在分析之后確定數(shù)據(jù)之間有效的關(guān)聯(lián)規(guī)則。數(shù)據(jù)分析分類模塊需要在一定路徑下導(dǎo)入分類數(shù)據(jù)文件。數(shù)據(jù)聚類分析模塊能夠借助數(shù)據(jù)間相關(guān)性的大小問(wèn)題來(lái)實(shí)現(xiàn)對(duì)導(dǎo)入數(shù)據(jù)信息的自動(dòng)化分類管理。

2 智能數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)

2.1 數(shù)據(jù)模塊設(shè)計(jì)

智能數(shù)據(jù)系統(tǒng)被劃分為數(shù)據(jù)管理、權(quán)限管理、數(shù)據(jù)抽取、數(shù)據(jù)開(kāi)發(fā)等四個(gè)管理模塊。

2.1.1 數(shù)據(jù)管理模塊

數(shù)據(jù)管理模塊是指通過(guò)對(duì)用戶提交數(shù)據(jù)信息的記錄來(lái)實(shí)現(xiàn)數(shù)據(jù)管理。用戶在提交數(shù)據(jù)之前需要?jiǎng)?chuàng)建表格和增添字段，之后將上交之后的數(shù)據(jù)信息存儲(chǔ)到表格中，導(dǎo)入相應(yīng)的數(shù)據(jù)。數(shù)據(jù)管理模塊一般包括表管理、數(shù)據(jù)管理、字段管理。

2.1.2 權(quán)限管理模塊

權(quán)限管理模塊主要是實(shí)現(xiàn)對(duì)用戶、角色、菜單、權(quán)限和日志等內(nèi)容的管理，其中最為重要的管理內(nèi)容是是角色分配權(quán)限和為用戶安排角色的功能。

2.1.3 數(shù)據(jù)抽取模塊

數(shù)據(jù)抽取模塊主要是對(duì)數(shù)據(jù)信息的抽取，在抽取數(shù)據(jù)信息之后將數(shù)據(jù)信息分別安排在不同的數(shù)據(jù)庫(kù)中。在這個(gè)操作過(guò)程中涉及到的內(nèi)容包括資料庫(kù)的建設(shè)、物理架構(gòu)和邏輯架構(gòu)的建設(shè)、項(xiàng)目模型接口的建設(shè)。

2.1.4 報(bào)表開(kāi)發(fā)模塊

報(bào)表開(kāi)發(fā)模塊主要表現(xiàn)在對(duì)數(shù)據(jù)模型的創(chuàng)建、BIEE報(bào)表的開(kāi)發(fā)、JAVA集成操作等。在報(bào)表開(kāi)發(fā)過(guò)程中需要涉及到報(bào)表的制作、數(shù)據(jù)模型的創(chuàng)建、報(bào)表的展示等。

2.2 數(shù)據(jù)信息抽取方案的設(shè)計(jì)

數(shù)據(jù)信息抽取的目標(biāo)是將數(shù)據(jù)信息模塊系統(tǒng)中分散的數(shù)據(jù)整合在一起，通過(guò)ODI建立相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)，具體操作過(guò)程如下所示：

（1）打造主要資料庫(kù)。主要的資料庫(kù)保存了企業(yè)發(fā)展過(guò)程中所有的IT資源拓?fù)浣Y(jié)構(gòu)。主要資料庫(kù)能夠保存重要的項(xiàng)目和數(shù)據(jù)模型信息，為ODI圖形模塊使用提供重要支持。

（2）打造工作資料庫(kù)。在工作資料庫(kù)中保存各個(gè)項(xiàng)目和數(shù)據(jù)信息。在工作中資料庫(kù)和主資料庫(kù)的關(guān)系是彼此對(duì)應(yīng)的。

（3）創(chuàng)建數(shù)據(jù)服務(wù)器。結(jié)合不同用戶的需求來(lái)創(chuàng)建多個(gè)物理架構(gòu)。

（4）創(chuàng)建邏輯架構(gòu)。邏輯架構(gòu)的創(chuàng)建往往和物理架構(gòu)是一一對(duì)應(yīng)的關(guān)系。

（5）創(chuàng)建項(xiàng)目，每個(gè)項(xiàng)目也都需要對(duì)應(yīng)一個(gè)相應(yīng)的邏輯架構(gòu)。

（6）模型的創(chuàng)建。每個(gè)模型的創(chuàng)建都需要對(duì)應(yīng)一個(gè)邏輯結(jié)構(gòu)。

（7）接口的創(chuàng)建。在接口創(chuàng)建完成之后每個(gè)模型都需要對(duì)應(yīng)一個(gè)邏輯架構(gòu)。

2.3 數(shù)據(jù)信息分析模塊的設(shè)計(jì)

2.3.1 物理模型設(shè)計(jì)

物理模型設(shè)計(jì)是指對(duì)數(shù)據(jù)庫(kù)分析對(duì)象的設(shè)計(jì)，物理模型設(shè)計(jì)是邏輯模型在數(shù)據(jù)倉(cāng)庫(kù)中的物理實(shí)現(xiàn)。物理模型的設(shè)計(jì)需要對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)運(yùn)作環(huán)境、數(shù)據(jù)庫(kù)外部設(shè)備特點(diǎn)進(jìn)行全面的了解，在全面了解之后將數(shù)據(jù)在數(shù)據(jù)庫(kù)中以表格的形式來(lái)展現(xiàn)。

2.3.2 邏輯模型的設(shè)計(jì)

邏輯模型是在物理模型設(shè)計(jì)基礎(chǔ)上對(duì)數(shù)據(jù)的進(jìn)一步細(xì)化處理，能夠?qū)⒍喾N數(shù)據(jù)表格轉(zhuǎn)化為維表，并對(duì)維表進(jìn)行有層次的劃分，設(shè)置相應(yīng)的劃分規(guī)則。BIEE的邏輯模型形式有很多，比如雪花模型、星型模型，在經(jīng)過(guò)調(diào)查分析之后實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的預(yù)處理。系統(tǒng)模型的優(yōu)勢(shì)是能夠簡(jiǎn)化事實(shí)表和維度表之間的關(guān)系，為用戶提供更為直觀的數(shù)據(jù)信息。在星型模型中，事實(shí)表處于最中心的位置上，各個(gè)維度表在周圍，形成了一個(gè)輻射狀。在這個(gè)模式中，用戶能夠從數(shù)據(jù)倉(cāng)庫(kù)中查詢到具體的業(yè)務(wù)數(shù)據(jù)。邏輯模型SSIS的體系結(jié)構(gòu)如圖2所示，SSIS的體系由四個(gè)關(guān)鍵部分組成，分別是服務(wù)、對(duì)象模型、運(yùn)行時(shí)可執(zhí)行文件、封裝數(shù)據(jù)流引擎和數(shù)據(jù)流組件。

2.3.3 展現(xiàn)模型的設(shè)計(jì)

展現(xiàn)模型是數(shù)據(jù)庫(kù)用戶在經(jīng)過(guò)一系列操作之后最終看到的模型，每個(gè)展現(xiàn)模型都會(huì)對(duì)應(yīng)一個(gè)分析主題，對(duì)維度和事實(shí)表之間的關(guān)系問(wèn)題做出了清晰的描述，向人們清楚的展現(xiàn)了事物之間的關(guān)系。展現(xiàn)層模型和用戶數(shù)據(jù)模型比較接近，具體包括辦公室數(shù)據(jù)、工作績(jī)效數(shù)據(jù)、個(gè)人行為數(shù)據(jù)。

3 智能數(shù)據(jù)系統(tǒng)功能實(shí)現(xiàn)和測(cè)試

3.1 智能數(shù)據(jù)系統(tǒng)的實(shí)現(xiàn)

智能數(shù)據(jù)系統(tǒng)包含三個(gè)層面的內(nèi)容，分別是物理層、邏輯層、展現(xiàn)層。在BIEE的后臺(tái)管理下能夠完成對(duì)數(shù)據(jù)模型的創(chuàng)建。以個(gè)人行為績(jī)效模型的構(gòu)建為例，智能數(shù)據(jù)系統(tǒng)實(shí)現(xiàn)操作步驟如下所示：

（1）BIEE管理工具通過(guò)OCI的方式來(lái)將數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息加載到資料檔案庫(kù)物理層中。

（2）BIEE報(bào)表的開(kāi)發(fā)。BIEE報(bào)表在開(kāi)發(fā)之前要登錄到BIEE服務(wù)器上，安裝操作完成之后進(jìn)行登錄瀏覽操作。

經(jīng)過(guò)分析之后得到相應(yīng)的圖形分析結(jié)果，并結(jié)合用戶的需求來(lái)制作不同形式的報(bào)表。報(bào)表制作完成之后，通過(guò)Web Service接口將報(bào)表嵌入到網(wǎng)頁(yè)中，具體操作如下：首先，下載wsdl文件，啟動(dòng)BIEE服務(wù)，打開(kāi)瀏覽器輸入地址。其次，生產(chǎn)客戶端代碼，應(yīng)用Axis插件來(lái)將wsdl文件生產(chǎn)客戶端代碼。最后，調(diào)用代碼說(shuō)明。在應(yīng)用BIEE登錄之后，采取logonex的方式來(lái)驗(yàn)證。

3.2 智能數(shù)據(jù)系統(tǒng)的調(diào)試

智能數(shù)據(jù)系統(tǒng)的運(yùn)行服務(wù)器操作系統(tǒng)是windows2008，硬盤(pán)有500G，實(shí)際運(yùn)行內(nèi)存有4G。系統(tǒng)分析軟件應(yīng)用的是Oracle BIEE。數(shù)據(jù)抽取軟件應(yīng)用的是Oracle ODI11g，客戶端使用的操作系統(tǒng)是Windows8系統(tǒng)，硬盤(pán)1T，內(nèi)存有4G。在系統(tǒng)應(yīng)用操作中，發(fā)現(xiàn)用戶管理模塊、用戶角色管理模塊、菜單管理模塊、權(quán)限管理模塊的開(kāi)發(fā)和刪除管理等都比較正常，顯示出系統(tǒng)良好的社會(huì)適應(yīng)性。

4 結(jié)束語(yǔ)

綜上所述，文章結(jié)合最新技術(shù)發(fā)展情況，基本討論了基于BIEE數(shù)據(jù)分析系統(tǒng)研究的意義和價(jià)值，并介紹了基于系統(tǒng)實(shí)現(xiàn)的重要技術(shù)形式，經(jīng)過(guò)實(shí)際運(yùn)行發(fā)現(xiàn)系統(tǒng)的數(shù)據(jù)采集精確度很高、傳輸速度快、總體性能穩(wěn)定、數(shù)據(jù)存儲(chǔ)量大、數(shù)據(jù)分析操作簡(jiǎn)單、系統(tǒng)性能穩(wěn)定、數(shù)據(jù)存儲(chǔ)量大，能夠充分滿足人們的使用需求。

參考文獻(xiàn)

[1]張朝霞，韓素青.智能數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[J].太原師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，16（02）：32-36.

[2]李文瓊.電子商務(wù)企業(yè)數(shù)據(jù)分析與智能系統(tǒng)[J].信息系統(tǒng)工程，2015（01）：80+71.

[3]太原高新區(qū)智能數(shù)據(jù)分析處理系統(tǒng)[J].中國(guó)高新區(qū)，2011（01）：120.

作者單位

貴州省郵電規(guī)劃設(shè)計(jì)院有限公司 貴州省貴陽(yáng)市 550003