基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)研究

唐秀忠 陳洪磊 陸玉發(fā)

關(guān)鍵詞： OLAP; 數(shù)據(jù)分析; 決策支持; 聯(lián)機分析; 多維引擎; 數(shù)據(jù)倉庫

中圖分類號： TN919?34; P20 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）02?0155?04

Research on university data analysis and decision?making support system based on OLAP

TANG Xiuzhong， CHEN Honglei， LU Yufa

（School of Technology， Puer University， Puer 665000， China）

Abstract： Since the university data analysis and decision?making support system based on the Mahout has the disadvantages of low data processing rate and poor user satisfaction， a university data analysis and decision?making support system based on the OLAP is designed. The snowflake model is used to design the data warehouse module according to different topics， and reduce the time consumption of connection between dimension tables and the reaction table， so as to realize high?efficient query and processing of university data warehouse information. Analysis， induction and summarization of university data are realized by using the online analysis and processing module OLAP and performing operations of slicing， block cutting， drilling and rotation. In the software part of the system， the slicing module， cubic module and representation module are used to send the analysis result of the multidimensional analysis request to users in the form of report and graph by means of the OLAP multidimensional engine， so as to meet users′ needs of data analysis and decision?making analysis in colleges and universities. The experimental results show that the designed system has short time?consumption in associated content updating， analysis result query and file export， and a high actual user satisfaction.

Keywords： OLAP; data analysis; decision?making support; online analysis; multidimensional engine; data warehouse

0 ?引 ?言

近年來，隨著高等教育的快速發(fā)展，各大院校的教育管理信息系統(tǒng)已取得顯著的成效。不同的教育部門中會產(chǎn)生不同類型的數(shù)據(jù)，從不同類型數(shù)據(jù)中提取出對高校決策分析有用的信息，成為當前專家學(xué)者關(guān)注的熱點話題。OLAP（聯(lián)機處理技術(shù)）是一種專門用于分析復(fù)雜問題的具體操作[1]，能夠為決策人員提供決策幫助，同時可以根據(jù)分析決策人員的使用需求快速、靈活、準確地對海量數(shù)據(jù)進行查詢、處理，將處理結(jié)果以通俗易懂的形式展現(xiàn)出來，方便決策人員制定正確的決策方案。因此，本文設(shè)計基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)，能夠加快管理決策者對高校數(shù)據(jù)分析與決策的速率。

1 ?基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)

1.1 ?系統(tǒng)總體結(jié)構(gòu)設(shè)計

高校數(shù)據(jù)倉庫設(shè)計中的數(shù)據(jù)來自不同職能部門的業(yè)務(wù)數(shù)據(jù)庫，高校數(shù)據(jù)倉庫中不僅有與高校相關(guān)的內(nèi)部數(shù)據(jù)外還包括與高校無關(guān)的外部數(shù)據(jù)[2]。高校數(shù)據(jù)倉庫的建模工具需根據(jù)不同的主題來選擇。高校數(shù)據(jù)倉庫設(shè)計中，ETL工具利用高校數(shù)據(jù)模型進行數(shù)據(jù)重組[3]。數(shù)據(jù)重組過程包括數(shù)據(jù)清洗、轉(zhuǎn)換以及保存入庫等操作。前端分析工具采用聯(lián)機分析處理OALP模塊對高校數(shù)據(jù)倉庫實行多維分析并對其中數(shù)據(jù)實施多種OLAP操作，包括對高校數(shù)據(jù)進行切片、切塊、數(shù)據(jù)比較以及旋轉(zhuǎn)等處理，最終將數(shù)據(jù)處理結(jié)果以圖表的形式呈現(xiàn)給決策者。圖1為基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)總體結(jié)構(gòu)圖。

1.2 ?數(shù)據(jù)倉庫模塊設(shè)計

高校各部門的業(yè)務(wù)數(shù)據(jù)大多以關(guān)系數(shù)據(jù)的形式保存，因此采用“雪花模型”設(shè)計高校數(shù)據(jù)分析與決策支持系統(tǒng)的數(shù)據(jù)倉庫。“雪花模型”屬于基于關(guān)系型數(shù)據(jù)庫的一種，是面向OLAP的一種多維化信息組織模型[4]。本文依照教學(xué)情況對高校數(shù)據(jù)分析與決策支持系統(tǒng)的數(shù)據(jù)倉庫進行設(shè)計。該數(shù)據(jù)倉庫設(shè)計選擇學(xué)院、時間、學(xué)生類型以及衡量指標作為四個維度，高校學(xué)生類型[5]劃分為本科生、碩士生和博士生三種。圖2為以教學(xué)情況為主題設(shè)計的雪花模型圖。圖2中與中間教學(xué)情況反映表相關(guān)的四個維度均有各自的屬性，維度表與中間教學(xué)反映表的連接是通過維關(guān)鍵字。該“雪花模型”的核心為教學(xué)情況反映表，是保存真實教學(xué)情況數(shù)據(jù)的地方，且保存的真實數(shù)據(jù)均為數(shù)字屬性，如成績優(yōu)良率等。該表中涵蓋大量的主要教學(xué)數(shù)據(jù)，可以通過掃描該表進行數(shù)據(jù)查詢[6]，提升了用戶的查詢效率便于后續(xù)決策工作的開展，同時與教學(xué)情況反映表相連的維表通常較小，與中間教學(xué)情況反映表的連接用時短，節(jié)約大量的數(shù)據(jù)處理用時，實現(xiàn)對數(shù)據(jù)倉庫信息的高效查詢處理。

1.3 ?聯(lián)機分析處理OLAP模塊設(shè)計

聯(lián)機分析處理OLAP在數(shù)據(jù)倉庫信息分析處理后進行，其通過切片、切塊、鉆取以及旋轉(zhuǎn)等操作實現(xiàn)面向數(shù)據(jù)的分析、歸納和總結(jié)[7]。本文對高校數(shù)據(jù)分析與決策支持系統(tǒng)聯(lián)機分析處理的實現(xiàn)需構(gòu)建多維的數(shù)據(jù)模型。構(gòu)建多維數(shù)據(jù)模型步驟如下：將高校數(shù)據(jù)分析與決策支持系統(tǒng)數(shù)據(jù)倉庫作為數(shù)據(jù)源，基于數(shù)據(jù)倉庫中的反應(yīng)表與維表，采用ORACLE BIEE維度編輯器和多維數(shù)據(jù)集構(gòu)建專用維度，并進行維度共享[8]，同時將維度間的層次關(guān)系進行有效定義，實現(xiàn)用于決策分析的多維數(shù)據(jù)模型的構(gòu)建。多維數(shù)據(jù)模型有三種物理實現(xiàn)方式，分別是基于關(guān)系表ROLAP、基于多維數(shù)據(jù)庫的MOLAP和二者融合的HOLAP，系統(tǒng)設(shè)計時選擇二者融合的HOLAP，因為其將MOLAP和ROLAP兩種結(jié)構(gòu)的技術(shù)優(yōu)點進行有機融合，能夠滿足用戶的復(fù)雜數(shù)據(jù)分析需求。

1.4 ?OLAP多維引擎設(shè)計

OLAP多維引擎可接收到用戶的多維分析請求，使用戶從多角度、多層面上對基礎(chǔ)數(shù)據(jù)進行查詢，將多維分析請求轉(zhuǎn)化為數(shù)據(jù)倉庫中的SQL查詢，將獲取的數(shù)據(jù)發(fā)送給用戶。本文基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)設(shè)計中，OLAP多維引擎主要由切片模塊、立方體模塊和表示模塊構(gòu)成[9]。OLAP多維引擎接收用戶的多維分析請求后的處理流程如圖3所示。圖3中過程1代表模塊在接收來自用戶的多維分析請求后，將該請求發(fā)送到立方體模塊;過程2中立方體模塊對該多維請求的維的層次進行解析[10]，并提取出該維上層次中的數(shù)據(jù)，構(gòu)建出均勻的分組，并將分組結(jié)果作為參數(shù)調(diào)用的切片模塊;過程3中的切片模塊首先對分組情況進行查看，假如分組后的度量數(shù)據(jù)已存在于數(shù)據(jù)庫中，此時應(yīng)構(gòu)建SQL語句，并直接提取該度量數(shù)據(jù)，反之，可依照源數(shù)據(jù)中計算度量數(shù)據(jù)的相關(guān)公式計算求得度量數(shù)據(jù);過程4中切片模塊憑借循環(huán)調(diào)用切片模塊即可得到多維分析后的全部度量數(shù)據(jù);過程5即切片模塊將度量數(shù)據(jù)發(fā)送回立方體模塊;過程6表示模塊采用報表或圖形的形式將多維數(shù)據(jù)結(jié)果展示給用戶。根據(jù)以上模塊設(shè)計即可使高校管理決策者直觀地獲取以報表或圖片形式展現(xiàn)的多維數(shù)據(jù)分析結(jié)果。

2 ?實驗分析

2.1 ?系統(tǒng)運行功能測試

實驗為驗證本文基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)的應(yīng)用性能，將本文系統(tǒng)、傳統(tǒng)基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)和基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)進行對比試驗。利用3臺同樣型號的計算機分別在一天中的12個時間段內(nèi)分別進行更新關(guān)聯(lián)內(nèi)容用時測試、查看分析結(jié)果用時測試和文檔導(dǎo)出用時測試。本文系統(tǒng)與上述實驗中的兩個系統(tǒng)在各個時間段內(nèi)的用時情況分別如圖4～圖6所示。

分析圖4三種系統(tǒng)在不同時刻下更新高校數(shù)據(jù)關(guān)聯(lián)內(nèi)容用時結(jié)果可知，本文系統(tǒng)更新關(guān)聯(lián)內(nèi)容曲線在三條曲線的最下方且曲線幾乎沒有波動，更新關(guān)聯(lián)內(nèi)容的用時基本在40 s左右，說明本文系統(tǒng)在不同時刻下更新與高校決策者關(guān)聯(lián)內(nèi)容的用時較短且系統(tǒng)穩(wěn)定性較強。分析基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)和基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)的更新關(guān)聯(lián)內(nèi)容曲線均遠遠高于本文系統(tǒng)曲線。其中基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)的用時在60～70 s之間，更新用時變化波動較大且耗時較長，因此可以得出，本文系統(tǒng)在更新與高校決策相關(guān)的內(nèi)容上效率較高。

從圖5三種系統(tǒng)在不同時刻下查看分析結(jié)果用時曲線可以看出，基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)和基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)查看分析結(jié)果用時曲線相差較少且多處發(fā)生重合。雖然這兩種系統(tǒng)的用時波動較為平緩，但從用時情況可以看出，本文系統(tǒng)的分析用時遠遠低于另外兩個系統(tǒng)，高校決策者可在短時間內(nèi)查看分析的結(jié)果。

系統(tǒng)向決策者展示的結(jié)果通常需要以PDF或表格的形式導(dǎo)出，因此測試文檔導(dǎo)出用時也是測量本文系統(tǒng)好壞的因素之一。從圖6中可以看出，本文系統(tǒng)的普遍文檔導(dǎo)出用時在5 s左右;基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)的文檔導(dǎo)出用時比本文系統(tǒng)用時較多，該系統(tǒng)在不同時刻下的文件導(dǎo)出用時波動較大;基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)雖然文件導(dǎo)出用時波動平緩，但該系統(tǒng)文件導(dǎo)出用時較長。因此對比曲線得出，本文系統(tǒng)在導(dǎo)出文檔的效率較高。

2.2 ?系統(tǒng)評價

實驗采用專家評價法，對本文系統(tǒng)、基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)和基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)三種系統(tǒng)的應(yīng)用效果進行評分，實驗評價系統(tǒng)分數(shù)為0～10分，在某高校內(nèi)隨機選取12位管理層決策者，讓12位決策者分別使用三種系統(tǒng)后，對系統(tǒng)進行評判，平均評價結(jié)果如圖7所示。

分析圖7可以看出，本文系統(tǒng)在12位管理決策者使用后的平均評分結(jié)果均在9分以上，說明管理決策者對本文系統(tǒng)非常滿意;基于Mahout的高校數(shù)據(jù)分析與決策支持系統(tǒng)的評價得分均在7分左右波動;而對基于數(shù)據(jù)挖掘的高校數(shù)據(jù)分析與決策支持系統(tǒng)，每一位管理決策者的得分均沒有達到及格水平。由此可知，本文系統(tǒng)曲線在最上方且遠高于另外兩條曲線，說明本文系統(tǒng)具有較強的實際應(yīng)用效果。

3 ?結(jié) ?論

本文設(shè)計的基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)，根據(jù)決策主題來構(gòu)建數(shù)據(jù)倉庫，并對這些數(shù)據(jù)進行聯(lián)機分析處理，準確地對學(xué)校的運行情況進行統(tǒng)計分析。根據(jù)實驗結(jié)果可知，所設(shè)計系統(tǒng)的更新關(guān)聯(lián)內(nèi)容用時、查看分析結(jié)果用時和文檔導(dǎo)出用時效率較高;根據(jù)專家的系統(tǒng)評價結(jié)果可知，所設(shè)計系統(tǒng)的實際應(yīng)用效果好，用戶滿意度較高。

參考文獻

[1] 侯杰，胡乃聯(lián)，李國清，等.基于OLAP的礦業(yè)集團生產(chǎn)運營決策系統(tǒng)構(gòu)建研究[J].中國礦業(yè)，2016，25（11）：11?15.

HOU Jie， HU Nailian， LI Guoqing， et al. Construction of production operation & decision?making system for mining group based on OLAP [J]. China mining magazine， 2016， 25（11）： 11?15.

[2] 滿毅，章炯民，徐曉錦.一種基于樸素貝葉斯算法的OLAP緩存機制[J].計算機工程與應(yīng)用，2017，53（6）：85?90.

MAN Yi， ZHANG Jiongmin， XU Xiaojin. OLAP cache mechanism based on naive Bayesian [J]. Computer engineering and applications， 2017， 53（6）： 85?90.

[3] 王澤奧，吳斌，吳心宇，等.大規(guī)模多維網(wǎng)絡(luò)數(shù)據(jù)分析框架的研究與實現(xiàn)[J].計算機科學(xué)與探索，2017，11（12）：1941?1952.

WANG Zeao， WU Bin， WU Xinyu， et al. Research and implementation of framework for large?scale multi?dimensional network analysis [J]. Journal of frontiers of computer science & technology， 2017， 11（12）： 1941?1952.

[4] 徐揚，云夢妍，張瑾賢.大學(xué)生擇業(yè)決策支持系統(tǒng)研究[J].當代教育與文化，2016，8（1）：95?101.

XU Yang， YUN Mengyan， ZHANG Jinxian. Research on decision support system of undergraduate career choice [J]. Contemporary education and culture， 2016， 8（1）： 95?101.

[5] 封超，郭曉.基于CBR的應(yīng)急情報智能決策支持系統(tǒng)研究[J].情報雜志，2017，36（10）：36?40.

FENG Chao， GUO Xiao. Research on Emergency intelligence intelligent decision support system based on case?based reasoning [J]. Journal of intelligence， 2017， 36（10）： 36?40.

[6] 王宗水，趙紅.大數(shù)據(jù)變革背景下的顧客網(wǎng)絡(luò)滿意度比較：基于OLAP可視化技術(shù)應(yīng)用視角[J].軟科學(xué)，2015，29（5）：106?110.

WANG Zongshui， ZHAO Hong. Comparison of customer online satisfaction comments in big data revolution： a view of OLAP visualization technology utility [J]. Soft science， 2015， 29（5）： 106?110.

[7] 王會舉，覃雄派，王珊，等.面向大規(guī)模機群的可擴展OLAP查詢技術(shù)[J].計算機學(xué)報，2015，38（1）：45?58.

WANG Huiju， QIN Xiongpai， WANG Shan， et al. Scalable OLAP queries processing towards large cluster [J]. Chinese journal of computers， 2015， 38（1）： 45?58.

[8] 崔紅波，游進國，簡興明，等.Spark環(huán)境下的分布式OLAP查詢[J].小型微型計算機系統(tǒng)，2017，38（11）：2517?2522.

CUI Hongbo， YOU Jinguo， JIAN Xingming， et al. Distributed OLAP query in Spark [J]. Journal of Chinese computer systems， 2017， 38（11）： 2517?2522.

[9] 武慧娟，秦雯，孫鴻飛.激勵視角下高校智庫協(xié)同決策機制研究：以吉林省高校智庫建設(shè)為例[J].現(xiàn)代情報，2017，37（3）：8?12.

WU Huijuan， QIN Wen， SUN Hongfei. Research on collaborative decision mechanism of university think tank based the incentive perspective： taking the construction of university think tanks in Jilin Province as an example [J]. Modern information， 2017， 37（3）： 8?12.

[10] 易魁，陳豪，趙志勇，等.小灣水電站工程安全分析與決策支持系統(tǒng)研究與構(gòu)建[J].水力發(fā)電，2017，43（3）：123?127.

YI Kui， CHEN Hao， ZHAO Zhiyong， et al. Research and construction of engineering safety analysis and decision?making support system for Xiaowan hydropower station [J]. Water power， 2017， 43（3）： 123?127.