基于大數(shù)據(jù)挖掘的企業(yè)智能知識(shí)管理與決策的研究

趙艦波

（西安外事學(xué)院，西安 710077）

引言

互聯(lián)網(wǎng)以及計(jì)算機(jī)科學(xué)的高速發(fā)展產(chǎn)生了大數(shù)據(jù)產(chǎn)生，隨之而來的是幾乎所有的領(lǐng)域、所有的行業(yè)都要面對(duì)大數(shù)據(jù)時(shí)代下的轉(zhuǎn)型。近年來，海量信息處理技術(shù)與工具的缺乏，導(dǎo)致全球近1 650家跨國企業(yè)在面對(duì)商業(yè)市場的快速變化中無法及時(shí)地做出反應(yīng)，以及提出有效決策?，F(xiàn)今，全社會(huì)都進(jìn)入了大數(shù)據(jù)時(shí)代，企業(yè)要想能夠正確地尋找決策支持的知識(shí)，就必須以新興的大數(shù)據(jù)挖掘技術(shù)來重塑企業(yè)知識(shí)管理的業(yè)務(wù)流程，持續(xù)提高組織的決策水平，提升企業(yè)的核心競爭力。

一、相關(guān)概念

大數(shù)據(jù)挖掘指的是從多數(shù)據(jù)類型的、迅速變化的和數(shù)據(jù)價(jià)值密度低的海量數(shù)據(jù)中挖掘出對(duì)用戶有價(jià)值的信息，提供并服務(wù)用戶。大數(shù)據(jù)挖掘與傳統(tǒng)數(shù)據(jù)挖掘比較，就技術(shù)發(fā)展背景、所面臨的數(shù)據(jù)環(huán)境及挖掘的廣度深度而言，大數(shù)據(jù)挖掘依賴云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、移動(dòng)智能終端等技術(shù)的蓬勃發(fā)展，圍繞大數(shù)據(jù)的特征，分析現(xiàn)有數(shù)據(jù)挖掘系統(tǒng)的問題，借助先進(jìn)技術(shù)，對(duì)龐雜的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理與多維分析，處理數(shù)據(jù)的范圍更廣闊，挖掘分析得更加深入和全面。

智能知識(shí)管理探討如何利用可能的技術(shù)手段，構(gòu)筑一套系統(tǒng)化方案，使海量駁雜的數(shù)據(jù)能夠提供知識(shí)的智能化個(gè)性服務(wù)，提升企業(yè)對(duì)信息的利用能力，最終提高決策者的決策水平。傳統(tǒng)的知識(shí)管理從算法、結(jié)構(gòu)、過程等方面入手，研究的對(duì)象是“知識(shí)管理系統(tǒng)”，不重視知識(shí)本身的智能化管理，沒有進(jìn)行知識(shí)管理的系統(tǒng)研究，也沒有對(duì)知識(shí)整合利用方法的設(shè)計(jì)，以至于當(dāng)知識(shí)的數(shù)量過大，傳統(tǒng)的知識(shí)管理平臺(tái)就難以完成任務(wù)。所以，知識(shí)本身也要具有一定的智能，能夠自我管理。

二、國內(nèi)外研究現(xiàn)狀

2014年8月，谷歌公司公布了其在建的“知識(shí)庫”（Knowledge Vault）?！爸R(shí)庫”可以使用算法自動(dòng)在網(wǎng)上搜集信息，利用大數(shù)據(jù)挖掘把數(shù)據(jù)轉(zhuǎn)化成用戶的可用知識(shí)。IBM公司使用Hadoop、流計(jì)算、智能分析等系統(tǒng)，整合實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)的管理，完成數(shù)據(jù)的智能分析等。

在國內(nèi)，劉益等人提出了基于知識(shí)本體的知識(shí)結(jié)構(gòu)，這個(gè)觀點(diǎn)的形成使用了Perez總結(jié)的，建立本體所需的5個(gè)基本元語：概念、關(guān)系、函數(shù)、公理和實(shí)例；知識(shí)結(jié)構(gòu)將知識(shí)本體中除實(shí)例之外的概念、關(guān)系等抽象要素用知識(shí)元、知識(shí)關(guān)聯(lián)和知識(shí)推理證明表示，這樣更利于描述知識(shí)本體的內(nèi)在意義。中國人民銀行征信中心與中國科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心一起合作開發(fā)了中國人民銀行的全國個(gè)人信用評(píng)分系統(tǒng)——中國評(píng)分（China Score）等。

三、研究目標(biāo)

1.智能知識(shí)管理這一交叉學(xué)科的發(fā)展落后于其商業(yè)應(yīng)用的現(xiàn)實(shí)需求，使用數(shù)據(jù)挖掘、數(shù)據(jù)分析等工具，挖掘互聯(lián)網(wǎng)和數(shù)據(jù)庫等知識(shí)源，整個(gè)過程產(chǎn)生了許多的模式和不同的規(guī)則。決策者無法很好地理解如此眾多的潛在模式和規(guī)則，在那些能夠?yàn)闆Q策提供支持的事情上無法集中注意力和精力。企業(yè)需要使用大數(shù)據(jù)挖掘技術(shù)融合知識(shí)管理，保證決策者能夠有效使用數(shù)據(jù)挖掘得到的知識(shí)，從而提高決策水平。

2.基于大數(shù)據(jù)環(huán)境，大數(shù)據(jù)是數(shù)據(jù)分析的反映，從大數(shù)據(jù)挖掘出的非結(jié)構(gòu)化知識(shí)開始，經(jīng)過人為主觀處理，將非結(jié)構(gòu)化知識(shí)轉(zhuǎn)化為半結(jié)構(gòu)化知識(shí)，再將半結(jié)構(gòu)化知識(shí)轉(zhuǎn)換為結(jié)構(gòu)化知識(shí)，最后使得從事結(jié)構(gòu)化決策的決策者無須了解過多的業(yè)務(wù)知識(shí)，也能夠通過獲得的結(jié)構(gòu)化知識(shí)做出正確的結(jié)構(gòu)化的決策。

3.研究現(xiàn)有的知識(shí)管理框架，在此基礎(chǔ)上逐步完善智能知識(shí)管理框架，建立基于大數(shù)據(jù)挖掘的智能知識(shí)管理的理論框架。研究智能知識(shí)獲取的機(jī)理，探討智能知識(shí)獲取的理論，應(yīng)用新技術(shù)，提煉新算法，探索出基于大數(shù)據(jù)挖掘的智能知識(shí)管理與決策的內(nèi)涵。

四、研究擬解決的問題

1.大數(shù)據(jù)環(huán)境下的智能知識(shí)管理與決策結(jié)構(gòu)的改變。（1）知識(shí)機(jī)理的重新架構(gòu)?；诖髷?shù)據(jù)的知識(shí)發(fā)現(xiàn)過程與傳統(tǒng)知識(shí)不同，是基于數(shù)據(jù)信息的知識(shí)決策。（2）決策模式的更改。不同于基于因果關(guān)系的傳統(tǒng)決策，大數(shù)據(jù)環(huán)境下的決策模式是基于相關(guān)數(shù)據(jù)分析的決策。（3）管理模式的更改。傳統(tǒng)的管理模式是基于業(yè)務(wù)知識(shí)的學(xué)習(xí)，也是基于實(shí)踐經(jīng)驗(yàn)的累積；而大數(shù)據(jù)挖掘是以結(jié)構(gòu)化知識(shí)為研究對(duì)象的，這類知識(shí)的使用促使決策結(jié)構(gòu)的改變，需要研究智能知識(shí)管理如何支持更高層次的半結(jié)構(gòu)化決策和非結(jié)構(gòu)化決策。大數(shù)據(jù)環(huán)境下的智能知識(shí)管理與決策結(jié)構(gòu)的改變需要重新梳理理論框架，研究新技術(shù)、新算法，探討這種改變對(duì)管理決策的影響。

2.大數(shù)據(jù)環(huán)境下的智能知識(shí)獲取的方法、智能知識(shí)獲取的技術(shù)。大數(shù)據(jù)研究的核心價(jià)值是從大量駁雜的知識(shí)中使用人為主觀知識(shí)的轉(zhuǎn)換，從而得到被管理決策者所使用的結(jié)構(gòu)化知識(shí)。這個(gè)過程我們需要研究構(gòu)建評(píng)價(jià)體系，對(duì)不同類型的粗糙知識(shí)選擇合適的指標(biāo)，完成有效性評(píng)估；研究如何將主觀知識(shí)在大數(shù)據(jù)挖掘中完成量化、表達(dá)，這些主觀知識(shí)涵蓋了專家經(jīng)驗(yàn)、領(lǐng)域知識(shí)、用戶偏好等；研究包括人機(jī)交互、定性定量結(jié)合的智能知識(shí)獲取技術(shù)的原理和應(yīng)用；傳統(tǒng)的數(shù)據(jù)挖掘挖掘出的是靜態(tài)性的知識(shí)，探索結(jié)合領(lǐng)域知識(shí)挖掘模式之間的變換規(guī)律，進(jìn)行深層次的挖掘，使靜態(tài)知識(shí)挖掘轉(zhuǎn)變?yōu)閯?dòng)態(tài)知識(shí)挖掘。

3.大數(shù)據(jù)挖掘時(shí)，表現(xiàn)出規(guī)則過載和表達(dá)解釋困難的問題。大數(shù)據(jù)挖掘時(shí)的知識(shí)規(guī)則過載主要表現(xiàn)在深度上的過載以及數(shù)量上的過載，在深度和數(shù)量兩個(gè)維度上的過載導(dǎo)致很難找到用戶真正感興趣的知識(shí)，從而使得用戶難以獲得可直接用于決策的知識(shí)。大數(shù)據(jù)挖掘時(shí)的表達(dá)解釋困難表現(xiàn)在知識(shí)的理解性差、知識(shí)的實(shí)用性差，系統(tǒng)或用戶使用不同的數(shù)據(jù)挖掘算法，挖掘出的知識(shí)存在較大差異的表現(xiàn)形式，且數(shù)據(jù)質(zhì)量良莠不齊，甚至?xí)a(chǎn)生知識(shí)沖突，使得表達(dá)起來非常困難。

五、研究方案

1.構(gòu)建基于云計(jì)算的大數(shù)據(jù)挖掘體系結(jié)構(gòu)。云計(jì)算作為大數(shù)據(jù)技術(shù)的基礎(chǔ)支撐服務(wù)，是一種新型的具備高擴(kuò)展能力和高彈性的虛擬化的計(jì)算模式，主要應(yīng)用在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方面，這些特性為大數(shù)據(jù)提供了基礎(chǔ)的存儲(chǔ)服務(wù)，提供了高效的數(shù)據(jù)處理動(dòng)力。大數(shù)據(jù)挖掘的體系架構(gòu)中結(jié)合了云計(jì)算的分布存儲(chǔ)和分布并行計(jì)算，呈現(xiàn)出了云計(jì)算/客戶端的結(jié)構(gòu)模式。大數(shù)據(jù)挖掘結(jié)合云計(jì)算，使用云計(jì)算提供的服務(wù)支持，以強(qiáng)大計(jì)算能力和海量的存儲(chǔ)能力為核心，整合多種大數(shù)據(jù)挖掘、分析技術(shù)和挖掘、分析算法，形成新的挖掘云，在挖掘云中實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)分析與挖掘，并把分析和挖掘的結(jié)果以可視化技術(shù)呈現(xiàn)給客戶。

2.構(gòu)建基于Hadoop的大數(shù)據(jù)挖掘平臺(tái)。我們可以構(gòu)建融合多種技術(shù)、功能的Hadoop大數(shù)據(jù)挖掘平臺(tái)，平臺(tái)分為數(shù)據(jù)來源、大數(shù)據(jù)挖掘平臺(tái)和用戶顯示層。數(shù)據(jù)來源可以是結(jié)構(gòu)化數(shù)據(jù)，也可以是半結(jié)構(gòu)化數(shù)據(jù)，甚至是非結(jié)構(gòu)化數(shù)據(jù)；大數(shù)據(jù)挖掘平臺(tái)是基于Hadoop的實(shí)時(shí)數(shù)據(jù)分析、處理平臺(tái)，平臺(tái)可運(yùn)用不同的計(jì)算模式、計(jì)算方法分析和挖掘數(shù)據(jù)內(nèi)容；用戶顯示層以可視化的技術(shù)向用戶展示數(shù)據(jù)結(jié)果或接受某種請(qǐng)求服務(wù)。通過構(gòu)建基于Hadoop的大數(shù)據(jù)挖掘平臺(tái)，完成大數(shù)據(jù)的收集、存儲(chǔ)、計(jì)算、篩選、分析和展示。

3.研究現(xiàn)有知識(shí)管理體系結(jié)構(gòu)，建立智能知識(shí)管理理論模型，設(shè)計(jì)并實(shí)現(xiàn)基于大數(shù)據(jù)挖掘的智能知識(shí)管理系統(tǒng)。研究現(xiàn)有的知識(shí)管理體系結(jié)構(gòu)，找到知識(shí)的源頭。原始知識(shí)來自大數(shù)據(jù)挖掘的結(jié)果，結(jié)合智能知識(shí)管理的理念，讓原始知識(shí)具備智能化特點(diǎn)，使之能夠自我更新，并從中發(fā)現(xiàn)深層次的知識(shí)，以此逐步建設(shè)智能知識(shí)管理理論模型。最后，以理論模型為基礎(chǔ)使用計(jì)算機(jī)技術(shù)設(shè)計(jì)，并實(shí)現(xiàn)基于大數(shù)據(jù)挖掘的智能知識(shí)管理系統(tǒng)，使之真正能夠服務(wù)于用戶。

結(jié)語

大數(shù)據(jù)挖掘和智能知識(shí)管理結(jié)合，從知識(shí)管理的角度，既關(guān)注數(shù)據(jù)挖掘的過程，也關(guān)注數(shù)據(jù)挖掘的結(jié)果，從而使知識(shí)管理過程找到的是用戶真正感興趣的、可行動(dòng)的及其現(xiàn)實(shí)世界的知識(shí)，智能化處理對(duì)用戶有用的知識(shí)，挖掘、分析出自身具備智能性質(zhì)的知識(shí)，自動(dòng)管理這些知識(shí)的自更新、自應(yīng)用，在正確的時(shí)間，以正確的方式，傳遞正確的知識(shí)給正確的人，提高大數(shù)據(jù)挖掘獲取的知識(shí)的實(shí)用性，減少信息爆炸，以智能地支持企業(yè)有效管理決策，提高知識(shí)管理水平。

[1]吳若溪.大數(shù)據(jù)時(shí)代知識(shí)管理的新風(fēng)向[J].學(xué)理論，2015，(7).

[2]吳忠.大數(shù)據(jù)時(shí)代下的管理模式創(chuàng)新[J].企業(yè)管理，2013，(10).

[3]鄧仲華，劉偉偉.基于云計(jì)算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究[J].情報(bào)理論與實(shí)踐，2015，(7).

[4]石勇，張玲玲，陳懿冰.智能知識(shí)管理發(fā)展研究[C]//2012—2013年管理科學(xué)與工程學(xué)科發(fā)展報(bào)告，2014.

[5]吳澤.大數(shù)據(jù)時(shí)代知識(shí)管理的作用和方法創(chuàng)新[J].圖書情報(bào)導(dǎo)刊，2016，(1).

[6]維克托·邁爾·舍恩伯格，肯尼思·庫克耶.大數(shù)據(jù)時(shí)代[M].盛楊燕，周濤，譯.杭州：浙江人民出版社，2013.

[7]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，(1).