數(shù)據(jù)挖掘在知識(shí)管理系統(tǒng)中的研究與應(yīng)用

/南京理工大學(xué)

隨著信息時(shí)代進(jìn)一步推進(jìn)，智能時(shí)代即將來(lái)臨，知識(shí)在經(jīng)濟(jì)中的作用和地位日漸重要，已成為企業(yè)創(chuàng)新與發(fā)展的基礎(chǔ)力量，只有不斷掌握和創(chuàng)造知識(shí)的企業(yè)，才能在行業(yè)的激烈競(jìng)爭(zhēng)中不斷壯大和發(fā)展。因此，知識(shí)管理作為一種全新的管理模式能為提高企業(yè)核心競(jìng)爭(zhēng)能力奠定基礎(chǔ)。

知識(shí)挖掘技術(shù)一直是學(xué)術(shù)界和企業(yè)界研究的熱點(diǎn)，知識(shí)挖掘本質(zhì)即為數(shù)據(jù)挖掘，旨在通過(guò)潛在、有價(jià)值的信息提取，提升知識(shí)的利用效率。對(duì)于內(nèi)容龐大、維度多、交叉多的知識(shí)庫(kù)而言，借助以人工智能、機(jī)器學(xué)習(xí)及語(yǔ)義網(wǎng)為基礎(chǔ)的數(shù)據(jù)挖掘技術(shù)，將極大提升知識(shí)的使用效率。

在此，筆者通過(guò)對(duì)數(shù)據(jù)挖掘技術(shù)+知識(shí)管理的融合研究，建立通用的知識(shí)框架，實(shí)現(xiàn)知識(shí)發(fā)現(xiàn)、知識(shí)查重、知識(shí)推送、知識(shí)轉(zhuǎn)移等功能，推動(dòng)知識(shí)管理在企業(yè)創(chuàng)新、技術(shù)創(chuàng)新、業(yè)務(wù)流程中發(fā)揮作用，進(jìn)而提升企業(yè)的競(jìng)爭(zhēng)力。

一、系統(tǒng)需求

知識(shí)管理系統(tǒng)已經(jīng)實(shí)現(xiàn)了顯性知識(shí)的采集、存儲(chǔ)、組織等全流程管理，基于知識(shí)問(wèn)答、知識(shí)微博的隱性知識(shí)挖掘，以及基于本體的知識(shí)地圖的可視化展示。但隨著知識(shí)庫(kù)中的知識(shí)資源持續(xù)增加，如何實(shí)現(xiàn)知識(shí)的快速查找、知識(shí)查重、智能推送等功能，對(duì)知識(shí)管理系統(tǒng)提出了更高的要求。

一是智能技術(shù)檢索。知識(shí)管理系統(tǒng)中數(shù)據(jù)存在多樣性，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，并且數(shù)據(jù)隨著時(shí)間的推移呈指數(shù)級(jí)增長(zhǎng)，但傳統(tǒng)檢索的覆蓋率和準(zhǔn)確度會(huì)越來(lái)越低。因此，在本體庫(kù)的基礎(chǔ)上，借助于Solr檢索引擎可實(shí)現(xiàn)基于本體的智能知識(shí)檢索，以使知識(shí)的管理水平從簡(jiǎn)單的交互式向智能化發(fā)展。

二是基于數(shù)據(jù)挖掘的知識(shí)推送。用戶在使用知識(shí)管理系統(tǒng)的過(guò)程中，系統(tǒng)自動(dòng)記錄用戶的操作行為，通過(guò)數(shù)據(jù)挖掘技術(shù)分析用戶的行為，并將相關(guān)的知識(shí)資源推送至用戶的個(gè)人中心。

三是基于崗位的知識(shí)關(guān)聯(lián)技術(shù)。在產(chǎn)品的設(shè)計(jì)過(guò)程中可以通過(guò)知識(shí)資源復(fù)用技術(shù)并借助數(shù)據(jù)挖掘技術(shù)，將知識(shí)庫(kù)相關(guān)知識(shí)資源推送至設(shè)計(jì)過(guò)程相關(guān)人員的工作環(huán)境中。

四是基于業(yè)務(wù)驅(qū)動(dòng)的知識(shí)推送技術(shù)。研究工作情境等知識(shí)管理理論方法，形成以業(yè)務(wù)節(jié)點(diǎn)為核心的知識(shí)推送技術(shù)體系，并實(shí)現(xiàn)以預(yù)研、設(shè)計(jì)、生產(chǎn)階段為核心的知識(shí)固化與推送，從而滿足多種應(yīng)用場(chǎng)景需求，形成知識(shí)主動(dòng)找人的應(yīng)用效果。

二、系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

以流程為總線，以知識(shí)管理為驅(qū)動(dòng)，以數(shù)據(jù)挖掘技術(shù)為基礎(chǔ)，建設(shè)現(xiàn)代化、智能化、一體化的知識(shí)管理系統(tǒng)，以滿足基于大數(shù)據(jù)的知識(shí)化管理需求，提升企業(yè)的知識(shí)管理能力。

1.總體架構(gòu)

基于數(shù)據(jù)挖掘的知識(shí)管理系統(tǒng)的架構(gòu)由應(yīng)用層、支撐層和數(shù)據(jù)層組成，如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

應(yīng)用層面向使用系統(tǒng)的各類(lèi)用戶，通過(guò)全文檢索、知識(shí)地圖、知識(shí)社區(qū)、知識(shí)庫(kù)、專(zhuān)家網(wǎng)絡(luò)、系統(tǒng)推薦等模塊，為不同設(shè)計(jì)人員提供支撐。

支撐層是整個(gè)系統(tǒng)的基礎(chǔ)，通過(guò)大數(shù)據(jù)處理、本體技術(shù)、數(shù)據(jù)挖掘技術(shù)、流程引擎、算法庫(kù)等功能，實(shí)現(xiàn)數(shù)據(jù)的解析與傳遞。

數(shù)據(jù)層是系統(tǒng)的資源池，為各類(lèi)用戶提供協(xié)同設(shè)計(jì)過(guò)程中需要的知識(shí)、數(shù)據(jù)和文件，包括本體庫(kù)、規(guī)則庫(kù)、知識(shí)庫(kù)、專(zhuān)家?guī)臁⑺惴◣?kù)及索引等。

2.技術(shù)架構(gòu)

技術(shù)架構(gòu)是功能架構(gòu)的技術(shù)實(shí)現(xiàn)方式。本系統(tǒng)將基于大數(shù)據(jù)技術(shù)、知識(shí)推送、本體技術(shù)實(shí)現(xiàn)基于數(shù)據(jù)挖掘技術(shù)的知識(shí)管理系統(tǒng)。其主要通過(guò)知識(shí)采集、智能檢索、應(yīng)用等技術(shù)路線的集成，實(shí)現(xiàn)知識(shí)產(chǎn)生、識(shí)別、組織、處理、檢索、應(yīng)用的迭代過(guò)程，其系統(tǒng)技術(shù)架構(gòu)如圖2所示。

知識(shí)采集。在任務(wù)管理、知識(shí)上傳及流程管理過(guò)程中，通過(guò)開(kāi)展項(xiàng)目需求分析、設(shè)計(jì)、總結(jié)、流程分析等過(guò)程，將整個(gè)過(guò)程使用支撐資源、約束資源進(jìn)行存儲(chǔ)。最后，通過(guò)知識(shí)萃取技術(shù)將知識(shí)資源進(jìn)行梳理，再存入知識(shí)庫(kù)。

智能檢索。為了實(shí)現(xiàn)多源知識(shí)庫(kù)快速檢索，以知識(shí)屬性的關(guān)鍵詞搜索為基礎(chǔ)，基于Solr引擎和本體技術(shù)實(shí)現(xiàn)知識(shí)庫(kù)、社區(qū)庫(kù)、流程庫(kù)、崗位知識(shí)庫(kù)等數(shù)據(jù)信息的全文快速檢索及分類(lèi)展示等功能。

知識(shí)應(yīng)用。在項(xiàng)目管理、崗位流程中，根據(jù)人員的專(zhuān)業(yè)背景、項(xiàng)目背景、流程節(jié)點(diǎn)等因素，通過(guò)知識(shí)挖掘與推送技術(shù)將相關(guān)知識(shí)資源推送給用戶，進(jìn)而幫助用戶完成知識(shí)復(fù)用、任務(wù)分解、流程驅(qū)動(dòng)等功能。

三、數(shù)據(jù)挖掘在知識(shí)管理中的應(yīng)用

1.基于Solr和本體的智能檢索

智能搜索就是結(jié)合人工智能技術(shù)提高知識(shí)全文檢索的準(zhǔn)確性、全面性，還能提供用戶興趣自動(dòng)識(shí)別、內(nèi)容的語(yǔ)義理解、智能化過(guò)濾和推送功能。本體提出了基于Solr和本體技術(shù)進(jìn)行關(guān)聯(lián)搜索，通過(guò)本體解析技術(shù)識(shí)別本體庫(kù)中的同義詞、近義詞，再通過(guò)Solr解析引擎實(shí)現(xiàn)全文檢索，其整體流程如圖3所示。

圖2 系統(tǒng)技術(shù)架構(gòu)

圖3 智能檢索技術(shù)

2.基于數(shù)據(jù)挖掘的知識(shí)智能梳理

知識(shí)智能梳理是根據(jù)用戶構(gòu)建的行業(yè)知識(shí)樹(shù)，應(yīng)用數(shù)據(jù)挖掘技術(shù)對(duì)知識(shí)樣本進(jìn)行特征提取，根據(jù)提取的內(nèi)容自動(dòng)歸類(lèi)知識(shí)樣本。知識(shí)智能梳理是基于行業(yè)知識(shí)的文本自動(dòng)分類(lèi)方法，首先根據(jù)行業(yè)知識(shí)特點(diǎn)建立行業(yè)知識(shí)樹(shù)，然后對(duì)行業(yè)知識(shí)樹(shù)進(jìn)行語(yǔ)義分析，從而得出行業(yè)知識(shí)的分類(lèi)方式。 知識(shí)智能梳理流程包括行業(yè)知識(shí)樹(shù)的構(gòu)建和對(duì)樣本知識(shí)的分類(lèi)算法的實(shí)現(xiàn)，其整體流程如圖4所示。

行業(yè)知識(shí)樹(shù)。不同行業(yè)和應(yīng)用對(duì)象的知識(shí)組織具有不同的特征，行業(yè)知識(shí)樹(shù)根據(jù)行業(yè)特征定義知識(shí)的層次結(jié)構(gòu)及語(yǔ)義關(guān)系，從而描繪整個(gè)行業(yè)知識(shí)，包括知識(shí)分類(lèi)的屬性信息。

知識(shí)分類(lèi)算法。根據(jù)行業(yè)知識(shí)樹(shù)對(duì)樣本知識(shí)進(jìn)行特征提取，根據(jù)特征信息對(duì)樣本知識(shí)進(jìn)行分類(lèi)，并存入知識(shí)庫(kù)。

3.基于機(jī)器學(xué)習(xí)的知識(shí)查重

基于機(jī)器學(xué)習(xí)的知識(shí)查重涉及知識(shí)文本分詞、文本分類(lèi)、機(jī)器學(xué)習(xí)訓(xùn)練以及查重邏輯和評(píng)估等主要關(guān)鍵技術(shù)。在知識(shí)分類(lèi)過(guò)程中，針對(duì)未標(biāo)注文本需用機(jī)器學(xué)習(xí)訓(xùn)練階段獲得的分類(lèi)方法進(jìn)行分類(lèi)判斷。在分類(lèi)判斷基礎(chǔ)上，針對(duì)新樣本文本進(jìn)行完全字符匹配，以段落及連續(xù)n個(gè)字符為單位（n可配置）進(jìn)行逐篇遍歷查詢(xún)，累計(jì)獲取知識(shí)全文的重復(fù)率，再結(jié)合知識(shí)歸類(lèi)相似度進(jìn)行權(quán)重加權(quán)，以獲取總相似率，具體過(guò)程如圖5所示。

圖4 基于數(shù)據(jù)挖掘的知識(shí)自動(dòng)分類(lèi)

圖5 文本分類(lèi)及查重的主要流程

圖6 基于情境感知的知識(shí)推送流程

在訓(xùn)練過(guò)程，首先從上傳知識(shí)中獲取全文文本，分詞并去除停用詞；然后按照一定的算法從標(biāo)注好類(lèi)別的訓(xùn)練樣本中獲取預(yù)期的分類(lèi)器，可以采用多種算法進(jìn)行分類(lèi)，也可以在數(shù)據(jù)離散化后使用簡(jiǎn)單向量距離分類(lèi)法方法得出—個(gè)決策樹(shù)，作為預(yù)期的分類(lèi)器。

4.基于數(shù)據(jù)挖掘的知識(shí)推送

知識(shí)推送屬于知識(shí)管理中一種新的獲取策略，通過(guò)改變傳統(tǒng)的知識(shí)獲取方式，系統(tǒng)自動(dòng)將相關(guān)知識(shí)資源推送給用戶，實(shí)現(xiàn)以人為中心的知識(shí)組織，同時(shí)根據(jù)員工不同的知識(shí)水平推送相應(yīng)的領(lǐng)域知識(shí)，或根據(jù)用戶行為模型有針對(duì)性地為用戶推送相關(guān)知識(shí)。

基于用戶行為的知識(shí)推送。根據(jù)用戶的專(zhuān)業(yè)背景、瀏覽記錄和業(yè)務(wù)場(chǎng)景挖掘關(guān)聯(lián)知識(shí)并進(jìn)行主動(dòng)推送，主要包括用戶行為特征獲取功能、用戶興趣模型構(gòu)建功能、用戶知識(shí)推薦功能等。

基于情境感知的知識(shí)推送。根據(jù)情境實(shí)時(shí)動(dòng)態(tài)的變化情況，動(dòng)態(tài)評(píng)估應(yīng)急情境的相似度，進(jìn)而生成知識(shí)需求，依據(jù)知識(shí)的需求和推送規(guī)則將所需知識(shí)實(shí)時(shí)推送給相應(yīng)的應(yīng)用系統(tǒng)或領(lǐng)域?qū)＜遥淞鞒倘鐖D6所示。

筆者通過(guò)分析數(shù)據(jù)挖掘在提高知識(shí)管理系統(tǒng)智能化方面的支持和應(yīng)用，分析系統(tǒng)需求，提出了基于數(shù)據(jù)挖掘的知識(shí)管理系統(tǒng)總體架構(gòu)及其關(guān)鍵技術(shù)。后續(xù)，根據(jù)業(yè)務(wù)發(fā)展需求還將進(jìn)一步完善系統(tǒng)的相關(guān)功能，以期為新一代知識(shí)管理系統(tǒng)建設(shè)奠定基礎(chǔ)。