基于云計(jì)算和大數(shù)據(jù)的知識(shí)服務(wù)平臺(tái)架構(gòu)研究

范興豐

（科技部西南信息中心，重慶 401121）

基于云計(jì)算和大數(shù)據(jù)的知識(shí)服務(wù)平臺(tái)架構(gòu)研究

范興豐

（科技部西南信息中心，重慶 401121）

隨著海量信息和數(shù)據(jù)的幾何式增長(zhǎng)，傳統(tǒng)數(shù)據(jù)庫(kù)復(fù)雜的檢索和使用方式造成有效情報(bào)不容易清晰篩選與精準(zhǔn)定位；對(duì)信息和數(shù)據(jù)的片面析出不能充分把握技術(shù)競(jìng)爭(zhēng)情報(bào)和產(chǎn)學(xué)研上下游結(jié)構(gòu)；如何解決這個(gè)困惑和難題，是一個(gè)值得研究的課題。文章以云計(jì)算和大數(shù)據(jù)為基礎(chǔ)，進(jìn)行知識(shí)服務(wù)平臺(tái)的架構(gòu)研究。

底層架構(gòu)；系統(tǒng)架構(gòu)；內(nèi)容架構(gòu)；定制服務(wù)；資源管理

隨著云計(jì)算和大數(shù)據(jù)的飛速發(fā)展，以云計(jì)算和大數(shù)據(jù)為基礎(chǔ)的知識(shí)服務(wù)平臺(tái)受到了前所未有的重視。以云計(jì)算和大數(shù)據(jù)作為知識(shí)資源保障，結(jié)合機(jī)構(gòu)內(nèi)部的傳統(tǒng)數(shù)據(jù)資源，實(shí)現(xiàn)一站式的網(wǎng)絡(luò)知識(shí)檢索服務(wù)，已經(jīng)成為獲取知識(shí)資源保障和情報(bào)服務(wù)的主要途徑?；谠朴?jì)算和大數(shù)據(jù)為基礎(chǔ)的知識(shí)服務(wù)平臺(tái)，對(duì)于技術(shù)工作者能夠提供直觀的資源查詢；對(duì)于科研工作者能夠提供最新的動(dòng)態(tài)研究趨勢(shì)；對(duì)于情報(bào)工作者能夠提供機(jī)構(gòu)的主題研究思路。

1 知識(shí)服務(wù)平臺(tái)底層架構(gòu)

知識(shí)服務(wù)平臺(tái)底層架構(gòu)基于大規(guī)模云服務(wù)應(yīng)用的HADOOP架構(gòu)。HADOOP架構(gòu)具有高可靠性（按位存儲(chǔ)和處理數(shù)據(jù)）、高擴(kuò)展性（底層包含數(shù)以千計(jì)的節(jié)點(diǎn)）、高效性（底層具備各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡）、高容錯(cuò)性（底層架構(gòu)能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本）。HADOOP底層架構(gòu)如圖1所示。

圖1 HADOOP底層架構(gòu)

2 知識(shí)服務(wù)平臺(tái)系統(tǒng)架構(gòu)

對(duì)知識(shí)服務(wù)平臺(tái)進(jìn)行本地部署時(shí)，知識(shí)服務(wù)平臺(tái)采用國(guó)際最為流行和領(lǐng)先的知識(shí)管理系統(tǒng)作為內(nèi)核，基于B/S架構(gòu)，融合了全球最先進(jìn)的數(shù)據(jù)管理理念，在系統(tǒng)架構(gòu)及易用性上有著強(qiáng)大的穩(wěn)定性及創(chuàng)新性。主要表現(xiàn)在縮短大批量數(shù)據(jù)的吞吐時(shí)間；集中管理用戶在個(gè)人中心傳入的所有資源；具備用戶自主創(chuàng)建資源的特點(diǎn)和提供多層次瀏覽導(dǎo)航。B/S系統(tǒng)架構(gòu)如圖2所示。

圖2 B/S系統(tǒng)架構(gòu)

2.1 可靠性

知識(shí)服務(wù)平臺(tái)數(shù)據(jù)資源的龐大數(shù)量決定系統(tǒng)必須采用性能優(yōu)越的數(shù)據(jù)庫(kù)系統(tǒng)。這樣有利于縮短大批量數(shù)據(jù)的吞吐時(shí)間，使整個(gè)系統(tǒng)管理規(guī)范化，并保證執(zhí)行備份操作而不影響系統(tǒng)的正常運(yùn)轉(zhuǎn)，使數(shù)據(jù)的完整性和安全性得到保障。

2.2 靈活性

知識(shí)服務(wù)平臺(tái)資源的管理在數(shù)據(jù)管理方面應(yīng)具備較大的伸縮性和擴(kuò)展性，它可以集中管理用戶在個(gè)人中心傳入的所有資源，也可以將資源按類型或明細(xì)專業(yè)劃分開來(lái)，單獨(dú)進(jìn)行管理。保證資源條理清楚，專業(yè)學(xué)科明確，便于使用和查找。

2.3 開放性

知識(shí)服務(wù)平臺(tái)的資源所涉及的專業(yè)范圍大數(shù)量多，服務(wù)內(nèi)容的形態(tài)需求復(fù)雜，這就要求系統(tǒng)具有完全的開放性，能夠容納各種形態(tài)的內(nèi)容且具備用戶自主創(chuàng)建資源的特點(diǎn)。

2.4 簡(jiǎn)潔性

知識(shí)服務(wù)平臺(tái)UI設(shè)計(jì)操作界面應(yīng)該是友好、簡(jiǎn)單、導(dǎo)航清晰的。界面上的內(nèi)容應(yīng)該形象、直觀，能為用戶提供多層檢索功能，保證用戶迅速查閱資料。

2.5 安全性

知識(shí)服務(wù)平臺(tái)在應(yīng)用安全需求上主要針對(duì)用戶和系統(tǒng)資源進(jìn)行設(shè)計(jì)，確保合法用戶對(duì)信息的合法提取及使用。具體表現(xiàn)在數(shù)據(jù)保密，即：通過(guò)數(shù)據(jù)的保密規(guī)則、數(shù)據(jù)的加密傳輸與校驗(yàn)保障關(guān)鍵數(shù)據(jù)，如系統(tǒng)題庫(kù)相關(guān)數(shù)據(jù)的安全性；數(shù)據(jù)完整性和準(zhǔn)確性，即：在系統(tǒng)業(yè)務(wù)邏輯和數(shù)據(jù)應(yīng)用上保障數(shù)據(jù)的合理使用、數(shù)據(jù)的完整性、一致性、數(shù)據(jù)的容錯(cuò)能力和回復(fù)能力，使數(shù)據(jù)可靠性達(dá)到要求；身份認(rèn)證與訪問(wèn)授權(quán)，即：建立安全的用戶管理體系和訪問(wèn)授權(quán)機(jī)制，除了“共享庫(kù)、開放庫(kù)”等類別資源可匿名訪問(wèn)外，其他資源作訪問(wèn)權(quán)限控制。特別是對(duì)于用戶信息、資源記錄的訪問(wèn)都有權(quán)限控制；數(shù)據(jù)資源的防盜鏈機(jī)制，即：數(shù)據(jù)資源防盜鏈機(jī)制可保證課件不會(huì)被非法訪問(wèn)和非法下載，即便被檢測(cè)出真實(shí)路徑也不會(huì)被盜取。

3 知識(shí)服務(wù)平臺(tái)內(nèi)容架構(gòu)

知識(shí)服務(wù)平臺(tái)內(nèi)容架構(gòu)基于海量元數(shù)據(jù)資源，整合期刊、學(xué)位論文、會(huì)議論文、專利、專著、標(biāo)準(zhǔn)、科技成果、產(chǎn)品樣本、科技報(bào)告、政策法規(guī)等中外文文獻(xiàn)元數(shù)據(jù)，大數(shù)據(jù)知識(shí)資源保障；通過(guò)對(duì)億級(jí)數(shù)據(jù)進(jìn)行關(guān)系的挖掘，并解析出多個(gè)維度的文獻(xiàn)資源知識(shí)對(duì)象，比如：領(lǐng)域、主題、學(xué)者、機(jī)構(gòu)、傳媒、資助等，挖掘整理千萬(wàn)級(jí)的人物、機(jī)構(gòu)、主題、資助和傳媒，呈現(xiàn)出億級(jí)數(shù)據(jù)的關(guān)系，方便用戶通過(guò)知識(shí)服務(wù)平臺(tái)直觀使用。在確保提供海量知識(shí)資源服務(wù)的同時(shí)，提供及時(shí)的數(shù)據(jù)更新服務(wù)。

3.1 領(lǐng)域?qū)Ш?/p>

用戶瀏覽領(lǐng)域?qū)Ш娇梢圆榭疵總€(gè)學(xué)科下的“重要研究主題”和“研究發(fā)展趨勢(shì)”，其領(lǐng)域總圖可揭示科研產(chǎn)出在學(xué)科中的分布情況及學(xué)科之間較強(qiáng)的引用關(guān)聯(lián)。所有可視化知識(shí)圖譜都會(huì)隨元數(shù)據(jù)動(dòng)態(tài)更新，無(wú)須用戶投入技術(shù)分析人員，提高用戶信息歸納效率。知識(shí)圖譜內(nèi)容架構(gòu)如圖3所示。

圖3 知識(shí)圖譜內(nèi)容架構(gòu)

3.2 聚類檢索

知識(shí)服務(wù)平臺(tái)除了包含上億級(jí)數(shù)據(jù)保障外，還對(duì)主題詞進(jìn)行了智分割，其提示功能幫助用戶做檢索詞的有效擴(kuò)展或修正。針對(duì)檢索結(jié)果，本系統(tǒng)提供的多種排序功能提供用戶快捷的尋優(yōu)途徑。同時(shí)還具備分面聚類功能，并提供用戶快速篩選檢索結(jié)果的工具。也支持用戶使用聚類工具對(duì)檢索結(jié)果快速組配篩選。

3.3 全文保障

知識(shí)服務(wù)平臺(tái)除了資源發(fā)現(xiàn)外，也提供多種途徑的全文保障服務(wù)，且提供全文獲取的多個(gè)解析地址并開通全文獲取的文獻(xiàn)傳遞渠道。

4 深層資源定制服務(wù)

4.1 定題服務(wù)

用戶可通過(guò)定題服務(wù)功能，對(duì)平臺(tái)底層的資源內(nèi)容進(jìn)行定制，包含云系統(tǒng)內(nèi)的人物對(duì)象、機(jī)構(gòu)對(duì)象、主題對(duì)象等。定題服務(wù)功能可以幫助用戶實(shí)時(shí)獲取所關(guān)注對(duì)象的最新信息。

4.2 研究趨勢(shì)

用戶提供主題人物列表為該研究方向與研發(fā)群體提供揭示，按照對(duì)本主題的產(chǎn)出貢獻(xiàn)依次羅列，可按照年代篩選功能可以查看該研究方向研發(fā)群體及其貢獻(xiàn)量的變化。

4.3 人才分析

用戶提供人物的作品列表對(duì)特定人物進(jìn)行研究產(chǎn)出的匯總，通過(guò)不同排序方式和年代篩選可以動(dòng)態(tài)展示其研發(fā)過(guò)程。

4.4 資訊抓取

知識(shí)服務(wù)平臺(tái)提供網(wǎng)絡(luò)資源抓取功能，平臺(tái)管理人員可根據(jù)平臺(tái)發(fā)展需要，指定網(wǎng)站進(jìn)行新聞資訊等內(nèi)容抓取。提供此功能可指定所需抓取的內(nèi)容模塊，同時(shí)支持設(shè)置內(nèi)容更新時(shí)間，平臺(tái)將根據(jù)設(shè)置自動(dòng)定期去抓取最新更新的資源。

5 平臺(tái)知識(shí)資源管理

5.1 入庫(kù)管理

知識(shí)服務(wù)平臺(tái)支持知識(shí)資源入庫(kù)通道的管理，包含：文檔、圖片、書籍、數(shù)據(jù)庫(kù)、計(jì)算機(jī)程序、虛擬和仿真模型、多媒體出版物和學(xué)習(xí)對(duì)象等幾乎所有數(shù)字格式的支持，同時(shí)也可以通過(guò)元數(shù)據(jù)存儲(chǔ)管理對(duì)印刷文獻(xiàn)支持，并能夠利用URL和儲(chǔ)藏地點(diǎn)來(lái)區(qū)分文獻(xiàn)服務(wù)的方式。

5.2 資源管理

知識(shí)服務(wù)平臺(tái)支持在自主創(chuàng)建流程中，靈活可控的分類管理，提供基于需求的分類預(yù)設(shè)和資源填充。本平臺(tái)管理人員可按照自身組織意識(shí)及發(fā)展需要來(lái)進(jìn)行調(diào)整，同時(shí)支持管理者創(chuàng)建分類根欄目及多級(jí)子欄目的功能。

5.3 發(fā)布管理

知識(shí)服務(wù)平臺(tái)具有功能全面的內(nèi)容發(fā)布編輯器，包含文字內(nèi)容編輯、排版、修正等各種基礎(chǔ)工具，支持表情、涂鴉、視頻、音頻、地圖、編碼等內(nèi)容加載，還擁有打印、預(yù)覽、查詢替換、草稿保存等常用功能。同時(shí)支持平臺(tái)管理人員添加多格式附件。

5.4 統(tǒng)計(jì)管理

知識(shí)服務(wù)平臺(tái)具有詳細(xì)的統(tǒng)計(jì)管理系統(tǒng)，包含年、月、日的統(tǒng)計(jì)信息，根據(jù)當(dāng)前時(shí)間自動(dòng)生成分類。支持平臺(tái)管理人員查看平臺(tái)訪問(wèn)次數(shù)，注冊(cè)用戶訪問(wèn)次數(shù)及總的訪問(wèn)量等信息。同時(shí)，可記錄資源下載量的信息，便于平臺(tái)管理員根據(jù)訪問(wèn)量和下載量全面掌握該平臺(tái)的使用頻率，可及時(shí)針對(duì)人氣來(lái)對(duì)平臺(tái)的內(nèi)容更新做出調(diào)整。

6 結(jié)語(yǔ)

基于云計(jì)算和大數(shù)據(jù)為基礎(chǔ)的知識(shí)服務(wù)平臺(tái)架構(gòu)的設(shè)計(jì)，在需求論證階段應(yīng)該在充分收集相關(guān)數(shù)據(jù)的同時(shí)，做好可行性論證，確保設(shè)計(jì)的功能能夠滿足自己的需要；在平臺(tái)架構(gòu)階段應(yīng)該制定平臺(tái)項(xiàng)目開發(fā)章程，做好開發(fā)實(shí)施計(jì)劃，完善架構(gòu)范圍；在平臺(tái)編碼階段做好交互設(shè)計(jì)，同時(shí)進(jìn)行平臺(tái)測(cè)試。知識(shí)服務(wù)平臺(tái)建設(shè)完成之后，還應(yīng)該進(jìn)行平臺(tái)推廣以及收集用戶的意見(jiàn)反饋，以便為平臺(tái)在升級(jí)迭代時(shí)提供決策參考。

[1]崔曉菡.文化資源數(shù)據(jù)庫(kù)構(gòu)建思路探析文化資源數(shù)據(jù)庫(kù)構(gòu)建思路探析—以白銀市博物館為例[J].江蘇科技信息，2016（22）：77-80.

[2]劉秀梅.吉林省委黨校網(wǎng)絡(luò)教學(xué)系統(tǒng)的開發(fā)[D].吉林：吉林大學(xué)，2006.

Research on the architecture of knowledge service platform based on cloud computing and big data

Fan Xingfeng
（Southwest Information Center of Ministry of Science and Technology, Chongqing 401121, China）

With the geometric massive growth of information and data, the use of complex retrieval method in traditional database makes it not easy to clearly screen and precise position effective information and data; one-sided precipitation information and data can not take full advantage of competitive technical intelligence and downstream structure of industry university research; how to solve the puzzle is a topic worthy of study. Based on cloud computing and big data, this paper makes a research on the architecture of knowledge service platform.

bottom architecture; system architecture; content architecture; customized service; resource management

項(xiàng)目名稱：重慶市數(shù)字出版發(fā)展項(xiàng)目庫(kù)知識(shí)云圖；項(xiàng)目編號(hào)：CQSWHWYH201606。

范興豐（1983— ），男，重慶，本科，項(xiàng)目經(jīng)理；研究方向：信息系統(tǒng)集成項(xiàng)目管理。