基于Hadoop校園信息交流和資源共享平臺的建設(shè)研究

常香玉 王麗紅 黃俊平

摘要：從教育部《教育信息化2.0行動計劃》要求出發(fā)，依托大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)等先進(jìn)技術(shù)，針對校內(nèi)資源短缺、資源利用率低下等問題，設(shè)計開發(fā)了校園信息交流和資源共享平臺，并在云服務(wù)器上進(jìn)行部署，提供校園內(nèi)實時信息的發(fā)布、校園動態(tài)了解和資源共享，從而為師生提供方便。

關(guān)鍵詞：信息交流;資源共享;Hadoop

中圖分類號：TP311.1 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）29-0233-02

1背景

教育部在2018年4月印發(fā)《教育信息化2.0行動計劃》，行動指出要以云計算、人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術(shù)為基礎(chǔ)，依托各類智能設(shè)備及網(wǎng)絡(luò)進(jìn)行信息資源建設(shè)，向師生提供全方位和個性化的信息化服務(wù)。

但是在當(dāng)今高校內(nèi)還存在著信息資源分配不均，資源利用率低等諸多問題。本文意在通過建立一個校園內(nèi)的信息交流和資源共享的平臺，實現(xiàn)校園內(nèi)各院系師生交流討論、學(xué)校組織發(fā)布公告、校外商家發(fā)布招聘等的平臺，提高校內(nèi)凝聚力，加快公告發(fā)布速度。進(jìn)而豐富校內(nèi)師生的校園生活，加快校園事務(wù)的散布執(zhí)行速度，提高校園政策的發(fā)布質(zhì)量。最大限度地調(diào)動校內(nèi)師生的學(xué)習(xí)積極性和工作積極性，拉近師生之間的關(guān)系，共同打造一個完美的校園平臺。

2平臺建設(shè)的主要技術(shù)載體

2.1大數(shù)據(jù)

Hadoop是大數(shù)據(jù)開發(fā)的重要框架，核心是HDFS（分布式文件系統(tǒng)）和MapReduce（并行計算模型），分布式文件系統(tǒng)高效地完成大規(guī)模數(shù)據(jù)集的存儲，MapReduce為海量數(shù)據(jù)提供計算。大數(shù)據(jù)分析的統(tǒng)計任務(wù)有Hive組件完成，應(yīng)用HBase分布式數(shù)據(jù)庫實現(xiàn)文件的高速寫入和讀取。HDFS與MapReduce的結(jié)合使得Hadoop變得更加強(qiáng)大。

2.2云計算

“云”實質(zhì)上就是一個網(wǎng)絡(luò)，狹義上講，云計算就是提供一種資源的網(wǎng)絡(luò)，使用者可以隨時獲取“云”上的資源;廣義上講，云計算是信息技術(shù)、軟件、互聯(lián)網(wǎng)相關(guān)的一種服務(wù)，這種計算資源共享池叫作“云”。云計算的基礎(chǔ)是一個龐大的數(shù)據(jù)信息資源池，其最為突出的特點就是能夠在非常短的時間內(nèi)，完成海量數(shù)據(jù)的處理。云計算作為一種全新的網(wǎng)絡(luò)概念，其核心是可以將很多的計算機(jī)資源協(xié)調(diào)在一起，使用戶通過網(wǎng)絡(luò)就可以獲取到無限的資源，同時獲取的資源不受時間和空間的限制。

2.3物聯(lián)網(wǎng)

物聯(lián)網(wǎng)是一種將虛擬世界與物理世界連接在一起的低功耗廣域網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上延伸和擴(kuò)展的將各種信息傳感設(shè)備與互聯(lián)網(wǎng)結(jié)合起來而形成的一個巨大網(wǎng)絡(luò)。其基本特征可概括為整體感知、可靠傳輸和智能處理。物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分，其核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上延伸和擴(kuò)展到了物品與物品之間，進(jìn)行信息交換和通信，實現(xiàn)對物品的智能化識別、定位、跟蹤、監(jiān)控和管理。

3基于Hadoop的校園信息交流和資源共享平臺設(shè)計

3.1總體架構(gòu)

基于Ha（100p的校園信息交流和資源共享平臺按照邏輯分層的方法劃分為以下4層分別是“數(shù)據(jù)層”、“系統(tǒng)層”、“網(wǎng)絡(luò)層”和“應(yīng)用層”。

數(shù)據(jù)層：利用HDFS根據(jù)數(shù)據(jù)特點和具體業(yè)務(wù)需求將數(shù)據(jù)分類存儲，并進(jìn)行分布式處理，完成大型數(shù)據(jù)的各種需求分析，業(yè)務(wù)功能被識別后被分解成相應(yīng)的任務(wù)。中間件通過相應(yīng)參數(shù)對應(yīng)用層具體需求做出判斷，并根據(jù)判決結(jié)果決定把任務(wù)如何處理。

系統(tǒng)層：校園信息交流和資源共享平臺包括操作系統(tǒng)及各類子系統(tǒng)，硬件平臺包括中心服務(wù)器及終端分布式設(shè)備。它連通和支撐其他各層，是整個信息交流和資源共享平臺的軟硬件載體。

網(wǎng)絡(luò)層：該層為校園各類信息及資源的傳輸和覆蓋提供支撐。它包括用戶與平臺聯(lián)系的有線和無線網(wǎng)絡(luò);為人、物定位的位置網(wǎng)絡(luò);支撐各類傳感器數(shù)據(jù)傳輸?shù)奈锫?lián)網(wǎng)絡(luò)等等。

應(yīng)用層：將數(shù)據(jù)處理層得到的數(shù)據(jù)用相關(guān)圖或表進(jìn)行表示，通過業(yè)務(wù)規(guī)則和管理流程向用戶提供交互服務(wù)，同時也可提供開放的應(yīng)用系統(tǒng)開發(fā)環(huán)境。

3.2平臺開發(fā)實現(xiàn)

平臺包括登錄功能，提問模塊、回答模塊、私信模塊等。

登錄模塊功能首先在DAO層設(shè)定UserDAO接口，用來存放與數(shù)據(jù)庫用戶表交互的SQL語句，及其對應(yīng)的方法。然后在Service層設(shè)置調(diào)用UserDAO方法及書寫控制邏輯，如注冊時生成salt、密碼加密、生成隨機(jī)頭像路徑，登錄時設(shè)置登錄狀態(tài)，生成身份標(biāo)識等。最后在Controller層的LoginContmller設(shè)置登錄、注冊響應(yīng)路徑，設(shè)置攔截器，設(shè)置注冊登錄的異步隊列處理方法。

提問模塊功能首先在DAO層設(shè)定QuestionDAO接口，用來存放與數(shù)據(jù)庫問題表交互的SQL語句，及其對應(yīng)的方法。然后在Service層設(shè)置調(diào)用QuestionDAO方法及書寫控制邏輯，如在提問時對問題標(biāo)題及內(nèi)容做敏感詞過濾，對問題答案進(jìn)行排序，生成問題的用戶關(guān)注列表，問題回答的贊踩統(tǒng)計等功能。最后在Controller層的QuestionController設(shè)置提問，問題詳情頁等的響應(yīng)路徑及贊踩、關(guān)注等功能的調(diào)用。

實現(xiàn)回答模塊功能首先在DAO層設(shè)定CommentDAO接口，用來存放與數(shù)據(jù)庫評論表（由于回答可以看作對問題的評論，和對回答的評論類似，所以這里把回答模塊和評論模塊作為一個模塊）交互的SQL語句，及其對應(yīng)的方法。然后在Ser-vice層設(shè)置調(diào)用CommentDAO方法及書寫控制邏輯，如顯示回答數(shù)，設(shè)置、顯示贊踩數(shù)等。最后在Controller層的Comment-Controller設(shè)置回答的響應(yīng)路徑及對回答內(nèi)容進(jìn)行敏感詞過濾等功能的調(diào)用。

實現(xiàn)私信模塊功能首先在DAO層設(shè)定MessageDAO接口，用來存放與數(shù)據(jù)庫私信表交互的SQL語句，及其對應(yīng)的方法。然后在Service層設(shè)置調(diào)用MessageDAO方法及書寫控制邏輯，如發(fā)送私信，獲取對話列表，獲取未讀私信數(shù)，對閱讀完的私信進(jìn)行清零等。最后在Controller層的MessageController設(shè)置私信的列表展示頁面、對話列表頁面、發(fā)送私信頁的路徑設(shè)置，及對MessageService的方法的調(diào)用處理。

3.3平臺細(xì)節(jié)設(shè)計

1）敏感詞過濾

為了打造一個“干凈”“和諧”的校園網(wǎng)站，過濾掉那些不堪人目的詞匯是一項很有必要的工作，所以在該項目中，每一個有文字發(fā)表的過程都會有一次敏感詞過濾。本人采用的敏感詞過濾算法是使用“前綴樹”實現(xiàn)的。

2）Redis的使用

Redis的高速、強(qiáng)有效性在本人的項目中起到一個很重要的作用。例如為了及時響應(yīng)用戶的關(guān)注列表，Reds能夠快速地完成操作。并且在使用Set這個數(shù)據(jù)結(jié)構(gòu)之后，十分方便快捷地響應(yīng)用戶的“贊”“踩”操作，在私信模塊中也發(fā)揮重大作用。而在做異步隊列的操作時，Reds的參與也加強(qiáng)了程序的有效性，保證了程序運行時的流暢性。

3）異步處理

由于服務(wù)器的處理能力有限，在某一時刻可能會有大量的用戶請求發(fā)生，此時若無有效的處理算法，則會發(fā)生嚴(yán)重的接口堵塞，甚至宕機(jī)。為了防止此類事件的發(fā)生，在平臺設(shè)計中書寫了一個異步架構(gòu)。所有的請求會發(fā)送到優(yōu)先隊列中存儲，然后處理程序會不斷地從請求隊列中取出請求處理。

4）消息發(fā)送模式

因為不同用戶在線狀態(tài)不同，不同用戶的粉絲數(shù)不同，不同問題的被關(guān)注數(shù)不同，所以對于不同的主體，消息的發(fā)送模式應(yīng)該有所區(qū)分，以充分發(fā)揮服務(wù)器的性能，提高用戶體驗。本項目采用的消息發(fā)送模式是：對于活躍的、在線的用戶采用推送消息的模式，這樣新產(chǎn)生的事件能夠及時被這類用戶看到;對于其他用戶則采用拉取消息的模式，在這類用戶不上線的時候，與他們相關(guān)的事件會晚些觸發(fā)，這樣節(jié)省下來的性能可以用來提高在線用戶、活躍用戶的用戶體驗。

5）全文搜索

作為一個信息集成的網(wǎng)站，搜索功能是必不可少的，這里使用的是Solr來作為平臺的搜索引擎。但是Solr只有英文的分詞，所以這里需要自定義中文的分詞。首先要創(chuàng)建中文分詞器，這里創(chuàng)建了索引時候的分詞器和查詢時候的分詞器，并將Solr自帶的分詞分析程序?qū)氲脚渲弥?。然后在配置中加入mysql的配置、數(shù)據(jù)配置、導(dǎo)數(shù)據(jù)庫數(shù)據(jù)的iar包，重啟并導(dǎo)人索引，最后設(shè)置一些細(xì)節(jié)配置如關(guān)鍵詞高亮等就可以使用了。

4結(jié)束語

基于Hadoop的校園信息交流和資源共享平臺，借助于現(xiàn)今比較成熟的云計算虛擬服務(wù)器，構(gòu)建了一個供校內(nèi)各院系師生交流討論、學(xué)校組織發(fā)布公告、校外商家發(fā)布招聘等的平臺，提高校內(nèi)凝聚力，加快公告發(fā)布速度。進(jìn)而豐富校內(nèi)師生的校園生活，加快校園事務(wù)的散布執(zhí)行速度，提高校園政策的發(fā)布質(zhì)量。打造了一個信息多元化、管理高效化、可快速搭建起來的實時信息交流和資源共享的平臺。