基于Kudu+微服務(wù)架構(gòu)的人才培養(yǎng)方案與課程管理系統(tǒng)應(yīng)用研究與設(shè)計(jì)

黃振華 張波 尹益燕 武亞麗 肖紅男 宋雪

【摘要】? ?本文為滿足民辦高校人才培養(yǎng)方案制定的參考分析數(shù)據(jù)需求，提出了基于Kudu+微服務(wù)技術(shù)支撐的人才培養(yǎng)方案制定與課程管理軟件系統(tǒng)架構(gòu)的研究與設(shè)計(jì)。

【關(guān)鍵詞】? ? Docker? ? 高可用? ? 架構(gòu)

引言：

民辦高校人才培養(yǎng)方案的制定、管理，以及課程按人培的實(shí)施過(guò)程是高校教學(xué)的一般規(guī)律和方法?？梢酝ㄟ^(guò)應(yīng)用大數(shù)據(jù)技術(shù)對(duì)其方案制定的決策方向提供有效的數(shù)據(jù)參考支撐。利用微服務(wù)架構(gòu)風(fēng)格設(shè)計(jì)人才培養(yǎng)方案和課程管理系統(tǒng)，可在一定程度上解決手工編制與管理的事務(wù)性工作，提高工作效率和降低錯(cuò)誤的發(fā)生，實(shí)現(xiàn)對(duì)教學(xué)管理的補(bǔ)充。

傳統(tǒng)分布式文件存儲(chǔ)系統(tǒng)HDFS+MapReduce + Hive的架構(gòu)已無(wú)法滿足當(dāng)下的數(shù)據(jù)動(dòng)態(tài)加載需求，Kudu存儲(chǔ)引擎作為Hadoop生態(tài)圈中全新的列式存儲(chǔ)系統(tǒng)，支持隨機(jī)讀寫(xiě)和實(shí)時(shí)數(shù)據(jù)分析，還支持?jǐn)?shù)據(jù)增量更新，可與HDFS優(yōu)勢(shì)互補(bǔ)，通過(guò)Kudu+Impala接口，有力支撐了大數(shù)據(jù)平臺(tái)的實(shí)時(shí)分析業(yè)務(wù)場(chǎng)景需求。[1]

一、應(yīng)用技術(shù)研究

微服務(wù)作為SOA（面向服務(wù)架構(gòu)）的一個(gè)子集，其服務(wù)更具靈活性、可實(shí)施性與可擴(kuò)展性，強(qiáng)調(diào)可獨(dú)立測(cè)試、獨(dú)立部署、獨(dú)立運(yùn)行的軟件架構(gòu)模式，更符合現(xiàn)代互聯(lián)網(wǎng)發(fā)展趨勢(shì)的實(shí)踐。[2]微服務(wù)的優(yōu)勢(shì)在于：技術(shù)優(yōu)勢(shì)。其服務(wù)組件化特征描述的是組件間是一種高內(nèi)聚、低耦合的松散服務(wù)方式，是可獨(dú)立部署的基礎(chǔ)之一;業(yè)務(wù)優(yōu)勢(shì)。被劃分出來(lái)的微服務(wù)之間相互獨(dú)立，可獨(dú)立運(yùn)行，使得開(kāi)發(fā)團(tuán)隊(duì)可以專心負(fù)責(zé)自己的業(yè)務(wù)，大大減少了團(tuán)隊(duì)間的協(xié)調(diào)和依賴;組織優(yōu)勢(shì)：根據(jù)以上優(yōu)勢(shì)，可將開(kāi)發(fā)團(tuán)隊(duì)劃分成若干小型自治開(kāi)發(fā)小組，即可提高可擴(kuò)展性，也可降低團(tuán)隊(duì)組織級(jí)別的風(fēng)險(xiǎn)。[3]

Kudu是Cloudera公司在2015年公開(kāi)的一種純列式面向結(jié)構(gòu)化數(shù)據(jù)，支持低延遲隨機(jī)讀寫(xiě)且具有高性能處理數(shù)據(jù)能力的開(kāi)源大數(shù)據(jù)存儲(chǔ)引擎。對(duì)Hadoop生態(tài)圈的支持很高，也很好的支持Spark的內(nèi)存計(jì)算框架和MapReduce的鍵值對(duì)計(jì)算框架。[4]

微服務(wù)是繼SOA（面向服務(wù)的軟件架構(gòu)）之后流行的架構(gòu)模式，是一種使用以小服務(wù)為開(kāi)發(fā)單個(gè)應(yīng)用的方式，可獨(dú)立運(yùn)行，使用輕量級(jí)通信機(jī)制，支持獨(dú)立部署，形成了松耦合結(jié)構(gòu)的“微服務(wù)”，此種方式更便于開(kāi)發(fā)團(tuán)隊(duì)的小型化、簡(jiǎn)便溝通，以及獨(dú)立開(kāi)發(fā)。隨著“Docker”容器技術(shù)支撐微服務(wù)的能力提高，在低層系統(tǒng)級(jí)的虛擬化機(jī)制更有利于微服務(wù)的標(biāo)準(zhǔn)化部署和降低資源占用。[5]

為了適應(yīng)民辦高等教育人才培養(yǎng)方案及課程實(shí)施管理需求的可擴(kuò)展性和可修改性，以及使用的特殊性，該管理系統(tǒng)的架構(gòu)設(shè)計(jì)也是評(píng)價(jià)一個(gè)系統(tǒng)的質(zhì)量的一個(gè)重要標(biāo)準(zhǔn)。因此，采用集群技術(shù)、大數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)分析等技術(shù)，使系統(tǒng)達(dá)到需求目標(biāo)的研究和實(shí)踐是非常必要的，也是伴隨高等教育管理工作的發(fā)展，在未來(lái)會(huì)滿足更高新需求。

二、實(shí)訓(xùn)平臺(tái)架構(gòu)設(shè)計(jì)

對(duì)于民辦高校人才培養(yǎng)方案制定和課程體系的實(shí)施過(guò)程中，人培內(nèi)容包括專業(yè)介紹、培養(yǎng)目標(biāo)、培養(yǎng)規(guī)格、就業(yè)崗位及任職要求、畢業(yè)要求、學(xué)制與學(xué)位、主干學(xué)科、專業(yè)核心課程、主要實(shí)踐性教學(xué)環(huán)節(jié)、主要專業(yè)實(shí)驗(yàn)、課程設(shè)置及教學(xué)進(jìn)程、有關(guān)說(shuō)明等。課程信息管理包括課程所屬學(xué)院和專業(yè)、課程自身屬性（編號(hào)、開(kāi)課號(hào)、類(lèi)別、學(xué)分、學(xué)時(shí)、理論與實(shí)踐學(xué)時(shí)劃分、開(kāi)課學(xué)期、任課教師、實(shí)驗(yàn)室名稱與編號(hào)等）、相關(guān)教師屬性（所屬學(xué)院、專業(yè)、工號(hào)等）、相關(guān)實(shí)驗(yàn)室屬性（實(shí)驗(yàn)室名稱、編號(hào)等）、相關(guān)教材屬性（教材性質(zhì)等），還包括各類(lèi)編碼與數(shù)據(jù)統(tǒng)計(jì)，如：課程編號(hào)、開(kāi)課號(hào)、學(xué)分、學(xué)時(shí)、理論與實(shí)踐的學(xué)時(shí)等。對(duì)于一所高校，所涉及專業(yè)至少在30個(gè)以上，每個(gè)專業(yè)群中的各類(lèi)課程至少在50門(mén)以上。隨著學(xué)校的發(fā)展建設(shè)，每年都會(huì)產(chǎn)生至少和如上數(shù)據(jù)量相同的數(shù)量累加，在此基礎(chǔ)上，運(yùn)用大數(shù)據(jù)分析技術(shù)和微服務(wù)架構(gòu)設(shè)計(jì)人才培養(yǎng)方案與課程信息管理是必由之路，也為將來(lái)的相關(guān)數(shù)據(jù)分析提供了必要的技術(shù)和數(shù)據(jù)支撐。綜上所述，本文所研究的系統(tǒng)功能設(shè)計(jì)如圖1所示。

對(duì)于系統(tǒng)中人才需求調(diào)查功能，可使用大數(shù)據(jù)獲取技術(shù)從招聘網(wǎng)站上的招聘信息中爬取，根據(jù)崗位名稱、技能要求、學(xué)歷要求、工作經(jīng)驗(yàn)要求、工作地點(diǎn)等關(guān)鍵詞，將招聘信息保存在HDFS中;然后再使用ETL工具從HDFS中檢索所需求的崗位名稱及相關(guān)要求描述，再進(jìn)行數(shù)據(jù)清洗及格式化后，保存Kudu中;利用Kudu+Impala提供的接口分別對(duì)清洗后的數(shù)據(jù)使用Hive和Spark進(jìn)行分析;根據(jù)崗位和技能名稱、學(xué)歷和經(jīng)驗(yàn)要求、工作地點(diǎn)等關(guān)鍵詞的詞頻統(tǒng)計(jì)，篩選出招聘崗位的排名、同一類(lèi)崗位中技能的排名，以及學(xué)歷、經(jīng)驗(yàn)?zāi)晗?、工作地點(diǎn)的排序等;最后形成一個(gè)按需指定的崗位、技能、學(xué)歷、經(jīng)驗(yàn)、工作地點(diǎn)的統(tǒng)計(jì)報(bào)表和圖示。人才培養(yǎng)方案則是由此大數(shù)據(jù)分析結(jié)果進(jìn)行選擇按崗位+技能要求的按需人才培養(yǎng)方案和課程體系。

在崗位需求獲取過(guò)程中務(wù)必遵守國(guó)家相關(guān)信息安全管理要求和互聯(lián)網(wǎng)行業(yè)規(guī)定的前提下完成合法的數(shù)據(jù)獲取。可以使用Selenium操作瀏覽器分析Http協(xié)議及URL，利用Python中jieba功能進(jìn)行中文分詞，創(chuàng)建特征字典庫(kù)供文本分類(lèi)和關(guān)鍵詞提取。自此可獲取崗位需求分析的數(shù)據(jù)源。

基于Kudu的人才需求調(diào)查，則是將Kudu存儲(chǔ)引擎和Hadoop平臺(tái)現(xiàn)有的Hive、Spark、Impala 等組件對(duì)接，在服務(wù)上層使用應(yīng)用程序和ETL工具，通過(guò)Keetle完成抽取、轉(zhuǎn)換、加載工作。使用Kudu列式存儲(chǔ)技術(shù)和數(shù)據(jù)記錄逐條寫(xiě)入，配合使用Kafka分布式發(fā)布消息訂閱系統(tǒng)與 HDFS來(lái)接收實(shí)時(shí)數(shù)據(jù)。由于Hive無(wú)法支持對(duì)單條數(shù)據(jù)記錄的改寫(xiě)和數(shù)據(jù)的增量更新，使用Kudu+Impala提供的JDBC接口，配合Kudu的流式實(shí)時(shí)數(shù)據(jù)寫(xiě)入，Impala 且采用內(nèi)存計(jì)算模型，擁有超大數(shù)據(jù)規(guī)模交互式SQL解析能力，可高效利用內(nèi)存和CPU快速返回SQL查詢結(jié)果，可以高效地實(shí)現(xiàn)實(shí)時(shí)OLAP分析。HBase則是只適合純粹的OLTP聯(lián)機(jī)事物處理，Kudu則同時(shí)支持OLTP 和 OLAP 業(yè)務(wù)場(chǎng)景。本文所研究的系統(tǒng)架構(gòu)設(shè)計(jì)如下圖所示：

三、結(jié)束語(yǔ)

本文提出的基于Kudu+微服務(wù)的人才培養(yǎng)方案與課程管理系統(tǒng)設(shè)計(jì)是將大數(shù)據(jù)實(shí)時(shí)分析與人才培養(yǎng)方案制定決策有機(jī)的結(jié)合起來(lái)，用數(shù)據(jù)分析的結(jié)果為方案的制定提供實(shí)時(shí)的參考，也為高校的此項(xiàng)工作提供了一種有效的參考途徑。

參? ?考? ?文? ?獻(xiàn)

[1] 蔣春平，黃煜驍，周曉君. 基于Kudu的實(shí)時(shí)業(yè)務(wù)應(yīng)用場(chǎng)景解決方案. 電信科學(xué). 2020年第21期

[2] 王磊. 微服務(wù)架構(gòu)與實(shí)踐[M]. 北京：電子工業(yè)出版社.? 2016年：24-26

[3] 羅偉. 基于微服務(wù)的智慧圖書(shū)館系統(tǒng)架構(gòu)研究. 大學(xué)圖書(shū)情報(bào)學(xué)刊. 2020年第38卷第5期：111-113

[4] 王瑞通，李煒春. 大數(shù)據(jù)基礎(chǔ)存儲(chǔ)系統(tǒng)技術(shù)研究. 計(jì)算機(jī)技術(shù)與發(fā)展.? 2017年第27卷第8期：66-72

[5] 官東亮. 基于微服務(wù)的業(yè)務(wù)平臺(tái)架構(gòu)重構(gòu). 電信科學(xué).? 2020年第9期：75-83

[6] 湯雨，林迪，范愛(ài)華，吳薇薇. 大數(shù)據(jù)分析與計(jì)算. 清華大學(xué)出版社. 2018年3月第1版

[7] 李天目. 大數(shù)據(jù)云計(jì)算服務(wù)技術(shù)架構(gòu)與實(shí)踐. 清華大學(xué)出版社. 2016年1月第1版

[8] 曾剛. 實(shí)戰(zhàn)Hadoop大數(shù)據(jù)處理. 清華大學(xué)出版社. 2015年8月第1版

[9] 李金剛，趙石磊，杜寧. 軟件體系結(jié)構(gòu)理論及應(yīng)用. 清華大學(xué)出版社. 2013年7月第1版