基于綠色大數(shù)據(jù)的大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)構(gòu)建研究

任 群，王愛平

(亳州學(xué)院 電子與信息工程系，安徽 亳州236800)

在大數(shù)據(jù)和互聯(lián)網(wǎng)+的時(shí)代背景下，創(chuàng)業(yè)創(chuàng)新是當(dāng)代大學(xué)生必備的能力，創(chuàng)新創(chuàng)業(yè)的出現(xiàn)響應(yīng)了“大眾創(chuàng)業(yè)，萬眾創(chuàng)新”的號(hào)召。 科學(xué)高效的管理平臺(tái)可以指導(dǎo)和支持大學(xué)生的創(chuàng)業(yè)創(chuàng)新教育，因此探討了大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)的構(gòu)建。 基于大數(shù)據(jù)的創(chuàng)業(yè)創(chuàng)新平臺(tái)的構(gòu)建面臨著許多挑戰(zhàn)，其中一個(gè)就是大數(shù)據(jù)處理的能源效率問題[1-2]。 本研究提出了CGDP，一個(gè)具有成本效益的綠色大數(shù)據(jù)處理框架，并將大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)部署在基于CGDP 的集群中。

1 基于綠色大數(shù)據(jù)的系統(tǒng)框架

基于CGDP 的集群框架，如圖1 所示。 綠色大數(shù)據(jù)處理模塊(CGDP)部署在網(wǎng)關(guān)與核心網(wǎng)絡(luò)之間，包括一個(gè)大數(shù)據(jù)中心、一個(gè)數(shù)據(jù)庫(kù)和一個(gè)綠色感知優(yōu)化模塊。 首先，由大數(shù)據(jù)中心收集和預(yù)處理由無線異構(gòu)網(wǎng)絡(luò)生成的原始數(shù)據(jù)。 然后，通過基于人工智能的數(shù)據(jù)分析，從清晰的數(shù)據(jù)中提取用戶行為和網(wǎng)絡(luò)模式，并將相關(guān)結(jié)果和有用的歷史數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，用于訓(xùn)練學(xué)習(xí)系統(tǒng)。 綠色感知優(yōu)化模塊進(jìn)行具有成本效益和綠色感知的任務(wù)調(diào)度策略。

2 大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)設(shè)計(jì)

2.1 系統(tǒng)需求分析

圖1 基于綠色大數(shù)據(jù)的系統(tǒng)框架

本平臺(tái)的主要角色有學(xué)院、高校、企業(yè)、導(dǎo)師、學(xué)生，不同的角色具有不同的功能。 創(chuàng)業(yè)創(chuàng)新項(xiàng)目申請(qǐng)是大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)的主要功能之一，該功能主要的用戶是學(xué)生。 學(xué)生可以進(jìn)行新增項(xiàng)目，填寫項(xiàng)目申請(qǐng)書等操作，還可以對(duì)申請(qǐng)書進(jìn)行修改、刪除以及提交等操作。 學(xué)院、高校、企業(yè)、指導(dǎo)教師通過項(xiàng)目審核處理功能對(duì)項(xiàng)目進(jìn)行審核。 指導(dǎo)教師首先對(duì)學(xué)生提交的申請(qǐng)書進(jìn)行審核，并填寫審核意見。 如果審核不通過，則需要將申請(qǐng)書退回修改或者拒絕申請(qǐng)；若審核通過，則提交學(xué)院、高校和企業(yè)進(jìn)行審核。 項(xiàng)目統(tǒng)計(jì)功能是實(shí)現(xiàn)項(xiàng)目匯總的途徑，而項(xiàng)目成果展示功能將實(shí)現(xiàn)項(xiàng)目成果的發(fā)布。 項(xiàng)目信息查詢實(shí)現(xiàn)了基于關(guān)鍵字查詢和基于條件查詢的功能。

2.2 系統(tǒng)設(shè)計(jì)

本平臺(tái)的功能模塊如圖2 所示。

圖2 系統(tǒng)功能模塊圖

由于篇幅有限，此處主要介紹創(chuàng)業(yè)項(xiàng)目信息查詢功能的詳細(xì)設(shè)計(jì)以及實(shí)現(xiàn)過程。

項(xiàng)目信息查詢實(shí)現(xiàn)了條件查詢和關(guān)鍵字查詢功能。 條件查詢功能通過設(shè)置條件來對(duì)項(xiàng)目進(jìn)行篩選，關(guān)鍵字查詢支持用戶進(jìn)行模糊查找。 下面介紹利用關(guān)鍵字進(jìn)行模糊查詢的具體實(shí)現(xiàn)算法。 首先，用戶在應(yīng)用程序端或者網(wǎng)頁(yè)端輸入關(guān)鍵字；然后，通過邏輯層的相關(guān)處理后，采用數(shù)據(jù)庫(kù)接口根據(jù)關(guān)鍵字查找數(shù)據(jù)庫(kù)；最后，查詢結(jié)果會(huì)顯示到應(yīng)用程序或者網(wǎng)頁(yè)。 本平臺(tái)使用了基于信息檢索(Information Retrieve，IR)排序的搜索算法來進(jìn)行查詢。 采用圖結(jié)構(gòu)來對(duì)數(shù)據(jù)庫(kù)建模，圖的節(jié)點(diǎn)表示數(shù)據(jù)庫(kù)中的表，當(dāng)表i 的主鍵是表j 的外鍵時(shí)，節(jié)點(diǎn)i 與節(jié)點(diǎn)j 之間有邊相連接。 查詢結(jié)果是一個(gè)包含元組樹集合的結(jié)果圖。 提出了基于IR 排序的搜索算法。 首先將存儲(chǔ)在文本數(shù)據(jù)庫(kù)中的基本信息單元定義為文檔，然后計(jì)算查詢關(guān)鍵字和文檔的相似度，并以相似度為標(biāo)準(zhǔn)來對(duì)文檔進(jìn)行排序。 假設(shè)元組樹T，元組樹中每個(gè)文檔為{D1，…，Dm}，則T 為Di的父文檔。 相似度的計(jì)算公式為：

其中，ω(k，Q)是查詢Q 中關(guān)鍵詞k 的權(quán)重；ω(k，T)是元組樹中關(guān)鍵詞k 的權(quán)重，其計(jì)算方式為：

3 綠色大數(shù)據(jù)處理模塊設(shè)計(jì)

3.1 問題描述

考慮在單個(gè)數(shù)據(jù)中心中減少大數(shù)據(jù)處理過程中(如MapReduce)不可再生能源的消耗。 數(shù)據(jù)中心由不可再生能源和可再生能源供電，并配有后備電池。 在MapReduce 框架中，數(shù)據(jù)的處理涉及一組機(jī)器：一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)。 主節(jié)點(diǎn)是負(fù)責(zé)工作負(fù)載調(diào)度和計(jì)算資源管理的中央?yún)f(xié)調(diào)器。 從節(jié)點(diǎn)負(fù)責(zé)執(zhí)行Map 或Reduce 任務(wù)和數(shù)據(jù)存儲(chǔ)。 用戶約束(如截止日期)是數(shù)據(jù)處理框架的性能指標(biāo)。 因此，綠色大數(shù)據(jù)處理框架(CGDP)允許用戶指定MapReduce 任務(wù)的松弛性，每個(gè)作業(yè)的松弛性根據(jù)其截止日期定義。 CGDP 利用工作的松弛性來執(zhí)行成本和綠色的優(yōu)化。 該系統(tǒng)由Hadoop 集群、充電控制器、逆變器、電池和開關(guān)組成。 由于可再生能源的輸入電壓是動(dòng)態(tài)變化的，因此采用充電控制器來防止過充電。 充電控制器還監(jiān)視充電、放電操作。 通過充電控制器，剩余的可再生能源自動(dòng)充電到電池中。

采用兩個(gè)參數(shù)Cp和e 對(duì)電池進(jìn)行建模，Cp是電池的有效容量，e 是電池的充電效率。 對(duì)于一個(gè)給定的充電功率Δx，估計(jì)的電池電量的增量為△x′=△x·e。 CGDP 有兩個(gè)優(yōu)化目標(biāo)，分別是綠色感知優(yōu)化和符合成本效益優(yōu)化。 其中，綠色感知優(yōu)化是指在所有任務(wù)都能在截止日期之前完成的條件下，最小化不可再生能源的使用量；而符合成本效益的優(yōu)化目標(biāo)則是最小化能源的使用成本。

3.2 總體設(shè)計(jì)

當(dāng)一個(gè)新任務(wù)進(jìn)入系統(tǒng)時(shí)，它首先被放入一個(gè)任務(wù)等待隊(duì)列。 對(duì)于等待隊(duì)列中的任務(wù)，需要進(jìn)行性能和能耗評(píng)估。 然后在滿足任務(wù)截止時(shí)間的條件下，確定最具能效的執(zhí)行配置。 執(zhí)行配置包括了服務(wù)器的數(shù)量以及每臺(tái)服務(wù)器的物理資源。 接下來，將任務(wù)添加到任務(wù)隊(duì)列中。 使用一個(gè)多隊(duì)列結(jié)構(gòu)來表示任務(wù)負(fù)載的執(zhí)行計(jì)劃。 由于MapReduce 任務(wù)的到達(dá)方式是未知的，且可再生能源會(huì)隨著時(shí)間的變化而變化，因此難以做出最優(yōu)的離線任務(wù)調(diào)度計(jì)劃。 任務(wù)調(diào)度計(jì)劃需要在系統(tǒng)運(yùn)行時(shí)動(dòng)態(tài)生成和調(diào)整，以適應(yīng)任務(wù)和可再生能源的變化。 在本研究中，為了簡(jiǎn)化算法設(shè)計(jì)，進(jìn)行定期的任務(wù)調(diào)整。 在一段時(shí)間內(nèi)，CGDP 生成節(jié)能環(huán)保和具有成本效益的調(diào)度計(jì)劃。 我們將這一段時(shí)間稱為一個(gè)“epoch”。 在每個(gè)epoch 開始時(shí)，對(duì)任務(wù)量進(jìn)行預(yù)測(cè)。 給定每個(gè)任務(wù)的節(jié)能執(zhí)行配置，首先根據(jù)集群容量生成基本的節(jié)能計(jì)劃。 接下來，應(yīng)用一系列優(yōu)化來降低計(jì)劃的不可再生能源消耗和能耗成本。 在一段時(shí)間內(nèi)，CGDP 定期進(jìn)行任務(wù)調(diào)度，并根據(jù)優(yōu)化的執(zhí)行計(jì)劃在服務(wù)器上執(zhí)行電源管理。 將任務(wù)調(diào)度的時(shí)間段稱為“slot”。 對(duì)于每個(gè)slot，CGDP 為任務(wù)分配一組服務(wù)器，并根據(jù)執(zhí)行計(jì)劃執(zhí)行任務(wù)。 對(duì)于當(dāng)前slot 執(zhí)行計(jì)劃中要調(diào)度的所有任務(wù)，CGDP 采用截止時(shí)間優(yōu)先的調(diào)度算法。 該算法優(yōu)先處理接近截止時(shí)間的作業(yè)。

3.3 綠色感知調(diào)度

為了通過綠色感知調(diào)度最小化集群的不可再生能耗，首先，生成一個(gè)基本的執(zhí)行計(jì)劃，其中，特別考慮了數(shù)據(jù)處理框架的能效和集群容量。 然后，通過綠色感知的任務(wù)切換和電池輔助綠色轉(zhuǎn)移機(jī)制，進(jìn)一步降低基本節(jié)能計(jì)劃的不可再生能源消耗。

3.3.1 基本的節(jié)能執(zhí)行計(jì)劃

在每一個(gè)epoch 開始時(shí)，對(duì)任務(wù)(包括工作類型和到達(dá)率等)以及可再生能源的供應(yīng)情況進(jìn)行在線預(yù)測(cè)。

(1)任務(wù)預(yù)測(cè)：通過使用簡(jiǎn)單的時(shí)間序列分析[3]，可以較為精確地預(yù)測(cè)小型任務(wù)的到達(dá)率。 利用任務(wù)之間的相似性，結(jié)合時(shí)間序列預(yù)測(cè)算法，可以準(zhǔn)確估計(jì)小型任務(wù)的總能耗和執(zhí)行時(shí)間。 在實(shí)驗(yàn)中，對(duì)于小型任務(wù)的能源消耗預(yù)測(cè)誤差平均小于6%，執(zhí)行時(shí)間的預(yù)測(cè)誤差平均小于4%。 但對(duì)于大型任務(wù)，它們的到達(dá)并沒有規(guī)律，并且大型任務(wù)的能耗和執(zhí)行時(shí)間差別很大。 因此，采用成本模型在大型任務(wù)到達(dá)才對(duì)他們進(jìn)行評(píng)估。 由于大型任務(wù)的執(zhí)行時(shí)間較長(zhǎng)，因此這種隨機(jī)應(yīng)變的預(yù)測(cè)為調(diào)度提供了足夠的優(yōu)化空間。

(2)可再生能源供應(yīng)預(yù)測(cè)：大多數(shù)的可再生能源(如太陽(yáng)能和風(fēng)能)都取決于天氣狀況。 采用了Green-Hadoop[4]中使用的預(yù)測(cè)方法，該方法能夠以非常高的準(zhǔn)確性來預(yù)測(cè)太陽(yáng)能。

(3)節(jié)能計(jì)劃生成：為CGDP 制訂了基本的節(jié)能計(jì)劃。 CGDP 生成的計(jì)劃具有兩個(gè)不同的特性。 首先，CGDP 的任務(wù)執(zhí)行配置在滿足任務(wù)截止時(shí)間的同時(shí)能耗最小；其次，生成計(jì)劃是以MapReduce 任務(wù)的能耗和性能模型作為指導(dǎo)的。 文中開發(fā)了一個(gè)多隊(duì)列數(shù)據(jù)結(jié)構(gòu)來表示一個(gè)epoch 的執(zhí)行計(jì)劃。 每個(gè)隊(duì)列對(duì)應(yīng)一個(gè)slot，它包含在slot 開始時(shí)啟動(dòng)的任務(wù)。 每個(gè)epoch 由N 個(gè)slot 組成，時(shí)隙長(zhǎng)度為ts秒，一個(gè)slot 對(duì)應(yīng)一個(gè)隊(duì)列。 在設(shè)計(jì)中，當(dāng)前的epoch 有N 個(gè)隊(duì)列，用q0，...，qN-1表示。 其中，qi維護(hù)松弛性小于i+1 的任務(wù)，并采用一個(gè)單獨(dú)的隊(duì)列q′存儲(chǔ)所有松弛性超出當(dāng)前epoch 的任務(wù)。 隨著時(shí)間的流逝，在每個(gè)slot 的開始，任務(wù)的松弛性將減少，然后將分配一定數(shù)量的服務(wù)器給這些任務(wù)，直到任務(wù)完成為止。 在每個(gè)epoch 開始時(shí)，松弛性小于epoch 的作業(yè)會(huì)被分配到相應(yīng)的qi中，而前一個(gè)epoch 未完成的任務(wù)將分配到q0中。 因此，epoch 的任務(wù)包括來自q′的任務(wù)、epoch 結(jié)束前在當(dāng)前epoch 期間到達(dá)的帶有松弛性的任務(wù)以及來自之前epoch的任務(wù)。 假設(shè)每個(gè)slot 所需的服務(wù)器數(shù)量是ni。 如果ni超出了集群容量，需要將當(dāng)前slot 中運(yùn)行的任務(wù)移動(dòng)到具有可用資源的隊(duì)列j。 重復(fù)這個(gè)過程，直到所有ni都不大于集群的容量。

3.3.2 綠色感知優(yōu)化的任務(wù)轉(zhuǎn)換

CGDP 支持四種基本工作轉(zhuǎn)換：(1)推遲D(j，i)：該操作將任務(wù)j 推遲i 個(gè)slot；(2)提前A(j，i)：該操作將任務(wù)j 提前i 個(gè)slot；(3)分配P(j，i)：該操作為任務(wù)j 增加了服務(wù)器的數(shù)量；(4)減配D(j，i)：該操作減少了任務(wù)j 的服務(wù)器數(shù)量。

第一階段：在這一階段，在保持當(dāng)前epoch 的基本節(jié)能執(zhí)行計(jì)劃的同時(shí)，進(jìn)行提前A(j，i)和推遲D(j，i)操作，以降低不可再生能源的消耗。 由于基本節(jié)能執(zhí)行計(jì)劃中的所有任務(wù)都盡可能地被推遲，任何推遲操作都將違反任務(wù)的截止時(shí)間。 因此，如果不可再生能源的消耗可以進(jìn)一步被優(yōu)化，首先進(jìn)行提前操作，然后考慮推遲操作。 第一階段的優(yōu)化算法如下：

第二階段：第二階段是第一階段的補(bǔ)充，考慮分配和減配來進(jìn)一步減少不可再生能源的消耗。 第二階段算法可以改變執(zhí)行計(jì)劃，但可能會(huì)降低能源效率。

3.3.3 電池輔助的能源轉(zhuǎn)移

當(dāng)可再生能源供應(yīng)過剩時(shí)，可以利用電池儲(chǔ)存能源，以備將來使用。 設(shè)計(jì)了電池輔助轉(zhuǎn)移來進(jìn)一步優(yōu)化執(zhí)行計(jì)劃的任務(wù)轉(zhuǎn)換。 有了電池，可以把任務(wù)時(shí)間推遲到更晚的時(shí)間段，以提高能源效率。 由于充放電存在能量損失，需要評(píng)估電池輔助轉(zhuǎn)移的能量增益與充放電損失之間的權(quán)衡。 將這個(gè)問題表示為帶有約束的非線性整數(shù)規(guī)劃問題，并提出了一種啟發(fā)式算法來進(jìn)行綠色轉(zhuǎn)移優(yōu)化。

對(duì)當(dāng)前slot 內(nèi)的每個(gè)任務(wù)進(jìn)行減配操作，并利用剩余的可再生能源對(duì)電池進(jìn)行充電。 首先，將所有由可再生能源供能的任務(wù)J 添加到FIFO 隊(duì)列Q 中。 然后，每次從Q 中取出一個(gè)作業(yè)，在保證能夠減少不可再生能源消耗的情況下，執(zhí)行減配和充電操作。 重復(fù)該過程，直到隊(duì)列Q 為空。 對(duì)于每個(gè)任務(wù)j，如果減配不會(huì)違反任務(wù)的截止時(shí)間，對(duì)任務(wù)j 執(zhí)行減配。 由于充電、放電時(shí)會(huì)有能量損失和電池滿負(fù)荷時(shí)的能量浪費(fèi)，為了提高能源效率，需要將未來任務(wù)所消耗的能源與可再生能源的實(shí)際數(shù)量進(jìn)行比較。 如果實(shí)際的可再生能源量大于未來任務(wù)的能源消耗，將進(jìn)行降級(jí)操作，并利用剩余的可再生能源對(duì)電池進(jìn)行充電。

3.4 成本效益調(diào)度

為了利用動(dòng)態(tài)定價(jià)來降低集群的電力成本，通過擴(kuò)展CGDP 來提供具有成本效益的調(diào)度。

3.4.1 成本優(yōu)化的任務(wù)轉(zhuǎn)換

通過考慮不可再生能源的價(jià)格，進(jìn)行成本效益優(yōu)化。 成本效益優(yōu)化的基本思想是利用不可再生能源來調(diào)度任務(wù)，如果可以降低當(dāng)前epoch 的總電力成本，則將高峰期的不可再生能源消耗轉(zhuǎn)移到其他時(shí)段。 在一個(gè)epoch 中的電力成本為，其中N 是slot 的個(gè)數(shù)，Ci是slot i 的電力成本，其定義如下：

圖3 不可再生能源消耗對(duì)比

3.4.2 電池輔助的不可再生能源轉(zhuǎn)移

設(shè)計(jì)了電池輔助的不可再生能源轉(zhuǎn)移機(jī)制，通過具有成本效益的工作轉(zhuǎn)移進(jìn)一步優(yōu)化執(zhí)行計(jì)劃[6]。 在電池的幫助下，可以較低的價(jià)格購(gòu)買非高峰時(shí)段的不可再生能源，并在高峰時(shí)段使用。 由于在充放電過程中存在能量損耗，需要比較一下由于價(jià)格差異而節(jié)省的電費(fèi)和充放電過程中的損耗。 也可以將這個(gè)問題表示為一個(gè)帶約束的非線性整數(shù)規(guī)劃問題，并采用啟發(fā)式算法來執(zhí)行計(jì)劃上的不可再生能源轉(zhuǎn)移。 由于在充電、放電的過程中會(huì)有能量損失，因此并非所有購(gòu)買的不可再生能源都可以在未來得到利用。因此，需要將峰谷電價(jià)差異所帶來的電費(fèi)節(jié)約與能源浪費(fèi)所帶來的損失進(jìn)行比較[7]。 如果價(jià)格差異帶來的收益大于充放電過程中的浪費(fèi)，將購(gòu)買不可再生能源，并進(jìn)行充電以便未來使用。

4 實(shí)驗(yàn)評(píng)估

將系統(tǒng)部署在一個(gè)由10 節(jié)點(diǎn)組成的集群上，并進(jìn)行實(shí)驗(yàn)以評(píng)估本系統(tǒng)的性能。 基于最新版本的Hadoop YARN 2.6.0 實(shí)現(xiàn)了本系統(tǒng)，并將Hadoop YARN 2.6.0[5]作為基本算法，記為“Hadoop”。 與此同時(shí)，選擇Greena-ware Hadoop(記為“GreenHadoop”)算法進(jìn)行比較。 在該集群中，每個(gè)節(jié)點(diǎn)有兩個(gè)Intel Xeon CPU、24 GB 內(nèi)存和1T 的磁盤。 節(jié)點(diǎn)的閑時(shí)功耗為150 瓦，峰值功耗為280 瓦。 這些節(jié)點(diǎn)通過10Gb 的以太網(wǎng)連接。其中一個(gè)節(jié)點(diǎn)被配置為主節(jié)點(diǎn)，其他節(jié)點(diǎn)被部署為從節(jié)點(diǎn)。

圖3 為不同系統(tǒng)的不可再生能源能耗。 總的來說， GreenHadoop、CGDP-basic 和CGDP 消耗的不可再生能源都比Hadoop 少。 與GreenHadoop 相比，CGDP 通過采用高效節(jié)能的優(yōu)化，消耗了更少的不可再生能源。考慮到能源效率，CGDP-basic 比GreenHadoop 減少了6%的消耗，而CGDP 將任務(wù)轉(zhuǎn)換和電池輔助轉(zhuǎn)移應(yīng)用于基本節(jié)能計(jì)劃，因此比CGDP-basic 進(jìn)一步減少14.9%的消耗。

圖4 各部分能源消耗對(duì)比

圖4 展示了不可再生能源消耗、可再生能源消耗、電池充電、可再生能源浪費(fèi)和數(shù)據(jù)復(fù)制的開銷的對(duì)比結(jié)果[8]。 浪費(fèi)的可再生能源包括充電、放電時(shí)的能量損失和電池充滿電后被丟棄的部分。 通過將電力需求與綠色供應(yīng)結(jié)合起來，GreenHadoop 可以比Hadoop 利用更多的綠色能源。 然而，在不考慮焦耳效率的情況下，它比CGDP 消耗更多的不可再生能源。 CGDP-basic比GreenHadoop 更能有效地利用能源，消耗更少的不可再生能源。 CGDP 的電池輔助轉(zhuǎn)移技術(shù)將更多的綠色能源充電到電池中，而不是直接使用電池，從而減少了不可再生能源。

5 結(jié)論

本研究探討了大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)的構(gòu)建。

基于大數(shù)據(jù)的創(chuàng)業(yè)創(chuàng)新平臺(tái)構(gòu)建面臨著許多挑戰(zhàn)，其中一大挑戰(zhàn)就是大數(shù)據(jù)處理的能源效率問題。 提出了CGDP，一個(gè)具有成本效益的綠色大數(shù)據(jù)處理框架，并將大學(xué)生創(chuàng)業(yè)創(chuàng)新平臺(tái)部署在基于CGDP 的集群中。