基于大數(shù)據(jù)的云計算網(wǎng)絡協(xié)同創(chuàng)新平臺的研究

程淑玉

摘 要：以云計算和大數(shù)據(jù)技術為理論基礎，構建了一個具有“產(chǎn)學研”功能的網(wǎng)絡信息協(xié)同創(chuàng)新平臺，對該平臺的“云”架構和功能模塊進行了敘述，重點闡述了Hadoop云平臺的工作模式。針對大數(shù)據(jù)環(huán)境下數(shù)據(jù)的稀疏性及擴展性等問題，提出了利用用戶隱性行為數(shù)據(jù)在Hadoop平臺上實施協(xié)同過濾算法，實現(xiàn)智能推薦，從而有效的提高了算法的執(zhí)行效率。

關鍵詞：云計算；協(xié)同創(chuàng)新；Hadoop；協(xié)同過濾推薦算法

中圖分類號： TP311.52 文獻標志碼：A [WT]文章編號：1672-1098（2017）03-0072-07

Abstract：Based on the theories of Cloud Computing and Big Data， a network information platform for collaborative innovation is constructed with the purpose of realizing the function of production， learning， and research. This paper describes the "cloud" platform architecture and functional modules，and focuses on the working mode of Hadoop cloud platform. Aiming at solving the problem of data sparsity and scalability in big data environment， the paper put forward a collaborative filtering algorithm based on Hadoop platform using the user's implicit behavior data， which could realize Intelligent recommendation and therefore improve the execution efficiency of the algorithm.

Key words：cloud computing； collaborative innovation； Hadoop； collaborative filtering recommendation algorithm

隨著國務院《國家中長期科學和技術發(fā)展規(guī)劃綱要（2006-2020年）》的頒布，具有中國特色國家創(chuàng)新體系建設被提上工作日程，圍繞產(chǎn)業(yè)的全面升級轉型，通過產(chǎn)學研結合技術創(chuàng)新，實施創(chuàng)新驅動發(fā)展戰(zhàn)略。根據(jù)“整合、共享、協(xié)同、提高”的原則，建設“面向企業(yè)的創(chuàng)新支撐平臺”，圍繞解決區(qū)域發(fā)展重大、共性問題，推動跨區(qū)域協(xié)同創(chuàng)新。協(xié)同創(chuàng)新是以高校、科研機構、企業(yè)為主、以政府、第三方機構為輔，為實現(xiàn)重大科學技術創(chuàng)新而開展的多元主體大跨度整合協(xié)同創(chuàng)新的網(wǎng)絡創(chuàng)新模式[1]。網(wǎng)絡協(xié)同創(chuàng)新平臺，將多元主體通過立體化網(wǎng)絡連接起來，共同通過與外部環(huán)境的交互作用，實現(xiàn)各主體之間的知識流動、技術研發(fā)合作和資源集成共享，是整合資源、開放交流和協(xié)作創(chuàng)新的基礎。

云計算技術的不斷發(fā)展為協(xié)同技術創(chuàng)新創(chuàng)造了良好的條件，它將多元化主體分散的各類創(chuàng)新需求和技術資源、服務資源進行重新整合，使得資源能夠在最大范圍內(nèi)共享，降低了各創(chuàng)新主體的合作成本，提高了協(xié)同創(chuàng)新的實效性。

1 網(wǎng)絡協(xié)同創(chuàng)新平臺現(xiàn)狀分析

1.1 平臺發(fā)展現(xiàn)狀

網(wǎng)絡協(xié)同創(chuàng)新平臺能夠讓多元主體在交互式、自主式的網(wǎng)絡環(huán)境中獲取各類資訊服務、創(chuàng)新服務、技術信息及需求信息，并提供創(chuàng)新合作虛擬空間進行技術合作研發(fā)[2]。協(xié)同使得各主體間信息溝通更加便捷、更容易獲取創(chuàng)新所需資源，創(chuàng)新效率也變得更加高效。網(wǎng)絡協(xié)同創(chuàng)新平臺目前存在三種模式，一種是行業(yè)創(chuàng)新平臺，該平臺主要依托行業(yè)科研院所和重點企業(yè)針對某一產(chǎn)業(yè)開展技術創(chuàng)新和研發(fā)，無法實現(xiàn)跨界、跨區(qū)域合作；另一種是以提供服務為主的科技創(chuàng)新服務資源平臺，該平臺提供了資訊中心、資源下載、科技服務等基礎的科技信息服務，在諸如資源共享、創(chuàng)新合作虛擬空間、協(xié)同創(chuàng)新等方面較為薄弱；還有一種是以高校為主，企業(yè)為輔的產(chǎn)學研合作創(chuàng)新平臺，該平臺由于機制等問題，產(chǎn)學合作的不夠深入，在創(chuàng)新方面由于缺乏資金支持，往往以基礎創(chuàng)新研究比較多，其研究成果多因工程化能力弱而難以推廣應用。

1.2 平臺存在的問題

現(xiàn)有的網(wǎng)絡協(xié)同創(chuàng)新平臺的用戶都是通過訪問一個功能強大、性能過硬的服務器實現(xiàn)協(xié)同工作，協(xié)同用戶越多，服務器承載壓力就會越大，一旦服務器發(fā)生故障，用戶之間就無法實現(xiàn)資源的共享和協(xié)同創(chuàng)新。當協(xié)同用戶不在工作時，服務器就很空閑，從而造成服務器的極大浪費。

隨著平臺信息的不斷增多，平臺數(shù)據(jù)不斷增大，用戶已很難從這些信息中獲得對自己真正有用的那部分信息，知識的創(chuàng)新過程緩慢。如何從大量數(shù)據(jù)中快速有效的獲取有用的信息，推薦系統(tǒng)順應而生，傳統(tǒng)的協(xié)同過濾推薦系統(tǒng)使用用戶對項目的預測評分數(shù)據(jù)為依據(jù)進行推薦，評分會增加用戶的操作，影響用戶體驗，數(shù)據(jù)稀疏，而大數(shù)據(jù)環(huán)境下數(shù)據(jù)處理量更多，冗余度更強，導致算法可擴展性差，處理效率低，推薦的實效性低，精確度不夠高。

針對以上問題，構建了基于云計算和大數(shù)據(jù)技術的網(wǎng)絡信息協(xié)同創(chuàng)新平臺，由政府引導引入金融服務機構，提供投資融資服務，產(chǎn)學合作實施平臺建設，該平臺引入了Hadoop分布式框架實施協(xié)同過濾推薦算法，該框架采用集群并行計算模式，利用MapReduce編程框架將計算任務分配給Hadoop 集群內(nèi)的每臺機器，從而能有效的提高推薦系統(tǒng)的執(zhí)行效率。

同時該平臺在數(shù)據(jù)收集上利用了隱性戶行為數(shù)據(jù)（如用戶點擊量、瀏覽網(wǎng)頁的次數(shù)、停留的時間等），這些數(shù)據(jù)能直觀的反映用戶行為偏好，且不影響用戶體驗，收集方便，數(shù)據(jù)規(guī)模很大， Hadoop平臺使用對稀疏數(shù)據(jù)具有良好支持的分布式數(shù)據(jù)庫Hbase來保存數(shù)據(jù)，能有效改善數(shù)據(jù)稀疏問題，提高推薦的實效性。

2 云計算及大數(shù)據(jù)技術

2.1 云計算技術

云計算是虛擬化、網(wǎng)絡存儲、分布式計算、并行計算等計算機和網(wǎng)絡技術融合的產(chǎn)物。云計算的虛擬化體現(xiàn)在它把大量的計算機硬件、平臺、軟件及服務等資源遷移到互聯(lián)網(wǎng)上，形成虛擬資源，擁有這些虛擬資源的網(wǎng)絡被稱為“云”，在“云”端的資源可以共享，用戶可以根據(jù)需要從“云”端請求所需的計算、服務，按使用付費[3]。

云計算提供了分布式并行計算模式，將計算任務擴展到服務器集群中更多的計算資源，并使用冗余的資源進行容錯處理，具有超強的計算能力和低成本、高安全性等特性，在網(wǎng)絡資源共享等方面具有明顯的優(yōu)勢[4]。

云計算平臺簡稱云平臺，常用的開源云平臺有AbiCloud、Hadoop、MongoDB等。

2.2 大數(shù)據(jù)技術

大數(shù)據(jù)與云計算是相輔相成的，所謂的大數(shù)據(jù)技術，就是在云平臺基礎架構上，對海量數(shù)據(jù)中進行處理，并快速獲取對用戶有價值信息的技術。大數(shù)據(jù)處理技術包括五大塊：數(shù)據(jù)的采集、數(shù)據(jù)預處理、數(shù)據(jù)存儲管理、數(shù)據(jù)挖掘分析及數(shù)據(jù)的展現(xiàn)與交互[5]。

數(shù)據(jù)的采集是大數(shù)據(jù)服務的基礎，就是使用某種技術或手段采集各種類型的海量數(shù)據(jù)并存儲于特定設備上；數(shù)據(jù)的預處理主要是對采集到的數(shù)據(jù)進行清洗、過濾、效驗、轉換等操作，從而提取出有效數(shù)據(jù)；數(shù)據(jù)的存儲管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應的分布式數(shù)據(jù)庫，把數(shù)據(jù)分布到多個存儲節(jié)點上進行管理和調用；數(shù)據(jù)的挖掘分析，主要利用數(shù)據(jù)挖掘，機器學習等技術，對處理后的數(shù)據(jù)進行挖掘分析，分析出其潛在的數(shù)據(jù)價值[6]；數(shù)據(jù)的展現(xiàn)與交互就是將隱藏于海量數(shù)據(jù)中的有價值信息挖掘出來，并用生動直觀的展示方式展示給用戶，如圖表等，以便用戶更好的理解數(shù)據(jù)的內(nèi)涵。

本文重點研究了基于Hadoop云平臺的創(chuàng)新平臺設計，闡述了創(chuàng)新平臺的“云”架構和功能模塊，并就Hadoop云平臺的工作模式進行了詳細闡述，同時針對用戶難以在海量數(shù)據(jù)中找到有用信息的問題，采用了數(shù)據(jù)挖掘技術，建立了智能推薦系統(tǒng)模塊，可以根據(jù)用戶的基本信息、訪問信息等信息發(fā)現(xiàn)其興趣點，從而向其推薦感興趣的信息、資源及服務。

3 平臺設計

3.1 平臺建設內(nèi)容

產(chǎn)學研合作，多主體協(xié)同。通過搭建網(wǎng)絡信息協(xié)同創(chuàng)新平臺，緊緊抓住產(chǎn)業(yè)龍頭企業(yè)，充分發(fā)揮行業(yè)商協(xié)會作用，引入高校、科研院所的科技創(chuàng)新資源，協(xié)調金融機構共同參與，把產(chǎn)業(yè)、科技、金融等創(chuàng)新要素協(xié)同起來，共同服務產(chǎn)業(yè)發(fā)展，促進科技、產(chǎn)業(yè)、金融、人才相結合，建立健全協(xié)同創(chuàng)新體制機制，實施跨界、跨區(qū)域合作，推動產(chǎn)業(yè)轉型升級和高端發(fā)展。

3.2 平臺架構設計

該平臺由創(chuàng)新資源整合服務平臺、產(chǎn)學研協(xié)同創(chuàng)新平臺和各園區(qū)科技創(chuàng)新平臺三大部分組成，該平臺以公有云為核心，將各創(chuàng)新主體（如企業(yè)、高校、科研院所）、金融機構、主管部門自身擁有的資源進行整合，面向用戶提供創(chuàng)新資源服務。其中各創(chuàng)新主體接入公有云的方式有兩種，第一種是采用私有云接入，各創(chuàng)新主體都建立自己的私有云平臺，并實施規(guī)范化描述和封裝，然后通過標準接口接入公有云，用戶通過瀏覽器/客戶端就可以訪問這些資源，并得到點對點的服務。第二種方式是直接接入，各創(chuàng)新主體直接租用共有云平臺的虛擬資源，將自己資源上傳到該平臺，然后通過該平臺提供的工具對資源進行有效管理[7]。

3.3 平臺的模塊設計

該平臺采用B/S結構，前臺采用HTML5響應式技術，使得用戶能夠通過PC和手機共同訪問平臺，后臺采用MVC框架設計，系統(tǒng)的主要功能模塊如圖2 所示。

其中，技術服務平臺主要向多元主體用戶提供技術轉移、成果轉化、需求對接等技術服務。公共服務平臺主要提供信息資訊服務，包括發(fā)布相關的行業(yè)信息，對國家相關政策進行導讀、分析，提供點對點的設備資源、技術信息資源、人才資源、行業(yè)數(shù)據(jù)資源、科技文獻資源、投資融資服務，提供科技項目、產(chǎn)學研項目申報、人員培訓等服務。產(chǎn)學研協(xié)同創(chuàng)新平臺主要給企業(yè)、高校和科研院所之間的協(xié)同技術創(chuàng)新提供環(huán)境，包含技術對接、技術服務和虛擬實驗室模塊，技術對接主要是針對某個項目發(fā)布請求，尋找技術合作伙伴進行合作研發(fā)；技術服務主要用來展示高校的重點實驗室、名師工作室的科技成果，以方便企業(yè)尋找伙伴進行商業(yè)合作；虛擬實驗室為校企合作創(chuàng)新研發(fā)提供一個研發(fā)平臺，包含共享的技術知識庫、行業(yè)數(shù)據(jù)庫，及整個項目合作過程中的資料、合作創(chuàng)新、協(xié)同研發(fā)等流程，該平臺綜合運用協(xié)同、Agent技術實現(xiàn)協(xié)同創(chuàng)新研發(fā)。各園區(qū)科技創(chuàng)新平臺主要是針對園區(qū)重點企業(yè)及行業(yè)的研發(fā)平臺，該平臺建立在企業(yè)內(nèi)部，主要任務是完成企業(yè)的科技研發(fā)工作。

3.4 所采用的關鍵技術

1）Hadoop云計算平臺架構。Hadoop是一個分布式數(shù)據(jù)和計算框架，能夠充分利用集群的威力進行高速運算和存儲，用戶使用該框架可以不需要了解分布式底層服務，也能開發(fā)分布式程序。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)HDFS，用來實現(xiàn)對海量數(shù)據(jù)的保存和管理，它的使用能夠消除網(wǎng)絡的擁堵，提高系統(tǒng)的整體吞吐量；MapReduce是Hadoop處理大量數(shù)據(jù)的編程框架，用于大規(guī)模數(shù)據(jù)集的并行運算，能夠減少數(shù)據(jù)冗余，高效率的處理網(wǎng)絡信息；HBase是構建在HDFS上的分布式的、面向列的開源數(shù)據(jù)庫，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力[7]。

在公有云中通過搭建Hadoop平臺，將采集到原始數(shù)據(jù)存儲到數(shù)據(jù)存儲區(qū)，數(shù)據(jù)存儲區(qū)采用HDPF模塊，該區(qū)由數(shù)據(jù)導入和數(shù)據(jù)分析兩個子模塊組成，數(shù)據(jù)導入子模塊將采集到原始數(shù)據(jù)進行預處理，過濾掉其中錯誤、殘缺的數(shù)據(jù)，得到有應用價值的初級數(shù)據(jù)，然后通過HDFS數(shù)據(jù)上傳接口，將預處理后的初級數(shù)據(jù)存儲到HDFS中；數(shù)據(jù)分析子模塊是建立在Hadoop的MapReduce框架之上的框架， 其主要功能為讀取HDFS上的數(shù)據(jù)并執(zhí)行MapReduce作業(yè)來進行數(shù)據(jù)處理分析工作，一個MapReduce作業(yè)在執(zhí)行時會分為兩個階段： Map（映射）和Reduce（歸約）， Map 階段對輸入的數(shù)據(jù)進行分片處理，即map（key1，value1）->list（key2，value2），映射成一組新的數(shù)據(jù)輸出， 新數(shù)據(jù)根據(jù)key值進行排序、合并、劃分等操作后將處理的結果交給Reduce 階段， Reduce 對數(shù)據(jù)里相同key 下的所有value 進行合并產(chǎn)生一組更小的數(shù)據(jù)對作為最終的結果輸出存入Hbase，供后續(xù)的如用戶查詢，深度挖掘分析等各類數(shù)據(jù)分析業(yè)務使用[8]，該平臺工作流程如圖3所示。

2）基于協(xié)同過濾的的智能推薦?；趨f(xié)同過濾的智能推薦就是根據(jù)用戶的相關信息進行數(shù)據(jù)挖掘，分析用戶興趣，基于不同的興趣對用戶進行群組劃分，綜合同一用戶群里的相似用戶對某一信息的興趣度，對目標用戶進行預測，并推薦類似的信息。

本平臺中的智能推薦系統(tǒng)模塊，是根據(jù)Hbase中的用戶基本信息、需求信息、訪問信息等個性化網(wǎng)絡行為和數(shù)據(jù)，采用協(xié)同過濾推薦算法挖掘分析出符合各主體用戶興趣偏好的信息，當該用戶登錄平臺時會主動將其感興趣的信息推薦給用戶，從而實現(xiàn)個性化服務，具體的推薦流程如4圖所示。

協(xié)同過濾智能推薦包括基于用戶的協(xié)同過濾推薦和基于項目的協(xié)同過濾推薦，本文采用的的是基于項目的協(xié)同過濾推薦，該推薦算法具體流程分三步走，第一步是收集用戶偏好，第二步是查詢最近鄰居，第三步是預測并進行推薦[9]，如圖5所示。1.用戶偏好收集2.查詢最近鄰居3.預測并進行推薦

1） 用戶偏好收集

從用戶隱性行為中收集用戶的偏好信息，通過回歸模型計算出一定的時間段內(nèi)用戶User對項目Item的興趣度值interest，根據(jù)這些這些興趣度值構建如上圖所示的“用戶——項矩陣” 模型。

2） 查詢最近鄰居

第一步：輸入數(shù)據(jù)， map階段接收輸入的，輸出UserID作為key值，ItemID和 interest作為value輸出。Reduce階段接收到用戶對每個ItemID的興趣度值后生成“用戶——項目矩陣”。

第二步：map階段接收“用戶——項目矩陣”后，提取每個用戶下的項目興趣度值，以項目對（ItemID（i），ItemID（j））作為key，項目對應的（interest（i），interest（j））作為value輸出。Reduce階段對相同key下的所有value進行處理，利用余弦相似度方法計算項目間相似度。

第三步：map階段根據(jù)所有項目ItemID間的相似度，得出每個項目的最近鄰居集合（neighborItems），輸出給 Reduce階段，根據(jù)目標用戶UserID的最近鄰居的興趣度值預測其對某個項目的興趣度值，通過對興趣度值的排序，得出推薦項目結果（recommendItems）返回給用戶。

4 結束語

隨著“互聯(lián)網(wǎng)+”的提出，創(chuàng)新成為推動社會發(fā)展的主要因素，單打獨斗的創(chuàng)新已經(jīng)無法滿足技術增長的需求，網(wǎng)絡的不斷發(fā)展、資源的日益龐大為協(xié)同創(chuàng)新提供了基礎。協(xié)同創(chuàng)新能夠將充分利用各主體的優(yōu)勢，提高資源的共享整合，達到更好的創(chuàng)新效果，創(chuàng)造更大的利益。本文主要研究了基于大數(shù)據(jù)的云計算網(wǎng)絡信息協(xié)同創(chuàng)新平臺，該平臺利用云計算技術解決了網(wǎng)絡信息不斷增大情況下的網(wǎng)絡堵塞等問題，同時將資源進行共享整合，降低創(chuàng)新的成本，提高協(xié)同創(chuàng)新的效率。隨著各主體用戶數(shù)據(jù)的不斷增長，用戶項目對接的難度不斷增大，為了使得各主體用戶能夠快速的找到需要的信息，我們設計了智能推薦模塊，采用了協(xié)同過濾算法進行推薦，取得了一定的效果，但是由于網(wǎng)絡上的一些信息沒有遵循行業(yè)的標準，存在不規(guī)范性，所以在某些情況會存在推薦質量低的問題，如何有效的解決這個問題，改進算法有待進一步研究。

參考文獻：

[1] 邵云飛，楊曉波，鄧龍江，等.高校協(xié)同創(chuàng)新平臺的構建研究[J].電子科技大學學報（社科版），2012（4）：79-84.

[2] 王翔，潘郁.基于云計算的協(xié)同技術創(chuàng)新平臺[J].計算機工程與應用，2011，47（15）：57-60.

[3] 霍麗，于淼，高義棟.云計算支持的群體協(xié)作學習環(huán)境研究[J].中國信息技術教育，2010（5）：77-80.

[4] 張瓊妮.網(wǎng)絡環(huán)境下區(qū)域協(xié)同創(chuàng)新平臺模式與機制及政策研究[D].杭州：浙江工商大學，2014.

[5] 趙偉，岳東升. 淺談大數(shù)據(jù)[J]. 佳木斯職業(yè)學院學報，2015（10）：447-447.

[6] 王少華，王可勤，牛振喜，等，基于云計算的產(chǎn)學研協(xié)同創(chuàng)新平臺研究[J].機械設計與制造工程，2014（5）：1-4.

[7] 林文輝.基于Hadoop的海量網(wǎng)絡數(shù)據(jù)處理平臺關鍵技術[D].北京：北京郵電大學，2011.

[8] 李秋虹.基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術研究[D].上海：復旦大學，2013.

[9] 呂佳. WEB日志挖掘技術應用研究[J]. 重慶師范大學學報， 2006， 4（23）： 39-44.

[10] 楊志文，劉波.基于Hadoop平臺協(xié)同過濾推薦算法[J].計算機系統(tǒng)應用，2013（7）：108-112.

（責任編輯：李 麗，范 君）