淺談大數(shù)據(jù)云服務平臺的原理與設計

沙威　邱曉榮　黃能耿

摘要；近年來，大數(shù)據(jù)和云服務得到了廣泛的關注和迅猛的發(fā)展，而結(jié)合兩者特點搭建的大數(shù)據(jù)云服務平臺更已成為科研領域中的重要焦點。本文簡述了大數(shù)據(jù)、云服務的概念原理和基本特點，并依此設計了一個大數(shù)據(jù)云服務平臺，同時也對該平臺的功能要求和技術(shù)指標做了一些簡單有益的探討。

關鍵詞：大數(shù)據(jù)；云服務；數(shù)據(jù)安全

中圖分類號：TP368.1 文獻標識碼：A 文章編號：1009-3044（2017）07-0083-02

近年來，隨著信息技術(shù)的迅速發(fā)展，人類社會發(fā)生了前所未有的變革，各行各業(yè)已經(jīng)普遍認識到海量信息的重要性。目前，在眾多的新興科技中，大數(shù)據(jù)和云服務是最受人們關注的兩個典型代表，而兩者的結(jié)合已經(jīng)成為科研領域中的重要焦點，眾多成果已經(jīng)越來越多地滲透到了現(xiàn)實生活。

1大數(shù)據(jù)技術(shù)

1.1大數(shù)據(jù)的定義

當今的信息社會中到處都充滿著種類繁多、信息多樣化的數(shù)據(jù)，例如電子商務平臺的購物數(shù)據(jù)、即時聊天工具的文字數(shù)據(jù)、視頻服務提供商的影音數(shù)據(jù)等，它們無時無刻地影響著人們的日常工作和衣食住行。根據(jù)國際咨詢公司Gartner給出的定義，“大數(shù)據(jù)”是一種需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的“大數(shù)據(jù)”定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。

1.2大數(shù)據(jù)的特點

美國IBM公司用5V來概括了大數(shù)據(jù)的性能特點，分別是：Volume（規(guī)模性）、Variety（多樣性）、Velocity（高速性）、Veracity（準確性）、Value（高值性）。其中，規(guī)模性指的是大數(shù)據(jù)的數(shù)據(jù)規(guī)模即可以達到TB、PB，甚至EB的規(guī)模。多樣性指的是大數(shù)據(jù)能夠包含各類形態(tài)和格式的數(shù)據(jù)。高速性指的是大數(shù)據(jù)一般需要在有限的時間限度內(nèi)獲得及時處理。準確性指的是大數(shù)據(jù)的處理結(jié)果務必要保證相當高的準確性。高值性是指大數(shù)據(jù)含有諸多深層次的價值，能夠通過數(shù)據(jù)分析和數(shù)據(jù)挖掘給整個社會帶來巨大的生產(chǎn)價值和商業(yè)價值。

1.3大數(shù)據(jù)對存儲的要求

大數(shù)據(jù)的數(shù)據(jù)類型一般可以分為三大類：傳統(tǒng)企業(yè)數(shù)據(jù)、機器和傳感器數(shù)據(jù)、社交數(shù)據(jù)等。大數(shù)據(jù)的出現(xiàn)，使得社會信息總量呈指數(shù)增長的趨勢，同時也對數(shù)據(jù)存儲提出了更高的要求，同時也對如何有效管理大數(shù)據(jù)提出了更高的要求。大數(shù)據(jù)對相關存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要綜合考慮數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性、功能集成度、系統(tǒng)可擴展性、性能及成本各方面因素，為此云服務平臺就應運而生了。

2云服務平臺

2.1云服務的定義

目前，在大數(shù)據(jù)實時性越來越高、計算量越來越大、數(shù)據(jù)越來越多的背景下，云服務已經(jīng)成為信息技術(shù)行業(yè)的一種主流基礎架構(gòu)和成熟商業(yè)模式。那么，什么是云服務平臺呢？云服務平臺，又被稱為云計算技術(shù)，是并行計算、分布式計算和網(wǎng)格計算進一步發(fā)展的產(chǎn)物。

根據(jù)美國國家標準和技術(shù)研究院NIST的定義，云計算是一種通過互聯(lián)網(wǎng)隨時隨地、便捷按需地訪問共享資源池（如應用服務、計算設施、存儲設施等）的計算模式。也可以把云計算可以看做是一種模型，該模型可以方便按需地訪問可配置的計算資源公共集（計算機網(wǎng)絡、計算機服務器、相關存儲設備、應用程序以及服務等等）。

2.2云服務的特點

一般來說，云服務具有以下5個特性：1）按需服務，可以依據(jù)終端用戶的實際需求對云服務所提供的各種資源進行自動分配。2）泛在接入，終端用戶可以依托各種智能終端（如筆記本、智能手機、平板電腦等）通過互聯(lián)網(wǎng)訪問云服務。3）資源池化，云服務資源依托資源池的方式，利用虛擬化等相關技術(shù)，按照用戶需求以多租戶的形式提供服務。4）快速伸縮，云服務的規(guī)模必須根據(jù)用戶需求快速響應，以能夠自動適應業(yè)務負載的動態(tài)變化。5）按使用計費，要求能夠?qū)崟r監(jiān)控云服務的資源使用量，并依據(jù)實時使用情況對服務精確計費。

3大數(shù)據(jù)云服務平臺

3.1任務簡介

大數(shù)據(jù)云服務平臺主要實現(xiàn)主數(shù)據(jù)中心和區(qū)域數(shù)據(jù)中心具有統(tǒng)一的門戶建設，該門戶具備登錄人口，統(tǒng)一的權(quán)限認證。實現(xiàn)現(xiàn)有應用的集成，服務接口的調(diào)用以及服務的統(tǒng)一管理（包括服務的注冊、發(fā)布和查詢等）。根據(jù)需求開發(fā)相應的界面，結(jié)合調(diào)用指定服務實現(xiàn)相應功能。此外，具體的開發(fā)任務還應包括；文檔撰寫、研制開發(fā)、配套服務、培訓與技術(shù)支持等幾個方面。

3.2系統(tǒng)框架

針對大數(shù)據(jù)云服務平臺的系統(tǒng)需求，該平臺主要包括以下幾個功能。以門戶網(wǎng)站形式展現(xiàn)系統(tǒng)平臺，將各類資源集成到門戶中；用戶訪問統(tǒng)一登錄人口、統(tǒng)一認證界面、統(tǒng)一權(quán)限管理；將現(xiàn)有的應用通過改造后進行界面集成；制定服務界面開發(fā)規(guī)范，提供服務界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，方便用戶開發(fā)服務界面并且能夠快速集成至服務平臺中。大數(shù)據(jù)云服務平臺的功能組成如圖1所示。

3.3功能要求

3.3.1門戶網(wǎng)站搭建

采用目前較為主流的技術(shù)架構(gòu)搭建，易于擴展，美觀實用的門戶網(wǎng)站。要求網(wǎng)站實現(xiàn)異地部署，統(tǒng)一用戶信息。各類資源可以方便的集成到該門戶中。

3.3.2模板、內(nèi)容管理模塊

網(wǎng)站內(nèi)容管理提供統(tǒng)一的內(nèi)容采編、模板和欄目管理；提供用戶自定義頁面布局。提供頁面預覽功能，在內(nèi)容編輯完成后和發(fā)布之前可以看到實際效果。

3.3.3單點登錄、統(tǒng)一權(quán)限管理

用戶訪問統(tǒng)一登錄人口地址，進入統(tǒng)一登錄認證界面。平臺具有獨立的用戶信息管理庫，當用戶登錄該平臺時，根據(jù)其權(quán)限顯示相應的內(nèi)容，包括：操作項、服務和開發(fā)資源等。所有的注冊服務都必須經(jīng)由該平臺啟動，平臺的權(quán)限管理只到服務級別，提供用戶信息調(diào)用服務接口。

3.3.4服務統(tǒng)一管理

提供服務界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，指導用戶如何開發(fā)服務界面并實現(xiàn)服務在該平臺上注冊、發(fā)布，方便用戶開發(fā)服務界面并且能夠快速集成至服務平臺中。將現(xiàn)有的通用支持平臺（圖計算處理、實時計算處理和內(nèi)存計算處理）和業(yè)務支撐平臺（業(yè)務數(shù)據(jù)可視化工具和交互式分析挖掘環(huán)境）等應用通過改造后以界面集成的方式集成到該平臺中。

3.3.5元數(shù)據(jù)服務界面

根據(jù)元數(shù)據(jù)服務要求編寫相應界面，調(diào)用相關服務實現(xiàn)該應用功能。

3.3.6多源異構(gòu)數(shù)據(jù)綜合查詢界面

根據(jù)多源異構(gòu)數(shù)據(jù)綜合查詢系統(tǒng)流程和要求編寫相應界面，組織符合統(tǒng)一查詢標準的SQL語句，調(diào)用統(tǒng)一數(shù)據(jù)查詢接口，實現(xiàn)相應查詢功能。

3.3.7平臺管理

提供平臺日志管理，包括；查詢、刪除和導出等。根據(jù)用戶使用情況，在不改變平臺架構(gòu)的情況下，對平臺進行修改，以滿足使用的需求。

3.4技術(shù)指標

1）網(wǎng)頁響應時間：≤2S；

2）平臺并發(fā)用戶數(shù)：≥1000個。

4小結(jié)

隨著科技的進一步發(fā)展，大數(shù)據(jù)將逐漸成為信息處理的主流和必然發(fā)展趨勢。在大數(shù)據(jù)場景下，云服務的應用滿足了海量數(shù)據(jù)存儲的需求，能夠?qū)崿F(xiàn)對大數(shù)據(jù)的科學有效管理。本文簡單介紹了大數(shù)據(jù)、云服務的概念原理和基本特點，并依此設計了一個大數(shù)據(jù)云服務平臺，同時也對該平臺的功能要求和技術(shù)指標做了一些簡單有益的探討。