一種新的IoT PaaS大數(shù)據(jù)服務(wù)平臺(tái)的設(shè)計(jì)

孫麗娜，武海燕

(1.河南大學(xué)民生學(xué)院， 河南 開封 475004；2.鐵道警察學(xué)院 圖像與網(wǎng)絡(luò)偵查系， 鄭州 450053)

目前，信息科技是進(jìn)入企業(yè)市場的基本技術(shù)支撐，在國際市場科技運(yùn)用日益更新的壓力下，各產(chǎn)業(yè)邁入 21世紀(jì)的主要目標(biāo)是結(jié)合工業(yè)4.0，創(chuàng)造出智能產(chǎn)線，提高年、人均產(chǎn)值。國際上的大公司能夠透過物聯(lián)網(wǎng)與大數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控，達(dá)成公司由制造業(yè)轉(zhuǎn)型為大數(shù)據(jù)服務(wù)的目標(biāo)[1-2]。對(duì)國內(nèi)制造業(yè)來說，信息化所需的門坎過高，包括軟件開發(fā)、軟件測試、營運(yùn)系統(tǒng)。目前的信息化相關(guān)服務(wù)產(chǎn)品已無法滿足中小型制造業(yè)及用戶對(duì)應(yīng)市場這一區(qū)段的具體要求，部分產(chǎn)品針對(duì)單機(jī)提供的軟件或云端服務(wù) (針對(duì)軟、硬件服務(wù))，亦無法有效全面提升產(chǎn)線智能。故產(chǎn)業(yè)亟需整合機(jī)臺(tái)物聯(lián)網(wǎng)與制造云服務(wù)平臺(tái)，從而提升整體產(chǎn)業(yè)之上、下游競爭力。

在云端服務(wù)時(shí)代，軟件服務(wù)[3-5](software as a service) 與基礎(chǔ)設(shè)備服務(wù)[6-7](infrastructure as a service)是大家較熟悉的兩個(gè)服務(wù)層，一般是較容易理解的類軟件及硬件層，此兩大類云端服務(wù)在過去的發(fā)展階段獲得了大多數(shù)公司與研究機(jī)構(gòu)的關(guān)注與投入，經(jīng)多年努力，已取得可觀的進(jìn)展[8-10]。近年來，越來越多的研究團(tuán)隊(duì)已開始將研發(fā)的目光聚焦于平臺(tái)服務(wù)PaaS[10-11]。平臺(tái)服務(wù)定義為提供應(yīng)用程序工程師開發(fā)、執(zhí)行與管理應(yīng)用程序的云端系統(tǒng)環(huán)境，此服務(wù)將應(yīng)用程序開發(fā)的系統(tǒng)層 (例如數(shù)據(jù)儲(chǔ)存與分析處理 )以API接口方式提供給應(yīng)用程序接入使用，提高開發(fā)效率、降低開發(fā)與維護(hù)成本[12]。

建構(gòu)高效能、高容量、高穩(wěn)定性與易用性高的物聯(lián)網(wǎng)云端服務(wù)平臺(tái)系統(tǒng)是本文研究的目標(biāo)。在提供客戶端軟件服務(wù)的作用平臺(tái)服務(wù)中，本文的解決策略是發(fā)展物聯(lián)網(wǎng)云端服務(wù)平臺(tái)技術(shù)，以大幅降低產(chǎn)業(yè)發(fā)展信息化的門坎，提供一個(gè)垂直整合度高的數(shù)據(jù)收集與儲(chǔ)存平臺(tái)，負(fù)責(zé)收集物聯(lián)網(wǎng)裝置的各項(xiàng)數(shù)據(jù)，從而建立一個(gè)具有高性能的分布式計(jì)算平臺(tái)，負(fù)責(zé)執(zhí)行客戶端應(yīng)用服務(wù)所上傳的數(shù)據(jù)分析應(yīng)用程序。

1 大數(shù)據(jù)處理與分析

透過物聯(lián)網(wǎng)的建立與信息傳播技術(shù)的更新，人們生活與工作環(huán)境所產(chǎn)生的各項(xiàng)數(shù)據(jù)被系統(tǒng)快速地聚集，這是在物聯(lián)網(wǎng)盛行前所無法達(dá)到的數(shù)據(jù)規(guī)模數(shù)(PB規(guī)模以上)。據(jù)Statista 2018年最新統(tǒng)計(jì)數(shù)據(jù)顯示：2018年全球連接的物聯(lián)網(wǎng)設(shè)備數(shù)量達(dá)到了230億，至2025年物聯(lián)網(wǎng)設(shè)備數(shù)量將增加到750億。這說明物聯(lián)網(wǎng)時(shí)代的到來，伴隨而至的挑戰(zhàn)是對(duì)數(shù)據(jù)提供有效率的處理，故對(duì)物聯(lián)網(wǎng)海量數(shù)據(jù)的處理也得到越來越多的關(guān)注。

1.1 大數(shù)據(jù)分析方法

對(duì)大數(shù)據(jù)處理的挑戰(zhàn)已定義為4個(gè)主要方面：量(volume)、速度(velocity)、多變性(variety)、價(jià)值(value)，大多數(shù)的機(jī)構(gòu)或企業(yè)對(duì)大數(shù)據(jù)的處理仍著重于前3個(gè)方面，對(duì)于第4個(gè)方面則有較多不同的見解與定義。

有高質(zhì)量的原始數(shù)據(jù)，容易得到高效率與高價(jià)值的信息。數(shù)據(jù)的不良情況包含不完整性、噪聲與不一致性等，數(shù)據(jù)的處理意味著在原始數(shù)據(jù)寫入數(shù)據(jù)庫前必須進(jìn)行前置處理，以達(dá)到高質(zhì)量的目標(biāo)。前置處理主要著重于數(shù)據(jù)寫入前處理，這在數(shù)據(jù)分析前屬于重要的部分。

前面對(duì)大數(shù)據(jù)的第4個(gè)挑戰(zhàn)，即如何處理原始數(shù)據(jù)后提高其附加值，特別是對(duì)數(shù)據(jù)進(jìn)行分析以獲取有用的信息再加以利用，這就是數(shù)據(jù)的加值服務(wù)。目前，業(yè)界采用的分析方法為早期由谷歌提出的一個(gè)程式模型MapReduce，由于其企業(yè)特性常須面對(duì)使用者并要求在大量的數(shù)據(jù)里搜尋目標(biāo)數(shù)據(jù)，其架構(gòu)為用一組map函數(shù)并行處理大量原始數(shù)據(jù)，再由另一組reduce函數(shù)進(jìn)行運(yùn)算合并的作業(yè)，這樣的分析架構(gòu)在本質(zhì)上已具有平行處理能力。然而，這是針對(duì)因特網(wǎng)型搜尋形態(tài)的作業(yè)，前提是針對(duì)大數(shù)據(jù)具有扁平而規(guī)律的結(jié)構(gòu)，并分布于數(shù)個(gè)機(jī)器與儲(chǔ)存裝置中，對(duì)于需大量運(yùn)算類型的分析工作，則不具有任何優(yōu)勢。

MapReduce在對(duì)數(shù)據(jù)做中介處理時(shí)，必須對(duì)儲(chǔ)存裝置進(jìn)行大量的輸出輸入作業(yè)，缺乏效率。為解決此問題，加州伯克利大學(xué)的AMP實(shí)驗(yàn)室開發(fā)一個(gè)開源叢集運(yùn)算架構(gòu) Spark，其最重要的特性是將需要處理的數(shù)據(jù)以及中介數(shù)據(jù)放于內(nèi)存中，對(duì)處理的效率與速度有顯著的效能提升。

1.2 云端平臺(tái)服務(wù)

目前，各家通訊與科技公司皆積極投入平臺(tái)服務(wù)的開發(fā)，目前存在的平臺(tái)服務(wù)有：

IBM Bluemix：以Cloud Foundry為基底，建構(gòu)開放式云端服務(wù)平臺(tái)，主要提供 IBM 軟件使用權(quán)給因特網(wǎng)與行動(dòng)開發(fā)人員，進(jìn)行快速應(yīng)用程序開發(fā)，目標(biāo)是大幅減少創(chuàng)建和配置應(yīng)用程序所需開發(fā)時(shí)程。

甲骨文云端平臺(tái)(oracle cloud platform)：針對(duì)合作伙伴及產(chǎn)品用戶的開發(fā)人員，簡化開發(fā)應(yīng)用程序周期，提供一致化服務(wù)平臺(tái)，拓展甲骨文軟件服務(wù)(SaaS)開發(fā)應(yīng)用。

亞馬遜(Amazon) PaaS：在各企業(yè)中最早大規(guī)模投入云端服務(wù)建置領(lǐng)域，其服務(wù)平臺(tái)主要提供應(yīng)用程序信息的儲(chǔ)存與傳遞，主要目標(biāo)是進(jìn)行企業(yè)云端服務(wù)的垂直整合，為其客戶提供更完整的服務(wù)。

研華WISE-PaaS：憑借其在工業(yè)計(jì)算機(jī)全球市場的占有率第一，進(jìn)行其與客戶端的垂直整合開發(fā)平臺(tái)，主要采堆積木方式，透過其伙伴合作方案，協(xié)助客戶端開發(fā)人員共同加速打造專屬物聯(lián)網(wǎng)應(yīng)用軟件。

綜上，可以歸納出幾個(gè)關(guān)于服務(wù)平臺(tái)研發(fā)的重要方面：① 平臺(tái)跨領(lǐng)域的服務(wù)是一個(gè)巨大的議題與挑戰(zhàn)，這些企業(yè)的研發(fā)成果也無法有效地涵蓋平臺(tái)服務(wù)范圍的廣度與深度，大部分仍以企業(yè)既有客戶群進(jìn)行垂直整合為出發(fā)點(diǎn)；② 平臺(tái)的研發(fā)目前仍著重于大量數(shù)據(jù)寫入與讀取的處理，對(duì)于增值產(chǎn)出的部分仍缺乏較具體的成果。

2 本文IoT PaaS架構(gòu)

本平臺(tái)建構(gòu)的主要目標(biāo)是提供一個(gè)數(shù)據(jù)收集與儲(chǔ)存平臺(tái)，負(fù)責(zé)收集物聯(lián)網(wǎng)裝置的各項(xiàng)數(shù)據(jù)。同時(shí)，提供一個(gè)高性能的分布式計(jì)算平臺(tái)，負(fù)責(zé)執(zhí)行應(yīng)用軟件服務(wù)所上傳的數(shù)據(jù)分析應(yīng)用程序。基于分布式架構(gòu)，將工作進(jìn)行分流，配置不同服務(wù)器，達(dá)到運(yùn)算負(fù)載平衡的并行處理，得到對(duì)多傳感器數(shù)據(jù)處理與分析的有效性能表現(xiàn)。

2.1 平臺(tái)架構(gòu)

本平臺(tái)架構(gòu)采用分布式架構(gòu)設(shè)計(jì)，如圖1所示，主要包含3個(gè)模塊，分別為注冊(cè)模塊、數(shù)據(jù)收集模塊與分布式運(yùn)算模塊。

圖1 本文IoT PaaS架構(gòu)

IoT PaaS平臺(tái)布署后可由營運(yùn)支持接口透過注冊(cè)模塊提供的應(yīng)用程序編程接口(APIs)來注冊(cè)使用者與服務(wù)，注冊(cè)之后，才能提供客戶端進(jìn)行機(jī)器設(shè)備的注冊(cè)。在數(shù)據(jù)收集方面，已注冊(cè)且認(rèn)證過的機(jī)器設(shè)備與傳感器可使用數(shù)據(jù)收集模塊提供的APIs將數(shù)據(jù)傳送至平臺(tái)數(shù)據(jù)庫儲(chǔ)存。

當(dāng)數(shù)據(jù)開始寫入后，即可進(jìn)行數(shù)據(jù)分析。例如，訓(xùn)練一個(gè)商品退貨 (RMA)預(yù)測模型，此時(shí)云端軟件服務(wù)程序可以透過分布式計(jì)算模塊提供的 APIs將數(shù)據(jù)分析程序上傳至平臺(tái)，并使用此平臺(tái)提供的分布式計(jì)算環(huán)境進(jìn)行運(yùn)算，運(yùn)算完成后可以使用 API進(jìn)行預(yù)測模型運(yùn)算 (可進(jìn)行實(shí)時(shí)或批次的預(yù)測運(yùn)算)并完成結(jié)果取回(如圖2)，其中“ACL模組”表示訪問控制列表(access control list，ACL)，目前僅提供基本權(quán)限控制，亦可用來延伸與云端垂直服務(wù)層權(quán)限進(jìn)行整合，達(dá)到對(duì)云端所有服務(wù)一致的控制。

圖2 平臺(tái)模塊與周邊關(guān)系

2.2 不同模塊的介紹

1) 注冊(cè)模塊。平臺(tái)的數(shù)據(jù)注冊(cè)主要針對(duì)機(jī)器設(shè)備與傳感器，為便于對(duì)數(shù)據(jù)的后續(xù)收集與管理，將一企業(yè)組織定義為3個(gè)階層，即廠區(qū)(Company)、機(jī)器設(shè)備(Machine)與傳感器(Sensor)。注冊(cè)模塊對(duì)于任一階層對(duì)象的識(shí)別，以〈C,M,S〉定義，其中C表示廠區(qū)物件，M表示機(jī)器設(shè)備對(duì)象，S表示傳感器物件?？蛻舳瞬捎么私M合定義與IoT PaaS對(duì)其所屬的各階層對(duì)象進(jìn)行注冊(cè)作業(yè)。

本模塊作業(yè)數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)庫(MySQL)儲(chǔ)存相關(guān)管理性數(shù)據(jù)，注冊(cè)模塊的數(shù)據(jù)庫作業(yè)程序以標(biāo)準(zhǔn)SQL語法進(jìn)行。此類數(shù)據(jù)庫為管理性數(shù)據(jù)庫，本身極具結(jié)構(gòu)化特性，且數(shù)據(jù)量(MB)在作業(yè)能力可接收范圍內(nèi)。

2) 數(shù)據(jù)收集模塊。儲(chǔ)存與處理來自傳感器終端設(shè)備的大數(shù)據(jù)量是本平臺(tái)研發(fā)的主要目標(biāo)。因此，對(duì)于原始數(shù)據(jù)的特性須經(jīng)由分析后設(shè)計(jì)其綱要結(jié)構(gòu)，以決定最佳儲(chǔ)存與處理效能的目標(biāo)數(shù)據(jù)庫。由于各產(chǎn)業(yè)結(jié)構(gòu)與設(shè)備性質(zhì)差異較大，為取得最具彈性化的設(shè)計(jì)，響應(yīng)上述討論中有關(guān)大數(shù)據(jù)的多樣性挑戰(zhàn)，在數(shù)據(jù)綱要設(shè)計(jì)上采用以下的基本數(shù)據(jù)元設(shè)計(jì)：

{“key”,“value”[；…]}；

key：數(shù)據(jù)屬性名稱；

value：原始數(shù)據(jù)值

其中“[…]”表示數(shù)據(jù)屬性數(shù)量，可由用戶自行定義，不需要預(yù)先定義數(shù)據(jù)庫綱要。

對(duì)于這類原始數(shù)據(jù)，半結(jié)構(gòu)或非結(jié)構(gòu)性是其主要特質(zhì)。模塊提供數(shù)據(jù)以實(shí)時(shí)或批次方式將傳感器數(shù)據(jù)寫入平臺(tái)內(nèi)數(shù)據(jù)庫。由于數(shù)據(jù)源的特性，對(duì)于此類數(shù)據(jù)，本模塊采用PostgreSQL數(shù)據(jù)庫作為原始數(shù)據(jù)的儲(chǔ)存目的地。

3) 分布式運(yùn)算模塊。為實(shí)現(xiàn)對(duì)大量數(shù)據(jù)進(jìn)行有效的實(shí)時(shí)或批次分析，分散并行運(yùn)算架構(gòu)是最佳選擇。采用Mesos作底層工作節(jié)點(diǎn)管理加上 Spark的分散運(yùn)算架構(gòu)建立分布式計(jì)算環(huán)境，如圖3所示。Mesos是一個(gè)開放原始碼的叢集管理系統(tǒng)，主要實(shí)現(xiàn)分散應(yīng)用程序間的資源隔離與分享。

圖3 Spark分布式計(jì)算架構(gòu)圖

由于Spark將運(yùn)算數(shù)據(jù)塊皆存放于記憶體內(nèi)部，因此在分析成效上有顯著的效率。而且，對(duì)于叢集內(nèi)多工作節(jié)點(diǎn)的管理，Mesos采用的架構(gòu)具有自動(dòng)產(chǎn)生master管理的智能機(jī)制，所有分布式節(jié)點(diǎn)共享分布式文件系統(tǒng)。這符合對(duì)大數(shù)據(jù)分析的另一挑戰(zhàn)，目標(biāo)是在建立分布式計(jì)算環(huán)境、提供平臺(tái)使用者進(jìn)行有效的分析后，將結(jié)果反饋回終端裝置進(jìn)行智能管理，以提高產(chǎn)能。

3 平臺(tái)通信接口設(shè)計(jì)

本平臺(tái)對(duì)應(yīng)來自終端傳感器的大量數(shù)據(jù)寫入/讀取處理與智慧分析的服務(wù)，由一群高效率的服務(wù)器接口(以下簡稱API)來完成，此API集終端裝置與平臺(tái)的通訊需求，借用高效率與安全的通訊傳輸，以實(shí)現(xiàn)對(duì)產(chǎn)生的大量數(shù)據(jù)進(jìn)行效的處理與應(yīng)用。

本設(shè)計(jì)規(guī)范采用RESTful API軟件架構(gòu)設(shè)計(jì)風(fēng)格，考慮企業(yè)客戶對(duì)來自于物聯(lián)網(wǎng)大量數(shù)據(jù)所需的存取與數(shù)據(jù)分析需求，使用者依據(jù)本規(guī)范建置物聯(lián)設(shè)備端數(shù)據(jù)存取應(yīng)用程序及快速導(dǎo)入業(yè)界規(guī)范的大數(shù)據(jù)分析方法，如 Hadoop/Spark，從而快速有效地建立與存取其所屬基本數(shù)據(jù)及物聯(lián)設(shè)備產(chǎn)生的大量數(shù)據(jù)，并針對(duì)大數(shù)據(jù)分析提供擴(kuò)充功能，有效提高企業(yè)產(chǎn)能。

本設(shè)計(jì)規(guī)范之?dāng)?shù)據(jù)存取API服務(wù)用于物聯(lián)設(shè)備端與云端數(shù)據(jù)儲(chǔ)存平臺(tái)時(shí)能自動(dòng)化對(duì)接、實(shí)時(shí)作業(yè)監(jiān)控、提供數(shù)據(jù)集存取與導(dǎo)入巨量信息分析程序進(jìn)行信息提取等。企業(yè)客戶可根據(jù)本規(guī)范提供的 API接口定義進(jìn)行相關(guān)應(yīng)用程序編程接口開發(fā)，以提供數(shù)據(jù)用戶或開發(fā)者一致性 API，進(jìn)行取得、搜尋或分析所需的數(shù)據(jù)集數(shù)據(jù)，以取得有益信息并反饋給物聯(lián)設(shè)備進(jìn)行產(chǎn)能修正，從而有效提升產(chǎn)能。

數(shù)據(jù)存取應(yīng)用程序API接口主要提供一般結(jié)構(gòu)化數(shù)據(jù)內(nèi)容存取，不包括數(shù)據(jù)內(nèi)容應(yīng)用層面解析，如復(fù)雜數(shù)學(xué)邏輯運(yùn)算篩選、應(yīng)用領(lǐng)域所代表之意義判斷、字段之間相關(guān)性等。

界面規(guī)范準(zhǔn)則分為語法規(guī)則和命名規(guī)則。語法規(guī)則采用RESTfulAPI的規(guī)劃，主要目標(biāo)是要讓企業(yè)客戶以HTTPGET、POST、DELETE方法存取IoTPaaS數(shù)據(jù)。API呼叫回傳內(nèi)容格式則以Json為主，API服務(wù)路徑采用URI通用語法組成，分為服務(wù)網(wǎng)址(scheme+host)、資源路徑(API service path)和服務(wù)選項(xiàng) (API Query Options)。其中，服務(wù)網(wǎng)址為平臺(tái)上提供該類別API應(yīng)用服務(wù)之協(xié)議(目前僅支持HTTP)及主機(jī)網(wǎng)址/域名。資源路徑接續(xù)于服務(wù)網(wǎng)址后，指定某一API服務(wù)項(xiàng)目路徑名稱。服務(wù)選項(xiàng)接續(xù)于API服務(wù)項(xiàng)目路徑后，針對(duì)某一API服務(wù)，指定欲進(jìn)行的作業(yè)數(shù)據(jù)參數(shù)。

命名規(guī)則：定義API接口的命名原則，提供企業(yè)客戶于開發(fā)平臺(tái)應(yīng)用程序可依循之API 呼叫，命名規(guī)則依據(jù)下列格式定義并提供API服務(wù)：

{/}{VERSION}{/}{OBJECT}[{/}{SUBOBJ}…]

其中：{}表示必要項(xiàng)目；[]表示選擇項(xiàng)目；…表示允許多重項(xiàng)目。

對(duì)于API界面類型，主要提供兩大類型服務(wù)，即數(shù)據(jù)異動(dòng)與取出。

1) 數(shù)據(jù)異動(dòng)

POST：用于新增一企業(yè)級(jí)客戶、部門廠區(qū)(company_uuid)、新增及修改機(jī)器/傳感器的基本管理數(shù)據(jù)及感測數(shù)據(jù)、分析服務(wù)應(yīng)用程序的作業(yè)部署與啟動(dòng)。對(duì)于企業(yè)自建的私有物聯(lián)網(wǎng)云端數(shù)據(jù)儲(chǔ)存平臺(tái)，則可用于建立分公司/單位賬號(hào)。

DELETE：刪除機(jī)器/傳感器的感測數(shù)據(jù)。

2) 數(shù)據(jù)取出

GET:用于向IoT PaaS取得數(shù)據(jù)庫的數(shù)據(jù)，包括會(huì)期標(biāo)識(shí)符、企業(yè)客戶列表、機(jī)器/傳感器的管理數(shù)據(jù)、機(jī)器/傳感器的感測數(shù)據(jù)、分析服務(wù)應(yīng)用程序的結(jié)果、分析服務(wù)應(yīng)用程序的狀態(tài)及物聯(lián)網(wǎng)云端數(shù)據(jù)儲(chǔ)存平臺(tái)運(yùn)作記錄。

4 平臺(tái)測試與分析

本文IoT PaaS服務(wù)平臺(tái)的建置實(shí)現(xiàn)采用最輕量的架構(gòu)進(jìn)行平臺(tái)設(shè)計(jì)與實(shí)行，主要目的為取得平臺(tái)的壓力參數(shù)作為擴(kuò)增的架構(gòu)參考數(shù)據(jù)。

本平臺(tái)測試實(shí)驗(yàn)的主要參數(shù)如表1所示。測試環(huán)境部署因特網(wǎng)服務(wù)器(nginx+uwsgi+Flask)，使其對(duì)應(yīng)于處理使用者端的RestfulAPI服務(wù)要求；其次，安裝管理性數(shù)據(jù)庫(MySQL5.6)與感測器原始數(shù)據(jù)庫(PostgreSQL9.5)。分布式分析運(yùn)算叢集部署包含1臺(tái)Spark驅(qū)動(dòng)器、1臺(tái)Mesos-Master及2臺(tái)Mesos-slave。

表1 本文IoT PaaS 系統(tǒng)實(shí)驗(yàn)工作環(huán)境參數(shù)

由于設(shè)計(jì)與建置一云端平臺(tái)服務(wù)對(duì)于其他云端垂直服務(wù)具有復(fù)雜的依存關(guān)系，在學(xué)界尚未有統(tǒng)一的量測性效能因子用作各平臺(tái)的比較，故對(duì)平臺(tái)服務(wù)的基準(zhǔn)驗(yàn)證是一項(xiàng)困難的工作。鑒于此，對(duì)本平臺(tái)部署完成后進(jìn)行測試驗(yàn)證，以設(shè)計(jì)的功能與時(shí)間效能作為參考。在功能完整性方面，平臺(tái)的設(shè)計(jì)目標(biāo)在于提供高效、高容量的數(shù)據(jù)處理與分析。APIs的定義與各功能測試項(xiàng)目見表2，涵蓋對(duì)云端平臺(tái)服務(wù)的各功能項(xiàng)目。

表2 API功能測試

部分應(yīng)用程序支持接口(API)的運(yùn)行時(shí)間分析見圖4。進(jìn)行深入的時(shí)間分析可見，約70%的時(shí)間用在信息接收后的解密運(yùn)算，以增進(jìn)更多Restful API服務(wù)需求的數(shù)量。目前，測試單一因特網(wǎng)服務(wù)器的 HTTP服務(wù)時(shí)要求進(jìn)行負(fù)載測試，結(jié)果表明：在完成單一“GET_SESS”API的標(biāo)準(zhǔn)測試下可達(dá)1 800 次/s。

圖4 應(yīng)用程序編程接口(APIs)運(yùn)行時(shí)間

對(duì)于數(shù)據(jù)處理與分析的平臺(tái)服務(wù)時(shí)間效能測試結(jié)果見表3。

表3 數(shù)據(jù)處理時(shí)間效能

對(duì)于數(shù)據(jù)查詢的時(shí)間效能與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較如圖5所示。

圖5 查詢數(shù)據(jù)(50萬筆)時(shí)間比較

可以看出：本文平臺(tái)并行式數(shù)據(jù)存取架構(gòu)突破傳統(tǒng)硬件架構(gòu)存取效能，以分布式儲(chǔ)存技術(shù)(Spark并行式數(shù)據(jù)計(jì)算叢集)提高大數(shù)據(jù)存取與平行分析效能，數(shù)據(jù)加載時(shí)間比傳統(tǒng)SQL服務(wù)器減少了80%。

5 結(jié)束語

本文提出一種IoT PaaS平臺(tái)，其目標(biāo)在于能為客戶端有效解決終端設(shè)備大數(shù)據(jù)的處理與分析，從而推導(dǎo)出智慧管理策略，以有效提高產(chǎn)能。在數(shù)據(jù)量與多樣性方面為分布式儲(chǔ)存架構(gòu)與非結(jié)構(gòu)化數(shù)據(jù)庫的設(shè)計(jì)提供解決方案。在速度上，對(duì)于來自客戶端的API執(zhí)行要求，由于提供加解密的保護(hù)機(jī)制占據(jù)了執(zhí)行的大多數(shù)時(shí)間，運(yùn)行時(shí)間達(dá)毫秒級(jí)。在附加價(jià)值上，提供分布式計(jì)算的 Spark環(huán)境加上分布式文件系統(tǒng)的可擴(kuò)充性，對(duì)于原始數(shù)據(jù)分析的規(guī)模與復(fù)雜度可再進(jìn)行擴(kuò)增以提升其結(jié)果的價(jià)值與效能。實(shí)驗(yàn)結(jié)果表明：數(shù)據(jù)查詢速度與傳統(tǒng)數(shù)據(jù)庫相比有顯著提高。未來研究將主要關(guān)注如何減少解密過程的時(shí)間。