大數(shù)據(jù)和云計算在物聯(lián)網(wǎng)中的應(yīng)用

汪曙光+許令順+劉天霽+周青奎+方明英

摘要：近十年物聯(lián)網(wǎng)技術(shù)不斷發(fā)展，已經(jīng)和計算機網(wǎng)絡(luò)、互聯(lián)網(wǎng)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等融合成一個整體?，F(xiàn)代物聯(lián)網(wǎng)的建設(shè)成為了一個融合了無線技術(shù)、光纖傳輸技術(shù)、計算機網(wǎng)絡(luò)技術(shù)、計算機軟件技術(shù)為一體的綜合性工程。由于傳感器網(wǎng)的規(guī)模不斷擴大，從傳感器獲取的數(shù)據(jù)將是TB級別的數(shù)據(jù)，未來甚至是PB級的數(shù)據(jù)規(guī)模。一個完整的物聯(lián)網(wǎng)應(yīng)用包括了感知層、傳輸層、匯聚層和應(yīng)用層，該文所述的應(yīng)用架構(gòu)借助大數(shù)據(jù)和云計算平臺讓物聯(lián)網(wǎng)具備了智慧，讓物聯(lián)網(wǎng)更為精細更為智能。

關(guān)鍵詞：大數(shù)據(jù)；云計算；物聯(lián)網(wǎng)

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）28-0282-02

近十年物聯(lián)網(wǎng)技術(shù)不斷發(fā)展，已經(jīng)和計算機網(wǎng)絡(luò)、互聯(lián)網(wǎng)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等融合成一個整體，不再像以外作為傳感器設(shè)備的管理網(wǎng)絡(luò)單一存在。早期單一的傳感設(shè)備加傳感網(wǎng)絡(luò)的應(yīng)用已經(jīng)無法滿足當前的復(fù)雜需求了?，F(xiàn)在物聯(lián)網(wǎng)已經(jīng)被廣泛應(yīng)用在智慧城市、智慧園區(qū)、智慧電網(wǎng)、智慧交通、智慧物流、智慧農(nóng)業(yè)等多種領(lǐng)域[1，2]。其所涉及的領(lǐng)域非常多，傳感器的種類也越來越多，如溫度傳感器、紅外傳感器、液位傳感器、酸堿度傳感器、壓力傳感器、視覺傳感器、地理信息傳感器等傳感器種類非常多。

如此多的應(yīng)用場景和種類繁多的傳感器，讓物聯(lián)網(wǎng)的建設(shè)成為了一個融合了無線技術(shù)、光纖傳輸技術(shù)、計算機網(wǎng)絡(luò)技術(shù)、計算機軟件技術(shù)為一體的綜合性工程。由于傳感器網(wǎng)的規(guī)模不斷擴大，從傳感器獲取的數(shù)據(jù)將是TB級別的數(shù)據(jù)，未來甚至是PB級的數(shù)據(jù)規(guī)模。巨大的數(shù)據(jù)背后蘊含著無限的數(shù)據(jù)價值。這就需要大數(shù)據(jù)和云計算來做技術(shù)支撐，讓物品除了狀態(tài)以外還可以具備智能。大數(shù)據(jù)和云計算在物聯(lián)網(wǎng)中的應(yīng)用，就是借助數(shù)據(jù)平臺讓物聯(lián)網(wǎng)具備智能的過程[3，4]。

1 應(yīng)用框架定義

目前就物聯(lián)網(wǎng)的概念而言，并沒有統(tǒng)一的標準來定義，例如感知器的數(shù)據(jù)標準，數(shù)據(jù)傳輸標準，網(wǎng)絡(luò)統(tǒng)一標準等都沒有，因此物聯(lián)網(wǎng)在早期的建設(shè)中是一個異構(gòu)的網(wǎng)絡(luò)環(huán)境，數(shù)據(jù)各異。為了解決這一問題，近幾年越來越多的智慧項目在物聯(lián)網(wǎng)的建設(shè)中，開始采用分層建設(shè)的思路。

結(jié)合目前大多數(shù)智慧項目的建設(shè)思路，可以將系統(tǒng)劃分為感知層、傳輸層、匯聚層和應(yīng)用層等四個層次。如圖1所示。

感知層是系統(tǒng)的基礎(chǔ)，感知層負責收集感知數(shù)據(jù)再按照感知網(wǎng)約定的無線通訊協(xié)議傳給感知網(wǎng)的網(wǎng)關(guān)設(shè)備，再有網(wǎng)關(guān)設(shè)備將數(shù)據(jù)傳給傳輸層。一般傳感器分為普通傳感器和智能傳感器，普通傳感器只具有感知能力，而智能傳感器是在普通傳感器的基礎(chǔ)上加入了計算模塊和通信模塊。在智慧項目的建設(shè)中，一些關(guān)鍵傳感信息一般采用智能傳感器。如：環(huán)境監(jiān)測、智能路燈控制、土地監(jiān)測等應(yīng)用場景，都會在傳感的基礎(chǔ)上，增加一些實時計算分析的能力，再通過無線通信模塊，傳給感知網(wǎng)網(wǎng)關(guān)。目前常用的感知網(wǎng)技術(shù)有zigbee、LoRa和NBIOT分別在不同的應(yīng)用場景使用。

2 物聯(lián)網(wǎng)技術(shù)

目前在物聯(lián)網(wǎng)的技術(shù)架構(gòu)上，大多涉及無線通訊技術(shù)，也是感知層網(wǎng)絡(luò)建設(shè)的基礎(chǔ)架構(gòu)，是M2M（Machine to Machine）的基礎(chǔ)用于物物互聯(lián)減少有線建設(shè)的成本。從應(yīng)用成熟度而言，zigBee更為擅長在室內(nèi)工業(yè)領(lǐng)域和智能家居等領(lǐng)域的應(yīng)用，Wi-fi或藍牙由于通訊距離限制一般在消費類家電和終端電子產(chǎn)品上應(yīng)用，Lora和NBIOT由于通訊距離長帶寬占用少適合在戶外覆蓋面大的智慧項目建設(shè)中使用。

由于本文所涉及應(yīng)用為智慧項目的建設(shè)應(yīng)用，因此采用Lora或NBIOT技術(shù)作為物聯(lián)網(wǎng)的無線通訊網(wǎng)絡(luò)。毫無疑問，微信通訊有著部署方便，成本低，網(wǎng)絡(luò)架構(gòu)靈活等天然優(yōu)勢。對于戶外的應(yīng)用（如：地磁、井蓋、垃圾桶、環(huán)境采集、路燈控制等）而言，一般要求低功耗低帶寬、低功耗、遠距離、連接數(shù)量大。這樣就提出了LPWAN的概念，即低功耗廣域網(wǎng)的概念，Lora和NBIOT是目前較為主流的LPWAN技術(shù)。NBIOT并非使用公共頻段要求接入運營商的私有云環(huán)境，因此在應(yīng)用上缺乏靈活性。LoRa憑借其開放的技術(shù)特點越來越多的廠家參與開放，并且LoRa提供LoRaWAN服務(wù)，通過后臺軟件管理系統(tǒng)讓LoRa可以管理數(shù)萬個網(wǎng)絡(luò)節(jié)點，更大范圍的擴展了其應(yīng)用范圍，因此也越來越多地被智慧項目采納。在實際應(yīng)用上也有Lora over IP的方案，即把LoRa的DeviceEUI、APP EUI、Network ID、FPort等信息唯一標示傳感應(yīng)用，而傳輸層上由可能是帶IP的報頭，因此在Lora over IP方案中，Lora網(wǎng)關(guān)會通過IP報頭來封裝信息，這樣給上層匯聚層就可以像處理普通TCP報文那樣處理。

在物聯(lián)網(wǎng)的穩(wěn)定性和安全性方面，系統(tǒng)設(shè)計必須滿足高度的可靠性和可用性的要求。物聯(lián)網(wǎng)技術(shù)并非無懈可擊，仍然可能會面臨非法、病毒的襲擊等威脅。因此，物聯(lián)網(wǎng)介入的通信網(wǎng)絡(luò)，信息的安全和穩(wěn)定傳輸也是急需解決的問題。實現(xiàn)物聯(lián)網(wǎng)異構(gòu)系統(tǒng)通信協(xié)議轉(zhuǎn)換以及傳感節(jié)點的安全接入；物聯(lián)網(wǎng)信息安全接入平臺的總體技術(shù)架構(gòu)與建設(shè)方案；建立物聯(lián)網(wǎng)的邊界安全規(guī)范體系，保證各環(huán)節(jié)傳感節(jié)點及信息的統(tǒng)一安全接入。

3 大數(shù)據(jù)服務(wù)技術(shù)

如前所述在匯聚層所涉及的感知數(shù)據(jù)會非常巨大，因此需要大數(shù)據(jù)和云計算的技術(shù)架構(gòu)來支持服務(wù)。一般建設(shè)大數(shù)據(jù)和云計算的技術(shù)架構(gòu)，可以按管理層次劃分，大體上可以分為服務(wù)層、管理層、虛擬化層和資源層四個層次。如圖2所示。

服務(wù)層是針對用戶的，其負責管理用戶賬戶、部署服務(wù)、對部署后的服務(wù)以服務(wù)目錄的形式組織，便于用戶索引服務(wù)，對終端用戶的使用以報告的形式提供使用信息統(tǒng)計上報。

管理層，對虛擬資源提供管理，調(diào)度、分發(fā)，在資源出現(xiàn)故障時可以進行切換、恢復(fù)等措施。在資源間可以實現(xiàn)負載均衡，實現(xiàn)資源的充分利用，減少導(dǎo)致資源瓶頸的因素。

虛擬化層，將異構(gòu)系統(tǒng)的存儲、計算、網(wǎng)絡(luò)等資源虛擬化成統(tǒng)一的資源模式。對于應(yīng)用隔離系統(tǒng)間的差異性，通過應(yīng)用級的文件系統(tǒng)、網(wǎng)絡(luò)交換系統(tǒng)等實現(xiàn)虛擬化。endprint

資源層，是最底層的真實資源，如：服務(wù)器、網(wǎng)絡(luò)、存儲、集群、應(yīng)用等。資源可以通過虛擬化的形式被納入到云端管理模型中。

從計算框架而言，首先要將數(shù)據(jù)分布式的存儲到云端的虛擬存儲設(shè)備上，其次要考慮的就是如何將海量數(shù)據(jù)的計算分散在云端的虛擬計算設(shè)備上。對于存儲一般采用分布式的文件系統(tǒng)作為底層的數(shù)據(jù)存儲架構(gòu)，而計算則一般采用MapReduce框架負責分布式的計算模型。

由于在云端需要部署大量的應(yīng)用服務(wù)，這就需要一個可以滿足彈性的計算框架來滿足應(yīng)用服務(wù)的需要。一般會設(shè)計一個由服務(wù)提供方（Provider）和服務(wù)消費方（Consumer）的服務(wù)消費模型來滿足應(yīng)用服務(wù)。在服務(wù)模型上需要考慮服務(wù)定義、服務(wù)配置、服務(wù)代理模式、服務(wù)注冊中心、下層云的服務(wù)集群、為了滿足負載均衡設(shè)計的服務(wù)質(zhì)量監(jiān)控、應(yīng)用協(xié)議的封裝、數(shù)據(jù)交換方式、數(shù)據(jù)傳輸模式和最底層的數(shù)據(jù)序列化。整個服務(wù)框架都是基于RPC和消息的模式設(shè)計的，因此在服務(wù)提供方和服務(wù)消費方都明確的語義、語法和明確的傳輸約定。

4 管理功能定義

大數(shù)據(jù)和云計算的物聯(lián)網(wǎng)應(yīng)用平臺，提供管理功能包括，GIS拓撲管理、設(shè)備配置管理、網(wǎng)絡(luò)故障分析、網(wǎng)絡(luò)運維管理、公共服務(wù)管理、大數(shù)據(jù)服務(wù)、云服務(wù)管理等主要管理功能，同時還提供面向應(yīng)用的豐富的應(yīng)用接口服務(wù)。

GIS拓撲管理，系統(tǒng)結(jié)合了物聯(lián)網(wǎng)和GIS的服務(wù)，能夠在資產(chǎn)的物理位置發(fā)生變化的情況下，使得系統(tǒng)能夠結(jié)合GIS提示用戶當前物的所在位置和定位信息，提供追蹤服務(wù)等功能。設(shè)備配置管理，提供物聯(lián)網(wǎng)設(shè)備的配置服務(wù)，如網(wǎng)絡(luò)設(shè)置，訪問設(shè)置，設(shè)備工作參數(shù)設(shè)置，通信模式設(shè)置，設(shè)備存儲設(shè)置，設(shè)備性能設(shè)置，設(shè)備告警設(shè)置，設(shè)備工作模式設(shè)置等。網(wǎng)絡(luò)故障分析，主要是在系統(tǒng)上可以管理來之網(wǎng)聯(lián)網(wǎng)的故障，傳輸網(wǎng)絡(luò)的故障，數(shù)據(jù)中心機房的網(wǎng)絡(luò)故障，可以連帶做關(guān)聯(lián)分析和主因分析等故障智能判定。網(wǎng)絡(luò)運維管理，主要是調(diào)度網(wǎng)絡(luò)運維資源，包括網(wǎng)絡(luò)統(tǒng)計、運維調(diào)度、分配公共資源、運維人員管理、任務(wù)管理等。公共服務(wù)管理，主要是提供安全管理、系統(tǒng)日志管理、操作日志管理、安全事件管理、云服務(wù)平臺管理等基礎(chǔ)功能。大數(shù)據(jù)服務(wù)和云服務(wù)管理，主要提供對大數(shù)據(jù)的資源管理、網(wǎng)絡(luò)資源管理、計算資源管理、彈性服務(wù)配置、安全策略配置等服務(wù)管理。應(yīng)用接口服務(wù)，即為上層應(yīng)用的API服務(wù)，一般采用Web Service的Restful形式為用戶擴展，同時滿足不同用戶的管理需求定制化的安全服務(wù)等功能。

5 總結(jié)

綜上所述，物聯(lián)網(wǎng)的規(guī)模擴大讓數(shù)據(jù)的收集變得容易，但是讓存儲、處理、挖掘數(shù)據(jù)本身的價值變得復(fù)雜，但是其價值就在于讓物體具備了智能。一個完整的物聯(lián)網(wǎng)應(yīng)用包括了感知層、傳輸層、匯聚層和應(yīng)用層，其融合了無線技術(shù)、光纖傳輸技術(shù)、計算機網(wǎng)絡(luò)技術(shù)、計算機軟件技術(shù)等多種技術(shù)。在智慧項目的物聯(lián)網(wǎng)的無線通信技術(shù)上，本文建議使用更為開放的LoRa技術(shù)作為技術(shù)載體，利用其低功耗低帶寬、低功耗、遠距離、連接數(shù)量大的特點可以滿足智慧項目戶外設(shè)備多的特點。同時，本文擴展了LoRaWAN的技術(shù)方案，通過LoRa over IP的技術(shù)方案解決了LoRa和IP數(shù)據(jù)網(wǎng)絡(luò)的接口差異滿足了上層服務(wù)的接入和擴展能力。在計算框架上海量數(shù)據(jù)的存儲采用分布式的文件系統(tǒng)作為底層的數(shù)據(jù)存儲架構(gòu)，而計算則一般采用MapReduce框架負責分布式的計算模型。由于在云端需要部署大量的應(yīng)用服務(wù)，本文提出設(shè)計一個由服務(wù)提供方（Provider）和服務(wù)消費方（Consumer）的服務(wù)消費模型來滿足應(yīng)用服務(wù)。最后，本文所述的應(yīng)用架構(gòu)借助大數(shù)據(jù)和云計算平臺讓物聯(lián)網(wǎng)具備了智慧，讓物聯(lián)網(wǎng)更為精細更為智能。

參考文獻：

[1] 杜明義，劉揚.物聯(lián)網(wǎng)在城市精細化管理中的應(yīng)用[J].測繪科學(xué)，2017，42（7）：94-102.

[2] 有鵬，朱晞旸，謝松巖，等.基于物聯(lián)網(wǎng)的電能監(jiān)測控制系統(tǒng)[J].科技傳播，2017，9（7）：87-88.

[3] 高秀艷，閆紹惠.基于物聯(lián)網(wǎng)與新媒體技術(shù)的智慧校園建設(shè)研究[J].科技傳播，2017，9（13）：32-33.endprint