一種對周期性數據上報進行時間散列的系統(tǒng)及實現(xiàn)方法

1 研究目標

隨著信息技術的飛速發(fā)展，大數據時代的到來，對數據傳輸效率及處理能力的需求不斷增長。尤其是對于海量數據終端，周期性進行數據上報時，某一時點對網絡、I/O、內存、計算能力等施加了巨大的壓力，而此種業(yè)務場景在物聯(lián)網領域中應用尤為常見。物聯(lián)網通過各種傳感器技術、各種通信手段，將任何物體與互聯(lián)網相連接，從而實現(xiàn)了遠程監(jiān)視、自動報警、控制、診斷和維護，幫助人們實現(xiàn)管理、控制與運營，隨著各行各業(yè)應用的發(fā)展，每秒鐘物聯(lián)網上都會產生海量的數據。因此會涉及大量數據周期性上報問題，有鑒于此，研究如何降低海量數據周期性上報對網絡、I/O、內存、計算能力的要求，具有重要的意義。

一個典型的物聯(lián)網架構的分層模型基本都是：感知層、網絡層、服務層。

感知層主要指分布在前端的各種傳感設備和數據采集設備、數據采集單元（Colletion Unit，簡稱CU），主要完成數據采集功能；網絡層主要指數據傳輸通道，用于將數據采集單元采集到的數據，通過特定的數據格式，發(fā)送回中心服務單元（Service Unit，簡稱SU），做好后臺進行數據分析的準備；目前主流的傳輸通道主要有GPRS/EDGE/3G /4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等；服務層主要指后臺的數據分析平臺和業(yè)務分析應用；根據業(yè)務類型和要求，將回傳的數據進行整合、處理、挖掘；給出基于不同業(yè)務領域的各種分析報告、應用管理等，服務層有時又分為平臺服務層和應用服務層。

典型的物聯(lián)網架構的分層模型示意圖如圖1所示。

圖1 典型的物聯(lián)網架構示意

在經典的物聯(lián)網架構下，采集單元采集數據后，需要定期向服務單元上報數據，即周期性將數據進行上報。假定上報當日零時時間戳為T0，當前上報批次為n，則：

采集單元在Tn時上報數據，p為數據上報的周期（秒）。

如若采用現(xiàn)有的技術方案，那么假定一個數據傳輸系統(tǒng)中有2 000個數據采集單元，每個采集單元有8 KB的上報數據，則數據上報點對網絡帶寬的要求如下：

在實際應用中，海量數據終端的采集單元可能遠高于2 000個，隨著采集單元數量的增加，帶寬要求呈線性方式增長。由此可見，采用現(xiàn)有的技術方法周期性上報數據，瞬時并發(fā)的數據流帶來傳輸的高峰，對網絡帶寬、I/O帶寬、I/O讀寫等待時間、內存、計算能力等系統(tǒng)資源有很高的要求，帶來運營成本的巨大壓力。

本文就是說明，如何利用時間散列的方法，將高度集中的并發(fā)業(yè)務平均分布在一段時間內，從而降低周期性上報數據對網絡帶寬、I/O帶寬、I/O讀寫等待時間、內存、計算能力等系統(tǒng)資源的要求。

2 實現(xiàn)方法

如若采用現(xiàn)有的技術方案，那么假定一個數據傳輸系統(tǒng)中有2 000個數據采集單元，每個采集單元有8 KB的上報數據，則數據上報點對網絡帶寬的要求需要考慮如下假設 ：

（1）瞬時流量計算時，每個采集單元的數據大小為8 KB，2 000個數據采集單元同時產生的瞬時流量總量為：8 KB X 2 000=16 000 KB。從KB換算為MB時，我們取換算常數為10。

（2）而在計算瞬時帶寬要求時，由于傳送的數據不僅包括采集單元需要上報的采集數據， 還需要考慮數據通訊時控制單元需要傳送的控制數據。因此，對瞬時帶寬要求計算且?guī)拞挝粡腗B換算為Mbit/s時，我們將換算常數簡單取10。

（3）按照以上的假設，對瞬時流量和帶寬要求的計算公式如下示：

可以看到，即使采集單元數量不算太多（2 000個），單一采集單元上傳的數據量不大（8 KB）時，對瞬時帶寬要求還是非常大的（160 Mbit/s）。

但是當我們將這些報文平均分布在10秒內上報時，則所需帶寬為：

兩者的比較如圖2和圖3所示。

圖2 1秒內上報數據時的瞬時帶寬需求

圖3 10秒內上報數據時的帶寬需求

可以看到，在將這些數據散列到一段時間內后，數據傳送對系統(tǒng)資源（示例主要指帶寬資源）的需求將大大減少。

報文發(fā)送時間、報文發(fā)送分布時間以及散列參數等內容，可以根據業(yè)務場景和實際工作需要自由定義，抽象為如下情況。

假定數據采集單元數量為l，任意一個數據采集單元的序列號為SN，

則散列參數計算公式為：

上述公式中HashSN為散列參數，1為序列號SN的長度，j為序列號遍歷索引，0≤j

上述公式中T0為上報當日零時時間戳；n為當前上報批次；p為上報周期；t為時間片段的時長；i為時間片段編號，，其中，p/t向下取整且t?p；x為配置項，x是二次散列參數，將服務單元分配的、處于同一時間片段內的采集單元在該時段再次進行散列分布，使負載更為平均。

2.1 系統(tǒng)構成

本文所描述的對周期性數據上報進行時間散列的系統(tǒng)由數據采集單元（CU）、服務單元（SU）以及網絡三部分組成，具體請參考如圖4所示，通過采集單元與服務單元之間的網絡通信，實現(xiàn)對周期性上報數據的時間分流，以達到錯開數據傳輸高峰期的方法。

① 服務單元SU，主要指后臺的數據分析平臺和業(yè)務分析應用；根據業(yè)務類型和要求，將回傳的數據進行整合、處理、挖掘；給出基于不同業(yè)務領域的各種分析報告、應用管理等，服務層有時又分為平臺服務層和應用服務層；

圖4 典型周期性數據上報系統(tǒng)的拓撲架構圖

② 網絡，主要指將數據進行回傳的傳輸通道，目前主流的傳輸方式主要指：GPRS/EDGE/3G/4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等；

③ 采集單元CU，主要指分布在前端的各種傳感設備和數據采集設備、數據采集單元（Colletion Unit，簡稱CU），主要完成數據采集功能。

2.2 系統(tǒng)的具體實現(xiàn)方法

系統(tǒng)的具體實現(xiàn)方法如圖5所示。

圖5 對周期性數據上報進行時間散列的系統(tǒng)實現(xiàn)方法示意

步驟1、S101所述采集單元發(fā)起注冊請求。

步驟2、S102所述服務單元根據所述注冊請求與所述采集單元建立連接。

步驟3、S103所述服務單元將上報周期劃分為復數個所述時間片段，獲取各時間片段的負載狀態(tài)，將負荷最小的時間片段的配置參數發(fā)送至所述采集單元。

步驟4、S104所述采集單元根據所述配置參數計算獲得上報時間。通過所述上報時間，采集單元可以確定其上報數據的時間點，以此，通過服務單元的合理劃分采集單元上報的時間，使不同采集單元可以分批次上報數據，減少多個采集單元同一時刻上報數據引起的設備壓力，極大的降低了周期性上報數據對網絡帶寬、I/O帶寬、I/O讀寫等待時間、內存、計算能力等系統(tǒng)資源的要求。

2.3 示例說明

以下將舉例詳細描述系統(tǒng)功能及其實現(xiàn)過程。

如圖6所示，在實際工作中，當采集單元數據上報周期設為p，服務單元則將所述上報周期p劃分為若干連續(xù)的、相同的時間片段，每個時間片段的時長為t，并為每個時間片段編號為i，，由服務單元進行動態(tài)管理和檢測。當所述對周期性數據上報進行時間散列的系統(tǒng)啟動時，各時間片段的負載可計數為0，該引用計數為服務單元設置；采集單元向服務單元發(fā)起注冊后，服務單元檢測當前時間片段的負載情況P1~PN，選出負載最小的單元 min(P1，P2，P3…，PN)，例如當前P1=1，P2=3，P3=5，那么該情況下選擇P1這一個引用計數最小的一個單元，服務單元將采集單元上傳的時間點被劃入該時段P1，同時該片段計數加1，變成P1=2，當采集單元離線時，對應時段的引用計數減1，變回P1=1。以此，服務單元通過即時檢測當前時間片段的引用計數，合理且快捷的獲得各時間片段的負荷狀態(tài)，將采集單元上報數據的時間準確的分配至負荷較小的時間片段中，使采集單元獲得其對應的上報數據的時間段，以此，防止大量采集單元集中于同一時段上傳數據的風險。同時，值得說明的是，當采集單元獲得其上報時間后，并不用立即上報數據，其在該時段內的最終上報時點，可由采集單元具體分析后自行決定。

圖6 數據上報周期時間片段示意

如圖7所示，服務單元增加引用計數后，將引用計數對應的時間片段分配至采集單元；服務單元查詢到采集單元離線后，減少引用計數。首先采集單元發(fā)出注冊申請，服務單元接收到注冊申請后，審核注冊申請是否合規(guī)；

圖7 數據上報時間Tn計算邏輯機制示意

如審核不通過，則斷開連接，采集單元繼續(xù)發(fā)起注冊申請；

如審核通過，則服務單元與采集單元建立連接，此時，服務單元掃描當前劃分好的時間片段，根據每一時間片段的引用計數值大小判斷對應時間片段的負荷狀態(tài)，當查詢到最小負荷狀態(tài)的時間片段后，即在該時間片段的引用計數上加值后（如加1），將時間片段的配置參數發(fā)送至采集單元，其中配置參數至少包含：上報周期，時間片段的時長和時間片段編號；

每一時間片段并不一定只匹配唯一的采集單元，因此，為避免多個采集單元在同一時間片段中上傳數據，造成服務器壓力等問題；采集單元在接收到配置參數后，會進行上報時間點計算，根據獲得的時間片段的配置參數與散列參數計算自身的上報時間點Tn，以此更進一步防止了海量數據上傳可能造成的擁堵壓力；

當采集單元通過計算獲得上傳時間點Tn并在該時刻上傳數據后，依然與服務單元保持連接，等待下一批次上報時間Tn+1，并在該時刻上傳，以此循環(huán)。

當服務單元檢測到某一采集單元離線后，則調節(jié)采集單元對應的時間片段的引用計數（如減去1）。離線后的采集單元，需重新注冊獲取新的時間片段，服務單元通過引用計數的增減，動態(tài)維護時間片段負載。

在上述對周期性數據上報進行時間散列的系統(tǒng)中，為了使時間負載更為均衡，更加平均的分配時段t，采集單元根據散列參數（hash）自行決定具體的上報時間。其中，的參考算法如下（假定SN長度為l）：

上述公式中HashSN為散列參數，l為序列號SN的長度，j為序列號遍歷索引，0≤j

本文所提供的對周期性數據上報進行時間散列的系統(tǒng)運用在實際工作中，具有較好的使用效果，具體對比說明如下：

假定系統(tǒng)中有2 000個數據采集單元，每個采集單元有8 KB的上報數據，上報周期為180 s，劃分為10個時間片段，則每一時段18 s中，約有200個采集單元需要上報數據。假設x=10，則同一時間點并發(fā)的采集單元有20個，根據計算得出網絡帶寬為：

按照30%的冗余計算，網絡帶寬的要求約為1 kbit/s，與現(xiàn)有技術中同等條件下計算的160 kbit/s相比，極大地降低了對網絡的要求。

3 結論

使用上述方法，通過將傳輸周期劃分為若干時段，并由服務單元動態(tài)管理時間片段，安排采集單元在負載最小的時間片段上傳數據，加上時間散列機制，最大限度平均分布各個采集單元上傳數據的時間，錯開數據上報的高峰期，從而達到降低網絡帶寬、I/O帶寬、I/O讀寫等待時間、內存、計算能力等系統(tǒng)資源的要求，降低系統(tǒng)運營成本。