物聯(lián)網(wǎng)分布式存儲技術(shù)的應(yīng)用與分析

劉兵

摘 要：隨著物聯(lián)網(wǎng)業(yè)務(wù)的興起，參與網(wǎng)絡(luò)連接的終端迅速增多，由此產(chǎn)生了海量數(shù)據(jù)。對于數(shù)據(jù)的存儲，從數(shù)據(jù)收集的途徑、分析開發(fā)實(shí)際需求以及安全性出發(fā)，分布式存儲是最佳選擇。

關(guān)鍵詞：物聯(lián)網(wǎng)；分布式；存儲技術(shù)；終端

中圖分類號：TP39 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2017）11-00-02

0 引 言

近年來，隨著網(wǎng)絡(luò)技術(shù)和通信技術(shù)，特別是無線通信技術(shù)的快速發(fā)展，人類社會逐漸進(jìn)入物物相聯(lián)的時代。雖然物與物之間的信息交換單次信息量不大，但由于終端數(shù)量龐大，將會生成海量數(shù)據(jù)。如何更好地存儲這些數(shù)據(jù)是物聯(lián)網(wǎng)絡(luò)系統(tǒng)建設(shè)者需要思考的問題。

1 物聯(lián)網(wǎng)行業(yè)發(fā)展現(xiàn)狀

20世紀(jì)90年代至今，物聯(lián)網(wǎng)經(jīng)歷了漫長的發(fā)展過程。直到2009年，物聯(lián)網(wǎng)被正式列為國家五大新興戰(zhàn)略性產(chǎn)業(yè)之一，并寫入當(dāng)年的《政府工作報告》，隨即物聯(lián)網(wǎng)受到了社會的極大關(guān)注和大量人力、物力資源的投入，并開始迅速發(fā)展。2016年12月18日，工業(yè)和信息化部印發(fā)的《信息通信行業(yè)發(fā)展規(guī)劃物聯(lián)網(wǎng)分冊（2016-2020年）》（簡稱《物聯(lián)網(wǎng)分冊》）指出，2015年底我國物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模已達(dá)7 500億元，整個“十二五”期間年均復(fù)合增長率達(dá)到25%。我國機(jī)器與機(jī)器連接數(shù)突破1億，占全球總量的31%，成為全球最大市場。“十三五”期間，隨著萬物互聯(lián)時代開啟，我國物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模也將保持高速發(fā)展勢頭，預(yù)計2017年，產(chǎn)業(yè)規(guī)模將達(dá)到萬億級。

2 物聯(lián)網(wǎng)業(yè)務(wù)對分布式存儲的需求

物聯(lián)網(wǎng)分為應(yīng)用層，數(shù)據(jù)層，網(wǎng)絡(luò)層和感知層。對網(wǎng)絡(luò)層來說，雖然在物聯(lián)網(wǎng)大力發(fā)展時期將面臨大量通信節(jié)點(diǎn)暴增的挑戰(zhàn)，但按照有序發(fā)展支撐和演進(jìn)式逐步建設(shè)的規(guī)劃，目前的網(wǎng)絡(luò)資源仍然足夠支撐業(yè)務(wù)增長。在充分利用現(xiàn)有網(wǎng)絡(luò)資源的前提下，依據(jù)業(yè)務(wù)實(shí)際增長情況逐步擴(kuò)展，分階段改造網(wǎng)絡(luò)，逐步完成網(wǎng)絡(luò)層的建設(shè)。

物聯(lián)網(wǎng)應(yīng)用所帶來的數(shù)據(jù)量和數(shù)據(jù)讀寫業(yè)務(wù)壓力不同以往，數(shù)據(jù)層所面臨的挑戰(zhàn)相對而言更大。與傳統(tǒng)業(yè)務(wù)相比，這方面的需求都呈指數(shù)級增長，遠(yuǎn)高于現(xiàn)有系統(tǒng)的承載能力。物聯(lián)網(wǎng)的典型應(yīng)用通常包括海量傳感器，數(shù)量可達(dá)數(shù)百萬個，采樣頻率也較高。雖然單個數(shù)據(jù)并不大，但積少成多，因此數(shù)據(jù)總量非?？捎^。這兩種情況的結(jié)合，即要求存儲系統(tǒng)能并發(fā)處理數(shù)百萬個傳感器的高頻數(shù)據(jù)寫入，并發(fā)壓力和傳統(tǒng)生產(chǎn)系統(tǒng)有著數(shù)十倍乃至上百倍的差異。一個典型的物聯(lián)網(wǎng)存儲子系統(tǒng)可能需要支持?jǐn)?shù)千億個小文件的存儲，同時需提供超高的并發(fā)讀寫性能支撐。

由于視頻監(jiān)控也是典型的物聯(lián)網(wǎng)應(yīng)用，來自各類固定、移動監(jiān)控攝像頭甚至無人機(jī)的監(jiān)控錄像和高清圖片也是物聯(lián)網(wǎng)存儲系統(tǒng)所要處理的數(shù)據(jù)類型。此類數(shù)據(jù)類型通常是連續(xù)的視頻流，而并發(fā)的高帶寬和海量存儲空間需求也是前所未有的巨大挑戰(zhàn)。同時，由于物聯(lián)網(wǎng)“物”的特征，很多時候并不需要像人類參與的工種一樣有典型的時間周期，物聯(lián)網(wǎng)系統(tǒng)經(jīng)常全年無休，每時每刻都在不知疲倦地產(chǎn)生數(shù)據(jù)，同時由于業(yè)務(wù)本身持續(xù)不斷，因此對存儲系統(tǒng)的高可用性也有很強(qiáng)的需求。

從數(shù)據(jù)類型上看，相對傳統(tǒng)業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù)占比較高，物聯(lián)網(wǎng)應(yīng)用和新業(yè)務(wù)將產(chǎn)生大量的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這也將對存儲系統(tǒng)提出新的挑戰(zhàn)。

物聯(lián)網(wǎng)大規(guī)模的數(shù)據(jù)存儲或計算需求通過控制節(jié)點(diǎn)分發(fā)到各物理機(jī)，采用分布式存儲方案解決了傳統(tǒng)集中計算存儲存在的性能瓶頸問題和成本問題，近年來獲得了廣泛應(yīng)用。

3 分布式存儲CAP理論

CAP是分布式系統(tǒng)設(shè)計中的經(jīng)典理論，也是工程實(shí)施和產(chǎn)品研發(fā)中的基本理論依據(jù)，對分布式存儲產(chǎn)品設(shè)計、選型、實(shí)施具有指導(dǎo)意義。這一理論由Eric Brewer在2000年的PODC會議上提出，最初僅僅是一個猜想，2年后被MIT的Seth Gilbert和Nancy Lynch證明為理論，并很快被互聯(lián)網(wǎng)企業(yè)如Ebay，Twitter，Amazon等接受和擁護(hù)。17年來，該理論已被廣泛應(yīng)用于各類分布式系統(tǒng)設(shè)計中。CAP理論簡單說來只有一句話：在分布式系統(tǒng)中，一致性（Consistency），可用性（Availability）和分區(qū)容忍性（Partition-Tolerance）三種特性只能同時實(shí)現(xiàn)其中部分，常取其中兩種，舍棄一種。

3.1 數(shù)據(jù)一致性

如果系統(tǒng)對一個寫操作返回成功，那么之后的讀請求都能讀到這個新數(shù)據(jù)；如果返回失敗，那么所有讀操作都不能讀到該數(shù)據(jù)，對調(diào)用者而言，數(shù)據(jù)具有強(qiáng)一致性（Strong Consistency） ，又叫原子性（Atomic），線性一致性（Linearizable Consistency）。

無論對數(shù)據(jù)如何操作，該特性可保證得到的數(shù)據(jù)都是完成狀態(tài)的數(shù)據(jù)，否則操作失敗。類似于原子性的概念，一個操作必須是完整的，杜絕牽扯不清的中間狀態(tài)。對數(shù)據(jù)的修改必須保證最終數(shù)據(jù)是原子操作的合格品，否則失敗退出，決不能出現(xiàn)修改了一半的數(shù)據(jù)半成品。例如多個應(yīng)用并發(fā)對系統(tǒng)調(diào)用時，應(yīng)用不會得到一張被另外一個應(yīng)用請求畫了一半的圖，或更新了上半段的說明書。

3.2 服務(wù)可用性

在指定的響應(yīng)時間窗口內(nèi)，每個操作請求都能到響應(yīng)并返回，不會持續(xù)等待。該特性接近實(shí)時系統(tǒng)的定義，能夠確保系統(tǒng)及時響應(yīng)，避免死鎖，從而為更多的并發(fā)業(yè)務(wù)和應(yīng)用提供“可用”的服務(wù)。

3.3 分區(qū)容忍性

保證系統(tǒng)支持分區(qū)，在分裂的情況下，各節(jié)點(diǎn)仍可正常提供服務(wù)，支撐業(yè)務(wù)和應(yīng)用。

只要還有分區(qū)存活就能給出及時響應(yīng)并提供服務(wù)。該特性保證了系統(tǒng)是可分區(qū)的，各分區(qū)都能夠獨(dú)立提供服務(wù)，配合互為備份。系統(tǒng)可以方便地進(jìn)行橫向擴(kuò)展，這種特性也是跨分區(qū)（設(shè)備）分布式系統(tǒng)最具價值之處。

CAP理論對分布式系統(tǒng)實(shí)現(xiàn)有非常重大的影響，我們可以根據(jù)自身的業(yè)務(wù)特點(diǎn)，在數(shù)據(jù)一致性和服務(wù)可用性之間作出傾向性選擇。endprint

4 分布式存儲的對稱式架構(gòu)與非對稱式架構(gòu)比較

按照元數(shù)據(jù)的管理方式，可分為對稱式集群文件系統(tǒng)和非對稱式集群文件系統(tǒng)。進(jìn)行簡單類比，非對稱式架構(gòu)是管理和數(shù)據(jù)分離，而對稱式架構(gòu)是管理和數(shù)據(jù)合一。兩者在擴(kuò)展性、健壯性、安全性和后端數(shù)據(jù)交互壓力對系統(tǒng)的影響方面存在差異。

4.1 擴(kuò)展性

對稱式架構(gòu)由于每個節(jié)點(diǎn)都承擔(dān)管理和數(shù)據(jù)雙重職責(zé)，節(jié)點(diǎn)間通信較為復(fù)雜，導(dǎo)致節(jié)點(diǎn)數(shù)量受限于通信量。當(dāng)節(jié)點(diǎn)數(shù)量增加時，信息同步復(fù)雜度呈幾何級數(shù)增長（以10個節(jié)點(diǎn)為例，每個節(jié)點(diǎn)可能同時與其他9個節(jié)點(diǎn)通信，此時系統(tǒng)連接總數(shù)近似為10×10，若增加到100個節(jié)點(diǎn)，則連接總數(shù)為99×99），總體性能將大幅下降至不可接受，因此必須對集群規(guī)模加以限制。以市場成熟度最高的對稱式架構(gòu)產(chǎn)品Isilon OneFS為例，雖然官方宣稱最大集群規(guī)模為144個節(jié)點(diǎn)，但在實(shí)際部署中，絕大多數(shù)都只拆分成10個節(jié)點(diǎn)左右。

非對稱式架構(gòu)由專用的服務(wù)器維護(hù)元數(shù)據(jù)，實(shí)現(xiàn)管理和數(shù)據(jù)分離，擴(kuò)展性良好。節(jié)點(diǎn)增加帶來的元數(shù)據(jù)復(fù)雜度呈線性，因而集群性能能夠?qū)崿F(xiàn)線性擴(kuò)展，在業(yè)界廣泛采用。全球Top 100的集群存儲系統(tǒng)中，鮮有采用對稱式架構(gòu)，Top 10中更是全部采用非對稱式架構(gòu)。

4.2 健壯性和安全性

對稱式架構(gòu)的多個節(jié)點(diǎn)間耦合性緊。如果某單個節(jié)點(diǎn)出現(xiàn)問題，響應(yīng)超時得不到應(yīng)答，將會影響整個集群的性能。一旦某單個節(jié)點(diǎn)發(fā)生嚴(yán)重故障，將導(dǎo)致文件系統(tǒng)元數(shù)據(jù)的一致性被破壞，后果嚴(yán)重。輕則丟失數(shù)據(jù)或不一致，重則系統(tǒng)整體癱瘓，無法提供存儲服務(wù)。

在非對稱式架構(gòu)中，節(jié)點(diǎn)間采用松耦合機(jī)制，可以很好地隔離數(shù)據(jù)節(jié)點(diǎn)故障，系統(tǒng)的健壯性更強(qiáng)。

4.3 后端數(shù)據(jù)交互壓力對系統(tǒng)的影響

由于分布式系統(tǒng)數(shù)據(jù)分散存放在不同的節(jié)點(diǎn)，因而出現(xiàn)磁盤故障或節(jié)點(diǎn)故障時不可避免地會進(jìn)行跨界點(diǎn)的數(shù)據(jù)重構(gòu)。

在對稱式架構(gòu)中，數(shù)據(jù)路徑和控制路徑通?；煊茫?dāng)追求重構(gòu)速度時，節(jié)點(diǎn)間的數(shù)據(jù)交互壓力較大，會使控制信息擁塞，而控制信息對響應(yīng)延遲要求較高，一旦有任何一條控制信息延遲，就會拖慢整個系統(tǒng)。若不得已采用單獨(dú)的控制鏈路，則需在每臺設(shè)備上都單獨(dú)增加硬件，從而加大了成本。

非對稱式架構(gòu)采用數(shù)據(jù)路徑與控制路徑分離的方式，任何數(shù)據(jù)節(jié)點(diǎn)滿負(fù)載運(yùn)行或數(shù)據(jù)節(jié)點(diǎn)間的網(wǎng)絡(luò)擁塞均不會影響到整個系統(tǒng)的性能波動（性能波動僅限于故障節(jié)點(diǎn)）。

5 分布式存儲的數(shù)據(jù)保護(hù)模式

存儲領(lǐng)域的數(shù)據(jù)冗余機(jī)制長期以來發(fā)生了革命性的進(jìn)展，RAID、副本一直是當(dāng)仁不讓的最終選擇。近幾年，尤其是在規(guī)模較大的應(yīng)用場景下，糾刪碼越來越多地出現(xiàn)在大眾視野中，成為RAID、副本之外的第三種選擇，因此也獲得了越來越多的關(guān)注。

糾刪碼（Erasure Code）是一種編碼容錯技術(shù)，最早用以解決通信行業(yè)中部分?jǐn)?shù)據(jù)在傳輸中的損耗問題。其基本原理是把傳輸?shù)男盘柗侄?，加入一定的校?yàn)后再讓各段間發(fā)生一定的聯(lián)系，即使在傳輸過程中丟失部分信號，接收端仍能通過算法把完整的信息計算出來。如果嚴(yán)格區(qū)分，按照誤碼控制的不同功能，還可以分為檢錯、糾錯和糾刪類型。

糾錯碼不僅具備識別錯碼功能，還具備糾正錯碼功能，其適用場景通常采用大規(guī)模部署方式。從傳統(tǒng)情況來看，RAID通常在企業(yè)級環(huán)境中應(yīng)用較多。在幾臺或十幾臺存儲設(shè)備規(guī)模的IT系統(tǒng)中，較常使用穩(wěn)定可靠、歷經(jīng)數(shù)十年磨礪的RAID技術(shù)。而在數(shù)據(jù)中心級的大規(guī)模部署中，RAID不再受歡迎，大部分分布式系統(tǒng)都偏好副本模式，均看重其高可靠性和讀性能優(yōu)化的特點(diǎn)。然而副本帶來的成本壓力也讓眾多企業(yè)叫苦不迭，因此，糾錯碼技術(shù)的適時出現(xiàn)，以其更低成本和更高技術(shù)含量及提供近似可靠性的特點(diǎn)，吸引了眾多分布式存儲和云存儲的廠商和用戶。

6 結(jié) 語

文章從技術(shù)特點(diǎn)以及實(shí)際應(yīng)用效果，分析了數(shù)據(jù)存儲的不同技術(shù)，并將傳統(tǒng)技術(shù)和糾錯碼技術(shù)進(jìn)行對比，論證了分布式存儲是物聯(lián)網(wǎng)業(yè)務(wù)的最佳選擇。

參考文獻(xiàn)

[1]金海，劉文超，韓健亭，等.家庭物聯(lián)網(wǎng)應(yīng)用研究[J].電信科學(xué)，2010，26（2）：10-13.

[2]寧雄雁，武文忠，楊照宏，等.應(yīng)用于海量存儲中高度容錯的新編碼方案[J].計算機(jī)應(yīng)用研究，2007，24（12）：41-43.

[3]王劍柯.云計算環(huán)境下的分布式存儲[J].中國新通信，2015，17（20）：33.

[4]李廷力，李宏宇，田野，等.物聯(lián)網(wǎng)存儲模式與方案研究[J].計算機(jī)應(yīng)用研究，2013，30（11）：3201-3208.

[5]馬穎，朱新剛，王瑩，等.多通道分布式智能終端研究與設(shè)計[J].物聯(lián)網(wǎng)技術(shù)，2014，4（4）：66-68.

[6]孔陶茹.云存儲應(yīng)用的現(xiàn)狀、挑戰(zhàn)、展望、創(chuàng)新及探討[J].物聯(lián)網(wǎng)技術(shù)，2014，4（2）：69-71.

[7]薛建生，于建忠，黃磊，等.物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲算法[J].小型微型計算機(jī)系統(tǒng)，2013，34（9）：2081-2084.

[8]劉巍，王冬鴿.物聯(lián)網(wǎng)安全體系結(jié)構(gòu)研究[J].物聯(lián)網(wǎng)技術(shù)，2016，6（4）：61-63.endprint