基于霧計算的電力信息高效存儲與共享算法

劉成江　張千千　黎燕　張洪

摘要：針對電力信息數(shù)據(jù)量較大且存儲速度較慢的問題，提出了一種基于霧計算的電力信息存儲與共享方法。該方法包含了基于差分同步的數(shù)據(jù)存儲方式與基于霧計算的組合數(shù)據(jù)共享機(jī)制。數(shù)據(jù)存儲方法將一部分?jǐn)?shù)據(jù)的計算和存儲工作轉(zhuǎn)移到霧服務(wù)器中，以減少云計算平臺的工作負(fù)載，從而實現(xiàn)更高效的數(shù)據(jù)存儲；組合數(shù)據(jù)共享機(jī)制通過在霧端建立虛擬化數(shù)據(jù)共享機(jī)制來防止電力信息數(shù)據(jù)的丟失、損壞及惡意修改。仿真實驗與結(jié)果表明，該方法能顯著減少云服務(wù)器的響應(yīng)次數(shù)，進(jìn)而減輕云計算的負(fù)擔(dān)，具有更高的數(shù)據(jù)恢復(fù)率，相比于傳統(tǒng)方法，所提方法可實現(xiàn)高效、安全的電力信息存儲及共享。

關(guān)鍵詞：云數(shù)據(jù)；數(shù)據(jù)存儲；數(shù)據(jù)安全；霧計算；組合共享；數(shù)據(jù)共享；差分同步；虛擬化

中圖分類號：TM76 文獻(xiàn)標(biāo)志碼：A 文章編號：1000-1646（2024）01-0001-06

隨著互聯(lián)網(wǎng)與物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，電力系統(tǒng)開始使用大量的傳感器設(shè)備對電網(wǎng)運行狀態(tài)進(jìn)行監(jiān)測，由此產(chǎn)生了海量數(shù)據(jù)。然而，傳統(tǒng)的數(shù)據(jù)存儲和計算模式已難以滿足電網(wǎng)對海量數(shù)據(jù)的處理需求。為了實現(xiàn)電力系統(tǒng)大教據(jù)的安全、可靠存儲，國內(nèi)學(xué)者及企業(yè)提出將云計算關(guān)鍵技術(shù)與傳感器網(wǎng)絡(luò)相結(jié)合，以實現(xiàn)電力電網(wǎng)信息的存儲和計算。其中無線傳感器網(wǎng)絡(luò)專注于獲取及檢測電力信息，云平臺則主要負(fù)責(zé)對搜集的信息進(jìn)行深度處理，從而為電網(wǎng)用戶提供深度服務(wù)與業(yè)務(wù)支持。

云計算是一種以數(shù)據(jù)處理和管理為核心的計算機(jī)系統(tǒng)，其通過集成網(wǎng)絡(luò)技術(shù)、集群技術(shù)以及分布式文件管理技術(shù)來實現(xiàn)網(wǎng)絡(luò)中大量不同類型服務(wù)器的協(xié)調(diào)工作，進(jìn)而為用戶提供業(yè)務(wù)處理與數(shù)據(jù)存儲服務(wù)。同時云計算還具有可伸縮、高效的特點，能夠為用戶提供便捷、快速及按需訪問的計算資源池。此外，將云計算與無線傳感器網(wǎng)絡(luò)相結(jié)合，可為該網(wǎng)絡(luò)在計算能力與內(nèi)存等方面提供資源。故對于電力信息系統(tǒng)而言，低時延、高數(shù)據(jù)率、高計算與高存儲能力的云計算平臺顯得尤為重要。無線傳感器網(wǎng)絡(luò)通常存在較高的通信時延、較低的可靠性與安全性等問題，因此，為實現(xiàn)高效、快速的電力信息處理，霧計算作為一種部署于終端設(shè)備附近的計算服務(wù)逐漸成為了研究熱點。在該計算模式下，具有數(shù)據(jù)存儲和處理能力的節(jié)點均被部署在無線傳感器網(wǎng)絡(luò)與云數(shù)據(jù)中間。而霧計算設(shè)備則可當(dāng)作一個分布式的基礎(chǔ)設(shè)施，并充分調(diào)動靠近無線傳感器網(wǎng)絡(luò)的邊緣設(shè)備進(jìn)行協(xié)同工作。相比于傳統(tǒng)的云計算系統(tǒng)，霧計算模式更為靈活，且能夠克服傳統(tǒng)系統(tǒng)的多種限制及缺陷。

由于云計算平臺對用戶上傳的數(shù)據(jù)實行統(tǒng)一管理，故用戶無法對其存儲的數(shù)據(jù)進(jìn)行控制。這意味著數(shù)據(jù)的管理權(quán)與所有權(quán)產(chǎn)生了分離，也導(dǎo)致了云計算平臺面臨著嚴(yán)重的存儲及傳輸安全問題，由此阻礙了該技術(shù)的進(jìn)一步發(fā)展。云計算的安全問題主要包括數(shù)據(jù)的機(jī)密性、完整性與可用性三方面。其中，數(shù)據(jù)機(jī)密性主要負(fù)責(zé)對數(shù)據(jù)進(jìn)行認(rèn)證限制，以保護(hù)數(shù)據(jù)所有者的隱私；數(shù)據(jù)完整性負(fù)責(zé)保證用戶上傳的數(shù)據(jù)不會被篡改和破壞；數(shù)據(jù)可用性則根據(jù)數(shù)據(jù)所有者的意愿來訪問其上傳的數(shù)據(jù)。相比于傳統(tǒng)的云計算平臺，霧計算模式具有更高的安全性需求。

針對電力信息數(shù)據(jù)量較大與低時延存儲的需求，本文提出了基于霧計算模式的電力信息存儲及共享方法。通過采用基于差分同步的數(shù)據(jù)存儲方式，實現(xiàn)了對霧計算模式下電力系統(tǒng)無線傳感器網(wǎng)絡(luò)數(shù)據(jù)的存儲。同時，該方法還可以減少云端的工作負(fù)載，實現(xiàn)更高效的數(shù)據(jù)存儲。此外針對云端數(shù)據(jù)共享的安全性問題，本文設(shè)計了一套基于霧計算的組合數(shù)據(jù)共享機(jī)制，實現(xiàn)了高效、安全的電力信息存儲與共享。相比于傳統(tǒng)方法，該方法具有更快的數(shù)據(jù)存儲速度及更高的共享數(shù)據(jù)恢復(fù)率。

1 基于差分同步的數(shù)據(jù)存儲方法

在傳統(tǒng)的云存儲方法中，即便只對數(shù)據(jù)進(jìn)行細(xì)微修改，也需要將整個文件傳輸?shù)皆破脚_。然而電力信息通常需要頻繁更改部分?jǐn)?shù)據(jù)段，因此使用傳統(tǒng)的云存儲方法將導(dǎo)致數(shù)據(jù)出現(xiàn)冗余和延遲。為解決這一問題，本文提出了一種基于差分同步的數(shù)據(jù)存儲方法。

基于差分同步的數(shù)據(jù)存儲方法將霧計算引入到傳統(tǒng)云存儲模式中，并將霧服務(wù)器作為緩存服務(wù)器放置于云服務(wù)器與邊緣設(shè)備之間。在數(shù)據(jù)存儲時，該方法將計算和存儲的部分任務(wù)交給霧服務(wù)器進(jìn)行處理，從而達(dá)到緩解云端數(shù)據(jù)存儲負(fù)擔(dān)的目的，方法流程如圖1所示。

圖1中從上到下分別為云服務(wù)器、霧服務(wù)器及電力系統(tǒng)的無線傳感器網(wǎng)絡(luò)。隨著電網(wǎng)狀態(tài)的改變，傳感器網(wǎng)絡(luò)監(jiān)測的數(shù)據(jù)也會發(fā)生變化，這部分?jǐn)?shù)據(jù)包括相關(guān)信息和差異數(shù)據(jù)。無線傳感器網(wǎng)絡(luò)上傳數(shù)據(jù)到云端時，霧服務(wù)器便會將此類數(shù)據(jù)暫存。當(dāng)緩存的數(shù)據(jù)量達(dá)到一定閾值時，再將該數(shù)據(jù)與云服務(wù)器進(jìn)行同步。不同于傳統(tǒng)方法，本文采用差分同步方式來實現(xiàn)云端數(shù)據(jù)的同步，將文件中的新數(shù)據(jù)塊上傳至霧服務(wù)器，并非上傳所有數(shù)據(jù)。該方法可將無線傳感器網(wǎng)絡(luò)及云服務(wù)器的部分工作轉(zhuǎn)移到霧服務(wù)器，從而有效緩解云端的工作負(fù)載，避免將某些變化頻繁的數(shù)據(jù)反復(fù)上傳到云端。假設(shè)待上傳的文件為F，基于差分同步的數(shù)據(jù)存儲方法將文件劃分成大小為w的文件塊，霧服務(wù)器的緩存閾值為Th，則所提方法的具體計算過程如下：

1）將文件F均分為M塊，則第f個文件塊為

2）檢驗每個文件塊的強(qiáng)弱校驗碼，并將碼存入Table1和Table2中，則有

式中：Adler32校驗算法通過求解兩個16位的數(shù)值，將結(jié)果連接成為一個32位的整數(shù)；MD5為信息一摘要算法，用于確保信息傳輸?shù)耐暾院鸵恢滦浴?/p>

3）將強(qiáng)弱校驗碼表Table1和Table2傳輸?shù)届F服務(wù)器中。

4）在霧服務(wù)器上對每個文件塊進(jìn)行一致性檢測，判斷文件修改的數(shù)據(jù)量是否超過閾值Th。若超過，霧服務(wù)器將該文件發(fā)送至云端進(jìn)行同步；若未超過，記錄本次修改，并繼續(xù)檢測下一個文件。

5）對于無線傳感器網(wǎng)絡(luò)發(fā)送的每一個文件重復(fù)進(jìn)行上述操作，進(jìn)而實現(xiàn)數(shù)據(jù)的存儲。

基于差分同步的數(shù)據(jù)存儲方法，采用閾值Th來判斷是否對文件進(jìn)行同步。本文方法將新文件表征為新、舊數(shù)據(jù)塊的總和。其中，新文件塊是由于對文件進(jìn)行更改而出現(xiàn)差異的數(shù)據(jù)。通過設(shè)置閾值來表示文件的變化率，令Th為0.5，即當(dāng)至少有一半的文件數(shù)據(jù)發(fā)生變化時才能向云端進(jìn)行同步。假設(shè)文件每次超過閾值的概率為p，則對其進(jìn)行q次修改時，傳統(tǒng)方法需上傳q次文件，而本文方法僅需上傳∑qi=1f（p）次文件。由此可以看出，基于差分同步的數(shù)據(jù)存儲方法明顯比傳統(tǒng)方法更有效。

2 數(shù)據(jù)共享與恢復(fù)方法

在傳統(tǒng)的數(shù)據(jù)存儲方法中，每類數(shù)據(jù)僅在云端存儲一份。故當(dāng)數(shù)據(jù)發(fā)生破壞或丟失等情況時，此類方法無法保證數(shù)據(jù)的完整性與機(jī)密性。為解決這一問題，本文采用“無線傳感器網(wǎng)絡(luò)-霧-云”三層結(jié)構(gòu)對數(shù)據(jù)加以存儲，提出了一種基于霧計算的數(shù)據(jù)共享機(jī)制，將數(shù)據(jù)的共享委托給霧服務(wù)器進(jìn)行分析及處理。假設(shè)霧服務(wù)器集合為U={u1，u2，…，un}，其中n為霧服務(wù)器的數(shù)量，數(shù)據(jù)文件被存儲在k個不同的霧服務(wù)器節(jié)點，記為V={v1，v2，…，vk}。本文將文件F按照（k，n）的組合規(guī)則劃分為n個數(shù)據(jù)塊，然后再根據(jù)霧節(jié)點的異構(gòu)特性將數(shù)據(jù)分為g個子段，每個數(shù)據(jù)子段均包括k-1個共享數(shù)據(jù)塊，每個霧服務(wù)器保存一個數(shù)據(jù)子段。用戶讀取數(shù)據(jù)時僅需獲得k個子集，即可恢復(fù)完整的文件。圖2為基于霧計算的數(shù)據(jù)共享與恢復(fù)方法。在數(shù)據(jù)恢復(fù)過程中，由于霧節(jié)點中可能存在重復(fù)的共享數(shù)據(jù)塊，在恢復(fù)原始數(shù)據(jù)時，本文方法將會選擇性地接收非重復(fù)數(shù)據(jù)塊．并在數(shù)據(jù)傳輸完成后恢復(fù)原始數(shù)據(jù)。

2.1 數(shù)據(jù)共享

數(shù)據(jù)共享過程是根據(jù)霧節(jié)點的剩余存儲量、霧節(jié)點與云平臺間的距離d以及網(wǎng)絡(luò)帶寬b來確定共享數(shù)據(jù)塊的大小，并生成對應(yīng)的共享數(shù)據(jù)塊。本文定義共享數(shù)據(jù)塊{s1，S2，…，sm}所滿足的比例關(guān)系為

s1：s2：…：sm=d1r1b1：d2r2b2：…：dmrmbm （3）

式中，r為霧節(jié)點的剩余存儲容量。數(shù)據(jù)塊s，的表達(dá)式為

式中：S為原始數(shù)據(jù)集合{σ1，σ2，…，σn}的大小，其中，σn為第nd個數(shù)據(jù)塊的大?。籲d為數(shù)據(jù)塊的數(shù)量；m為共享數(shù)據(jù)塊的數(shù)量；k為霧服務(wù)器的節(jié)點數(shù)量。共享數(shù)據(jù)塊的計算過程為：

1）計算每個數(shù)據(jù)塊各分段索引的共享數(shù)據(jù)塊之和，計算公式為

式中：y為霧節(jié)點所存儲的數(shù)據(jù)；F為要恢復(fù)的文件；G為恢復(fù)出的共享數(shù)據(jù)塊。

3 實驗與分析

為驗證所提方法的有效性，本文使用25.3MB的圖片數(shù)據(jù)、85.6MB的音頻數(shù)據(jù)及624MB的視頻數(shù)據(jù)進(jìn)行仿真測試。使用5-60個硬件設(shè)備作為霧節(jié)點，每個節(jié)點的傳輸速度從10-100Mbit/s不等，且每個節(jié)點均可連接40-100個無線傳感器。

為了驗證基于差分同步數(shù)據(jù)存儲方法的有效性，本文設(shè)置了兩組數(shù)據(jù)傳輸實驗進(jìn)行測試：1）原始文件為79.7kB，先對文件進(jìn)行細(xì)微修改，并得到大小為98.6kB的新文件，隨后再對文件進(jìn)行第二次修改，進(jìn)而獲得大小為112kB的文件；2）原始文件為79.7kB，先對文件進(jìn)行內(nèi)容添加并得到大小為112kB的新文件，然后對文件進(jìn)行二次修改獲得大小為98.6kB的文件。兩組實驗分別模仿了數(shù)據(jù)修改的不同方式，即只是對文件進(jìn)行細(xì)小修改和對文件進(jìn)行較大幅度的修改。同時為保證實驗數(shù)據(jù)量的一致性，需要對細(xì)微修改的實驗組填充數(shù)據(jù)。為保證實驗結(jié)果的可靠性，本文在后續(xù)實驗中均進(jìn)行了100次重復(fù)實驗，取平均值作為最終結(jié)果。為了驗證所提方法的有效性，將本文方法與文獻(xiàn)[14]中所提方法進(jìn)行比較，文獻(xiàn)[14]方法采用傳統(tǒng)的文件替代方式進(jìn)行存儲，即只對數(shù)據(jù)進(jìn)行細(xì)微修改，也需要將整個文件傳輸?shù)皆破脚_。

由于不同窗口大小對數(shù)據(jù)上傳的時間會產(chǎn)生影響，故本文給出了設(shè)置不同窗口大小時數(shù)據(jù)同步時間的變化情況。圖3a為當(dāng)窗口大小分別為文件的1/2、1/4、1/8、1/16及1/32時，采用本文方法進(jìn)行數(shù)據(jù)上傳用時的變化。由圖3a可知，隨著窗口的逐漸減小，數(shù)據(jù)同步的時間將不斷增加。為了保證數(shù)據(jù)上傳的效率，需選擇適當(dāng)大小的窗口來減少數(shù)據(jù)存儲時間。在不同實驗設(shè)置時，本文方法與文獻(xiàn)[14]中所需數(shù)據(jù)的同步時間對比如圖3b、c所示。其中，文獻(xiàn)[14]將所有數(shù)據(jù)不加區(qū)分地更新、同步至霧平臺。由于文獻(xiàn)[14]方法需要將整個文件傳輸?shù)皆贫耍势鋫鬏敃r間最長。而本文方法將霧服務(wù)器作為緩存，可有效減少上傳至云端的數(shù)據(jù)量。本文方法通過設(shè)置閾值來避免重復(fù)操作，從而明顯減少數(shù)據(jù)同步所需時間。

為驗證數(shù)據(jù)緩存閾值Th對同步時間的影響，圖4給出了設(shè)置不同大小的閾值時，本文方法在兩種數(shù)據(jù)傳輸情況下的數(shù)據(jù)同步時間。從圖4中可以看出，Th值由小到大的變化過程中，兩種情況下的同步時間均逐漸減小，但減小到一定值后便不再發(fā)生變化。這是由于數(shù)據(jù)變化情況小于閾值，且沒有達(dá)到同步條件時，無法實現(xiàn)云端同步。因此，需設(shè)置合理的閾值來實現(xiàn)所有數(shù)據(jù)的同步及傳輸效率的提升，本文將該值設(shè)置為7。

對數(shù)據(jù)進(jìn)行分塊可明顯減少云服務(wù)器的響應(yīng)次數(shù)，為驗證這一結(jié)論，本文比較了數(shù)據(jù)塊數(shù)不同時，文獻(xiàn)[7]方法、文獻(xiàn)[14]方法和文獻(xiàn)[15]方法與本文方法的云服務(wù)器響應(yīng)次數(shù)。10次實驗結(jié)果如表1所示。從表1可以看出，本文方法的云服務(wù)器響應(yīng)次數(shù)顯著減少，進(jìn)而減輕了云計算的負(fù)擔(dān)。

為驗證所提出的數(shù)據(jù)共享與恢復(fù)方法的有效性，本文比較了使用不同數(shù)量的總節(jié)點以及霧服務(wù)器節(jié)點進(jìn)行數(shù)據(jù)共享時的數(shù)據(jù)恢復(fù)率，具體結(jié)果如表2所示。由表2可知，本文方法能保持30%以上的數(shù)據(jù)恢復(fù)率。當(dāng)參與數(shù)據(jù)共享的霧節(jié)點數(shù)量增加到一定程度時，會導(dǎo)致數(shù)據(jù)恢復(fù)率下降。因此，本文選擇總運行節(jié)點數(shù)量的10-20%作為恢復(fù)的霧節(jié)點數(shù)。

4 結(jié)束語

本文提出了一種基于霧計算的電力信息存儲與共享方法。該方法將霧服務(wù)器作為中轉(zhuǎn)節(jié)點，采用差分同步的數(shù)據(jù)存儲方式實現(xiàn)更高效的數(shù)據(jù)存儲。相比于傳統(tǒng)方法，本文方法具有更高的數(shù)據(jù)恢復(fù)率，能明顯減少云服務(wù)器響應(yīng)次數(shù)。通過比較使用不同數(shù)量的總節(jié)點以及霧服務(wù)器節(jié)點進(jìn)行數(shù)據(jù)共享時的數(shù)據(jù)恢復(fù)率，驗證了本文所提出的數(shù)據(jù)共享與恢復(fù)方法的有效性。

（責(zé)任編輯：鐘媛 英文審校：尹淑英）