結(jié)合區(qū)塊鏈的非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)優(yōu)化研究

徐 智，王 岳，王 欣

(1. 三江學(xué)院機(jī)械與電氣工程學(xué)院，江蘇 南京 210012；2. 江蘇科技大學(xué)船舶與海洋工程學(xué)院，江蘇 鎮(zhèn)江 212003)

1 引言

傳統(tǒng)網(wǎng)絡(luò)中，數(shù)據(jù)大部分以結(jié)構(gòu)化形式傳遞與存儲(chǔ)，隨著云計(jì)算網(wǎng)絡(luò)的發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)大量涌現(xiàn)。所謂非結(jié)構(gòu)化，表示不具有固定格式，不具有約定規(guī)則[1]，這類數(shù)據(jù)不容易統(tǒng)一處理，也不利于理解。但是在IDC的統(tǒng)計(jì)報(bào)告中提到，這類無(wú)規(guī)則數(shù)據(jù)的年增長(zhǎng)速度超過(guò)60%，在2020年會(huì)達(dá)到40ZB。當(dāng)前，Google日處理網(wǎng)頁(yè)量在20PB以上；Facebook日存儲(chǔ)數(shù)據(jù)量在15TB以上；一些實(shí)驗(yàn)室和教育機(jī)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)日生成量也在TB或者PB級(jí)別，其中，主要由本文、網(wǎng)頁(yè)、音視頻等組成。依托著云計(jì)算，非結(jié)構(gòu)數(shù)據(jù)正在向著海量發(fā)展，其存儲(chǔ)負(fù)擔(dān)和存儲(chǔ)成本也急劇上升，同時(shí)，對(duì)非結(jié)構(gòu)大數(shù)據(jù)的持久化和操作也有著嚴(yán)格的可靠程度和時(shí)延要求。在其優(yōu)化存儲(chǔ)研究中，可靠程度的保證主要是采取冗余持久化機(jī)制；而在提高時(shí)效方面，由于現(xiàn)有的存儲(chǔ)機(jī)制采取的是統(tǒng)一結(jié)構(gòu)處理，將其直接向非結(jié)構(gòu)化拓展存在很大難度，所以針對(duì)非結(jié)構(gòu)化存儲(chǔ)機(jī)制和存儲(chǔ)方法的優(yōu)化亟待解決[2]。采用Hadoop集群并行存儲(chǔ)，是當(dāng)下主流的持久化框架，但是還需要在此基礎(chǔ)上部署數(shù)據(jù)清洗和存儲(chǔ)調(diào)度策略等。有學(xué)者[3]設(shè)計(jì)了有關(guān)節(jié)點(diǎn)類型的存儲(chǔ)方案，根據(jù)節(jié)點(diǎn)所屬類型，以及相應(yīng)的流行度對(duì)數(shù)據(jù)采取差異性存儲(chǔ)。這種存儲(chǔ)機(jī)制有利于降低云存儲(chǔ)數(shù)據(jù)的傳輸距離與訪問(wèn)時(shí)延，但是沒(méi)有針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的優(yōu)化處理。也有學(xué)者[4]提出了UDSS存儲(chǔ)，通過(guò)MongoDB[5]或者NoSQL數(shù)據(jù)庫(kù)的拓展查詢機(jī)制，與其它組件集成非關(guān)系數(shù)據(jù)庫(kù)[6]。另外，非結(jié)構(gòu)化數(shù)據(jù)由于不規(guī)則，在云存儲(chǔ)過(guò)程中很容易受到損壞，因此通常進(jìn)行數(shù)據(jù)審計(jì)。當(dāng)前多采用三方審計(jì)，這種方法存在著單點(diǎn)失效、時(shí)間開銷增加等問(wèn)題?？紤]到區(qū)塊鏈網(wǎng)絡(luò)具有良好的去中心化和拓展能力[7]，可以替代三方審計(jì)，改善交互速度。為此，本文在優(yōu)化非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)方法的同時(shí)，引入?yún)^(qū)塊鏈，并在區(qū)塊鏈網(wǎng)絡(luò)中對(duì)數(shù)據(jù)進(jìn)行完整性驗(yàn)證，進(jìn)一步提高非結(jié)構(gòu)化大數(shù)據(jù)的云存儲(chǔ)性能。

2 非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)設(shè)計(jì)

根據(jù)云環(huán)境中的分布與偏好差異，將數(shù)據(jù)調(diào)度方程描述如下

mij=w1a+w2b+w3c+w4d

(1)

這里的w1～w4為加權(quán)系數(shù)，它們的和為1；a項(xiàng)為云存儲(chǔ)數(shù)據(jù)包采樣時(shí)間成本；b項(xiàng)為數(shù)據(jù)包符合要求的程度；c項(xiàng)為存儲(chǔ)質(zhì)量；d項(xiàng)為存儲(chǔ)消耗。假定云環(huán)境面臨的非結(jié)構(gòu)化數(shù)據(jù)總量為n，對(duì)應(yīng)的持久化集合為(1，2，…，n+a)，a>0。集合中n+a代表網(wǎng)絡(luò)中節(jié)點(diǎn)的數(shù)量，也代表了存儲(chǔ)的數(shù)據(jù)量。由此可以得到任意存儲(chǔ)數(shù)據(jù)，如下所示

yi=λi[x1，x2，…，xn]

(2)

其中，λi是域F2={0，1}中的行向量；xi為數(shù)據(jù)包。為保證數(shù)據(jù)包的唯一性，構(gòu)成向量λi的元素應(yīng)符合如下分布規(guī)則

(3)

(4)

(5)

其中，v是節(jié)點(diǎn)總數(shù)。在存儲(chǔ)節(jié)點(diǎn)選擇概率為0.5時(shí)，非滿秩概率關(guān)系化簡(jiǎn)成pfailure≤(0.5)a。考慮到存儲(chǔ)過(guò)程中的損耗受節(jié)點(diǎn)數(shù)量影響，將其關(guān)系采取指數(shù)形式表示為

(6)

在進(jìn)行存儲(chǔ)操作時(shí)，本文采用了F2={0，1}域獲得存儲(chǔ)所需信息。調(diào)度控制根據(jù)域首判斷出數(shù)據(jù)狀況，并實(shí)時(shí)更新存儲(chǔ)策略。將調(diào)度控制存儲(chǔ)窗表示為{di|i=1，2，…，m}，包采集窗表示為{dj|j=m-k+1，…，m}。其中，k為采集窗大小，且k

(7)

對(duì)下一輪存儲(chǔ)數(shù)據(jù)包進(jìn)行預(yù)估，dm+1代表實(shí)際值；m+1代表估計(jì)值。于是，可以得到關(guān)于數(shù)據(jù)的動(dòng)態(tài)振蕩

(8)

當(dāng)D(m，k)增加，即云環(huán)境中的非結(jié)構(gòu)化大數(shù)據(jù)振蕩活躍時(shí)，應(yīng)該加速存儲(chǔ)頻次；當(dāng)D(m，k)減小，即云環(huán)境中的非結(jié)構(gòu)化大數(shù)據(jù)振蕩活躍度下降，應(yīng)該降低存儲(chǔ)頻次。

3 云存儲(chǔ)數(shù)據(jù)審計(jì)

為了更好的提升非結(jié)構(gòu)大數(shù)據(jù)云存儲(chǔ)效率，引入審計(jì)方案進(jìn)行優(yōu)化存儲(chǔ)。首先對(duì)云存儲(chǔ)數(shù)據(jù)包采取審計(jì)需求分析。存儲(chǔ)數(shù)據(jù)包是否進(jìn)行審計(jì)，審計(jì)的必要程度有多大，受數(shù)據(jù)包的屬性〈dv，hv〉影響，dv表示數(shù)據(jù)損壞的概率；hv表示數(shù)據(jù)熱度。把單一屬性的與審計(jì)需求關(guān)系擴(kuò)展至數(shù)據(jù)包級(jí)別，得到云存儲(chǔ)數(shù)據(jù)包的存儲(chǔ)審計(jì)需求如下

(9)

Qmax是最大審計(jì)需求；μ1、μ2依次是屬性dv與hv的加權(quán)系數(shù)。

然后對(duì)數(shù)據(jù)存儲(chǔ)時(shí)間采取審計(jì)。由于對(duì)時(shí)間進(jìn)行審計(jì)能夠確定數(shù)據(jù)存儲(chǔ)的時(shí)間消耗，在完成數(shù)據(jù)存儲(chǔ)的前提下盡可能降低節(jié)點(diǎn)存儲(chǔ)時(shí)間。假定數(shù)據(jù)包存儲(chǔ)集合是{D1，D2，…，Dn}，任意數(shù)據(jù)包Di被存儲(chǔ)次數(shù)是ci，于是可以得到存儲(chǔ)審計(jì)時(shí)間如下

(10)

其中，ti，j代表第j次存儲(chǔ)審計(jì)的耗時(shí)。再對(duì)云存儲(chǔ)數(shù)據(jù)包的數(shù)量進(jìn)行審計(jì)。根據(jù)審計(jì)周期將存儲(chǔ)數(shù)據(jù)包采取正序排列{T1，T2，…，Tu}，在第i個(gè)周期內(nèi)數(shù)據(jù)包存儲(chǔ)所需的平均耗時(shí)是τi，于是可以得到存儲(chǔ)數(shù)據(jù)包的數(shù)量審計(jì)如下

(11)

對(duì)于周期Ti，如果取值偏小，會(huì)使審計(jì)結(jié)果急劇上升；如果取值偏大，則會(huì)使存儲(chǔ)數(shù)據(jù)包的審計(jì)集合過(guò)于龐大。審計(jì)過(guò)程中，結(jié)合匹配指標(biāo)盡可能保證數(shù)據(jù)包分散在各個(gè)周期中。這里將匹配指標(biāo)定義如下

Maudit=(Sp-Smin)/Smin

(12)

其中，Sp為審計(jì)強(qiáng)度；Smin為滿足存儲(chǔ)數(shù)據(jù)審計(jì)需求的Sp下限。Maudit指標(biāo)用于衡量審計(jì)處理的偏差。當(dāng)Maudit>0時(shí)，說(shuō)明審計(jì)的強(qiáng)度超出需求范圍；當(dāng)Maudit<0時(shí)，說(shuō)明強(qiáng)度在需求范圍內(nèi)；當(dāng)Maudit=0時(shí)，說(shuō)明強(qiáng)度正好滿足需求。Sp指標(biāo)能夠體現(xiàn)存儲(chǔ)數(shù)據(jù)的審計(jì)效果，如數(shù)據(jù)識(shí)別能力。假定將數(shù)據(jù)審計(jì)效果表示為關(guān)于審計(jì)周期的鍵值對(duì)形式〈Tv，Zv〉，其中Zv表示Tv周期內(nèi)的數(shù)據(jù)識(shí)別率。則對(duì)應(yīng)的Sp指標(biāo)表示如下

(13)

Smax代表最大審計(jì)強(qiáng)度；Tmax、Zmax依次為Tv與Zv的最大值；η1、η2依次為Tv與Zv的加權(quán)系數(shù)。

4 區(qū)塊鏈網(wǎng)絡(luò)設(shè)計(jì)

云計(jì)算采用數(shù)組與Merkle樹對(duì)非結(jié)構(gòu)化大數(shù)據(jù)進(jìn)行存儲(chǔ)。將保存非結(jié)構(gòu)化數(shù)據(jù)的數(shù)組以一對(duì)一的形式映射至Merkle樹，數(shù)組結(jié)構(gòu)包含ID與Merkle根節(jié)點(diǎn)地址。這樣一來(lái)，在有數(shù)據(jù)增加的情況下，就轉(zhuǎn)變?yōu)閿?shù)組相應(yīng)Merkle樹的操作。Merkle樹由inner與leaf兩種節(jié)點(diǎn)構(gòu)成，其中，leaf采用(O，Hash，)形式數(shù)據(jù)結(jié)構(gòu)，它的Hash選取的是同態(tài)Hash[8]，O表示加密數(shù)據(jù)ID和數(shù)組ID，表示D的加密數(shù)據(jù)。inner采用(O，Hash)鍵值對(duì)形式的數(shù)據(jù)結(jié)構(gòu)，它的Hash選取的是MD5，O表示leaf內(nèi)的最大O值。假定任意非結(jié)構(gòu)化數(shù)據(jù)D(ID，NAME，d1，d2，d3)，在區(qū)塊鏈中，根據(jù)ID和NAME分辨數(shù)據(jù)，所有節(jié)點(diǎn)會(huì)通過(guò)共享密鑰實(shí)現(xiàn)除ID和NAME以外的加密處理[9]。當(dāng)系統(tǒng)存在數(shù)據(jù)更新，只需要對(duì)加密后的數(shù)據(jù)進(jìn)行修改，于是，數(shù)據(jù)更新過(guò)程描述為

UD=(1+Δd1，2+Δd2，3+Δd3)

(14)

根據(jù)數(shù)據(jù)更新計(jì)算可知該過(guò)程符合同態(tài)Hash。在區(qū)塊鏈結(jié)構(gòu)設(shè)計(jì)中，其首部組件有父Hash、Merkle根Hash、時(shí)間戳，以及所在區(qū)塊Hash。其中，父Hash用于構(gòu)造鏈型結(jié)構(gòu)，指向了前一區(qū)塊Hash。所在區(qū)塊Hash是由其余三個(gè)組件經(jīng)過(guò)MD5計(jì)算得到，該Hash將會(huì)作為下一區(qū)塊的父Hash。區(qū)塊體組件有HashTable、Merkle樹和認(rèn)證路徑。其中，HashTable用于存放區(qū)塊鏈網(wǎng)絡(luò)驗(yàn)證的請(qǐng)求，根據(jù)這些請(qǐng)求創(chuàng)建Merkle樹。在Merkle樹中，由leaf構(gòu)成的數(shù)組即為認(rèn)證路徑。在區(qū)塊鏈網(wǎng)絡(luò)的創(chuàng)世區(qū)塊中，父Hash和Merkle均是空值，創(chuàng)世區(qū)塊Hash僅由時(shí)間戳計(jì)算得到。圖1描述了本文的區(qū)塊鏈模型。

圖1 區(qū)塊鏈模型

考慮到非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)過(guò)程中，存儲(chǔ)數(shù)據(jù)完整性審計(jì)依托于三方引發(fā)的存儲(chǔ)效率下降問(wèn)題，基于區(qū)塊鏈網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)完整性驗(yàn)證。驗(yàn)證階段，區(qū)塊鏈網(wǎng)絡(luò)授權(quán)中心首先根據(jù)計(jì)算得到密鑰鍵值，然后節(jié)點(diǎn)將非結(jié)構(gòu)化數(shù)據(jù)采取加密、Hash操作，得到Lk()，并傳送出去。云計(jì)算網(wǎng)絡(luò)接收到數(shù)據(jù)后經(jīng)過(guò)審計(jì)進(jìn)行存儲(chǔ)，同時(shí)得到區(qū)塊鏈網(wǎng)絡(luò)加密數(shù)據(jù)的Merkle樹葉子節(jié)點(diǎn)。當(dāng)區(qū)塊鏈網(wǎng)絡(luò)發(fā)現(xiàn)數(shù)據(jù)存在更新，則將Merkle對(duì)應(yīng)的葉子節(jié)點(diǎn)進(jìn)行修改。網(wǎng)絡(luò)中負(fù)責(zé)驗(yàn)證的節(jié)點(diǎn)會(huì)隨機(jī)選擇數(shù)據(jù)ID，與云存儲(chǔ)網(wǎng)絡(luò)、區(qū)塊鏈網(wǎng)絡(luò)中該ID數(shù)據(jù)相關(guān)的節(jié)點(diǎn)做驗(yàn)證。云存儲(chǔ)網(wǎng)絡(luò)搜索到數(shù)據(jù)標(biāo)簽后回送響應(yīng)至區(qū)塊鏈網(wǎng)絡(luò)節(jié)點(diǎn)，一起回送的還有Merkle樹根Hash，區(qū)塊鏈節(jié)點(diǎn)搜索到對(duì)應(yīng)標(biāo)簽Lk()后對(duì)比Merkle樹根Hash，當(dāng)確認(rèn)Hash值一致時(shí)，則表明驗(yàn)證成功，數(shù)據(jù)完整性驗(yàn)證結(jié)束。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 實(shí)驗(yàn)參數(shù)設(shè)置

基于4臺(tái)PC建立實(shí)驗(yàn)平臺(tái)，配置為：Ubuntu12.04.3系統(tǒng)，16GB內(nèi)存，150GB ATAHitachiHTS54501硬盤。其中，2臺(tái)PC建立云存儲(chǔ)網(wǎng)絡(luò)集群，部署非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方法與存儲(chǔ)審計(jì)策略。另外2臺(tái)PC建立區(qū)塊鏈，部署驗(yàn)證策略。仿真時(shí)間設(shè)定24h，審計(jì)策略參數(shù)設(shè)置為μ1=μ2=0.5，η1=0.3，η2=0.7，dmax=0.3，hmax=2，Tmax=5，Zmax=1。

5.2 實(shí)驗(yàn)結(jié)果分析

首先，仿真確定格式差異對(duì)非結(jié)構(gòu)化數(shù)據(jù)云存儲(chǔ)時(shí)間的影響，實(shí)驗(yàn)用的非結(jié)構(gòu)化數(shù)據(jù)含有文本、圖像、網(wǎng)頁(yè)三種格式，總量達(dá)到100萬(wàn)條。在文本、圖像、網(wǎng)頁(yè)三種格式下，依次改變請(qǐng)求進(jìn)程的數(shù)量，得到存儲(chǔ)時(shí)間的變化情況，結(jié)果如圖2所示。根據(jù)存儲(chǔ)時(shí)間的變化曲線可知，在請(qǐng)求進(jìn)程數(shù)量相同時(shí)，三種格式數(shù)據(jù)的存儲(chǔ)時(shí)間比較接近，說(shuō)明非結(jié)構(gòu)化數(shù)據(jù)的格式差異并不會(huì)導(dǎo)致存儲(chǔ)時(shí)間的明顯差異，方法對(duì)于格式差異的非結(jié)構(gòu)化數(shù)據(jù)具有良好的普適性。在請(qǐng)求進(jìn)程增加的過(guò)程中，存儲(chǔ)時(shí)間的增速在逐漸放緩，并接近與平穩(wěn)，表明本文提出的非結(jié)構(gòu)化數(shù)據(jù)云存儲(chǔ)方法能夠應(yīng)對(duì)大量請(qǐng)求訪問(wèn)，具有良好的大數(shù)據(jù)處理能力。

圖2 三種格式非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)時(shí)間

再針對(duì)存儲(chǔ)數(shù)據(jù)完整性審計(jì)功能進(jìn)行驗(yàn)證，在給定數(shù)據(jù)包為1024kB的前提下，通過(guò)遞增數(shù)據(jù)包數(shù)量，仿真得到數(shù)據(jù)完整性審計(jì)的時(shí)間開銷，結(jié)果如圖3所示。本文引入TPA[10]審計(jì)作為對(duì)比，根據(jù)結(jié)果對(duì)比可知，本文的完整性審計(jì)時(shí)間開銷明顯縮短，且受數(shù)據(jù)包數(shù)量影響較小。在給定數(shù)據(jù)包數(shù)量為100的情況下，依次增加數(shù)據(jù)包的大小，每次增幅為1024kB，通過(guò)仿真得到此時(shí)數(shù)據(jù)完整性審計(jì)的時(shí)間開銷，結(jié)果如圖4所示。根據(jù)數(shù)據(jù)完整性審計(jì)結(jié)果可以發(fā)現(xiàn)，兩種方法的審計(jì)時(shí)間受數(shù)據(jù)包數(shù)量變化影響較小，受數(shù)據(jù)包大小的影響較大，但是經(jīng)過(guò)與TPA審計(jì)對(duì)比可知，對(duì)于同樣大小的數(shù)據(jù)包，本文方法所需的審計(jì)時(shí)間明顯更短，且隨數(shù)據(jù)包大小變化的增幅更為緩慢。數(shù)據(jù)完整性審計(jì)時(shí)間開銷的縮短，是由于云存儲(chǔ)網(wǎng)絡(luò)每接收固定個(gè)數(shù)據(jù)包就會(huì)構(gòu)造出相應(yīng)的區(qū)塊數(shù)據(jù)，由區(qū)塊鏈網(wǎng)絡(luò)完成數(shù)據(jù)完整性審計(jì)，并且結(jié)合匹配指標(biāo)盡可能保證數(shù)據(jù)包分散在各個(gè)審計(jì)周期內(nèi)，避免云存儲(chǔ)節(jié)點(diǎn)出現(xiàn)空閑和審計(jì)急劇上升的情況。

圖3 存儲(chǔ)數(shù)據(jù)量對(duì)完整性審計(jì)時(shí)間的影響

圖4 數(shù)據(jù)包大小對(duì)完整性審計(jì)時(shí)間的影響

最后，為了驗(yàn)證本文方法在非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)時(shí)間開銷上的性能優(yōu)勢(shì)，仿真過(guò)程中通過(guò)依次遞增非結(jié)構(gòu)化數(shù)據(jù)的大小，得到云存儲(chǔ)的時(shí)間開銷，并與文獻(xiàn)[3]方法的性能做對(duì)比，結(jié)果如圖5所示。根據(jù)結(jié)果對(duì)比可知，本文方法的非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)時(shí)間開銷明顯小于對(duì)比方法，存儲(chǔ)效率顯著提升。

圖5 非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)時(shí)間開銷

6 結(jié)束語(yǔ)

本文提出了基于區(qū)塊鏈技術(shù)的非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)方法。針對(duì)云存儲(chǔ)網(wǎng)絡(luò)端的非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)域分析獲得存儲(chǔ)信息，根據(jù)估算的數(shù)據(jù)振蕩情況動(dòng)態(tài)調(diào)整存儲(chǔ)頻次。同時(shí)在云存儲(chǔ)網(wǎng)絡(luò)端設(shè)計(jì)了數(shù)據(jù)存儲(chǔ)審計(jì)方案，旨在提高數(shù)據(jù)存儲(chǔ)效率。為了保證非結(jié)構(gòu)化大數(shù)據(jù)云存儲(chǔ)的完整性驗(yàn)證效率，引入?yún)^(qū)塊鏈技術(shù)，設(shè)計(jì)了相應(yīng)的區(qū)塊鏈網(wǎng)絡(luò)結(jié)構(gòu)，并在其中實(shí)現(xiàn)了數(shù)據(jù)完整性高效驗(yàn)證。通過(guò)仿真，證明了本文所提方法對(duì)于格式差異的非結(jié)構(gòu)化數(shù)據(jù)具有良好的普適性，且顯著提高了非結(jié)構(gòu)化數(shù)據(jù)的云存儲(chǔ)效率，能夠有效應(yīng)對(duì)大量請(qǐng)求訪問(wèn)數(shù)據(jù)，具有良好的大數(shù)據(jù)處理能力。