基于長(zhǎng)短期記憶網(wǎng)絡(luò)的去重操作調(diào)度方案

穆雪蓮 咸鶴群

摘要：數(shù)據(jù)去重的過(guò)程中，云存儲(chǔ)系統(tǒng)會(huì)產(chǎn)生大量的計(jì)算機(jī)調(diào)度沖突。針對(duì)去重操作調(diào)度沖突問(wèn)題，提出一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）機(jī)器學(xué)習(xí)方法的預(yù)測(cè)模型，可根據(jù)歷史操作預(yù)測(cè)服務(wù)器負(fù)載情況，由此給出操作序列建議，對(duì)服務(wù)器進(jìn)程進(jìn)行合理調(diào)度并實(shí)施去重操作。并與基于隨機(jī)模擬仿真數(shù)據(jù)的操作調(diào)度進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明，本方案在提高服務(wù)器去重操作執(zhí)行效率方面具有優(yōu)勢(shì)，能夠降低服務(wù)器的性能開銷。

關(guān)鍵詞：云存儲(chǔ);數(shù)據(jù)去重;調(diào)度優(yōu)化 ;LSTM;預(yù)測(cè)模型

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-1037（2021）01-0025-04

基金項(xiàng)目：山東省自然科學(xué)基金（批準(zhǔn)號(hào)：ZR2019MF058）資助。

通信作者：咸鶴群，男，博士，副教授，主要研究方向?yàn)槊艽a學(xué)、網(wǎng)絡(luò)與信息系統(tǒng)安全、云計(jì)算安全等。E-mail：xianhq@126.com

隨著云存儲(chǔ)服務(wù)的廣泛推廣和大規(guī)模應(yīng)用，云端存儲(chǔ)的數(shù)據(jù)龐大，研究發(fā)現(xiàn)，基于虛擬機(jī)主存儲(chǔ)系統(tǒng)中有80%的數(shù)據(jù)冗余，存儲(chǔ)系統(tǒng)中高達(dá)60%的數(shù)據(jù)是冗余的[1]，越來(lái)越多的冗余數(shù)據(jù)被存儲(chǔ)在云服務(wù)器中，數(shù)據(jù)去重技術(shù)得到廣泛應(yīng)用。在數(shù)據(jù)去重的過(guò)程中，云存儲(chǔ)系統(tǒng)會(huì)產(chǎn)生大量的計(jì)算機(jī)調(diào)度沖突。如何在保護(hù)用戶數(shù)據(jù)隱私的同時(shí)解決調(diào)度沖突，提高去重操作的效率，是數(shù)據(jù)去重方案面臨的新問(wèn)題。相同的數(shù)據(jù)在不同的加密密鑰和加密方式的作用下，所得的密文也不一致[2-3]，云服務(wù)器難以直接根據(jù)密文判斷該數(shù)據(jù)是否來(lái)自于同一明文數(shù)據(jù)，這也嚴(yán)重制約了跨用戶重復(fù)數(shù)據(jù)刪除系統(tǒng)的執(zhí)行效率[4]。Liu等[5-6]提出了服務(wù)器端數(shù)據(jù)去重方案，擁有相同數(shù)據(jù)拷貝的用戶，調(diào)用Password Authenticated Key Exchange（PAKE）協(xié)議進(jìn)行密鑰交換。付印金等[7]重點(diǎn)分析和總結(jié)數(shù)據(jù)去重各項(xiàng)關(guān)鍵技術(shù)的研究現(xiàn)狀，包括數(shù)據(jù)劃分方法、I/O優(yōu)化技術(shù)、高可靠數(shù)據(jù)配置策略以及系統(tǒng)可擴(kuò)展性，有效提高了數(shù)據(jù)去重的效率。咸鶴群等[8]提出了一種可驗(yàn)證的數(shù)據(jù)去重方法，無(wú)需可信第三方在線參與有效提高了數(shù)據(jù)去重的效率。為提高數(shù)據(jù)去重效率，Stanek等[9]提出將數(shù)據(jù)分為流行數(shù)據(jù)和非流行數(shù)據(jù)，并采取不同的加密策略?，F(xiàn)有的商用云存儲(chǔ)系統(tǒng)普遍采用了數(shù)據(jù)去重技術(shù)，如Dropbox，Wuala，Mozy，Geogle Drive等[10]。但該技術(shù)的提出也引來(lái)了數(shù)據(jù)安全、用戶隱私、去重操作效率低下等一系列相關(guān)問(wèn)題。終端設(shè)備產(chǎn)生數(shù)據(jù)量的激增，使得終端數(shù)據(jù)不得不外包到專門的數(shù)據(jù)中心，為了降低資源消耗，減少系統(tǒng)開銷，引入了一種新型的計(jì)算范式，稱為fog計(jì)算[11]，數(shù)據(jù)所有者可以更新或者刪除存儲(chǔ)在遠(yuǎn)程存儲(chǔ)中的外包數(shù)據(jù)。劉紅燕等[12]提出了一種采用文件級(jí)和塊級(jí)相結(jié)合的重復(fù)數(shù)據(jù)刪除方法，在實(shí)現(xiàn)高效重復(fù)數(shù)據(jù)刪除的同時(shí)，更好地保護(hù)了用戶數(shù)據(jù)隱私。通過(guò)對(duì)數(shù)據(jù)去重技術(shù)當(dāng)前研究現(xiàn)狀的分析，恰當(dāng)?shù)臋C(jī)制打破數(shù)據(jù)去重技術(shù)的可靠性局限并減少數(shù)據(jù)去重技術(shù)帶來(lái)的額外系統(tǒng)開銷也是一個(gè)重要的方面[13]。為提高數(shù)據(jù)去重的效率，程思嘉等[14-15]提出了一種基于密文策略屬性的數(shù)據(jù)刪重方案。該方案采用混合云結(jié)構(gòu)，公有云負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)，私有云負(fù)責(zé)數(shù)據(jù)重復(fù)檢測(cè)。上述方案都是對(duì)用戶的隱私數(shù)據(jù)進(jìn)行分類、加工操作，去重效率并沒(méi)有得到大幅度的提升。針對(duì)此類問(wèn)題，本文提出了一種基于機(jī)器學(xué)習(xí)的去重操作調(diào)度方法，通過(guò)解決去重過(guò)程中的沖突，提升調(diào)度效率。

1 方案

本方案基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）構(gòu)造機(jī)器學(xué)習(xí)模型。解決數(shù)據(jù)安全去重方案中去重操作與服務(wù)器其他數(shù)據(jù)操作的調(diào)度沖突問(wèn)題。在一般的基于數(shù)據(jù)加密的數(shù)據(jù)去重系統(tǒng)中，刪除冗余數(shù)據(jù)之前需要預(yù)先對(duì)密文數(shù)據(jù)進(jìn)行處理[16]。這些操作與服務(wù)器正常的數(shù)據(jù)操作之間的調(diào)度優(yōu)化，能夠顯著提升數(shù)據(jù)去重的執(zhí)行效率。

本方案的系統(tǒng)模型包含3類實(shí)體：用戶（U）、預(yù)測(cè)器（P）和云服務(wù)器（CS），云服器為用戶提供數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)共享服務(wù)。為訓(xùn)練出一個(gè)效果突出且可以提供性能調(diào)度優(yōu)化策略的預(yù)測(cè)器P，引入了LSTM神經(jīng)網(wǎng)絡(luò)模型，將該網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)設(shè)置為26 240，時(shí)間步為1，輸入數(shù)據(jù)個(gè)數(shù)為1，輸出維度為80，迭代次數(shù)為1 000次，利用該預(yù)測(cè)器得出的結(jié)論指導(dǎo)序列生成器生成操作序列建議，云服務(wù)器可依據(jù)此建議進(jìn)行去重操作的調(diào)度，用戶可以將自己的數(shù)據(jù)上傳至云服務(wù)器。若云端檢測(cè)到該數(shù)據(jù)為冗余數(shù)據(jù)，則做冗余數(shù)據(jù)刪除準(zhǔn)備，向預(yù)測(cè)器發(fā)送進(jìn)程調(diào)度請(qǐng)求，預(yù)測(cè)器可以根據(jù)云服務(wù)器當(dāng)前操作的反饋數(shù)據(jù)預(yù)測(cè)出在未來(lái)一段時(shí)間服務(wù)器調(diào)度的高峰低谷即空檔期，并將此預(yù)測(cè)數(shù)據(jù)交給序列生成器加工生成操作序列建議，云服務(wù)器可以依據(jù)此建議進(jìn)行去重操作調(diào)度。本方案的綜合流程圖如圖1所示。

預(yù)測(cè)模型包含四個(gè)算法：文件生成算法Encryption，數(shù)據(jù)判斷算法JudgeGen，預(yù)測(cè)生成函數(shù) PredictGen，序列生成策略ArrayGen。

（1）Encryption（F）→C：文件生成算法，由用戶U執(zhí)行。輸入數(shù)據(jù)所有者的上傳數(shù)據(jù)F，輸出文件C，然后將C上傳至云服務(wù)器CS。

（2）Judge-Gen（C）→R<Amo，D（OS）>：數(shù)據(jù)判斷算法，由云服務(wù)器執(zhí)行。輸入文件C，產(chǎn)生文件規(guī)模標(biāo)識(shí)Amo和云服務(wù)器當(dāng)前操作調(diào)度D（OS），并將二元組R<Amo，D（OS）>請(qǐng)求發(fā)送給預(yù)測(cè)器P。

（3）Predict-Gen（R，TW）→T<S，Ra，Res>：預(yù)測(cè)生成函數(shù)，由預(yù)測(cè)器執(zhí)行。輸入云服務(wù)器相關(guān)數(shù)據(jù)R和訓(xùn)練生成網(wǎng)絡(luò)TW，輸出預(yù)測(cè)器生成的調(diào)度策略S（即預(yù)測(cè)器生成的曲線圖表）、當(dāng)前服務(wù)器繁忙等級(jí)Ra和理想操作狀態(tài)Res（True或False）。并將此性能調(diào)度優(yōu)化策略T<S，Ra，Res>交予序列生成器生成操作序列建議。

具體步驟為：①將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)輸入到預(yù)測(cè)器中，對(duì)未來(lái)一段時(shí)間云服務(wù)器的操作調(diào)度情況進(jìn)行預(yù)測(cè);②預(yù)測(cè)器根據(jù)輸入的（R，TW），生成調(diào)度策略S，當(dāng)前服務(wù)器繁忙等級(jí)Ra和理想操作狀態(tài)Res。當(dāng)前服務(wù)器的繁忙等級(jí)輸出為High或者Low，理想操作狀態(tài)Res分為True和False;③將輸出的值T<S，Ra，Res>發(fā)送給序列生成器

（4）Array-Gen（T）->Suggest：序列生成策略，根據(jù)預(yù)測(cè)結(jié)果生成操作序列建議，即0-1字符串。

具體步驟為：①根據(jù)數(shù)據(jù)T，提取出操作序列，并將操作次數(shù)的平均值作為區(qū)分高峰低谷的標(biāo)準(zhǔn)，低于平均值的時(shí)刻進(jìn)行輸出，并生成操作序列建議（即0-1字符串）;②將序列建議發(fā)送給云服務(wù)器。操作序列建議中0表示此時(shí)可以進(jìn)行去重調(diào)度，1表示此時(shí)服務(wù)器被占用無(wú)法進(jìn)行去重操作的調(diào)度。

2 仿真與實(shí)驗(yàn)分析

本方案采用Python語(yǔ)言，利用Skerlearn、Pandas、Random等函數(shù)庫(kù)進(jìn)行方案的實(shí)現(xiàn)。運(yùn)行平臺(tái)是具有4GB運(yùn)行內(nèi)存、4核CPU，運(yùn)行的操作系統(tǒng)是Windows。實(shí)驗(yàn)基于Keras高級(jí)神經(jīng)庫(kù)中的LSTM神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)為26 240，設(shè)置該LSTM的時(shí)間步為1，輸入數(shù)據(jù)個(gè)數(shù)為1，輸出維度為80，迭代次數(shù)為1 000次。實(shí)驗(yàn)將以一分鐘作為時(shí)間跨度的數(shù)據(jù)上傳給預(yù)測(cè)器，根據(jù)實(shí)驗(yàn)結(jié)果的輸出，提取出預(yù)測(cè)數(shù)據(jù)中的高峰低谷，與真實(shí)數(shù)據(jù)的高峰低谷進(jìn)行對(duì)比分析，結(jié)果輸出如圖2所示。

圖2中0～160 min的部分（虛線左側(cè)）是訓(xùn)練數(shù)據(jù)集作為網(wǎng)絡(luò)輸入得到的預(yù)測(cè)結(jié)果和實(shí)際數(shù)據(jù)的比較。虛線右側(cè)（161～240 min的部分）是測(cè)試數(shù)據(jù)集作為網(wǎng)絡(luò)輸入得到的預(yù)測(cè)結(jié)果和實(shí)際數(shù)據(jù)的比較。根據(jù)預(yù)測(cè)器所得出的未來(lái)一段時(shí)間內(nèi)服務(wù)器的調(diào)度預(yù)測(cè)情況，對(duì)應(yīng)生成操作建議序列。方案定義高于所有預(yù)測(cè)結(jié)果平均值的時(shí)刻為服務(wù)器繁忙期，低于平均值的時(shí)刻為空閑期，從而指導(dǎo)服務(wù)器進(jìn)行去重操作的調(diào)度。首先求得所有預(yù)測(cè)數(shù)據(jù)的平均值，高于該平均值的時(shí)刻輸出1，低于該平均值的輸出0，最終得到操作序列建議0-1序列，序列建議為0的時(shí)刻進(jìn)行去重操作調(diào)度，為1 的時(shí)刻不進(jìn)行任何調(diào)度。最后進(jìn)行了普通的隨機(jī)碰撞模擬實(shí)驗(yàn)，數(shù)據(jù)顯示該實(shí)驗(yàn)碰撞概率在20%以上。通過(guò)對(duì)兩種預(yù)測(cè)結(jié)果的對(duì)比分析，根據(jù)預(yù)測(cè)器給出的性能調(diào)度優(yōu)化策略，可以最大幅度的提升調(diào)度的效率，從而使得去重能夠更快更有效的進(jìn)行。對(duì)比結(jié)果如圖3所示，Predictor數(shù)據(jù)為預(yù)測(cè)器的結(jié)果得出的調(diào)度沖突概率，Random數(shù)據(jù)為普通模擬得出的沖突概率。

3 結(jié)論

本文設(shè)計(jì)了基于機(jī)器學(xué)習(xí)的云存儲(chǔ)數(shù)據(jù)安全去重調(diào)度方案，基于LSTM神經(jīng)網(wǎng)絡(luò)，訓(xùn)練出一種可以根據(jù)歷史操作來(lái)預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)服務(wù)器調(diào)度情況的預(yù)測(cè)器，根據(jù)預(yù)測(cè)器給出合理的操作序列建議，依據(jù)此序列對(duì)服務(wù)器進(jìn)程進(jìn)行調(diào)度并指導(dǎo)去重操作。首次對(duì)加密數(shù)據(jù)去重方案中關(guān)于去重操作執(zhí)行效率進(jìn)行討論，提出了首個(gè)基于LSTM模型對(duì)去重操作進(jìn)行調(diào)度的方案。文中給出了依據(jù)性能調(diào)度優(yōu)化策略進(jìn)行服務(wù)器調(diào)度產(chǎn)生的碰撞率與隨機(jī)模擬碰撞實(shí)驗(yàn)的對(duì)比情況，表明此方案是方便高效的，提高了去重操作的效率，降低了服務(wù)器的性能開銷。

參考文獻(xiàn)

[1]CLEMENTS A， AHMAD I， Vilayannur M， et al. Decentralized deduplication in SAN cluster file systems[C]//Proc of the USENIX ATC′09. Berkeley， CA： USENIX， 2009：101-114.

[2]DOUCEUR J R， ADYA A， BOLOSKY W J， et al. Reclaiming space from duplicate files in a serverless distributed file system[C]//Proceeding of the 22nd International Conference on Distributed Computing Systems. Piscataway， NJ： IEEE， 2002：617-624.

[3]LIU J F， WANG J F， TAO X L， et al. Secure similarity-based cloud data deduplication in Ubiquitous city[J]. Pervasive and Mobile Computing， 2017，41：231-242.

[4]ZHANG P F， HUANG P， HE X B， et al. Resemblance and mergence based indexing for high performance data deduplication[J]. Journal of Systems and Software，2017，128：11-24.

[5]LIU J，ASOKAN N，PINKAS B. Secure deduplication of encrypted data without additional independent servers[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2015： 874-885.

[6]胡學(xué)先，張振峰，劉文芬.標(biāo)準(zhǔn)模型下通用可組合的口令認(rèn)證密鑰交換協(xié)議[J].軟件學(xué)報(bào)，2011，22（11）：2820-2832.

[7]付印金，肖儂，劉芳. 數(shù)據(jù)去重關(guān)鍵技術(shù)研究進(jìn)展[J]. 計(jì)算機(jī)研究與發(fā)展，2012，49（1）：12-20.

[8]咸鶴群，劉紅燕，張曙光，等.可驗(yàn)證的云存儲(chǔ)安全數(shù)據(jù)刪重方法[J].軟件學(xué)報(bào)，2020，31（2）：455-470.

[9]STANEK J，SORNIOTTI A，ANDROULAKI E，et al. A secure data deduplication scheme for cloud storage[C]// Proceedings of the 18th International Conference on Financial Cryptography and Data Security. Berlin： Springer，2014： 99-118.

[10] 張曙光，咸鶴群，王雅哲，等.基于離線密鑰分發(fā)的加密數(shù)據(jù)重復(fù)刪除方法[J].軟件學(xué)報(bào)，2018，29（7）：66-72.

[11] KOO D，HUR J. Privacy-preserving deduplication of encrypted data with dynamic ownership management in fog computing[J]. Future Generation Computer Systems， 2018，78： 739-752.

[12] 劉紅燕，咸鶴群，魯秀青，等. 基于用戶定義安全條件的可驗(yàn)證重復(fù)數(shù)據(jù)刪除方法[J]. 計(jì)算機(jī)研究與發(fā)展， 2018， 55（10）： 2134-2148.

[13] 敖莉，舒繼武，李明強(qiáng)，等. 數(shù)據(jù)去重技術(shù)[J]. 軟件學(xué)報(bào)，2010，21（5）：916-929.

[14] 程思嘉，張昌宏，潘帥卿.基于 CP-ABE 算法的云存儲(chǔ)數(shù)據(jù)訪問(wèn)控制方案設(shè)計(jì)[J].信息網(wǎng)絡(luò)安全， 2016（2）：1-6.

[15] CUI H，DENG R H，LI Y，et al. Attribute-based storage supporting secure deduplication of encrypted data in cloud[J]. IEEE Transactions on Big Data，2017，5（3）：330-342.

[16] 高原，咸鶴群，穆雪蓮，等. 基于閾值自適應(yīng)調(diào)整的重復(fù)數(shù)據(jù)刪除方案[J]. 青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，32（4）：36-39.