• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云際存儲系統(tǒng)性能優(yōu)化研究現(xiàn)狀與展望*

    2021-05-18 09:32:08朱良杰沈佳杰周揚帆
    計算機工程與科學 2021年5期
    關鍵詞:云際用戶端分片

    朱良杰,沈佳杰,周揚帆 ,王 新,3

    (1.復旦大學計算機科學技術學院,上海 201203;2.上海市智能信息處理重點實驗室,上海 200433;3.復旦大學信息化辦公室,上海 200433)

    1 引言

    隨著互聯(lián)網(wǎng)技術與應用的快速發(fā)展,用戶數(shù)據(jù)開始呈現(xiàn)爆發(fā)式增長。根據(jù)國際數(shù)據(jù)資訊公司IDC的預測,從2020 年開始,每2年上網(wǎng)用戶總量將增長一倍,每6~9個月企業(yè)產(chǎn)生的數(shù)據(jù)量將會翻一番[1]。面對如此海量的用戶數(shù)據(jù),云存儲作為一種有效的存儲方案被廣泛應用于在線數(shù)據(jù)存儲。

    然而,當前的云存儲系統(tǒng)普遍存在諸多問題:首先,云存儲系統(tǒng)存在云提供商存儲服務鎖死的問題[2]。當用戶需要更換供應云提供商時,需要進行大量數(shù)據(jù)拷貝和遷移操作,從而導致大量的數(shù)據(jù)傳輸開銷。其次,云存儲系統(tǒng)存在存儲數(shù)據(jù)可靠性的問題。當云存儲失效時,可能會導致用戶數(shù)據(jù)丟失的情況[3]。最后,云存儲存在安全問題。當云基礎設施被黑客攻陷后,攻擊者將獲取云存儲中的數(shù)據(jù)[4]。

    為了彌補云存儲系統(tǒng)的上述不足之處,學者們提出了云際存儲方案[5]。在云際存儲系統(tǒng)中,采用不同提供商的云存儲服務來構建一個統(tǒng)一的存儲管理平臺,提供安全可靠的存儲服務。通過將數(shù)據(jù)編碼存儲在不同的云服務提供商的存儲空間中,云際存儲系統(tǒng)可以保障在若干個云失效的情況下恢復出用戶數(shù)據(jù)。此外,云際存儲系統(tǒng)對機密數(shù)據(jù)進行加密和編碼生成多個分片上傳至不同的云存儲空間,即使中間的若干個云被黑客攻破,攻擊者因信息不全將無法破解出完整的機密數(shù)據(jù)[6],從而保證數(shù)據(jù)的機密性。

    由于云際存儲系統(tǒng)具有這些優(yōu)良的特性,近年來已成為云存儲系統(tǒng)的重要發(fā)展方向和研究熱點。然而,若簡單地用當前云際存儲方案替換云存儲方案部署在當前在線應用而不優(yōu)化上層的軟硬件架構,則會限制云際存儲系統(tǒng)的性能。具體說來,制約云際存儲系統(tǒng)性能的主要因素有:

    (1)網(wǎng)絡適配能力。用戶端設備需要通過互聯(lián)網(wǎng)將加密和編碼后的數(shù)據(jù)上傳到云端。由于在這種網(wǎng)絡環(huán)境下帶寬往往具有較大的波動性,云際存儲系統(tǒng)需要動態(tài)調整傳輸策略以適應當前網(wǎng)絡狀態(tài),從而更好地滿足實際在線應用的存儲需求。

    (2)資源管理機制。在數(shù)據(jù)存儲過程中,云際存儲系統(tǒng)需要將數(shù)據(jù)分發(fā)到多個云,并有效地管理這些已經(jīng)存儲在云端的數(shù)據(jù)。這就要求云際存儲系統(tǒng)可以高效地管理用戶端設備和云端的計算、傳輸和存儲資源,從而保證用戶數(shù)據(jù)存儲的安全性和效率。

    (3)應用場景適應能力。不同的存儲應用中用戶端設備和云端可使用的資源往往有較大的差異。由于不同在線應用的存儲需求差異較大,云際存儲系統(tǒng)往往需要根據(jù)在線應用的需求特性來優(yōu)化對應數(shù)據(jù)讀寫和修復方案,并調整自身的數(shù)據(jù)傳輸及資源管理策略,從而適應不同的應用場景。

    針對上述3個問題,當前的研究工作通過構建高效的云際存儲管理機制和數(shù)據(jù)分發(fā)方案來解決這些問題。本文綜述了當前云際存儲系統(tǒng)的性能優(yōu)化方案,包括以下3個方面內容:

    首先,本文介紹了云際存儲系統(tǒng)中數(shù)據(jù)讀寫及修復操作執(zhí)行過程,并總結了常見的數(shù)據(jù)分發(fā)方案。在此基礎上,本文介紹了當前提升云際存儲系統(tǒng)網(wǎng)絡傳輸效率的主流設計方案,如構建新的編碼網(wǎng)絡方案來減少數(shù)據(jù)修復操作。本文綜述了這些操作對于網(wǎng)絡的需求及當前云際存儲中主要的用戶端設備和云端之間的網(wǎng)絡傳輸方案。

    其次,在分析了運行過程中用戶端設備和云端所使用的主要資源的基礎上,本文介紹了云際存儲系統(tǒng)主要的管理方案。針對于云際存儲3種主要的系統(tǒng)資源(即,計算、網(wǎng)絡和存儲資源),本文綜述了當前主流的云際存儲系統(tǒng)資源管理方案并分析了這些方案的適用場景及優(yōu)缺點。

    最后,本文介紹了云際存儲系統(tǒng)的3種經(jīng)典應用場景(即,數(shù)據(jù)備份、移動應用和云際計算)。在此基礎上,本文總結了當前云際存儲系統(tǒng)的實現(xiàn)機制和優(yōu)化方案。通過分析和對比當前云際存儲系統(tǒng)及其適合的應用場景,本文總結了云際存儲系統(tǒng)亟待解決的問題。

    2 云際存儲和數(shù)據(jù)分發(fā)方案背景介紹

    云際存儲系統(tǒng)需要使用數(shù)據(jù)分發(fā)算法(Dispersal Algorithm)將數(shù)據(jù)分片上傳,并完成數(shù)據(jù)讀寫及修復等操作。本文首先介紹當前的云際存儲系統(tǒng)背景及運行時需要執(zhí)行的操作。在此基礎上,本文總結了當前云際存儲系統(tǒng)中主要的數(shù)據(jù)分發(fā)方案,并分析了它們的復雜度。

    2.1 云際存儲背景介紹

    為了保證用戶存儲數(shù)據(jù)的可靠性,當前云際存儲系統(tǒng)使用數(shù)據(jù)分發(fā)算法將數(shù)據(jù)分發(fā)到不同的云存儲空間。

    圖1[7]展示了云際存儲系統(tǒng)中的主要操作。

    Figure 1 Main operations in cloud-of-clouds storage圖1 云際存儲系統(tǒng)中主要操作

    在云際存儲系統(tǒng)中,用戶端設備執(zhí)行寫入(加密、編碼和上傳)操作和讀取(下載、解碼和解密)操作,云端執(zhí)行修復操作。在這些操作的執(zhí)行過程中,存在2種主要的網(wǎng)絡傳輸優(yōu)化方案,即通過構建編碼方案來減少網(wǎng)絡數(shù)據(jù)傳輸量或根據(jù)當前網(wǎng)絡和系統(tǒng)狀態(tài)來動態(tài)調整相應數(shù)據(jù)傳輸機制。

    根據(jù)實際應用場景的需求和特點,云際存儲系統(tǒng)需要使用不同的數(shù)據(jù)分發(fā)方案來提供存儲服務。例如,為了保證存儲數(shù)據(jù)的安全性和可靠性,云際存儲系統(tǒng)需要使用分發(fā)算法將數(shù)據(jù)加密并編碼生成多個分片并分配到不同云。因此,研究人員提出多種數(shù)據(jù)分發(fā)方案來提升云際存儲系統(tǒng)的性能。若一個數(shù)據(jù)分發(fā)算法將原始數(shù)據(jù)加上冗余數(shù)據(jù)之后的目標數(shù)據(jù)分為n個分片,并且利用其中任意k個分片即可恢復原始數(shù)據(jù)。同時為保證云際存儲系統(tǒng)數(shù)據(jù)安全性,黑客在攻陷t個存儲節(jié)點時無法獲取機密消息的相關數(shù)據(jù)。這樣的數(shù)據(jù)分發(fā)算法被定義為(n,k,t)數(shù)據(jù)分發(fā)算法,其中t為安全度,云系統(tǒng)上存儲的目標數(shù)據(jù)與原始數(shù)據(jù)的比值定義為存儲增益Ω 。下面將介紹當前云際存儲系統(tǒng)廣泛使用的數(shù)據(jù)分發(fā)方案。

    2.2 數(shù)據(jù)分發(fā)方案

    在提出云際存儲系統(tǒng)相關概念之前,研究人員已經(jīng)開展了很多與數(shù)據(jù)分發(fā)操作相關的工作[7],很多分發(fā)操作方案依然被廣泛用于當前的云際存儲系統(tǒng)來安全地讀寫數(shù)據(jù)。Rabin[8]提出了一個信息分配算法IDA(Information Dispersal Algorithm)在不考慮安全性(安全度t=0)的情況下完成數(shù)據(jù)分發(fā)操作。在保證數(shù)據(jù)安全性的基礎上(安全度t=k-1),Shamir[9]提出了Shamir秘密共享算法SSSS(Shamir’s Secret Sharing Scheme)來完成數(shù)據(jù)分發(fā)操作。Blakley等人[10]提出了機密信息共享RSSS(Ramp Secret Sharing Scheme) 方案來構建安全性可調(安全度t∈[0,k-1])的通用分發(fā)算法。Krawczyk[11]提出了消息分享方案SSMS(Secret Sharing Made Short)來減少Shamir秘密共享算法SSSS的存儲開銷。這些方案在設計之初只考慮了安全性,卻忽略了帶來的存儲空間和性能開銷的問題。

    上述數(shù)據(jù)分發(fā)算法具有很高的計算復雜性,因而在實際的云際存儲系統(tǒng)中很難高效地執(zhí)行這些算法。Resch等人[6]提出了AONT-RS(All-Or-Northing Transform with Reed-Solomon coding)算法來提升數(shù)據(jù)分發(fā)算法的性能和安全性。但是,AONT-RS使用隨機密鑰來加密機密消息,這種機制會影響數(shù)據(jù)去重的性能和數(shù)據(jù)存儲效率。Li等人[4]提出了2種不同的分配算法CRSSS (Convergent RSSS)和CAONT-RS (Convergent AONT-RS)來有效提升云際存儲的存儲空間利用率。Shen等人[12]利用非系統(tǒng)編碼HCE-PPC(Hash Cyclic Encryption-Privacy Protecting Codes)來快速進行數(shù)據(jù)編解碼操作。Yao等人[13]提出一種安全的數(shù)據(jù)分發(fā)算法SAONT-RS(Safe and efficient AONT-RS)來提升數(shù)據(jù)存儲操作的安全性。通過對云際存儲冗余數(shù)據(jù)的合理分配,Mao等人[14]有效提升了云際存儲系統(tǒng)的可用性。Bernstein等人[15]構建了一個云際存儲系統(tǒng)的測試平臺,用于分析各種云際存儲方案優(yōu)缺點。針對數(shù)據(jù)安全性問題,Louk等人[16]提出了一種云際同態(tài)加密方案。Shen等人[17]提出了基于網(wǎng)絡編碼的數(shù)據(jù)分發(fā)方案NCCS(Network Coding based Cloud of clouds Storage)來減少移動應用場景中用戶設備存儲數(shù)據(jù)的開銷。Kapusta等人[18]引入新的數(shù)據(jù)分片方式KFA(Kapusta’s Fragmentation Algorithm),將數(shù)據(jù)塊拆分為更小的迷你塊,再利用偽隨機的重排列優(yōu)化分片方式,提升數(shù)據(jù)存儲的安全性。表1比較了數(shù)據(jù)分發(fā)算法的安全度和存儲增益[17]。

    Table 1 Security and storage gain of dispersal algorithms表1 主要的數(shù)據(jù)分發(fā)算法的安全度和存儲增益

    由于不同的應用場景對于安全度和存儲增益的要求不一致,現(xiàn)有云際存儲系統(tǒng)需要部署不同的數(shù)據(jù)分發(fā)算法。與此同時,在數(shù)據(jù)分發(fā)過程中,由于需要執(zhí)行加密、編碼和傳輸操作,這些操作將會引起較大數(shù)據(jù)讀寫時延,從而增加了云際存儲系統(tǒng)的時延開銷。為了保證可以執(zhí)行相應的存儲操作,云際存儲系統(tǒng)需要進一步優(yōu)化讀寫操作來減少操作時延。

    當前,云際存儲系統(tǒng)已經(jīng)被廣泛地部署,用于存儲用戶數(shù)據(jù)。其中比較著名的云際存儲系統(tǒng)包括IBM的Cleversafe、歐盟基金會的SafeCloud和法國的InterCloud。Cleversafe使用AONT-RS[6]來分發(fā)用戶數(shù)據(jù),從而保證云端用戶數(shù)據(jù)的安全性和可靠性,其主要被用于IBM云對象存儲。SafeCloud主要面向個人數(shù)據(jù)存儲。當前SafeCloud已經(jīng)被部署到了多個歐洲企業(yè)。InterCloud與阿里云、AWS、Azure和Google等合作,提供了軟件定義云互聯(lián)平臺。InterCloud主要用于企業(yè)數(shù)據(jù)存儲,其客戶包括施耐德電氣、空客等公司。

    2.3 數(shù)據(jù)分發(fā)算法的復雜度分析

    當前數(shù)據(jù)分發(fā)算法的計算瓶頸為解碼時對大規(guī)模線性方程組的求解。傳統(tǒng)求解方法有多種,如高斯消元法、LU分解法和QR分解法等。如今馮達等人[19]也提出一種優(yōu)化方案EVLE-LS(Efficient Verifiable outsourcing of solving large scale Linear Equations with Low Storage overhead)。EVLE-LS利用偽隨機數(shù)生成器將系數(shù)矩陣改造為稀疏矩陣,從而優(yōu)化解方程的時間開銷。本文以高斯消元法為求解方法分析數(shù)據(jù)分發(fā)算法的復雜度。

    IDA算法計算開銷主要在解碼恢復數(shù)據(jù)階段中。對生成矩陣A求逆矩陣A-1時,其復雜度為O(n3)。SSSS分發(fā)算法插值的開銷為O(n*log(n)),由于數(shù)據(jù)向量中存在冗余數(shù)據(jù),所求數(shù)據(jù)僅存在于向量組中的一個向量,所以求逆矩陣時,其復雜度為O(n4)。RSSS與CRSSS的復雜度與安全度相關,當t=0時,RSSS和CRSSS的復雜度為O(n3),而極端情況下t逼近k-1時,復雜度為O(n4)。CRSSS的加密哈希密鑰是由自身數(shù)據(jù)生成的,以部分哈希值的計算開銷為代價,減少了數(shù)據(jù)重復。SSMS的主要開銷為SSSS分享,復雜度與SSSS相同,也為O(n4)。

    AONT-RS和CAONT-RS的主要開銷也是在求生成矩陣的逆矩陣這一階段。AONT-RS、CAONT-RS引入RS糾刪碼。RS code是基于有限域(Galois Field)的一種編碼算法,其可基于范德蒙(Vandermonde)矩陣和柯西矩陣,基于二者矩陣編碼的復雜度為O(n2),但在解碼這一過程中,范德蒙矩陣解碼復雜度為O(n3),而柯西矩陣解碼復雜度為O(n2)。與AONT-RS相比,CAONT-RS的加密哈希密鑰是由自身數(shù)據(jù)生成的,減少了數(shù)據(jù)重復的同時也增加了計算開銷,兩者的復雜度均為O(n3)。

    HCE-PPC的主要開銷也在解碼時。與AONT-RS、CAONT-RS算法相比,HCE-PPC在編碼時,不依賴整體數(shù)據(jù)的哈希值,而是基于當前數(shù)據(jù)塊的哈希值,并行化程度更高。同時,HCE-PPC的生成矩陣更加簡單。雖然復雜度也為O(n3),但實際運行中,HCE-PPC的運行速度會更快。

    而在NCCS中,NAONT-RS和NCAONT-RS所需工作量仍與AONT-RS和CAONT-RS一致,但引入網(wǎng)絡編碼時,移動終端編碼解碼傳輸?shù)闹饕^程由速度更快的服務器完成。KFA分片過程的操作為生成拆分排列、數(shù)據(jù)分發(fā)、編碼和數(shù)據(jù)重排列,其中主要開銷為迷你塊的編碼。在解碼過程中,與ANOT-RS類似,其復雜度為O(n3)。表2展示了當前數(shù)據(jù)分發(fā)算法的復雜度。

    Table 2 Complexity of dispersal algorithms in cloud-of-clouds storage system表2 云際存儲系統(tǒng)中主要數(shù)據(jù)分發(fā)算法的復雜度

    3 云際存儲網(wǎng)絡管理方案

    由于在線應用需要高速地訪問用戶數(shù)據(jù)并保證存儲數(shù)據(jù)的可靠性,云際存儲系統(tǒng)需要頻繁地執(zhí)行讀寫、修復和傳輸操作,在不同的應用場景下可針對這些操作進行相應的性能優(yōu)化。

    3.1 用戶端設備數(shù)據(jù)讀寫操作

    在云際存儲系統(tǒng)中,用戶端設備需要通過讀寫用戶數(shù)據(jù)來完成相應的讀寫請求。

    數(shù)據(jù)分發(fā):為了保存用戶數(shù)據(jù),云際存儲系統(tǒng)需要將數(shù)據(jù)分發(fā)到不同的云存儲空間。圖2[17]展示了數(shù)據(jù)分發(fā)操作在云際存儲系統(tǒng)中的執(zhí)行過程。

    Figure 2 Data dispersal process in cloud-of-clouds storage圖2 云際存儲系統(tǒng)數(shù)據(jù)分發(fā)過程

    如圖2所示,云際存儲系統(tǒng)通過機密消息加密、編碼和傳輸?shù)榷鄠€步驟完成數(shù)據(jù)分發(fā)操作,這些操作往往會帶來大量的系統(tǒng)開銷,包括計算開銷和傳輸開銷,并降低數(shù)據(jù)寫入操作的性能。

    數(shù)據(jù)讀?。涸谠齐H存儲系統(tǒng)讀取數(shù)據(jù)時,需要執(zhí)行下載、解碼和解密操作來獲取原始用戶數(shù)據(jù),圖3[7]展示了云際存儲系統(tǒng)的數(shù)據(jù)讀取操作過程。

    Figure 3 Data reading process in cloud-of-clods storage圖3 云際存儲系統(tǒng)數(shù)據(jù)讀取過程

    云際存儲系統(tǒng)讀取操作過程中的下載、解碼和解密操作會產(chǎn)生計算和傳輸開銷,這些操作會增加存儲系統(tǒng)執(zhí)行讀寫操作的時延,從而影響用戶體驗并限制云際存儲系統(tǒng)的應用場景。

    3.2 云端數(shù)據(jù)修復操作

    由于在云際存儲中存在存儲失效問題,為了保證數(shù)據(jù)的可靠性,云際存儲系統(tǒng)需要修復失效的云節(jié)點中的數(shù)據(jù)。圖4[7]展示了云際存儲修復操作的例子。

    Figure 4 Erasure code based data recovery process圖4 傳統(tǒng)糾刪碼云際存儲修復方案

    假設大小為1 MB的原始對象被分成2個數(shù)據(jù)分片A和B,每一個分片為0.5 MB。假設分片A所在云存儲節(jié)點失效,為了修復1個分片A的數(shù)據(jù),云端需要下載總數(shù)據(jù)量為1 MB的2個分片,即分片B和A+B,來完成修復工作。這些數(shù)據(jù)傳輸操作將會帶來較大的傳輸開銷,降低云際存儲系統(tǒng)的可靠性。

    針對云際存儲系統(tǒng)數(shù)據(jù)修復過程傳輸開銷較大的問題[7],不同的研究者提出了許多減少云際存儲系統(tǒng)數(shù)據(jù)修復操作數(shù)據(jù)傳輸量的方案。例如,通過在云際存儲系統(tǒng)中部署再生碼來減少修復過程消耗的網(wǎng)絡帶寬[3]。圖5[3]展示了基于再生碼的云際存儲數(shù)據(jù)的修復過程的例子:

    Figure 5 Regeneration code based data recovery process圖5 基于再生碼的云際存儲修復方案

    在圖5中,一個大小為1 MB的對象分成了4個分片A、B、C和D。其中,每一個分片為0.25 MB。通過隨機線性編碼,云際存儲系統(tǒng)將這些分片生成編碼分片P1、P2、P3、P4、P5、P6、P7和P8。每一個編碼分片為0.25 MB。當前在恢復數(shù)據(jù)的過程中,代理服務器僅僅需要從幸存的每一個云節(jié)點下載一個大小為0.25 MB的編碼分片,生成新的編碼分片P′1和P′2,并將這些分片存儲到新生節(jié)點。在這個過程中,網(wǎng)絡的數(shù)據(jù)傳輸總量為0.25*3=0.75 MB。

    在這個例子中,相較于傳統(tǒng)糾刪碼數(shù)據(jù)修復方案,基于再生碼[20]的數(shù)據(jù)修復方案將修復過程需要傳輸?shù)臄?shù)據(jù)量從1 MB減少到0.75 MB。通過減少數(shù)據(jù)修復過程傳輸?shù)臄?shù)據(jù)量,云際存儲系統(tǒng)可以有效地減少修復過程中網(wǎng)絡數(shù)據(jù)傳輸操作所需要的時間,從而提升云際存儲數(shù)據(jù)的可靠性。

    3.3 網(wǎng)絡傳輸優(yōu)化方案

    由于云際存儲系統(tǒng)需要通過互聯(lián)網(wǎng)將用戶數(shù)據(jù)上傳到云端,用戶端設備與云端之間帶寬通常十分有限。此外,云端修復數(shù)據(jù)的過程中云存儲節(jié)點之間也需要傳輸數(shù)據(jù),如何減少數(shù)據(jù)傳輸操作帶來的時延成為了提升云際存儲系統(tǒng)性能的關鍵性問題。

    首先,研究人員[3,18,21,22]嘗試構建編碼來減少云際存儲系統(tǒng)需要完成數(shù)據(jù)讀寫和修復操作需要傳輸?shù)臄?shù)據(jù)量。通過部署再生碼,Chen等人[3]設計了NCCloud(Network-Coding-based storage system in a Cloud of Clouds)來減少修復操作網(wǎng)絡需要傳輸?shù)臄?shù)據(jù)量。通過在移動云際存儲系統(tǒng)中部署網(wǎng)絡編碼方案,Shen等人[17]設計了NCCSCLOUD(Network Coding based Cloud of clouds Storage CLOUD)來減少用戶端設備的計算與數(shù)據(jù)傳輸開銷,從而提升數(shù)據(jù)分發(fā)效率。Cui 等人[21]提出了QuickSync在移動場景下加速同步用戶端設備和云端的數(shù)據(jù)同步性能。Tang等人[22]通過合理存儲UniDrive來減少用戶在云際存儲數(shù)據(jù)讀取過程中的時延。通過部署非系統(tǒng)碼HCE-PPC,Shen等人[12]設計云際存儲系統(tǒng)CloudS(multi-Cloud Storage system with multi-level security)提升數(shù)據(jù)編碼效率。

    其次,為了更好地適應網(wǎng)絡狀態(tài)的變化,云際存儲系統(tǒng)需要根據(jù)當前的網(wǎng)絡狀態(tài)調整數(shù)據(jù)傳輸策略。Li等人[23,24]通過根據(jù)網(wǎng)絡拓撲選擇和并行化數(shù)據(jù)修復過程提出了基于樹形的和基于流水線的數(shù)據(jù)修復方案。通過根據(jù)異構網(wǎng)絡帶寬確定數(shù)據(jù)傳輸量,Wang等人[25]提出了彈性樹形修復拓撲構建檔案FTR(Flexible Tree-structured Regeneration)來保證修復后數(shù)據(jù)的完整性,并進一步縮短修復過程的時間。Shen等人[26]提出數(shù)據(jù)修復方案OMFR(Optimal Multiple Failures Repair),以根據(jù)當前的網(wǎng)絡帶寬決定修復操作開始的時間,從而減少修復操作需要傳輸?shù)臄?shù)據(jù)量和消耗的時間。

    由于數(shù)據(jù)讀寫操作和數(shù)據(jù)修復操作是云際存儲系統(tǒng)中引起數(shù)據(jù)傳輸操作的主要原因,當前云際存儲系統(tǒng)性能優(yōu)化方案主要圍繞減少這2種類型的操作的網(wǎng)絡開銷展開研究工作。表3展示了當前云際存儲傳輸優(yōu)化方案針對的操作類型,其中PTR代表基于流水線的修復方案。

    Table 3 Optimization schemes for cloud-of-clouds storage system表3 云際存儲系統(tǒng)傳輸優(yōu)化方案

    如表3所示,當前云際存儲系統(tǒng)數(shù)據(jù)傳輸優(yōu)化方案通常僅針對存儲或修復中的一種操作。因此,若有機地結合2種不同的數(shù)據(jù)傳輸優(yōu)化方案,可以進一步優(yōu)化云際存儲系統(tǒng)數(shù)據(jù)傳輸效率。

    4 云際存儲資源管理方案

    為了高效地管理云際存儲的資源,云際存儲系統(tǒng)提出了很多資源管理方案。由于云際存儲系統(tǒng)主要包括用戶端設備資源和云端資源,云際存儲系統(tǒng)需要合理管理這些資源來完成讀寫和修復操作。

    4.1 用戶端設備資源管理

    云際存儲系統(tǒng)需要合理地管理用戶端設備資源來完成數(shù)據(jù)讀寫操作。在云際存儲系統(tǒng)中,用戶端設備通常需要使用以下資源:

    (1)計算資源。為了保證數(shù)據(jù)的安全性和可靠性,用戶端設備需要進行加密操作和編碼操作,從而產(chǎn)生了用戶端設備的計算開銷[17]。然而,用戶端移動設備的計算資源通常比較有限,如移動存儲應用場景下,這些加密和編碼操作帶來的計算開銷將導致較大的數(shù)據(jù)計算時延,且降低了云際存儲系統(tǒng)的存儲性能。

    (2)傳輸資源。云際存儲系統(tǒng)需要通過互聯(lián)網(wǎng)來傳輸用戶端設備與云端的數(shù)據(jù),而互聯(lián)網(wǎng)上可用帶寬十分有限,并且波動性較大[24]。因此,云際存儲系統(tǒng)數(shù)據(jù)讀寫性能提升的關鍵在于減少用戶端設備與云端之間傳輸?shù)臄?shù)據(jù)量。

    由于用戶端設備計算和網(wǎng)絡資源有限,云際存儲系統(tǒng)需要根據(jù)應用場景合理地分配用戶端設備的資源,從而完成相應用戶數(shù)據(jù)讀寫操作。構建高效的機制來有效地管理用戶端設備資源成為了保證云際存儲系統(tǒng)性能的關鍵性問題。

    4.2 云端資源管理

    為了在云端可靠地保存用戶數(shù)據(jù),云存儲節(jié)點需要在數(shù)據(jù)失效時完成存儲數(shù)據(jù)修復操作,為了修復這些失效的數(shù)據(jù),云端需要管理以下資源:

    (1)計算資源。在數(shù)據(jù)修復過程中,云端需要編碼現(xiàn)存的數(shù)據(jù)來生成失效云節(jié)點,以保證存儲數(shù)據(jù)的可靠性。為了完成數(shù)據(jù)的編碼操作,云端需要有效地管理云節(jié)點的計算資源。

    (2)存儲資源。為了保證數(shù)據(jù)的可靠性,云節(jié)點在存儲用戶數(shù)據(jù)之外還需要保存冗余數(shù)據(jù)。因此,云際存儲系統(tǒng)需要在保證用戶數(shù)據(jù)可靠性的前提下合理地管理存儲空間,從而減小存儲開銷。

    (3)傳輸資源。當出現(xiàn)云節(jié)點故障時,云際存儲系統(tǒng)需要根據(jù)現(xiàn)存數(shù)據(jù)恢復出已失效的數(shù)據(jù),在這個修復過程中,云節(jié)點之間需要傳輸大量的數(shù)據(jù)。此外,為了減少用戶端設備上傳到云端的數(shù)據(jù)量,云際存儲方案需要將用戶端設備的計算和傳輸開銷遷移到云端[17]。合理地管理云端網(wǎng)絡傳輸資源將有效地保證存儲數(shù)據(jù)可靠性和數(shù)據(jù)讀寫的性能。

    為了快速地完成加解密、編解碼和傳輸操作,云際存儲系統(tǒng)需要高效地管理用戶端設備和云端資源。下面,本文將綜述云際存儲系統(tǒng)的資源管理方案并分析這些方案適用的場景。

    4.3 云際存儲資源管理方案

    為了高效地管理云際存儲系統(tǒng)的計算、存儲和網(wǎng)絡資源,研究人員主要從存儲數(shù)據(jù)可靠性和訪問性能2方面提出了各種資源管理及優(yōu)化方案。

    首先,為了保證存儲數(shù)據(jù)的可靠性,云際存儲平臺需要根據(jù)應用場景的需求選擇適當?shù)馁Y源管理策略。Pereira等人[27]設計了Storekeeper方案,并構建了安全可靠的數(shù)據(jù)分享機制和管理平臺來整合各云服務提供商的存儲資源。Zhao等人[28]設計了中間件SafeSky,從而實現(xiàn)了云際存儲系統(tǒng)中對用戶文件存儲的操作請求進行重定位操作。Ma等人[29]使用緩存副本的方式提出了CAROM(Cache A Replica On Modification)來提升用戶數(shù)據(jù)訪問性能和云際存儲系統(tǒng)可靠性。

    其次,為了快速完成用戶端讀寫操作,研究人員分析了云際存儲系統(tǒng)應用場景的特點并提出了相應的優(yōu)化方案。Chung等人[30]提出了CYRUS(Client-defined privacY-protected Reliable cloUd Service)來優(yōu)化在多用戶情況下的并行數(shù)據(jù)訪問能力。Shen等人[31]提出了基于流水線的數(shù)據(jù)存儲方案,以充分利用計算和傳輸資源來并行化加密、編碼和傳輸操作,加速數(shù)據(jù)存儲過程。通過將糾刪碼與副本存儲方案相結合,Wu等人[32]提出了DAC(Deduplication_Assisted primary storage system in Cloud-of-clouds)方案來增加數(shù)據(jù)去冗余度,從而提升高存儲頻率用戶數(shù)據(jù)的數(shù)據(jù)訪問性能。通過使用糾刪碼與副本來存儲不同大小的文件,Mao等人[14]設計了HyRD來減少云際存儲系統(tǒng)的存儲開銷和訪問時延。Bernstein等人[33]設計了簡單副本管理協(xié)議SSRP(Simple Storage Replication Protocol)來管理云際存儲空間。表4展示了云際存儲系統(tǒng)中主要資源管理方案,其中Pipeline代表基于流水線的數(shù)據(jù)存儲方案。

    Table 4 Resource management schemes forcloud-of-clouds storage system表4 云際存儲系統(tǒng)資源管理方案

    如表4所示,當前的資源管理方案通常僅優(yōu)化針對系統(tǒng)可靠性和性能中的一項。因此,云際存儲系統(tǒng)資源管理方案如何在不同應用場景下兼顧數(shù)據(jù)可靠性和讀寫性能依然是一個值得研究的問題。

    5 云際存儲應用場景

    由于云際存儲具有高可靠性、高安全性的特點,云際存儲方案被廣泛應用到了數(shù)據(jù)備份、移動存儲應用和云際計算等諸多場景。

    5.1 數(shù)據(jù)備份場景

    當存儲的數(shù)據(jù)出現(xiàn)失效時,用戶端設備需要從其它存儲系統(tǒng)中獲取備份數(shù)據(jù)來保證用戶數(shù)據(jù)的可靠性。通過將數(shù)據(jù)加密和編碼后分發(fā)到不同的云,云際存儲提供了安全且可靠的數(shù)據(jù)存儲服務。因此,云際存儲廣泛地應用到了數(shù)據(jù)備份場景。

    圖6[21]展示了云際備份存儲場景。

    Figure 6 Backup paradigm for cloud-of-clouds storage system圖6 云際備份存儲場景

    通過使用數(shù)據(jù)同步算法[21],用戶端設備可以將本地數(shù)據(jù)與云際存儲系統(tǒng)的數(shù)據(jù)進行同步操作。當前用戶端設備出現(xiàn)數(shù)據(jù)失效時,用戶端設備可以下載備份在云端的數(shù)據(jù),從而恢復出本地失效的數(shù)據(jù)。在這個過程中,云際存儲系統(tǒng)需要保證存儲在云端數(shù)據(jù)的安全性和可靠性。

    雖然備份存儲系統(tǒng)可以安全可靠地存儲用戶數(shù)據(jù),云際存儲系統(tǒng)部署到其他的應用場景依然面對諸多挑戰(zhàn)。首先,為了保證在線應用的用戶體驗,云際存儲系統(tǒng)需要根據(jù)應用場景來提升讀寫操作的性能。其次,由于不同的應用場景往往有著不同數(shù)據(jù)存儲需求,云際存儲系統(tǒng)需要有針對性地優(yōu)化相應的數(shù)據(jù)讀寫和修復方案。下面,本文將分析2種經(jīng)典的云際存儲應用場景,即移動應用場景和云際計算場景,并總結不同的云際存儲系統(tǒng)的應用場景和這些系統(tǒng)包含的主要功能及實現(xiàn)機制。

    5.2 移動應用場景

    在移動云際存儲系統(tǒng)中,用戶端設備相較于云端的計算和傳輸資源通常較為有限,并且用戶端設備需要通過無線網(wǎng)絡(如WiFi[34]、LTE[35]和5G NR[36])和互聯(lián)網(wǎng)來傳輸數(shù)據(jù)。因此,相較于云端虛擬機,移動設備需要更長的時間來完成數(shù)據(jù)加密、編碼和傳輸操作。

    根據(jù)移動應用場景下用戶端設備和云端設備的特點,云際存儲系統(tǒng)需要調整數(shù)據(jù)分發(fā)方案來優(yōu)化數(shù)據(jù)讀寫操作的性能?;诰W(wǎng)絡編碼的數(shù)據(jù)分發(fā)方案通過使用網(wǎng)絡編碼存儲的例子來說明如何在實際的云際存儲系統(tǒng)中減少用戶端上傳到云端的數(shù)據(jù)量。

    假設移動云際存儲系統(tǒng)中有4個不同的云和1個用戶端設備。用戶希望寫入1個M字節(jié)大小的機密消息。為了存儲k個分片加密后的M/k字節(jié)消息,當前分發(fā)方案需要用戶編碼并將分片上傳到所有的云。圖7[17]展示了云際存儲系統(tǒng)中數(shù)據(jù)分發(fā)過程。

    Figure 7 Traditional and the dispersal scheme based on network code圖7 傳統(tǒng)分發(fā)方案和基于網(wǎng)絡編碼的分發(fā)方案

    圖7a展示了傳統(tǒng)基于糾刪碼的數(shù)據(jù)分發(fā)方案。在存儲的過程中,用戶設備將加密消息分成2個數(shù)據(jù)分片A和B,編碼后生成校驗分片A+B和A+2B,并且最后上傳到云端。為了存儲M字節(jié)機密消息,用戶端設備編碼M字節(jié)數(shù)據(jù)并發(fā)送了2M字節(jié)數(shù)據(jù)。由于移動設備通常計算和傳輸資源有限,這些操作將會嚴重影響分發(fā)操作的性能。

    為了減少用戶端設備數(shù)據(jù)計算和傳輸開銷,云際存儲系統(tǒng)可以通過部署網(wǎng)絡編碼將這些開銷遷移到云端系統(tǒng)。基于網(wǎng)絡編碼的數(shù)據(jù)分發(fā)方案將4個云分成2個初始云和2個后繼云。圖7b展示了基于網(wǎng)絡編碼的數(shù)據(jù)分發(fā)方案執(zhí)行過程,首先,用戶設備生成2個數(shù)據(jù)分片A和B,并且上傳這些分片到初始云。其次,初始云將分片A和B分成數(shù)據(jù)包A1、A2、B1和B2。其中,每一個包大小為M/4字節(jié)。然后,初始云將數(shù)據(jù)包A1、B1、A2和B2傳輸?shù)胶罄^云。最后,后繼云編碼生成數(shù)據(jù)包A1+B1、A1+2B1、A2+B2和A2+2B2,并交換數(shù)據(jù)包A1+2B1和A2+B2來生成校驗分片A+B和A+2B。

    相較于基于糾刪碼的數(shù)據(jù)分發(fā)方案,用戶端移動設備需要編碼M字節(jié)并傳輸2M字節(jié)數(shù)據(jù),通過部署網(wǎng)絡編碼方案,用戶端移動設備在無需編碼操作的前提下,只需要上傳M字節(jié)數(shù)據(jù)。

    通過上述例子可知,通過將編碼計算和網(wǎng)絡傳輸負載遷移到云端,基于網(wǎng)絡編碼的數(shù)據(jù)分發(fā)方案可以有效地減少用戶端設備上傳到云端的數(shù)據(jù)量,從而有效地提升移動設備的存儲操作性能。與此同時,除了存儲操作外,云際存儲依然存在數(shù)據(jù)更新時延較長等問題。因此,如何優(yōu)化其他操作依然是提升移動云際存儲性能的重點問題。

    5.3 云際計算場景

    通過合理地協(xié)調各個用戶占用云端的各類資源,云際計算平臺[37]提供了高效的服務平臺來完成用戶端設備提交的各種計算和存儲任務。圖8展示了云際計算系統(tǒng)的體系結構[37]。

    Figure 8 Architecture of cloud-of-clouds computing 圖8 云際計算系統(tǒng)架構

    為了有效地利用云端資源和管理用戶端設備,云際計算系統(tǒng)通過云際服務仲裁系統(tǒng)整合了云端資源,并將用戶進行分組管理。為了保證數(shù)據(jù)可靠性,云際計算系統(tǒng)需要在云端存儲多個副本并要求對應的云際存儲系統(tǒng)保證這些副本的一致性。這將引入較大的數(shù)據(jù)讀寫時延,并嚴重降低系統(tǒng)性能。

    為了給云際計算提供高可用的存儲服務,云際存儲系統(tǒng)需要在保證數(shù)據(jù)一致性的前提下,降低數(shù)據(jù)存儲的時延。針對這一問題,研究人員提出了許多高效的副本數(shù)據(jù)讀寫策略。例如,DepSky[5]通過加入元數(shù)據(jù)來實現(xiàn)云端副本的弱一致性。

    圖9[5]展示了DepSky的數(shù)據(jù)存儲和讀取過程:

    Figure 9 Data storage and read process of DepSky圖9 DepSky的數(shù)據(jù)存儲和讀取過程

    不同于經(jīng)典的一致性協(xié)議(如,拜占庭仲裁)[38],Depsky使用元數(shù)據(jù)來確定當前最新版本的副本。為了保證寫入數(shù)據(jù)的完整性,計算節(jié)點會先在云端存儲副本數(shù)據(jù),然后將帶有版本信息的元數(shù)據(jù)上傳到云端。在數(shù)據(jù)讀取過程中,計算節(jié)點首先從云端下載元數(shù)據(jù)來確定云端副本的版本,從而保證在此之后計算節(jié)點可以獲取最新版本的副本數(shù)據(jù)。

    綜上所述,由于相較于直接讀取副本數(shù)據(jù)僅需要多下載副本元數(shù)據(jù),這種方案可以以較小的代價保證寫入和讀取數(shù)據(jù)的一致性。由于云際計算系統(tǒng)需要對存儲數(shù)據(jù)復制多個副本,這些副本的存儲往往會占用較大的存儲空間。如何在保證數(shù)據(jù)一致性和訪問性能的前提下,部署存儲空間利用率高的存儲方案(如糾刪碼存儲)依然是一個值得研究的問題。

    5.4 面臨的挑戰(zhàn)及解決方案

    雖然當前有很多數(shù)據(jù)分發(fā)方案,但如何部署這些存儲機制到實際的在線應用中依然是一個具有挑戰(zhàn)性的問題。研究人員開發(fā)了許多云際存儲系統(tǒng)來滿足各種應用場景的數(shù)據(jù)存儲需求。

    首先,為了安全且可靠地存儲用戶數(shù)據(jù),云際存儲系統(tǒng)使用了不同的安全和可靠性方案。通過設計仲裁機制,Bessani等人[5]提出了DepSky系統(tǒng),解決了云端存儲副本數(shù)據(jù)的一致性問題。Bessani等人[39]設計了SCFS(Shared Cloud-backed File Systems),通過設計一致性將文件分發(fā)到多個云的元數(shù)據(jù)和數(shù)據(jù)來提升數(shù)據(jù)分享的效率。Lacoste等人[40]構建了Supercloud平臺,從而提升了云際計算操作的安全性和可靠性。通過應用冗余磁盤陣列編碼技術(RAID),Abu-Libdeh等人[2]設計了RACS(Redundant Array of Cloud Storage)來提升云際存儲系統(tǒng)的可靠性和數(shù)據(jù)存儲效率。通過將元數(shù)據(jù)和數(shù)據(jù)分別保存在私有云和公有云,Dobre等人[41]設計了Hybris來提升云際存儲系統(tǒng)的安全性。通過在用戶端設備加入遠端認證服務,Matos等人[42]構建了RockFS(RecOverable Cloud-backed File-System)系統(tǒng)來同時兼顧用戶端設備及云端存儲數(shù)據(jù)的可靠性。

    除此以外,為了提升云際存儲系統(tǒng)操作的執(zhí)行效率,研究人員在不同應用場景下優(yōu)化了云際存儲系統(tǒng)性能。通過在多個云存儲提供商存儲用戶數(shù)據(jù)的副本,Wu等人[43]設計了Spanstore系統(tǒng),從而提升云際文件存儲系統(tǒng)的可靠性和訪問性能。通過將CAONT-RS和CRSSS部署到云端,Li等人[44]設計了CDStore(Store via Convergent Dispersal)來提升云際存儲系統(tǒng)的存儲空間利用率。Mu等人[45]提出了μlibcloud作為中間件來統(tǒng)一管理云際存儲的訪問請求,從而提升云際存儲系統(tǒng)的可用性。Verissimo等人[37]構建了Tcloud平臺來處理云際計算任務。Burihabwa等人[46]總結了云際存儲系統(tǒng)的數(shù)據(jù)加密算法和可靠性機制,并測量了加密和傳輸操作的執(zhí)行效率,以對比存儲系統(tǒng)性能。表5展示了當前云際存儲系統(tǒng)及其應用場景。

    通過分析表5可以發(fā)現(xiàn),當前的云際存儲系統(tǒng)的應用場景主要集中在存儲備份。由于云際存儲系統(tǒng)在數(shù)據(jù)讀寫過程中需要一系列的計算、傳輸和存儲操作,其數(shù)據(jù)讀寫時延依然是制約其上運行的應用性能的瓶頸。如何進一步將云際存儲系統(tǒng)部署到不同的在線應用中依然是一個值得研究的問題。

    Table 5 Cloud-of-clouds storage system and their application scenarios表5 云際存儲系統(tǒng)及其主要應用場景

    6 結束語

    云際存儲系統(tǒng)作為一種高效的云存儲資源管理方案被廣泛地應用于當前的在線存儲系統(tǒng)。本文綜述了當前云際存儲系統(tǒng)的相關工作,包括數(shù)據(jù)分發(fā)方案、網(wǎng)絡傳輸方案、云際存儲系統(tǒng)資源管理機制及其主要的應用場景。在此基礎上,本文總結了當前云際存儲系統(tǒng)適用的應用場景和相應的存儲系統(tǒng)性能優(yōu)化方案,并在此基礎上分析了當前網(wǎng)絡傳輸機制和資源管理方案對于云際存儲系統(tǒng)性能的影響。

    雖然當前的云際存儲系統(tǒng)可以安全可靠地存儲用戶數(shù)據(jù),實際系統(tǒng)運行過程中依然存在諸多性能瓶頸,例如網(wǎng)絡帶寬嚴重限制了云際存儲系統(tǒng)的廣泛應用。為了克服這些性能瓶頸,云際存儲系統(tǒng)需要使用新的網(wǎng)絡傳輸和存儲方案。例如,為了減少用戶端設備的網(wǎng)絡傳輸時延,云際存儲系統(tǒng)可以將數(shù)據(jù)緩存在邊緣節(jié)點,從而加快讀寫操作。此外,云際存儲系統(tǒng)也需要針對新出現(xiàn)的應用場景,如區(qū)塊鏈及內容分發(fā)系統(tǒng),提出相應的優(yōu)化方案。

    猜你喜歡
    云際用戶端分片
    秋日懷鄉(xiāng)
    基于改進支持向量機的用戶端用電負荷預測研究
    上下分片與詞的時空佈局
    詞學(2022年1期)2022-10-27 08:06:12
    Android用戶端東北地區(qū)秸稈焚燒點監(jiān)測系統(tǒng)開發(fā)與應用
    分片光滑邊值問題的再生核方法
    CDN存量MP4視頻播放優(yōu)化方法
    康校鐘樓即目(新韻)
    迷人的云際山公園
    基于模糊二分查找的幀分片算法設計與實現(xiàn)
    見龍在田
    寶藏(2018年4期)2018-05-07 01:58:20
    97超视频在线观看视频| 欧美高清成人免费视频www| 国产精品乱码一区二三区的特点| 好男人电影高清在线观看| 免费av毛片视频| 久久久精品欧美日韩精品| 亚洲五月婷婷丁香| 亚洲第一电影网av| 亚洲国产精品合色在线| 日韩成人在线观看一区二区三区| 免费大片18禁| 亚洲第一欧美日韩一区二区三区| 又黄又爽又免费观看的视频| 午夜影院日韩av| 久久久久久国产a免费观看| 国产精品久久视频播放| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 少妇人妻一区二区三区视频| 久久99热这里只有精品18| 51午夜福利影视在线观看| 亚洲成人久久爱视频| 丰满人妻熟妇乱又伦精品不卡| 特级一级黄色大片| 国产一区二区在线观看日韩 | 国内精品久久久久精免费| 欧美日韩综合久久久久久 | 少妇的逼水好多| 三级国产精品欧美在线观看| 亚洲国产欧美人成| 老司机午夜十八禁免费视频| 欧美乱码精品一区二区三区| 亚洲成人精品中文字幕电影| 在线观看美女被高潮喷水网站 | 亚洲男人的天堂狠狠| 特级一级黄色大片| 人人妻人人澡欧美一区二区| 18禁美女被吸乳视频| 欧美中文日本在线观看视频| 欧美精品啪啪一区二区三区| 国内揄拍国产精品人妻在线| 俺也久久电影网| 黄色丝袜av网址大全| 网址你懂的国产日韩在线| 日韩 欧美 亚洲 中文字幕| 亚洲av一区综合| 免费在线观看成人毛片| 国产免费男女视频| av欧美777| 欧美在线一区亚洲| 日韩欧美国产在线观看| 麻豆久久精品国产亚洲av| 欧美黄色片欧美黄色片| 午夜免费激情av| 午夜久久久久精精品| 亚洲专区国产一区二区| 黄片小视频在线播放| 99riav亚洲国产免费| 中文在线观看免费www的网站| 三级男女做爰猛烈吃奶摸视频| 一区福利在线观看| 久久天躁狠狠躁夜夜2o2o| 蜜桃久久精品国产亚洲av| 亚洲国产精品合色在线| 男女下面进入的视频免费午夜| 亚洲欧美日韩卡通动漫| 精品久久久久久久久久久久久| 久久国产精品影院| 国产国拍精品亚洲av在线观看 | 波野结衣二区三区在线 | 亚洲精品456在线播放app | 小蜜桃在线观看免费完整版高清| 午夜福利18| 深爱激情五月婷婷| 色综合欧美亚洲国产小说| 天天一区二区日本电影三级| 国产精品久久久人人做人人爽| 久久久久国内视频| 淫妇啪啪啪对白视频| 久久精品91蜜桃| 99精品欧美一区二区三区四区| 欧美成狂野欧美在线观看| 亚洲av成人精品一区久久| 精品国产超薄肉色丝袜足j| 男女床上黄色一级片免费看| 美女 人体艺术 gogo| 人人妻人人看人人澡| 亚洲av成人不卡在线观看播放网| 舔av片在线| 国产精品亚洲av一区麻豆| 熟妇人妻久久中文字幕3abv| 国产真人三级小视频在线观看| 两个人视频免费观看高清| 人妻久久中文字幕网| 国产毛片a区久久久久| 少妇丰满av| 亚洲精华国产精华精| 久久久久精品国产欧美久久久| 欧美区成人在线视频| 一进一出好大好爽视频| 日本一二三区视频观看| 久久久久久久久中文| 国产男靠女视频免费网站| 超碰av人人做人人爽久久 | 午夜福利高清视频| 午夜亚洲福利在线播放| 最新美女视频免费是黄的| 亚洲一区二区三区色噜噜| 变态另类丝袜制服| 国产成人欧美在线观看| 精品不卡国产一区二区三区| 国产精品三级大全| 色视频www国产| 在线十欧美十亚洲十日本专区| 午夜a级毛片| 色精品久久人妻99蜜桃| 国产探花在线观看一区二区| 午夜影院日韩av| 亚洲欧美日韩卡通动漫| 怎么达到女性高潮| 日韩欧美精品v在线| 欧美成人性av电影在线观看| 天堂影院成人在线观看| 人人妻,人人澡人人爽秒播| 日本免费a在线| 亚洲avbb在线观看| 全区人妻精品视频| 亚洲内射少妇av| 国产中年淑女户外野战色| 国产亚洲精品一区二区www| 男女午夜视频在线观看| 五月玫瑰六月丁香| 久久6这里有精品| 美女 人体艺术 gogo| 免费一级毛片在线播放高清视频| 精品一区二区三区人妻视频| 久久久成人免费电影| 午夜亚洲福利在线播放| 亚洲最大成人手机在线| 在线看三级毛片| 黑人欧美特级aaaaaa片| www日本在线高清视频| 又粗又爽又猛毛片免费看| 久久久久久久久大av| 国产黄色小视频在线观看| 亚洲成人久久爱视频| 99热精品在线国产| 国产亚洲精品久久久久久毛片| 美女免费视频网站| 亚洲欧美日韩卡通动漫| 精品无人区乱码1区二区| 天堂影院成人在线观看| 啦啦啦韩国在线观看视频| 香蕉久久夜色| 成年女人看的毛片在线观看| 午夜福利免费观看在线| 免费在线观看亚洲国产| 国产精品国产高清国产av| 国产午夜精品久久久久久一区二区三区 | 桃色一区二区三区在线观看| 又黄又爽又免费观看的视频| 国产一区在线观看成人免费| 午夜福利在线观看吧| 天堂影院成人在线观看| 麻豆久久精品国产亚洲av| 亚洲精品美女久久久久99蜜臀| 成人性生交大片免费视频hd| 日韩国内少妇激情av| 2021天堂中文幕一二区在线观| 久久久久久久久大av| 99国产精品一区二区蜜桃av| 免费观看精品视频网站| av中文乱码字幕在线| 国产精品自产拍在线观看55亚洲| 国产精品久久电影中文字幕| 999久久久精品免费观看国产| 黄片小视频在线播放| 女警被强在线播放| 色老头精品视频在线观看| 高清日韩中文字幕在线| 亚洲成av人片免费观看| 国产精品99久久久久久久久| 久久中文看片网| 1024手机看黄色片| 级片在线观看| 精品国产超薄肉色丝袜足j| 国产成人福利小说| 欧美日韩亚洲国产一区二区在线观看| 身体一侧抽搐| 国产一区二区激情短视频| 欧美激情在线99| xxxwww97欧美| 小说图片视频综合网站| 99在线人妻在线中文字幕| 国产中年淑女户外野战色| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲,欧美精品.| 久99久视频精品免费| netflix在线观看网站| 亚洲美女黄片视频| 国产成人影院久久av| 看片在线看免费视频| www日本黄色视频网| 亚洲av免费高清在线观看| 国产伦在线观看视频一区| 一进一出好大好爽视频| 亚洲第一欧美日韩一区二区三区| 日本黄色视频三级网站网址| 舔av片在线| 午夜久久久久精精品| av天堂在线播放| 国模一区二区三区四区视频| 国产探花极品一区二区| 女生性感内裤真人,穿戴方法视频| 欧美极品一区二区三区四区| 亚洲真实伦在线观看| 欧美成人a在线观看| 久久久国产成人精品二区| 国产成+人综合+亚洲专区| 国产精品免费一区二区三区在线| 欧美成人免费av一区二区三区| 色老头精品视频在线观看| 在线视频色国产色| 国产淫片久久久久久久久 | 久久人妻av系列| 午夜免费成人在线视频| 午夜精品久久久久久毛片777| 免费看光身美女| 国产高清视频在线观看网站| 黄色丝袜av网址大全| 久久久久亚洲av毛片大全| 精品久久久久久久末码| 精品久久久久久久人妻蜜臀av| av欧美777| 可以在线观看的亚洲视频| 亚洲色图av天堂| 久久久久久久午夜电影| svipshipincom国产片| 欧美+亚洲+日韩+国产| 成人无遮挡网站| 在线观看舔阴道视频| 免费电影在线观看免费观看| 狂野欧美白嫩少妇大欣赏| 国产av麻豆久久久久久久| 午夜免费成人在线视频| 国产三级黄色录像| 国产亚洲欧美98| 久久久久国产精品人妻aⅴ院| 丁香欧美五月| 亚洲av第一区精品v没综合| 99精品久久久久人妻精品| 免费观看精品视频网站| 日韩欧美 国产精品| 国产成人福利小说| 热99re8久久精品国产| 免费av观看视频| 国产精品久久久久久亚洲av鲁大| 99国产综合亚洲精品| 亚洲一区高清亚洲精品| 搞女人的毛片| 啦啦啦免费观看视频1| 99久久无色码亚洲精品果冻| 亚洲国产精品久久男人天堂| 精品不卡国产一区二区三区| 亚洲国产欧洲综合997久久,| bbb黄色大片| 国产免费男女视频| 日韩欧美三级三区| 黄色丝袜av网址大全| 久久国产乱子伦精品免费另类| 色播亚洲综合网| 亚洲avbb在线观看| 三级男女做爰猛烈吃奶摸视频| 国产不卡一卡二| 乱人视频在线观看| 久久草成人影院| 波野结衣二区三区在线 | 很黄的视频免费| 欧美极品一区二区三区四区| 看黄色毛片网站| 国产黄片美女视频| 男女床上黄色一级片免费看| 欧美+亚洲+日韩+国产| а√天堂www在线а√下载| 日本一本二区三区精品| 亚洲真实伦在线观看| 欧美xxxx黑人xx丫x性爽| 色综合婷婷激情| 亚洲成人中文字幕在线播放| 久久精品91无色码中文字幕| 精品国内亚洲2022精品成人| 神马国产精品三级电影在线观看| 日本免费a在线| xxx96com| 亚洲国产中文字幕在线视频| 国产视频一区二区在线看| 成人特级av手机在线观看| 欧洲精品卡2卡3卡4卡5卡区| 国产精品综合久久久久久久免费| 欧美成人性av电影在线观看| 国产av一区在线观看免费| ponron亚洲| 狠狠狠狠99中文字幕| 欧美中文日本在线观看视频| 一区二区三区国产精品乱码| 久久久成人免费电影| 少妇人妻精品综合一区二区 | 超碰av人人做人人爽久久 | 精品不卡国产一区二区三区| 亚洲,欧美精品.| 中文字幕精品亚洲无线码一区| 国产免费男女视频| 久久久久久久久大av| av女优亚洲男人天堂| 看黄色毛片网站| 久久99热这里只有精品18| 夜夜夜夜夜久久久久| 午夜视频国产福利| 亚洲国产精品999在线| 嫩草影院入口| 看免费av毛片| 午夜免费成人在线视频| 国产精品 国内视频| 中文字幕av在线有码专区| 午夜福利欧美成人| 操出白浆在线播放| 白带黄色成豆腐渣| 亚洲精品国产精品久久久不卡| 婷婷丁香在线五月| 757午夜福利合集在线观看| 波多野结衣高清作品| 夜夜夜夜夜久久久久| 欧美区成人在线视频| 乱人视频在线观看| 日韩欧美国产在线观看| 在线国产一区二区在线| 久久这里只有精品中国| 午夜激情福利司机影院| 少妇高潮的动态图| 亚洲av成人av| 精品无人区乱码1区二区| 欧美激情久久久久久爽电影| 久久久久久久久久黄片| 欧美丝袜亚洲另类 | 中文字幕av成人在线电影| 两个人视频免费观看高清| 国产成人啪精品午夜网站| 国产一区二区三区视频了| 国产精品一及| 真人一进一出gif抽搐免费| 国产一区二区亚洲精品在线观看| 俺也久久电影网| 熟女少妇亚洲综合色aaa.| 91久久精品电影网| 69人妻影院| 亚洲av不卡在线观看| 国产亚洲精品久久久久久毛片| 天堂√8在线中文| 亚洲男人的天堂狠狠| 国产一区二区三区视频了| 久久久精品欧美日韩精品| 日本在线视频免费播放| 1000部很黄的大片| 99国产综合亚洲精品| 欧美一级a爱片免费观看看| 久久人人精品亚洲av| 中亚洲国语对白在线视频| 午夜免费男女啪啪视频观看 | 精品免费久久久久久久清纯| 看免费av毛片| 国产乱人视频| 精品久久久久久久末码| 中文资源天堂在线| 亚洲精品色激情综合| av中文乱码字幕在线| 亚洲av第一区精品v没综合| 窝窝影院91人妻| 精华霜和精华液先用哪个| 日韩有码中文字幕| 淫妇啪啪啪对白视频| 不卡一级毛片| 色精品久久人妻99蜜桃| 免费av观看视频| 一进一出好大好爽视频| 成人鲁丝片一二三区免费| 女同久久另类99精品国产91| 国产精品日韩av在线免费观看| 日韩欧美在线二视频| 成年女人看的毛片在线观看| 免费看a级黄色片| 男女午夜视频在线观看| 国产一区二区激情短视频| 日本黄色片子视频| 在线天堂最新版资源| 少妇裸体淫交视频免费看高清| 国产在线精品亚洲第一网站| 最新中文字幕久久久久| 青草久久国产| 中文资源天堂在线| 波多野结衣高清作品| 成人亚洲精品av一区二区| 久久精品人妻少妇| 最近最新免费中文字幕在线| 欧美乱码精品一区二区三区| 男女床上黄色一级片免费看| 校园春色视频在线观看| 日韩人妻高清精品专区| 黄片大片在线免费观看| 亚洲va日本ⅴa欧美va伊人久久| 国产一区二区在线av高清观看| 国产精品久久电影中文字幕| 午夜影院日韩av| 欧美日韩福利视频一区二区| 熟女电影av网| 69人妻影院| 午夜免费男女啪啪视频观看 | 成人一区二区视频在线观看| 久久久久久大精品| 欧美乱码精品一区二区三区| 欧美zozozo另类| 欧美最新免费一区二区三区 | 热99re8久久精品国产| 午夜免费成人在线视频| 亚洲av不卡在线观看| 国产精品av视频在线免费观看| 中文字幕人妻熟人妻熟丝袜美 | 国产精品99久久久久久久久| 最近最新免费中文字幕在线| 不卡一级毛片| 在线看三级毛片| 亚洲成人中文字幕在线播放| av黄色大香蕉| 哪里可以看免费的av片| 国产亚洲精品综合一区在线观看| 一夜夜www| h日本视频在线播放| 日韩高清综合在线| 国内少妇人妻偷人精品xxx网站| 黄色片一级片一级黄色片| 国产野战对白在线观看| 亚洲不卡免费看| 99热只有精品国产| 色综合婷婷激情| 18禁美女被吸乳视频| 国产精品98久久久久久宅男小说| 成年人黄色毛片网站| 91久久精品电影网| 性欧美人与动物交配| 成年人黄色毛片网站| 国产极品精品免费视频能看的| 成人性生交大片免费视频hd| 亚洲美女黄片视频| 亚洲国产精品久久男人天堂| 亚洲美女视频黄频| 91麻豆av在线| 99国产极品粉嫩在线观看| 亚洲人与动物交配视频| 99久久久亚洲精品蜜臀av| 男插女下体视频免费在线播放| 在线观看66精品国产| 啪啪无遮挡十八禁网站| 18+在线观看网站| 成年女人永久免费观看视频| 国产色爽女视频免费观看| 久久这里只有精品中国| 精品日产1卡2卡| 中文字幕人成人乱码亚洲影| 久久久国产成人精品二区| 国产男靠女视频免费网站| 日本撒尿小便嘘嘘汇集6| 91久久精品电影网| 亚洲成av人片免费观看| 小说图片视频综合网站| 免费搜索国产男女视频| 757午夜福利合集在线观看| 制服丝袜大香蕉在线| 亚洲中文日韩欧美视频| 老汉色av国产亚洲站长工具| 亚洲在线自拍视频| 免费av毛片视频| 精品久久久久久久久久久久久| 黄色女人牲交| 精品久久久久久成人av| 国产一区在线观看成人免费| 国产v大片淫在线免费观看| 97人妻精品一区二区三区麻豆| 最新在线观看一区二区三区| 国产精品久久久久久亚洲av鲁大| 国产精品美女特级片免费视频播放器| 999久久久精品免费观看国产| 性色avwww在线观看| 成年版毛片免费区| 女人十人毛片免费观看3o分钟| 两性午夜刺激爽爽歪歪视频在线观看| 搡老妇女老女人老熟妇| 国产伦在线观看视频一区| 搡老妇女老女人老熟妇| 日韩国内少妇激情av| 18禁美女被吸乳视频| 伊人久久精品亚洲午夜| 制服丝袜大香蕉在线| 国产午夜精品论理片| 亚洲无线在线观看| 国产激情欧美一区二区| 亚洲精品色激情综合| 国产aⅴ精品一区二区三区波| 久久中文看片网| 99热这里只有精品一区| 在线观看一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| 色噜噜av男人的天堂激情| 精品99又大又爽又粗少妇毛片 | 丰满人妻熟妇乱又伦精品不卡| 国产主播在线观看一区二区| 内地一区二区视频在线| 99久久精品热视频| svipshipincom国产片| 久久亚洲精品不卡| 日韩欧美在线二视频| 男女做爰动态图高潮gif福利片| 日韩欧美在线二视频| 精品国产三级普通话版| 国产高清videossex| 国产免费av片在线观看野外av| 日韩欧美在线二视频| 一级a爱片免费观看的视频| 亚洲欧美激情综合另类| 大型黄色视频在线免费观看| 久久久国产成人免费| 国产一级毛片七仙女欲春2| 亚洲欧美日韩高清专用| 国产高清视频在线播放一区| 国产美女午夜福利| 神马国产精品三级电影在线观看| 中文字幕精品亚洲无线码一区| 国产av在哪里看| 国产97色在线日韩免费| 97人妻精品一区二区三区麻豆| 成人亚洲精品av一区二区| 精品国产三级普通话版| 日韩欧美在线二视频| 国产欧美日韩一区二区三| 制服人妻中文乱码| 99热只有精品国产| 日日夜夜操网爽| 欧美性猛交黑人性爽| 欧美乱色亚洲激情| 国产伦人伦偷精品视频| 欧美精品啪啪一区二区三区| 免费搜索国产男女视频| 麻豆成人av在线观看| 毛片女人毛片| 麻豆久久精品国产亚洲av| 亚洲成人久久爱视频| av天堂在线播放| 国产精品久久久久久久久免 | 欧美日韩黄片免| 国产美女午夜福利| 波多野结衣高清无吗| 夜夜夜夜夜久久久久| 美女免费视频网站| 色尼玛亚洲综合影院| 88av欧美| 99久久精品一区二区三区| 欧美性猛交╳xxx乱大交人| 熟妇人妻久久中文字幕3abv| 91久久精品国产一区二区成人 | 美女高潮喷水抽搐中文字幕| 又黄又粗又硬又大视频| 久久午夜亚洲精品久久| 色噜噜av男人的天堂激情| 波多野结衣巨乳人妻| 日韩欧美精品免费久久 | 天美传媒精品一区二区| 亚洲成人久久性| 欧美日韩亚洲国产一区二区在线观看| 色老头精品视频在线观看| 国产成人aa在线观看| 99久久精品热视频| 久久久久免费精品人妻一区二区| 成年人黄色毛片网站| 久久精品国产自在天天线| 午夜视频国产福利| 十八禁人妻一区二区| 成人三级黄色视频| 日日摸夜夜添夜夜添小说| 中亚洲国语对白在线视频| 国产三级在线视频| 高潮久久久久久久久久久不卡| 91久久精品国产一区二区成人 | 18禁裸乳无遮挡免费网站照片| 日韩欧美精品v在线| 可以在线观看毛片的网站| 久久精品91无色码中文字幕| 村上凉子中文字幕在线| 99热精品在线国产| 午夜福利在线观看吧| 亚洲成人精品中文字幕电影| 日日夜夜操网爽| 免费看十八禁软件| 日韩欧美精品v在线| 日日摸夜夜添夜夜添小说| 午夜老司机福利剧场| 搡老岳熟女国产| 丁香六月欧美| 丝袜美腿在线中文| 人妻夜夜爽99麻豆av| 欧美中文日本在线观看视频| 国产精品一及| 看黄色毛片网站| 欧美zozozo另类| 亚洲中文字幕一区二区三区有码在线看| 别揉我奶头~嗯~啊~动态视频| 女人高潮潮喷娇喘18禁视频| 国产久久久一区二区三区| 亚洲内射少妇av|