• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    低編譯復(fù)雜度的雙容錯(cuò)陣列碼

    2023-09-27 06:31:14王子豪蔡紅亮
    計(jì)算機(jī)應(yīng)用 2023年9期
    關(guān)鍵詞:橫式對(duì)角磁盤

    解 崢,王子豪,唐 聃*,張 航,蔡紅亮

    (1.成都信息工程大學(xué) 軟件工程學(xué)院,成都 610225;2.四川省信息化應(yīng)用支撐軟件工程技術(shù)研究中心,成都 610225;3.中國(guó)電子科技集團(tuán)第三十研究所,成都 610041)

    0 引言

    隨著存儲(chǔ)需求的持續(xù)增加,為保證存儲(chǔ)系統(tǒng)的高性能和可靠性,獨(dú)立磁盤冗余陣列(Redundant Array of Independent Disks,RAID)技術(shù)[1]得到廣泛的認(rèn)可和應(yīng)用。由于技術(shù)發(fā)展趨勢(shì)[2-3],發(fā)生并發(fā)磁盤故障的可能性隨著系統(tǒng)規(guī)模的增長(zhǎng)而增加[4-5],RAID-6[2]在RAID 的眾多策略中脫穎而出,得到了廣泛應(yīng)用,并成為目前研究的重點(diǎn)。

    RAID-6 的雙容錯(cuò)能力通過底層的糾刪碼技術(shù)實(shí)現(xiàn),因此,RAID-6 的性能與使用的糾刪碼密不可分。由于異或(Exclusive OR,XOR)運(yùn)算的特性,陣列碼在編譯碼過程中具有較低的計(jì)算復(fù)雜度,因此也常用于RAID-6 中底層糾刪碼的實(shí)現(xiàn)。典型的陣列碼有EVENODD[6]、RDP(Row-Diagonal Parity)[3]和X-code[7]等。EVENODD 和RDP 使用兩個(gè)特定的校驗(yàn)磁盤存儲(chǔ)校驗(yàn)位,它們的缺點(diǎn)是連續(xù)的寫操作會(huì)導(dǎo)致磁盤熱點(diǎn)集中和I/O 瓶頸。雖然X-code 獨(dú)特的結(jié)構(gòu)克服了這些缺陷,但磁盤間的依賴性較強(qiáng),導(dǎo)致擴(kuò)展性不足[8]。近年來(lái),新的陣列碼也在不斷被提出,如N-code[9]、EaR(Enduranceaware RAID-6)[10]以及Thou Code[11]。這些陣列碼分別對(duì)復(fù)雜均衡、編譯復(fù)雜度以及容錯(cuò)能力進(jìn)行優(yōu)化,可作為RAID-6的底層編碼保障數(shù)據(jù)可靠性。

    雖然糾刪碼可以容忍多個(gè)磁盤的并發(fā)故障,但在實(shí)際應(yīng)用中單磁盤故障的恢復(fù)場(chǎng)景占全部恢復(fù)場(chǎng)景的99.75%[4]。因此,單磁盤故障恢復(fù)的性能對(duì)于存儲(chǔ)系統(tǒng)也至關(guān)重要。但RIAD-6 中的經(jīng)典陣列碼EVENODD、RDP 和X-code 在單磁盤故障恢復(fù)過程中對(duì)存活磁盤的讀取次數(shù)較多,單盤恢復(fù)性能不足。為了提高單磁盤故障恢復(fù)的性能,Huang 等[12]通過增加冗余位的方式,降低了單盤修復(fù)時(shí)的數(shù)據(jù)下載量;Deng等[13]對(duì)X-code 進(jìn)行改進(jìn),縮小了數(shù)據(jù)重建窗口;Fu 等[14]考慮到真實(shí)存儲(chǔ)系統(tǒng)中存在邏輯磁盤旋轉(zhuǎn)映射到磁盤,設(shè)計(jì)了兩種基于貪婪算法的恢復(fù)機(jī)制以減少修復(fù)過程I/O;Li 等[15]提出了具有雙層碼結(jié)構(gòu)的OI-RAID,可加快磁盤恢復(fù);Chen等[16]對(duì)HV Code(Horizontal-Vertical Code)[17]在單磁盤故障恢復(fù)上進(jìn)行優(yōu)化,具有更少的磁盤讀取次數(shù);Huang 等[18]改進(jìn)了Liberation 碼[19]的編譯碼算法,消除了編譯碼過程中的冗余計(jì)算,從而減少了數(shù)據(jù)恢復(fù)過程的異或次數(shù)。

    針對(duì)現(xiàn)有陣列碼的不足,本文提出了一種基于異或運(yùn)算的混合陣列糾刪碼——J 碼(J-code)。J-code 結(jié)合了橫式陣列碼和縱式陣列碼的優(yōu)點(diǎn),具有較低的編譯碼復(fù)雜度和較少的XOR 操作數(shù),還能容許任意兩個(gè)磁盤的并發(fā)故障。J-code沿對(duì)角線和反對(duì)角線方向生成校驗(yàn)位,將部分校驗(yàn)位均勻分布在數(shù)據(jù)磁盤中,相較于橫式陣列碼中使用多個(gè)專用的校驗(yàn)磁盤,J-code 僅有一個(gè)校驗(yàn)磁盤,可以在一定程度上緩解磁盤I/O 瓶頸和失衡問題,降低了編譯碼復(fù)雜度;相較于縱式陣列碼,J-code 提高了碼率,并節(jié)省了單節(jié)點(diǎn)修復(fù)占用的I/O資源。

    1 相關(guān)工作

    在陣列碼被提出前,存儲(chǔ)系統(tǒng)廣泛應(yīng)用的糾刪碼為RS(Reed-Solomon)碼[20],隨后,Plank[21]將RS 編碼算法應(yīng)用于RAID 存儲(chǔ)系統(tǒng)中。雖然RS 碼具有最大距離可分(Maximum Distance Separable,MDS)[22]性質(zhì)和理論上無(wú)限容錯(cuò)等優(yōu)點(diǎn),但它的編譯碼過程涉及有限域上的計(jì)算,計(jì)算復(fù)雜度高[2]。為降低計(jì)算復(fù)雜度,Blaum 等[6]提出了一種陣列糾刪碼EVENODD,與RS 碼相比,EVENODD 最突出的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低、編譯碼速度快。隨著研究的深入,陣列碼最終取代RS 碼,廣泛應(yīng)用于RAID 的編碼實(shí)現(xiàn)中。RAID-6中使用的陣列碼分為橫式陣列碼和縱式陣列碼。橫式陣列碼的特點(diǎn)是原始數(shù)據(jù)位和校驗(yàn)位分布在不同的列上,典型的橫式陣列碼包括EVENODD、RDP 等;縱式陣列碼的特點(diǎn)是校驗(yàn)位均勻分布在各列中,與原始數(shù)據(jù)位混合放置,典型的縱式陣列碼有X-code、P-code[23]等。

    橫式陣列碼和縱式陣列碼的編碼結(jié)構(gòu)對(duì)它們的性能也造成了不同影響:橫式陣列碼有多個(gè)專用于放置校驗(yàn)塊的校驗(yàn)列,校驗(yàn)信息集中在特定校驗(yàn)盤上,造成讀寫開銷大、I/O瓶頸和I/O 不平衡等問題;縱式陣列碼數(shù)據(jù)塊和校驗(yàn)塊均勻分布在各列中,具有良好的單寫復(fù)雜度和編譯碼效率,但存儲(chǔ)效率往往不及具有相同容錯(cuò)能力的橫式陣列碼,磁盤間緊密的邏輯聯(lián)系也限制了縱式陣列碼的擴(kuò)展能力。

    近年來(lái),雙容錯(cuò)的陣列碼不斷被提出,如EaR[10]、N-code[9]等,但學(xué)術(shù)界對(duì)混合陣列碼的研究依然較少。EaR屬于橫式陣列碼,使用兩塊專用的校驗(yàn)磁盤分別保存行校驗(yàn)位和對(duì)角校驗(yàn)位,其中保存對(duì)角校驗(yàn)位的磁盤比其他磁盤多存儲(chǔ)一個(gè)數(shù)據(jù)塊,因此磁盤存儲(chǔ)的數(shù)據(jù)量并不統(tǒng)一。EaR 優(yōu)化了編譯碼復(fù)雜度,但未在單磁盤恢復(fù)性能方面進(jìn)行優(yōu)化。N-code 是一種混合陣列碼,沒有專用的校驗(yàn)磁盤,而是將校驗(yàn)塊與數(shù)據(jù)塊一同分散在所有磁盤中,其中,行校驗(yàn)塊按階梯狀分布,第一個(gè)磁盤和最后一個(gè)磁盤均使用一半的空間存儲(chǔ)對(duì)角校驗(yàn)位。N-code 在降級(jí)讀和負(fù)載均衡方面進(jìn)行了優(yōu)化,但編譯碼復(fù)雜度和單磁盤恢復(fù)性能并沒有提升。目前,縱式陣列碼除了X-code、P-code 外,受到的關(guān)注較少,在實(shí)際環(huán)境中的應(yīng)用也很少,它們的性能和特性仍需要繼續(xù)探索[24]。

    綜上,現(xiàn)有研究工作提出的雙容錯(cuò)陣列碼要么屬于橫式陣列碼,要么屬于縱式陣列碼,而對(duì)混合編碼方式的陣列碼的研究涉及較少。因此,亟須設(shè)計(jì)混合編碼模型,結(jié)合橫式編碼與縱式編碼的優(yōu)點(diǎn),有效地提升雙容錯(cuò)陣列碼的性能。

    2 J碼

    2.1 編碼設(shè)計(jì)

    J-code 采用混合校驗(yàn)規(guī)則的陣列碼,與其他陣列碼一樣,由參數(shù)p定義,要求p必須是大于2 的素?cái)?shù)。J-code 構(gòu)造一個(gè)大小為(p-1) × (p+1)的二維陣列進(jìn)行編碼,不同于RDP 將校驗(yàn)位全部放置在兩個(gè)單獨(dú)的列中,也不同于X-code將校驗(yàn)位均勻放置在各列,J-code 采用一種折中的放置方案,即數(shù)據(jù)塊分別按照斜率為-1 的反對(duì)角線和斜率為1 的對(duì)角線異或運(yùn)算,得到反對(duì)角校驗(yàn)塊和對(duì)角校驗(yàn)塊,兩種校驗(yàn)塊分別采用橫式和縱式的方式放置。全部的校驗(yàn)塊呈“J”形排列,因此將該糾刪碼模型命名為J-code。J-code 編碼后的二維陣列可表示為:

    其中:D是由原始數(shù)據(jù)構(gòu)建的(p-2) × (p+1)二維陣列;Ph是由D編碼得到的1 ×p二維陣列;Pv是由D和Ph編碼計(jì)算得到的(p-1) × 1 二維陣列,包括Pv1和Pv2。編碼計(jì)算公式如下:

    其中:di,j表示J-code 二維陣列C(p) 第i行j列的元素(i∈[0,p-2],j∈[0,p])分別表示(j+k+2) modp和(i-k) modp。本文只存儲(chǔ)了p-1 條對(duì)角線的校驗(yàn)結(jié)果,同時(shí)選取pp-2,1所在的對(duì)角線作為“缺失的對(duì)角線”(missing diagonal)[6],不再進(jìn)行對(duì)角校驗(yàn)計(jì)算。J-code 的編碼過程如圖1 所示。

    圖1 J-code的生成過程Fig.1 Process of J-code generation

    2.2 譯碼過程

    本文構(gòu)造一個(gè)磁盤數(shù)為p+1 的磁盤陣列,并按0~p編號(hào),p是大于2 的素?cái)?shù)。定義各個(gè)原始數(shù)據(jù)塊和校驗(yàn)塊,將J-code 的構(gòu)造形式化。將每個(gè)由J-code 構(gòu)建的二維陣列中相同位置的塊分組成一個(gè)條帶。對(duì)于一個(gè)二維陣列的原始數(shù)據(jù),先按反對(duì)角線方向?qū)⒚縫-2 個(gè)原始數(shù)據(jù)塊分組,每組進(jìn)行異或求和,并將得到的反對(duì)角校驗(yàn)位加入該組,將這樣的一個(gè)分組稱為一個(gè)反對(duì)角校驗(yàn)集,記為ln(n∈[0,p-1])。如圖1(a)所示。當(dāng)p=5 時(shí),l0由d0,0、d1,1、d2,2和p3,3組成??啥x完整的反對(duì)角校驗(yàn)集合P={ln|n∈[0,p-1]}。磁盤k上存儲(chǔ)的數(shù)據(jù)di,k所屬反對(duì)角校驗(yàn)集為(i∈[0,p-2],k∈[0,p-1])。對(duì)于一個(gè)二維陣列的原始數(shù)據(jù)位和橫式排列的校驗(yàn)位,沿對(duì)角線方向按p-1 進(jìn)行分組,每組進(jìn)行異或求和,并將得到的對(duì)角校驗(yàn)位加入本組,將這樣的一個(gè)分組稱為一個(gè)對(duì)角校驗(yàn)集,記為如圖1(b)所示,當(dāng)p=5 時(shí)由d0,0、d3,2、d2,3、d1,4和p0,5組成 。同理,定義完整的對(duì)角校驗(yàn)集合由于磁盤k上存儲(chǔ)的數(shù)據(jù)di,k(i∈[0,p-2],k∈[0,p]),當(dāng)i+k=p-1 時(shí),di,k位于“缺失的對(duì)角線”上,不進(jìn)行對(duì)角檢驗(yàn)計(jì)算,即不屬于任何對(duì)角校驗(yàn)集。di,k所屬的對(duì)角校驗(yàn)集為:

    因此,前p個(gè)磁盤中存儲(chǔ)了反對(duì)角校驗(yàn)塊,第p+1 塊磁盤,即磁盤p中存儲(chǔ)對(duì)角校驗(yàn)塊,稱為對(duì)角校驗(yàn)磁盤。

    定理1 J-code 中原始數(shù)據(jù)塊所屬的反對(duì)角校驗(yàn)集與對(duì)角校驗(yàn)集,除當(dāng)前數(shù)據(jù)塊本身外沒有重疊數(shù)據(jù)塊。

    證明 按照編碼過程和參數(shù)p構(gòu)造J-code,設(shè)二維陣列中存在原始數(shù)據(jù)塊dx,y(0 ≤x≤p-3,0 ≤y≤p-1)。根據(jù)編碼構(gòu)造過程可知,數(shù)據(jù)塊dx,y所屬的構(gòu)造反對(duì)角校驗(yàn)位的反對(duì)角校驗(yàn)集l和構(gòu)造對(duì)角校驗(yàn)位的對(duì)角校驗(yàn)集l′分別為:

    假設(shè)反對(duì)角校驗(yàn)集l和對(duì)角校驗(yàn)集l′存在dx,y之外的重疊元素,記為di,j,若存在i∈[0,p-2],則:

    當(dāng)k=0 時(shí),i=x,對(duì)角校驗(yàn)集和反對(duì)角校驗(yàn)集在每行有且只有一個(gè)數(shù)據(jù)塊,因此,數(shù)據(jù)塊di,j與數(shù)據(jù)塊dx,y重合,與假設(shè)矛盾;當(dāng)k≠0 時(shí),為保證i為非負(fù)整數(shù),則必須為p的整數(shù)倍,由于0 ≤x≤p-1

    當(dāng)發(fā)生單磁盤數(shù)據(jù)丟失時(shí),若故障磁盤位于前p個(gè)磁盤中,可跨磁盤0 到p-1 取出特定原始數(shù)據(jù)塊和校驗(yàn)塊構(gòu)建反對(duì)角校驗(yàn)集進(jìn)行數(shù)據(jù)恢復(fù);若故障磁盤是磁盤p,使用前p個(gè)磁盤內(nèi)的數(shù)據(jù)塊和校驗(yàn)塊即可構(gòu)建對(duì)角校驗(yàn)集進(jìn)行恢復(fù)。

    當(dāng)雙磁盤發(fā)生數(shù)據(jù)丟失時(shí),丟失磁盤可分為兩類:一類是包含對(duì)角校驗(yàn)磁盤p,即前p個(gè)磁盤中的某一個(gè)磁盤與磁盤p同時(shí)發(fā)生數(shù)據(jù)丟失;另一類不包含對(duì)角校驗(yàn)磁盤p,即前p個(gè)磁盤中的兩個(gè)磁盤同時(shí)發(fā)生數(shù)據(jù)丟失。

    針對(duì)第一類情況,由于反對(duì)角校驗(yàn)集內(nèi)數(shù)據(jù)的存儲(chǔ)位置不涉及對(duì)角校驗(yàn)磁盤,因此可以僅通過反對(duì)角校驗(yàn)重構(gòu)前p個(gè)磁盤中的丟失數(shù)據(jù),由此,再根據(jù)對(duì)角校驗(yàn)集的定義便可恢復(fù)對(duì)角校驗(yàn)磁盤p中數(shù)據(jù)。

    針對(duì)第二類情況,所有的數(shù)據(jù)丟失都發(fā)生在存儲(chǔ)反對(duì)角校驗(yàn)集合的磁盤。從二維陣列結(jié)構(gòu)看,對(duì)角校驗(yàn)磁盤p存儲(chǔ)的校驗(yàn)塊均屬于對(duì)角校驗(yàn)集合P′,稱對(duì)角校驗(yàn)集合P′與對(duì)角校驗(yàn)磁盤p中所有元素相交。

    引理1 J-code 形式化編碼構(gòu)成的二維陣列前p個(gè)磁盤中任意兩個(gè)磁盤未參與構(gòu)造的對(duì)角校驗(yàn)集不相同。

    證明假設(shè)丟失磁盤編號(hào)為d1和d2,d2=d1+j(j∈[1,p-1]),記兩個(gè)磁盤未參與構(gòu)造的對(duì)角校驗(yàn)集為l′n和,則:

    假設(shè)m=n,則m=(n+ip) modp成立,i為自然數(shù)。由于j∈[1,p-1]且m,n∈[0,p-1],可知?i∈N,均無(wú)法滿足n+j=n+ip,于 是(n+j) modp≠(n+ip) modp,即(n+j) modp≠m與假設(shè)矛盾,假設(shè)錯(cuò)誤,因此m≠n。證畢。

    引理2 J-code 形式化編碼構(gòu)成的二維陣列中前p個(gè)磁盤中任意兩個(gè)磁盤分別有一個(gè)與對(duì)方存儲(chǔ)數(shù)據(jù)不相交的反對(duì)角校驗(yàn)集。

    證明 根據(jù)J-code 形式化編碼構(gòu)成的二維陣列特點(diǎn),前p列參與了反對(duì)角校驗(yàn)位的構(gòu)建,因此只提取前p列,得到一個(gè)(p-1) ×p的二維陣列。第i行依次水平循環(huán)左移i個(gè)位置,得到新的二維陣列a,p=5 時(shí)對(duì)應(yīng)的陣列如圖2 所示。

    圖2 J-code的反對(duì)角校驗(yàn)集Fig.2 J-code anti-diagonal parity set

    二維陣列a中每列元素屬于同一個(gè)反對(duì)角校驗(yàn)集,而位于同一條斜率為1 的對(duì)角線的元素屬于同一個(gè)磁盤。每個(gè)磁盤中存儲(chǔ)的元素所屬的反對(duì)角校驗(yàn)集構(gòu)成了一個(gè)大小為(p-1) × (p-1)的陣列。如圖3 所示,陰影標(biāo)注的數(shù)據(jù)塊存儲(chǔ)于磁盤3,陰影數(shù)據(jù)塊所屬的反對(duì)角校驗(yàn)集構(gòu)成了4 × 4的二維陣列。

    圖3 反對(duì)角校驗(yàn)集與磁盤3的對(duì)應(yīng)關(guān)系Fig.3 Relationship between anti-diagonal parity set and disk3

    根據(jù)結(jié)構(gòu)特點(diǎn)易知,大小為(p-1) ×p的陣列a中必然存在一個(gè)與磁盤d中元素不相關(guān)的反對(duì)角校驗(yàn)集l,同時(shí),a中元素必然分布于其他所有非對(duì)角校驗(yàn)磁盤中。因此,a中任選兩個(gè)磁盤,則分別擁有一個(gè)與對(duì)方磁盤存儲(chǔ)數(shù)據(jù)不相交的反對(duì)角校驗(yàn)集。根據(jù)a的構(gòu)造原理,J-code 形式化編碼構(gòu)成的二維陣列同樣滿足。證畢。

    假設(shè)前p個(gè)磁盤中兩個(gè)故障磁盤分別為d1和d2,所具有的與對(duì)方存儲(chǔ)數(shù)據(jù)不相交的對(duì)角校驗(yàn)集分別為lm和ln,未參與構(gòu)造的對(duì)角校驗(yàn)集分別為。根據(jù)引理1、2 知,lm和包含磁盤d1中數(shù)據(jù)塊,而不包含d2中的數(shù)據(jù);ln和包含磁盤d2中數(shù)據(jù)塊,而不包含d1中的數(shù)據(jù)。因此,首先可以通過lm、ln嘗試恢復(fù)磁盤d1和d2中對(duì)應(yīng)丟失的塊;然后,分別探尋恢復(fù)出的數(shù)據(jù)塊所屬的反對(duì)角校驗(yàn)集和對(duì)角校驗(yàn)集;最后進(jìn)行異或求和操作,恢復(fù)出新的丟失數(shù)據(jù)。如此循環(huán),直至恢復(fù)全部丟失符號(hào)。當(dāng)p=5 時(shí),以磁盤1 和磁盤2 丟失為例,恢復(fù)過程如圖4 所示,括號(hào)內(nèi)數(shù)字與箭頭分別表示恢復(fù)的次序和方向。

    圖4 雙磁盤故障恢復(fù)過程Fig.4 Double disk failure repair process

    定理2 根據(jù)J-code 的編碼過程構(gòu)造的二維陣列可以在其任何兩個(gè)磁盤發(fā)生故障后重建。

    證明 從代數(shù)的角度,可以根據(jù)式(2)、(3),構(gòu)建關(guān)于丟失磁盤內(nèi)存儲(chǔ)數(shù)據(jù)的齊次線性方程組,通過證明齊次線性方程組系數(shù)矩陣任意兩行滿足線性無(wú)關(guān)來(lái)證明該齊次線性方程組有解,繼而證出兩個(gè)磁盤內(nèi)數(shù)據(jù)可恢復(fù)。

    假設(shè)通過參數(shù)p構(gòu)建的二維陣列故障磁盤編號(hào)為d1和d2,其中,d2=d1+j,d1∈[0,p-1],j∈[1,p-1]。磁盤d1和d2存儲(chǔ)的數(shù)據(jù)分別記為 {x0,x1,…,xp-2} 和{xp-1,xp,…,x2p-3}。由反對(duì)角校驗(yàn)集的構(gòu)建過程,可以一般化構(gòu)造方程:

    其中,ci表示當(dāng)前反對(duì)角校驗(yàn)集的其他元素的異或求和的結(jié)果。由引理2 可知,磁盤d1和d2分別存儲(chǔ)一個(gè)特殊的元素,該元素所屬的反對(duì)角校驗(yàn)集中沒有對(duì)方磁盤中的元素,標(biāo)記這兩個(gè)元素分別為xm和xn,其中m=p-j-1,n=p+j-2。由式(6),根據(jù)磁盤d1和d2存儲(chǔ)的數(shù)據(jù)所屬的反對(duì)角校驗(yàn)集構(gòu)建齊次線性方程組

    由齊次線性方程組(7)構(gòu)建大小為p×(2p-2)的系數(shù)矩陣的一般形式,令diag[ 1,1,…,1 ]m×m。構(gòu)造的矩陣如圖5所示。

    根據(jù)編碼構(gòu)造原理及齊次線性方程組可知,系數(shù)矩陣任意兩行是線性無(wú)關(guān)的,同理,根據(jù)對(duì)角校驗(yàn)集的構(gòu)建過程,同樣可以一般化構(gòu)造方程:

    當(dāng)磁盤d1編號(hào)為0 時(shí),即位于第一個(gè)磁盤位置,則磁盤d1中存儲(chǔ)的元素均參與了對(duì)角校驗(yàn)集的構(gòu)建。根據(jù)結(jié)構(gòu)特點(diǎn),假設(shè)磁盤d1中元素xk參與的反對(duì)角校驗(yàn)集不包含磁盤d2中數(shù)據(jù)塊,則k=j-1,因此:

    由式(9),根據(jù)磁盤d1和d2存儲(chǔ)的數(shù)據(jù)相關(guān)的對(duì)角校驗(yàn)集構(gòu)建齊次線性方程組:

    由式(9)構(gòu)建大小為(p-1) × (2p-2)的系數(shù)矩陣的一般形式,令C=diagdiag[ 1,1,…,1]k×k。構(gòu)造的矩陣如圖6所示。

    圖6 由式(9)構(gòu)造的矩陣的一般形式Fig.6 General form of matrix constructed by equation(9)

    當(dāng)磁盤d1編號(hào)不為0 時(shí),根據(jù)引理1,設(shè)磁盤d1和磁盤d2內(nèi)數(shù)據(jù)未參與構(gòu)建的對(duì)角校驗(yàn)集分別為,則磁盤d1中存在一個(gè)數(shù)據(jù)塊屬于,記為xm,磁盤d2中存在一個(gè)數(shù)據(jù)塊屬于,記為xn,根據(jù)陣列結(jié)構(gòu)和對(duì)角校驗(yàn)位生成方式,有m=j-1,n=2p-2 -j,于是:

    由式(8),根據(jù)磁盤d1和d2存儲(chǔ)的數(shù)據(jù)相關(guān)的對(duì)角校驗(yàn)集構(gòu)建齊次線性方程組

    由式(10)構(gòu)建大小為(p-1) × (2p-2)的系數(shù)矩陣的一般形式,令。構(gòu)造的矩陣如圖7 所示。根據(jù)編碼構(gòu)造原理及齊次線性方程組可知,無(wú)論是圖6 或圖7,其中任意兩行都是線性無(wú)關(guān)的。根據(jù)定理1 易知,對(duì)角校驗(yàn)集和反對(duì)角校驗(yàn)集構(gòu)建的次線性方程組的系數(shù)矩陣任意兩行線性無(wú)關(guān)。因此,通過拼接兩種系數(shù)矩陣可構(gòu)建非奇異矩陣來(lái)求解未知數(shù){x0,x1,…,x2p-3}的值,即磁盤丟失的數(shù)據(jù)。證畢。

    圖7 由式(10)構(gòu)造的矩陣的一般形式Fig.7 General form of matrix constructed by equation(10)

    3 單磁盤故障恢復(fù)方案

    3.1 常規(guī)恢復(fù)方案

    對(duì)于J-code,如果故障磁盤不是對(duì)角校驗(yàn)盤,常規(guī)恢復(fù)方案是使用反對(duì)角校驗(yàn)集來(lái)恢復(fù)每一個(gè)丟失數(shù)據(jù)。例如當(dāng)p=5 時(shí),磁盤0 出現(xiàn)錯(cuò)誤,可以通過反對(duì)角校驗(yàn)集{l0,l2,l3,l4}恢 復(fù),其 中l(wèi)0={d0,0,d1,1,d2,2,p3,3},l2、l3和l4同理。如果故障磁盤是對(duì)角校驗(yàn)盤,恢復(fù)方案就是使用原始數(shù)據(jù)和反對(duì)角校驗(yàn)位重新編碼。

    3.2 混合恢復(fù)方案

    J-code 單磁盤故障的常規(guī)恢復(fù)方案只使用了反對(duì)角校驗(yàn)集,但每個(gè)數(shù)據(jù)位都受兩個(gè)不同校驗(yàn)塊的保護(hù)。本節(jié)將介紹p>3 的J-code 同時(shí)使用兩個(gè)校驗(yàn)集的混合恢復(fù)方案,把兩個(gè)校驗(yàn)集的重疊元素存儲(chǔ)在內(nèi)存中,以減少恢復(fù)過程中磁盤的讀取次數(shù),節(jié)省恢復(fù)時(shí)間。

    觀察二維陣列的前p列,由于列數(shù)比行數(shù)多1,兩個(gè)校驗(yàn)集分別沿著斜率為1 的對(duì)角線方向和斜率為-1 的反對(duì)角線方向構(gòu)造,且在每一行分別只包含一個(gè)元素。因此,任意一對(duì)反對(duì)角校驗(yàn)集與對(duì)角校驗(yàn)集至多存在一個(gè)重疊元素。

    對(duì)反對(duì)角校驗(yàn)塊的生成過程分析可知,該過程僅涉及前p個(gè)磁盤,與對(duì)角校驗(yàn)磁盤無(wú)關(guān),每個(gè)反對(duì)角校驗(yàn)集包含p-1 個(gè)元素,其中每一個(gè)元素分布在陣列中不同且連續(xù)的列,同時(shí)位于不同行中,因此,對(duì)于每一個(gè)反對(duì)角校驗(yàn)集而言,存在一個(gè)非對(duì)角校驗(yàn)盤,它存儲(chǔ)的數(shù)據(jù)塊不屬當(dāng)前校驗(yàn)集,即存在一個(gè)不相交的非對(duì)角校驗(yàn)盤。同理,對(duì)對(duì)角校驗(yàn)塊的生成過程進(jìn)行分析,每一個(gè)對(duì)角校驗(yàn)集包含p個(gè)元素,每一個(gè)元素分布在陣列中不同行和不同列,因此,對(duì)于每一個(gè)對(duì)角校驗(yàn)集而言,也存在一個(gè)列與之不相交。圖8 展示了p=5時(shí)校驗(yàn)集l0和l′0及與其不相交的列。引理3 指出了兩種校驗(yàn)集與各自不相交的列的對(duì)應(yīng)關(guān)系。

    圖8 兩種校驗(yàn)集與不相交磁盤的關(guān)系Fig.8 Relationships between tow parity sets and disjoint disks

    引理3 設(shè)di,j(i∈[0,p-2],j∈[0,p])為J-code 二維陣列中的一個(gè)元素,則:

    1)有且僅有一個(gè)非對(duì)角校驗(yàn)列與其所屬的反對(duì)角校驗(yàn)集不相交,該列編號(hào)為

    2)有且僅有一個(gè)非對(duì)角校驗(yàn)列與其所屬的對(duì)角校驗(yàn)集不相交,該列編號(hào)為

    對(duì)于任意一個(gè)反對(duì)角校驗(yàn)集與對(duì)角校驗(yàn)集,若二者不相交的列相同,設(shè)為j。根據(jù)結(jié)構(gòu)特點(diǎn),若兩個(gè)校驗(yàn)集分別按照各自斜率延伸,則會(huì)相交于dp-1,j或d-1,j,由于二維陣列只有p-1 行,因此兩個(gè)數(shù)據(jù)塊實(shí)際并不存在,故兩個(gè)校驗(yàn)集不相交。

    由引理3,設(shè)兩個(gè)位于同一個(gè)丟失磁盤c中的元素分別為di,c和dj,c,假設(shè)di,c使用對(duì)角校驗(yàn)集恢復(fù),dj,c使用反對(duì)角校驗(yàn)集恢復(fù)。若兩個(gè)校驗(yàn)集不相交的列相同,則

    因此,i+1+c=c-j-1+kp,其中k為整數(shù),化簡(jiǎn)得j=kp-i-2。由于i,j∈[0,p-2],k只能取1,即j=p-i-2。由此可得出引理4。

    引理4 設(shè)di,c和dj,c為J-code 二維陣列中同一個(gè)磁盤c中的兩個(gè)元素,其中i,j∈[0,p-2],c∈[0,p-1],當(dāng)j=p-i-2 時(shí),di,c所屬的對(duì)角校驗(yàn)集和dj,c所屬的反對(duì)角校驗(yàn)集的交集為空。

    證明 為減少磁盤的讀取次數(shù),應(yīng)讓恢復(fù)過程中用到的校驗(yàn)集存在盡可能多的重疊數(shù)據(jù)。由引理4 易知,當(dāng)故障列中使用不同校驗(yàn)集進(jìn)行恢復(fù)的兩個(gè)元素的行編號(hào)之和不等于p-2 時(shí),使用的兩個(gè)校驗(yàn)集之間沒有重疊數(shù)據(jù)。設(shè)丟失列中t個(gè)元素使用對(duì)角校驗(yàn)集恢復(fù),剩下的p-1 -t個(gè)元素使用反對(duì)角校驗(yàn)集恢復(fù),其中有k對(duì)校驗(yàn)集不相交,則重疊元素的個(gè)數(shù)為

    4 實(shí)驗(yàn)與結(jié)果分析

    4.1 存儲(chǔ)利用率和容錯(cuò)率

    存儲(chǔ)利用率是指存儲(chǔ)的原始數(shù)據(jù)量與全部編碼信息量的比值。J-code 編碼構(gòu)建的二維陣列中,(p-2) ×p的陣列用于存儲(chǔ)源數(shù)據(jù),剩余空間存儲(chǔ)冗余數(shù)據(jù),存儲(chǔ)利用率為,可容忍任意兩列數(shù)據(jù)丟失。而同樣能容忍兩列數(shù)據(jù)丟失的EVENODD、RDP、X-code、N-code 和EaR的存儲(chǔ)利用率對(duì)比如表1、圖9 所示,其中RDP 與N-code 在同一參數(shù)p下具有相同的存儲(chǔ)利用率。根據(jù)理論分析對(duì)比,雖然J-code 在存儲(chǔ)利用率方面僅優(yōu)于X-code,但相較于下文中J-code 降低的編譯碼復(fù)雜度和單磁盤故障修復(fù)I/O,J-code 所增加的存儲(chǔ)開銷仍在可接受范圍內(nèi)。

    表1 不同糾刪碼的存儲(chǔ)利用率計(jì)算公式Tab.1 Formulas for calculating storage utilization of different erasure codes

    圖9 不同糾刪碼的存儲(chǔ)利用率對(duì)比Fig.9 Comparison of storage utilization of different erasure codes

    4.2 編譯碼復(fù)雜度

    編譯碼復(fù)雜度的高低是糾刪碼在編譯碼階段的實(shí)用性和效率的體現(xiàn),因此,編譯碼復(fù)雜度也是評(píng)價(jià)糾刪碼性能的重要指標(biāo)之一。J-code 作為陣列碼的一種,基于XOR 運(yùn)算的編譯碼計(jì)算方式使其計(jì)算復(fù)雜度遠(yuǎn)低于基于Galois 域GF(2w)運(yùn)算的糾刪碼,如RS 類糾刪碼與再生碼。

    下面以每種陣列碼的數(shù)據(jù)位構(gòu)造校驗(yàn)位所需的異或操作平均次數(shù)作為衡量編碼復(fù)雜度的指標(biāo),對(duì)EVENODD、RDP、X-code、N-code、EaR 和J-code 進(jìn)行對(duì)比。根據(jù)J-code 的編碼過程可知,J-code 的每個(gè)信息位都參與了反對(duì)角校驗(yàn)位的構(gòu)建,斜率為1 的部分對(duì)角線上的信息位與反對(duì)角校驗(yàn)位參與了對(duì)角校驗(yàn)位的構(gòu)建,因此一個(gè)J-code 碼字的編碼過程總異或次數(shù)為 2(p2-3p+1),編碼復(fù)雜度為。EVENODD、RDP、X-code、N-code 和EaR 的編碼復(fù)雜度對(duì)比如表2、圖10(a)所示。其中,EVENODD 的原始構(gòu)建方式要求p+2 個(gè)磁盤,除了X-code 外的其他糾刪碼的構(gòu)建都要求使用p+1 個(gè)磁盤,假設(shè)這些糾刪碼都應(yīng)用于具有p+1 個(gè)磁盤的存儲(chǔ)系統(tǒng)中,為保持統(tǒng)一,令EVENODD 邏輯上的最后一個(gè)數(shù)據(jù)磁盤只存儲(chǔ)零。而RDP 與N-code 在同一參數(shù)p下具有相同的編碼復(fù)雜度。

    表2 不同糾刪碼的編碼和譯碼復(fù)雜度計(jì)算公式Tab.2 Calculation formulas of encoding and decoding complexity of different erasure codes

    圖10 編碼復(fù)雜度和譯碼復(fù)雜度對(duì)比Fig.10 Comparison of encoding complexity and decoding complexity

    類似地,以每種陣列碼恢復(fù)兩列數(shù)據(jù)位過程中異或計(jì)算次數(shù)與原始數(shù)據(jù)塊之比作為衡量譯碼復(fù)雜度的指標(biāo)。在此,假設(shè)數(shù)據(jù)丟失都發(fā)生在存儲(chǔ)原始信息的列中。由第二章Jcode 的譯碼過程可知,J-code 恢復(fù)兩列丟失數(shù)據(jù)XOR 操作次數(shù) 為2p2-7p+4。因此,J-code 的譯碼復(fù)雜度為。EVENODD、RDP、X-code、N-code 和EaR 的譯碼復(fù)雜度對(duì)比如表2、圖10(b)所示,其中,RDP 與N-code 在相同參數(shù)p下具有相同的譯碼復(fù)雜度。

    如圖10 所示,當(dāng)p=3 時(shí),J-code 具有最低的編碼復(fù)雜度;隨著p的增加,J-code 的編碼復(fù)雜度僅高于X-code 并逐漸趨于一致,而J-code 的譯碼復(fù)雜度始終保持最低,說明J-code具有優(yōu)秀的編譯碼性能,在理論上能提高存儲(chǔ)系統(tǒng)的編譯碼速度。

    4.3 單磁盤故障修復(fù)I/O

    單磁盤故障修復(fù)I/O 指修復(fù)任意一個(gè)故障磁盤時(shí)對(duì)其他磁盤的讀取次數(shù)。本節(jié)僅考慮存儲(chǔ)原始數(shù)據(jù)的磁盤丟失的情況。第3 章詳細(xì)闡述了J-code 的混合恢復(fù)方案,在此不再贅述。EVENODD、RDP、X-code、N-code 和EaR 的單磁盤修復(fù)硬盤讀取次數(shù)如表3、圖11 所示,其中EVENODD、RDP、Xcode 同樣采用單磁盤故障最優(yōu)恢復(fù)方案[25]。與4.2 節(jié)一樣,EVENODD 邏輯上的最后一個(gè)數(shù)據(jù)磁盤只存儲(chǔ)零。由圖11可知,隨著編碼參數(shù)p的增加,J-code 始終具有最少的磁盤讀取次數(shù),說明了在單磁盤故障修復(fù)過程中,J-code 占用最少的I/O 資源。

    表3 不同糾刪碼的單磁盤故障修復(fù)硬盤讀取次數(shù)計(jì)算公式Tab.3 Calculation formulas of read times for single disk failure repair of different erasure codes

    圖11 不同糾刪碼的單磁盤故障修復(fù)磁盤讀取次數(shù)對(duì)比Fig.11 Comparison of read times among different erasure codes for single disk failure repair

    4.4 真實(shí)應(yīng)用場(chǎng)景下的實(shí)驗(yàn)對(duì)比

    為評(píng)估J-code 在真實(shí)應(yīng)用場(chǎng)景下的性能,在編碼用時(shí)、單磁盤故障恢復(fù)時(shí)間和雙磁盤故障恢復(fù)時(shí)間方面進(jìn)行了實(shí)驗(yàn)對(duì)比。該實(shí)驗(yàn)橫向?qū)Ρ鹊募m刪碼分別是J-code、EVENODD、RDP、X-code、N-code 和EaR。編碼參數(shù)p的取值為3、5 和7。與上文一致,EVENODD 邏輯上的最后一個(gè)數(shù)據(jù)磁盤只存儲(chǔ)零。用于測(cè)試的文件的大小為5 MB,為實(shí)現(xiàn)各個(gè)陣列碼條帶數(shù)統(tǒng)一,設(shè)置當(dāng)編碼參數(shù)p=3 時(shí),數(shù)據(jù)塊分塊大小設(shè)為600 KB;當(dāng)p=5 時(shí),數(shù)據(jù)塊分塊大小設(shè)為100 KB;當(dāng)p=7 時(shí),數(shù)據(jù)塊分塊大小設(shè)為50 KB。實(shí)驗(yàn)的軟件運(yùn)行環(huán)境是CentOS7 64 位操作系統(tǒng),硬件環(huán)境為CPU Intel Core i5-10400、內(nèi)存8 GB、機(jī)械硬盤1 TB*8。

    4.4.1 編碼用時(shí)實(shí)驗(yàn)

    從表4 編碼過程的用時(shí)可看出:由于J-code 在生成反對(duì)角校驗(yàn)位過程中,XOR 計(jì)算次數(shù)少于EVENODD、RDP、Ncode,因此編碼速度得以提升。由于EaR 每個(gè)條帶多存儲(chǔ)一個(gè)校驗(yàn)塊,導(dǎo)致編碼時(shí)間比J-code 長(zhǎng)。而X-code 的特殊構(gòu)造方式使它具有最低的編碼復(fù)雜度,從而具有最快編碼速度。相較于EVENODD、RDP、N-code 和EaR,J-code 的編碼時(shí)間分別減少了6.96%~28.70%、0.30%~20.20%、0.60%~23.60%、7.00%~22.80%。隨著p的擴(kuò)大,編碼時(shí)間趨于穩(wěn)定,各個(gè)陣列碼的用時(shí)相差不大。

    表4 不同編碼參數(shù)p下的用時(shí)對(duì)比Tab.4 Comparison of time consumption under different encoding parameter p

    4.4.2 單磁盤故障修復(fù)用時(shí)實(shí)驗(yàn)

    從表4 單磁盤故障的平均修復(fù)用時(shí)可看出:當(dāng)p=3 時(shí),在單個(gè)條帶內(nèi),相較于其他陣列碼,J-code 采用常規(guī)恢復(fù)方案時(shí)具有最小的磁盤讀取次數(shù),因此修復(fù)速度最快。而Xcode 由于需寫入數(shù)據(jù)塊最多,因此耗時(shí)最長(zhǎng)。當(dāng)p>3 時(shí),Jcode 采用混合恢復(fù)方案仍能實(shí)現(xiàn)最少的磁盤讀取次數(shù)。綜合三種編碼參數(shù),在單磁盤故障修復(fù)過程中,J-code 相較于EVENODD、RDP、X-code、N-code 和EaR,故障修復(fù)時(shí)間分別減少了7.20%~17.46%、5.40%~14.68%、10.61%~31.62%、6.81%~16.22%、2.23%~10.58%。

    4.4.3 雙磁盤故障修復(fù)用時(shí)實(shí)驗(yàn)

    從表4 雙磁盤故障的平均修復(fù)用時(shí)可看出:在雙磁盤損壞場(chǎng)景下,J-code 的修復(fù)過程需要讀取的數(shù)據(jù)塊個(gè)數(shù)比EVENODD、RDP、N-code 和EaR 少,同時(shí)需要寫入的數(shù)據(jù)塊個(gè)數(shù)比X-code 少,因此J-code 的修復(fù)時(shí)間最短。實(shí)驗(yàn)結(jié)果表明,相較于EVENODD、RDP、X-code、N-code 和EaR,J-code 的譯碼時(shí)間分別減少了9.43%~29.10%、6.05%~16.23%、15.58%~36.00%、5.88%~15.67%、0.39%~12.41%。

    5 結(jié)語(yǔ)

    在磁盤陣列中,由磁盤故障導(dǎo)致的數(shù)據(jù)丟失對(duì)企業(yè)及用戶造成巨大損失。目前已有多種陣列碼被用于實(shí)現(xiàn)RAID-6的容錯(cuò)機(jī)制,但編譯碼復(fù)雜度較高,單盤、雙盤恢復(fù)速度較慢。為此,對(duì)橫式陣列碼與縱式陣列碼進(jìn)行分析,提出了一種結(jié)合二者編碼特點(diǎn)的混合陣列碼J-code,闡述了編譯碼過程以及單磁盤快速修復(fù)方案,并證明其正確性。通過理論分析,J-code 在滿足RAID-6 雙容錯(cuò)能力的同時(shí),具有較低的編譯碼復(fù)雜度和單磁盤故障修復(fù)I/O。實(shí)驗(yàn)結(jié)果表明,相較于EVENODD、RDP、N-code 和EaR,J-code 能夠減少編譯碼時(shí)間和單磁盤故障修復(fù)時(shí)間,而在存儲(chǔ)利用率方面稍有不足;相較于X-code,J-code 優(yōu)化了存儲(chǔ)開銷,節(jié)省了譯碼時(shí)間和單磁盤故障修復(fù)時(shí)間,而在編碼時(shí)間方面稍有不足。此外,J-code的校驗(yàn)生成規(guī)則也在一定程度上緩解了數(shù)據(jù)修復(fù)過程中磁盤I/O 失衡的問題,因此J-code 適合用于磁盤陣列的底層編碼實(shí)現(xiàn),具有應(yīng)用前景。

    猜你喜歡
    橫式對(duì)角磁盤
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    本期檢測(cè)題、易錯(cuò)題專練參考答案
    擬對(duì)角擴(kuò)張Cuntz半群的某些性質(zhì)
    修改磁盤屬性
    磁盤組群組及iSCSI Target設(shè)置
    創(chuàng)建VSAN群集
    淺論議論文的論證方式
    橫式書法行款
    非奇異塊α1對(duì)角占優(yōu)矩陣新的實(shí)用簡(jiǎn)捷判據(jù)
    折大象
    久久亚洲精品不卡| 亚洲精品成人久久久久久| 老女人水多毛片| 少妇人妻精品综合一区二区 | 午夜免费成人在线视频| 97人妻精品一区二区三区麻豆| 日韩成人在线观看一区二区三区| 亚洲av免费在线观看| 亚洲av日韩精品久久久久久密| 最近中文字幕高清免费大全6 | 国产一区二区在线观看日韩| 一进一出好大好爽视频| 欧美一区二区国产精品久久精品| 少妇裸体淫交视频免费看高清| 十八禁人妻一区二区| 很黄的视频免费| 色尼玛亚洲综合影院| 久久人妻av系列| 中文字幕久久专区| 国产精品99久久久久久久久| 欧美绝顶高潮抽搐喷水| 搞女人的毛片| 日韩精品中文字幕看吧| 中文字幕av成人在线电影| 91麻豆精品激情在线观看国产| 高清日韩中文字幕在线| 亚洲国产欧美人成| 日本一二三区视频观看| 欧美黄色淫秽网站| 久久精品国产99精品国产亚洲性色| 亚洲天堂国产精品一区在线| 国产伦精品一区二区三区四那| 欧美一级a爱片免费观看看| 色综合婷婷激情| 国产伦一二天堂av在线观看| 网址你懂的国产日韩在线| 国产精品久久久久久久电影| 国产乱人视频| 亚洲自拍偷在线| 婷婷六月久久综合丁香| www.999成人在线观看| 久久久久久久午夜电影| 国产黄色小视频在线观看| 18美女黄网站色大片免费观看| 欧美色视频一区免费| 国产日本99.免费观看| 亚洲美女搞黄在线观看 | 国产一区二区激情短视频| 亚洲av免费高清在线观看| 国产又黄又爽又无遮挡在线| 夜夜看夜夜爽夜夜摸| 久久中文看片网| 午夜老司机福利剧场| 18禁裸乳无遮挡免费网站照片| 麻豆国产av国片精品| 简卡轻食公司| 亚洲成av人片免费观看| 性插视频无遮挡在线免费观看| 午夜精品在线福利| 久久99热6这里只有精品| 亚洲男人的天堂狠狠| 国产在线精品亚洲第一网站| 9191精品国产免费久久| 波野结衣二区三区在线| 国产老妇女一区| 国产三级中文精品| 午夜a级毛片| 国产国拍精品亚洲av在线观看| 两个人视频免费观看高清| a在线观看视频网站| 国产单亲对白刺激| 国产在线男女| 国产老妇女一区| 国产精品,欧美在线| 十八禁人妻一区二区| 九色国产91popny在线| 午夜两性在线视频| 久久久久久久午夜电影| 国产69精品久久久久777片| 在线国产一区二区在线| 久久人人精品亚洲av| 日韩欧美免费精品| 精品久久久久久成人av| 永久网站在线| 九九热线精品视视频播放| 一级黄片播放器| 人人妻人人看人人澡| 人人妻人人澡欧美一区二区| 欧美成人性av电影在线观看| 久久国产精品人妻蜜桃| 日韩欧美国产一区二区入口| 69人妻影院| 如何舔出高潮| 亚洲国产高清在线一区二区三| 欧美黑人欧美精品刺激| 热99re8久久精品国产| netflix在线观看网站| 午夜影院日韩av| 男女之事视频高清在线观看| 中文字幕人妻熟人妻熟丝袜美| 亚洲中文字幕日韩| 露出奶头的视频| x7x7x7水蜜桃| h日本视频在线播放| 黄色女人牲交| 嫁个100分男人电影在线观看| av在线老鸭窝| 亚洲av成人不卡在线观看播放网| 欧美激情在线99| 内地一区二区视频在线| 国产免费一级a男人的天堂| 亚洲熟妇熟女久久| 首页视频小说图片口味搜索| 女同久久另类99精品国产91| 少妇的逼好多水| a在线观看视频网站| 成人性生交大片免费视频hd| 国产不卡一卡二| 亚洲,欧美精品.| 午夜亚洲福利在线播放| 男人的好看免费观看在线视频| 国产69精品久久久久777片| 国产aⅴ精品一区二区三区波| 国产av麻豆久久久久久久| 在线观看免费视频日本深夜| 免费看a级黄色片| 色哟哟·www| 日本一二三区视频观看| 亚洲av电影不卡..在线观看| 久久久久久久久中文| 国产高清视频在线播放一区| 国产精品av视频在线免费观看| 深爱激情五月婷婷| 三级毛片av免费| 99热这里只有是精品50| 国内精品一区二区在线观看| 日本五十路高清| 亚洲熟妇中文字幕五十中出| 97热精品久久久久久| 亚洲精品456在线播放app | 欧美成人免费av一区二区三区| 亚洲av五月六月丁香网| 国产一区二区亚洲精品在线观看| 欧美极品一区二区三区四区| 麻豆久久精品国产亚洲av| 欧美一区二区国产精品久久精品| 精品99又大又爽又粗少妇毛片 | 国产精品免费一区二区三区在线| 国产日本99.免费观看| 国产精品一区二区三区四区免费观看 | 99久久精品国产亚洲精品| 搡老熟女国产l中国老女人| 少妇被粗大猛烈的视频| 精品欧美国产一区二区三| 国产在线男女| 久久久久久久久大av| 亚洲国产色片| 网址你懂的国产日韩在线| 波多野结衣高清作品| 免费在线观看成人毛片| 女同久久另类99精品国产91| 观看美女的网站| 国产av一区在线观看免费| 每晚都被弄得嗷嗷叫到高潮| 露出奶头的视频| 精品一区二区三区视频在线| 亚州av有码| 亚洲激情在线av| 久久久精品欧美日韩精品| 亚洲人成电影免费在线| 内地一区二区视频在线| 欧美绝顶高潮抽搐喷水| 亚洲欧美日韩无卡精品| 国产一区二区激情短视频| 亚洲国产色片| 久久久久精品国产欧美久久久| 99久久99久久久精品蜜桃| 人妻夜夜爽99麻豆av| 一区福利在线观看| 国产精品女同一区二区软件 | 夜夜爽天天搞| 欧美xxxx性猛交bbbb| 九色国产91popny在线| 99久久九九国产精品国产免费| 久久国产乱子伦精品免费另类| 亚洲狠狠婷婷综合久久图片| 久久久国产成人免费| 观看免费一级毛片| 波野结衣二区三区在线| 国产精品av视频在线免费观看| 国产黄色小视频在线观看| 亚洲欧美精品综合久久99| 久久久久国产精品人妻aⅴ院| 日本与韩国留学比较| 国产蜜桃级精品一区二区三区| 亚洲av五月六月丁香网| 久久久久亚洲av毛片大全| 99久久精品热视频| 99国产精品一区二区蜜桃av| 99热6这里只有精品| 国内精品久久久久精免费| 全区人妻精品视频| 久久久久久久久大av| 深爱激情五月婷婷| 99久久精品国产亚洲精品| 高潮久久久久久久久久久不卡| 亚洲电影在线观看av| 高清日韩中文字幕在线| 97热精品久久久久久| 别揉我奶头 嗯啊视频| 757午夜福利合集在线观看| 人人妻,人人澡人人爽秒播| 亚洲性夜色夜夜综合| 国内精品久久久久久久电影| 亚洲最大成人中文| 亚洲av日韩精品久久久久久密| 午夜福利成人在线免费观看| 国产免费男女视频| 伊人久久精品亚洲午夜| 久久精品国产亚洲av天美| 国产精品人妻久久久久久| 国产精品一区二区三区四区免费观看 | 精品人妻视频免费看| АⅤ资源中文在线天堂| 天美传媒精品一区二区| 国产视频内射| 在线观看舔阴道视频| 国产精品综合久久久久久久免费| 免费高清视频大片| 免费观看的影片在线观看| 九色国产91popny在线| 欧美区成人在线视频| www.色视频.com| 欧美成人a在线观看| 国内久久婷婷六月综合欲色啪| 国产精品98久久久久久宅男小说| 国产精品av视频在线免费观看| 亚洲精华国产精华精| 国产成人啪精品午夜网站| 天天一区二区日本电影三级| 久久精品国产亚洲av香蕉五月| 欧美xxxx黑人xx丫x性爽| 免费在线观看亚洲国产| 一夜夜www| 欧美xxxx性猛交bbbb| 欧美潮喷喷水| 国内精品美女久久久久久| 亚洲熟妇中文字幕五十中出| 亚洲欧美日韩高清专用| 国产成人a区在线观看| 日本黄色视频三级网站网址| 88av欧美| 午夜精品久久久久久毛片777| 好看av亚洲va欧美ⅴa在| 搡女人真爽免费视频火全软件 | 香蕉av资源在线| 久久久国产成人精品二区| 国产亚洲精品久久久久久毛片| 我的女老师完整版在线观看| 国产视频内射| 身体一侧抽搐| 俄罗斯特黄特色一大片| 真实男女啪啪啪动态图| 男女做爰动态图高潮gif福利片| 一级作爱视频免费观看| 国产午夜福利久久久久久| 色播亚洲综合网| 欧美高清成人免费视频www| 99热只有精品国产| 直男gayav资源| 国产野战对白在线观看| 老司机午夜十八禁免费视频| 老熟妇仑乱视频hdxx| 久久天躁狠狠躁夜夜2o2o| 亚洲,欧美,日韩| 国产精品三级大全| 脱女人内裤的视频| 91麻豆精品激情在线观看国产| 蜜桃亚洲精品一区二区三区| 久久国产乱子伦精品免费另类| 久99久视频精品免费| av天堂中文字幕网| 一个人免费在线观看电影| 国产av麻豆久久久久久久| 久久中文看片网| 精品久久久久久成人av| 一区二区三区高清视频在线| 亚州av有码| 精品人妻1区二区| www.999成人在线观看| 久久久久国内视频| 亚洲美女搞黄在线观看 | 欧美精品国产亚洲| 亚洲五月天丁香| 欧洲精品卡2卡3卡4卡5卡区| 白带黄色成豆腐渣| 91字幕亚洲| 在线免费观看的www视频| 亚洲精品影视一区二区三区av| 欧美在线一区亚洲| 精品欧美国产一区二区三| 国产探花极品一区二区| 我的女老师完整版在线观看| 国产中年淑女户外野战色| 国产精品1区2区在线观看.| 亚洲熟妇熟女久久| 蜜桃久久精品国产亚洲av| 又粗又爽又猛毛片免费看| 99久久无色码亚洲精品果冻| 又爽又黄a免费视频| 亚洲精品一区av在线观看| 国产精华一区二区三区| 国产免费男女视频| 一二三四社区在线视频社区8| 久久久久性生活片| 精品不卡国产一区二区三区| 偷拍熟女少妇极品色| 久久人妻av系列| 成人三级黄色视频| 日韩亚洲欧美综合| 国产毛片a区久久久久| 男女下面进入的视频免费午夜| 久久午夜亚洲精品久久| 在线观看舔阴道视频| 亚洲成人中文字幕在线播放| 久久午夜福利片| 啦啦啦韩国在线观看视频| 久久欧美精品欧美久久欧美| 国产精品爽爽va在线观看网站| 免费看日本二区| 少妇高潮的动态图| 久久久久久久久久黄片| 国产麻豆成人av免费视频| 国产探花极品一区二区| 丰满人妻一区二区三区视频av| 亚洲人成电影免费在线| 欧美激情国产日韩精品一区| www.色视频.com| 简卡轻食公司| 激情在线观看视频在线高清| 国产91精品成人一区二区三区| 亚洲人成电影免费在线| 亚洲成人久久性| 男人和女人高潮做爰伦理| 欧美区成人在线视频| 国模一区二区三区四区视频| 午夜两性在线视频| 欧美成狂野欧美在线观看| 欧美区成人在线视频| 一区二区三区免费毛片| 国产精品不卡视频一区二区 | .国产精品久久| 亚洲国产精品sss在线观看| 最近中文字幕高清免费大全6 | 亚洲av第一区精品v没综合| 尤物成人国产欧美一区二区三区| 美女大奶头视频| 欧美成人一区二区免费高清观看| 国产色爽女视频免费观看| 日本免费一区二区三区高清不卡| 男女之事视频高清在线观看| 国产在视频线在精品| 不卡一级毛片| 亚洲av一区综合| www.熟女人妻精品国产| 国产精品久久久久久亚洲av鲁大| 1024手机看黄色片| 日韩欧美 国产精品| 精品久久久久久久末码| 99久久精品一区二区三区| 搡女人真爽免费视频火全软件 | 人妻丰满熟妇av一区二区三区| 亚洲电影在线观看av| 成人特级av手机在线观看| 色av中文字幕| 亚洲一区二区三区色噜噜| 欧美性猛交黑人性爽| 久久精品国产亚洲av天美| 97碰自拍视频| 最后的刺客免费高清国语| 国产精品99久久久久久久久| 亚洲欧美日韩卡通动漫| 三级男女做爰猛烈吃奶摸视频| 中亚洲国语对白在线视频| 一个人看的www免费观看视频| 毛片一级片免费看久久久久 | 国产高潮美女av| 一级作爱视频免费观看| 波多野结衣高清无吗| 国产日本99.免费观看| 午夜福利18| 国产v大片淫在线免费观看| 精华霜和精华液先用哪个| 精品午夜福利视频在线观看一区| 欧美bdsm另类| 国产在视频线在精品| 99热只有精品国产| 国产av麻豆久久久久久久| a级毛片免费高清观看在线播放| 赤兔流量卡办理| 亚洲无线在线观看| 欧美高清成人免费视频www| av在线天堂中文字幕| 搞女人的毛片| 中亚洲国语对白在线视频| 国产亚洲精品久久久久久毛片| 国产亚洲精品久久久com| 我的老师免费观看完整版| 日韩有码中文字幕| 人人妻,人人澡人人爽秒播| 麻豆av噜噜一区二区三区| 亚洲国产精品999在线| 老司机福利观看| 男女下面进入的视频免费午夜| 欧美国产日韩亚洲一区| 波多野结衣高清作品| 99久久精品一区二区三区| 亚洲狠狠婷婷综合久久图片| 欧美日韩瑟瑟在线播放| a在线观看视频网站| 亚洲一区二区三区色噜噜| 精品人妻熟女av久视频| av中文乱码字幕在线| 亚洲精品456在线播放app | 最近最新免费中文字幕在线| 999久久久精品免费观看国产| 能在线免费观看的黄片| 国产男靠女视频免费网站| 国产精品亚洲av一区麻豆| 国产不卡一卡二| 尤物成人国产欧美一区二区三区| 长腿黑丝高跟| 色5月婷婷丁香| 日本a在线网址| 99久久九九国产精品国产免费| 国模一区二区三区四区视频| 成人av一区二区三区在线看| 久久99热6这里只有精品| 99在线人妻在线中文字幕| 香蕉av资源在线| 中文字幕免费在线视频6| 日韩欧美精品v在线| 麻豆av噜噜一区二区三区| 欧美bdsm另类| 国产在线精品亚洲第一网站| 亚洲无线在线观看| 亚洲国产精品合色在线| 亚洲五月婷婷丁香| 久久热精品热| 99久国产av精品| 久久精品国产亚洲av香蕉五月| 十八禁国产超污无遮挡网站| 久久久久久大精品| 亚洲无线观看免费| 亚洲国产精品成人综合色| 在线观看免费视频日本深夜| 精品人妻熟女av久视频| 亚洲精品日韩av片在线观看| 免费在线观看亚洲国产| 好男人电影高清在线观看| 午夜福利视频1000在线观看| 国产熟女xx| 亚洲自偷自拍三级| 久久草成人影院| 国产爱豆传媒在线观看| 中亚洲国语对白在线视频| 中文资源天堂在线| 变态另类丝袜制服| 观看免费一级毛片| 色综合亚洲欧美另类图片| 欧洲精品卡2卡3卡4卡5卡区| 色在线成人网| 在线免费观看不下载黄p国产 | 久久久久亚洲av毛片大全| 色精品久久人妻99蜜桃| 日韩国内少妇激情av| 亚洲熟妇熟女久久| 国产综合懂色| 国产不卡一卡二| 免费看日本二区| 日本与韩国留学比较| 99热6这里只有精品| 久久热精品热| 精品人妻熟女av久视频| 成人国产一区最新在线观看| 精品久久久久久成人av| 天堂√8在线中文| 国产精品亚洲美女久久久| 中亚洲国语对白在线视频| 日韩欧美 国产精品| 国产单亲对白刺激| 久久久久久久久久黄片| 国产午夜精品论理片| 国产精品久久视频播放| 91午夜精品亚洲一区二区三区 | 婷婷亚洲欧美| 99精品久久久久人妻精品| 亚洲欧美日韩无卡精品| 十八禁国产超污无遮挡网站| 国产精品自产拍在线观看55亚洲| 亚洲专区国产一区二区| 亚洲人与动物交配视频| 精品人妻视频免费看| 最近最新中文字幕大全电影3| 琪琪午夜伦伦电影理论片6080| 欧美日韩瑟瑟在线播放| 最近在线观看免费完整版| 深夜a级毛片| 真实男女啪啪啪动态图| 偷拍熟女少妇极品色| 在线观看免费视频日本深夜| 免费在线观看成人毛片| 婷婷六月久久综合丁香| 丁香六月欧美| 亚洲国产精品成人综合色| 麻豆久久精品国产亚洲av| 国产精品伦人一区二区| 欧美黑人欧美精品刺激| 老司机深夜福利视频在线观看| 欧美成人一区二区免费高清观看| 国产精品久久久久久亚洲av鲁大| 亚洲第一电影网av| 琪琪午夜伦伦电影理论片6080| 激情在线观看视频在线高清| 精品人妻熟女av久视频| 国产高清激情床上av| 看片在线看免费视频| 亚洲欧美日韩卡通动漫| 国产精品综合久久久久久久免费| 精品久久久久久成人av| 国产亚洲欧美在线一区二区| 亚洲av五月六月丁香网| 一进一出抽搐动态| 国产高清激情床上av| 麻豆一二三区av精品| 欧美成人a在线观看| 久久精品人妻少妇| 高清在线国产一区| 乱人视频在线观看| 夜夜看夜夜爽夜夜摸| 成人鲁丝片一二三区免费| 美女高潮喷水抽搐中文字幕| 特级一级黄色大片| 亚洲欧美日韩高清专用| 日韩中字成人| 久久久久久久亚洲中文字幕 | 亚洲三级黄色毛片| 欧美午夜高清在线| 国产 一区 欧美 日韩| 男女床上黄色一级片免费看| 观看免费一级毛片| 88av欧美| 午夜视频国产福利| 俄罗斯特黄特色一大片| 国产伦一二天堂av在线观看| 国内毛片毛片毛片毛片毛片| 两性午夜刺激爽爽歪歪视频在线观看| 欧美性感艳星| 国产午夜精品论理片| 免费大片18禁| 婷婷亚洲欧美| 久久久久国内视频| 不卡一级毛片| 51国产日韩欧美| 亚洲精品一区av在线观看| 国内久久婷婷六月综合欲色啪| 久久久精品欧美日韩精品| 日韩中文字幕欧美一区二区| 中出人妻视频一区二区| 久久精品影院6| 亚洲色图av天堂| 美女 人体艺术 gogo| www.色视频.com| 天堂av国产一区二区熟女人妻| 久久天躁狠狠躁夜夜2o2o| 最好的美女福利视频网| av在线老鸭窝| 女人十人毛片免费观看3o分钟| 国产高清视频在线播放一区| 直男gayav资源| 国产精品女同一区二区软件 | 亚洲熟妇中文字幕五十中出| 老熟妇乱子伦视频在线观看| 一级黄片播放器| 久久中文看片网| 在线十欧美十亚洲十日本专区| 国产美女午夜福利| 久久精品国产清高在天天线| 欧美乱色亚洲激情| 亚洲欧美日韩高清专用| 国产主播在线观看一区二区| 91九色精品人成在线观看| 日韩亚洲欧美综合| 久久这里只有精品中国| 成人精品一区二区免费| 一边摸一边抽搐一进一小说| 国产午夜精品久久久久久一区二区三区 | 丰满人妻一区二区三区视频av| 亚洲va日本ⅴa欧美va伊人久久| 18禁黄网站禁片午夜丰满| 国产精品,欧美在线| 国产精品乱码一区二三区的特点| 一进一出抽搐动态| 国产精品,欧美在线| 人妻制服诱惑在线中文字幕| 久99久视频精品免费| 久久中文看片网| 国产毛片a区久久久久| 久久久久性生活片| 欧美精品国产亚洲| .国产精品久久| 国产成人欧美在线观看| 床上黄色一级片| 午夜两性在线视频| 一卡2卡三卡四卡精品乱码亚洲|