• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    相變存儲器寫壽命延長關(guān)鍵技術(shù)研究進展*

    2018-10-08 07:35:12付印金胡谷雨
    計算機工程與科學(xué) 2018年9期
    關(guān)鍵詞:存儲單元存儲器移位

    張 震,付印金,胡谷雨

    (1.陸軍工程大學(xué)指揮信息系統(tǒng)學(xué)院,江蘇 南京 210007;2.73610部隊,江蘇 南京 210000)

    1 引言

    大數(shù)據(jù)背景下數(shù)據(jù)分析的應(yīng)用以及處理器的多核化對存儲系統(tǒng)的容量、處理速度以及能耗開銷都提出了極高的要求,現(xiàn)有的內(nèi)存—磁盤傳統(tǒng)訪問模式已經(jīng)不能滿足現(xiàn)代計算機發(fā)展趨勢。以相變存儲器PCM(Phase Change Memory)為代表的新型非易失性存儲設(shè)備的出現(xiàn)為擴展計算機存儲性能提供了新的契機[1]。相比于DRAM、磁盤等傳統(tǒng)不同層次的存儲器件,新型非易失性存儲介質(zhì)具有集成度高、功耗低、讀寫訪問速度快、非易失、體積小和抗震等優(yōu)良特性,有望從根本上改變傳統(tǒng)的存儲體系結(jié)構(gòu),并進一步縮小不同存儲層級之間的性能差異。

    PCM存在寫壽命有限的缺點,每個單元只能承受107~109次的寫操作[2],特別是在連續(xù)寫的情況下,存儲單元的耐受性將受到嚴(yán)重制約。提升PCM的寫壽命最直接的方式就是減少對存儲單元的寫操作次數(shù);此外,磨損均衡處理(Wear-Leveling)策略是延長存儲器使用壽命的重要方法,它能夠?qū)崿F(xiàn)數(shù)據(jù)更新在存儲設(shè)備上的均勻分布以及存儲單元讀寫壽命的有效提高;混合存儲架構(gòu)中的數(shù)據(jù)遷移策略將寫熱度較高的頁面保存在DRAM中,將讀熱度高或者靜態(tài)數(shù)據(jù)存儲在PCM中,保護PCM寫耐受性的同時提升存儲系統(tǒng)的I/O性能。

    本文首先介紹相變存儲器,隨后闡述提升PCM在存儲系統(tǒng)中使用壽命的各種解決辦法。第3節(jié)介紹減少相變存儲器寫操作數(shù)量的方法;第4節(jié)分析磨損均衡技術(shù)在PCM中的應(yīng)用;第5節(jié)闡述在混合存儲架構(gòu)中數(shù)據(jù)遷移對提升PCM壽命的影響;最后,給出未來進一步提升PCM壽命的研究展望。

    2 相變存儲器簡介

    在現(xiàn)有的存儲系統(tǒng)中,DRAM—磁盤架構(gòu)的發(fā)展遇到了瓶頸:首先,DRAM的訪問速度提升有限,CPU的計算性能和主存訪問性能之間的差距越拉越大,緩存和預(yù)取技術(shù)難以從根本上解決這一問題;其次,傳統(tǒng)磁盤的機械尋道特性成為導(dǎo)致主存—磁盤之間的I/O性能差距的重要因素;再次,數(shù)據(jù)中心的能耗問題日益突出,主存和磁盤能耗開銷已經(jīng)達到整個系統(tǒng)的20%~40%[3]。因此,探索新型存儲技術(shù)來提升計算機整體性能具有十分重要的意義。

    非易失性存儲器NVM(Non-Volatile Memory)的出現(xiàn)為解決這些問題提供了契機。目前,常見的非易失性存儲器包括相變存儲器PCM、鐵電介質(zhì)存儲器FeRAM(Ferroelectric Random Access Memory)、磁介質(zhì)存儲器MRAM(Magmetic Random Access Memory)、自旋矩傳輸磁存儲器STT-RAM(Shared Transistor Technology Random Access Memory)和阻變存儲器RRAM(Resistive Random Access Memory)等。表1列舉了主流的新型存儲器件的關(guān)鍵特征參數(shù)。

    相變存儲器是一種由硫族化合物材料構(gòu)成的新型非易失存儲器,它利用材料可逆轉(zhuǎn)的物理狀態(tài)變化來存儲信息,通過非晶體狀態(tài)和晶體狀態(tài)呈現(xiàn)出不同的電阻特性和光學(xué)特性來表示0和1。相比于其他NVM,PCM在持久性、功耗和容量等方面更為優(yōu)秀,研究相對更加成熟,產(chǎn)業(yè)化程度更高,在45 nm工藝制程下已經(jīng)有Gb級別產(chǎn)品問世,且部分產(chǎn)品已經(jīng)成熟應(yīng)用于智能電表、移動終端等設(shè)備中。

    PCM具有如下特征[4]:

    (1)非易失性:相比傳統(tǒng)存儲器件,PCM具有非易失性的特點,即使系統(tǒng)掉電,保存的數(shù)據(jù)也不會丟失;

    (2)字節(jié)可尋址:PCM具備按位讀寫的特性,不需要額外的擦除操作來改變字節(jié),有助于節(jié)約寫入時間;

    (3)高存儲密度:硫系化合物材料體積的縮小推動PCM的制造工藝達到22 nm的水平;

    (4)讀寫不對稱:PCM的隨機讀的速度往往大于隨機寫的速度,寫1的速度要慢于寫0的速度;

    Table 1 Performance comparison of nonvolatile memories表1 各種新型非易失性存儲器性能對比

    (5)壽命有限:PCM存儲單元的寫壽命也在107~109左右,耐受性的限制成為制約PCM單獨作為主存的重要因素;

    (6)低功耗:PCM是基于微型存儲單元的相變特性存儲數(shù)據(jù),沒有機械轉(zhuǎn)動裝置并具有低電壓的特性,且保存數(shù)據(jù)無需刷新操作。

    PCM在計算機存儲系統(tǒng)領(lǐng)域的研究主要分為兩類:一方面作為類似于SSD(Solid State Drives)和HHD(Hybrid Hard Drive)的二級存儲設(shè)備;另一方面,由于其出色的I/O性能,PCM在存儲系統(tǒng)中的位置可以更加靠近CPU,單獨作為主存或者與DRAM構(gòu)成混合內(nèi)存。PCM的快速發(fā)展對傳統(tǒng)的計算機系統(tǒng)架構(gòu)產(chǎn)生了重要影響,研究者也從延長器件使用壽命、降低系統(tǒng)功耗、提升讀寫性能以及強化存儲系統(tǒng)安全性等方面對PCM性能優(yōu)化技術(shù)展開深入研究。PCM有望成為下一代主流存儲設(shè)備。

    3 減少存儲單元寫操作

    PCM在存儲系統(tǒng)中的應(yīng)用面臨兩大障礙,一方面PCM的寫速度以及寫功耗開銷比DRAM差,另一方面PCM的寫壽命有限。目前針對PCM作為主存或者外存的應(yīng)用改進主要集中在如何延長其使用壽命方面。為了充分發(fā)揮PCM在存儲系統(tǒng)中低功耗和非易失的優(yōu)勢,研究者們從減少冗余寫技術(shù)以及DRAM緩存技術(shù)等方面,通過減少PCM存儲單元寫操作次數(shù)的方法來克服PCM寫操作耐久性的不足。

    3.1 減少冗余寫

    數(shù)據(jù)流中存在大量的重復(fù)冗余數(shù)據(jù),對于主存的冗余寫操作數(shù)量達到了整個寫入數(shù)據(jù)的85%[5]。這些數(shù)據(jù)在寫入存儲設(shè)備時既需要I/O開銷,又對存儲器件造成不可逆的損害。通過減少冗余寫的方式對PCM進行寫優(yōu)化能夠有效減少存儲單元的寫操作數(shù)量。預(yù)讀取、臟數(shù)據(jù)跟蹤、數(shù)據(jù)位翻轉(zhuǎn)技術(shù)都是實現(xiàn)減少PCM冗余寫的重要方式。表2列舉了減少PCM冗余寫的相關(guān)研究。

    Yang等人[6]提出DCW(Data Comparison Write)策略,通過數(shù)據(jù)比較實現(xiàn)寫數(shù)據(jù)量的減少。該算法在執(zhí)行寫操作之前讀取目標(biāo)地址下的數(shù)據(jù),只有當(dāng)新寫入的數(shù)據(jù)與原先存儲的數(shù)據(jù)不同時才執(zhí)行寫入操作;Lee等人[7]提出緩沖區(qū)重組和部分寫策略,一方面通過合并寫操作的方式減少PCM陣列寫操作次數(shù),另一方面跟蹤數(shù)據(jù)的修改只將有修改的cache line或者word寫入到PCM陣列,從而減少寫操作數(shù)量;Zhou等人[5]通過實驗論證了在SLC(Single-Level Cell)和MLC(Multi-Level Cell)兩種策略下冗余bit寫占所有寫操作的高比例,然后基于bit細(xì)粒度提出一種去除冗余的bit寫策略,在更新數(shù)據(jù)時比較數(shù)據(jù)流的各個bit位是否相同,避免相同的bit被重復(fù)寫入;Ferreira等人[8]在PCM作為主存的架構(gòu)上設(shè)計了頁面分割技術(shù)和RWR(Read-Write-Read)策略,前者將頁面分割成若干個子頁面,只有當(dāng)子頁面有臟位時才將子頁面寫回,避免干凈的子頁面執(zhí)行過多的寫回操作。后者通過寫前讀的方式比對數(shù)據(jù)以避免不必要的寫,同時通過寫后讀的方式進行差錯檢測。該方案中子頁面的粒度選取、分割子頁面操作和統(tǒng)計寫操作頻率都會影響系統(tǒng)性能和空間開銷的大?。籆ho等人[9]提出Flip-N-Write算法,當(dāng)更新數(shù)據(jù)與原始數(shù)據(jù)的差異bit數(shù)量不超過1/2時直接將新數(shù)據(jù)寫入存儲單元,如果超過1/2,對新寫入數(shù)據(jù)的bit位進行翻轉(zhuǎn),并設(shè)置flip標(biāo)志位來跟蹤數(shù)據(jù)的bit位是否被取反。這一做法能夠始終確保實際寫入的數(shù)據(jù)量不超過要寫入數(shù)據(jù)的1/2,延長了存儲單元的使用壽命,但是額外的數(shù)據(jù)比較時間以及位翻轉(zhuǎn)時間增加了硬件設(shè)計的復(fù)雜度和讀寫時延。Qureshi等人[10]在line粒度下設(shè)計了LLWB(Line Level WriteBack)策略,在DRAM緩存中為每一個cache line設(shè)置一個臟數(shù)據(jù)標(biāo)記位,更新page中數(shù)據(jù)時只對修改過的line進行寫回操作。臟位判斷以及比較操作會帶來一定的性能開銷。Joo等人[11]在PCM作為L2 cache的基礎(chǔ)上,采用“寫前讀”策略,在寫之前通過預(yù)讀取操作比較存儲單元當(dāng)前數(shù)據(jù)和要寫入的數(shù)據(jù),當(dāng)比較值不同時才進行數(shù)據(jù)更新。在此基礎(chǔ)上,又通過計算當(dāng)前值和寫入值的漢明距離HD(Hamming Distance)來進一步減少數(shù)據(jù)位寫操作,當(dāng)漢明距離的大小超過緩存塊大小的1/2時,翻轉(zhuǎn)要寫入的數(shù)據(jù),以確保新寫入的bit數(shù)量不超過總數(shù)的一半。此外,為了提高數(shù)據(jù)翻轉(zhuǎn)的效率,將一個緩存塊劃分成若干個子塊,并以這些子塊作為位翻轉(zhuǎn)的基本操作單位。該方案在節(jié)省能耗、提升壽命的情況下,仍然不能忽略漢明距離計算帶來的額外開銷對系統(tǒng)性能的影響。Baek等人[12]提出一種雙階段數(shù)據(jù)壓縮策略來降低PCM的訪問次數(shù),第一階段是粗略的字粒度的壓縮過程,時延低、開銷小;第二階段采用bit粒度的壓縮算法,壓縮效果明顯但是性能受到限制。該方案實現(xiàn)復(fù)雜度較高,在犧牲時延的基礎(chǔ)上提高了PCM的使用壽命。

    Table 2 Related research of reducing redundant write operations in PCM表2 減少PCM冗余寫操作的相關(guān)研究

    這些算法能夠有效減少PCM上的寫操作數(shù)量,但是,無論是在寫操作執(zhí)行前通過數(shù)據(jù)預(yù)讀取的方式來避免冗余寫,還是通過位翻轉(zhuǎn)方式減少bit位的寫入,都需要進行寫入數(shù)據(jù)與原始數(shù)據(jù)的比較,這往往會帶來額外的時間開銷,而臟數(shù)據(jù)跟蹤技術(shù)同樣需要額外的空間開銷來避免多余的寫。

    3.2 DRAM緩存技術(shù)

    DRAM作為PCM緩沖的二級主存系統(tǒng)模型,是混合主存研究的另一個重要方向,這種架構(gòu)如圖1a所示,一方面為系統(tǒng)提供大容量的存儲空間,另一方面可以解決由PCM本身讀寫延遲以及寫壽命缺陷帶來的系統(tǒng)性能下降問題。使用DRAM作為PCM緩存的方式能夠?qū)⑿薷念l繁的數(shù)據(jù)保存在DRAM中,減少主存寫操作數(shù)量的同時,掩蓋PCM寫性能的不足。表3列舉了使用DRAM作為緩存來減少PCM寫操作的相關(guān)研究。

    Figure 1 Two hybrid architectures of PCM and DRAM圖1 兩種常見的PCM與DRAM混合架構(gòu)

    Park等人[13]在第一次對存儲系統(tǒng)訪問時繞開DRAM,直接從PCM讀取數(shù)據(jù),當(dāng)再次訪問時才將數(shù)據(jù)寫到DRAM,同時提出臟數(shù)據(jù)保持策略,將臟數(shù)據(jù)在DRAM中保留更長的時間。作者通過上述兩種策略將熱數(shù)據(jù)以及臟數(shù)據(jù)都保存在DRAM中,也意味著將更有可能發(fā)生寫操作的數(shù)據(jù)保留在了DRAM,避免了PCM過多執(zhí)行寫操作。Qureshi等人[10]以DRAM作為緩存,提出Lazy-Write的寫操作策略,當(dāng)發(fā)生缺頁時,從磁盤中讀取數(shù)據(jù)并直接寫到DRAM中,而當(dāng)頁面被逐出DRAM且該頁被修改過時才寫入PCM。該策略一方面能夠隱藏DRAM和PCM之間的延遲差距;另一方面避免了PCM被過多執(zhí)行寫操作。Ferreira等人[9]針對PCM讀寫不均衡的特性,設(shè)計了CLP(CLean Preferred)和N-Chance多優(yōu)先級緩存替換策略,通過對頁面設(shè)定優(yōu)先級的方式來選取修改較少的“干凈”頁面作為替換對象,把低功耗和低時延的讀操作集中的頁面寫回到PCM來減少主存的寫數(shù)量。同時,結(jié)合了頁面劃分以及RWR策略,進一步減少了不必要的寫操作。該方案大大延長了PCM的使用壽命,但對于優(yōu)先級N的設(shè)定以及數(shù)據(jù)比較都會造成額外的性能開銷。Park等人[14]從緩存替換算法和替換粒度兩方面考慮了DRAM作為buffer來減少PCM寫操作的效果。作者基于line粒度提出了一種改進的LRU策略減少PCM的寫操作數(shù)量,并通過臟數(shù)據(jù)位來標(biāo)記line是否被修改過,在此基礎(chǔ)上通過hash表減少緩存管理帶來的開銷。Mladenov等人[15]根據(jù)空間局部性原理以及改進的Lazy Write算法,在DRAM buffer有空間時將更新的數(shù)據(jù)直接寫至DRAM,若被填滿,則通過FIFO策略先將DRAM中最早處理過的請求的數(shù)據(jù)寫回PCM,再將新數(shù)據(jù)寫入DRAM中。同時,當(dāng)內(nèi)存空閑時會通過LRU策略定期地將buffer中的一部分?jǐn)?shù)據(jù)刷回到PCM,以保證DRAM有足夠的空間處理寫請求。該方案能夠充分利用有限的DRAM大小響應(yīng)盡可能多的寫請求,但是對于弱時間局部性的應(yīng)用場景,該策略會造成DRAM和PCM之間頻繁的交互。DRAM緩存技術(shù)能夠有效地減少PCM上的寫操作,不同算法在緩存大小的設(shè)置、何時將數(shù)據(jù)寫回到PCM、替換頁的選擇等方面不盡相同,這些問題也將影響PCM耐久性提升的效果。

    Table 3 Related research on DRAM buffer technology表3 關(guān)于DRAM緩存技術(shù)的相關(guān)研究

    PCM的物理特性導(dǎo)致了其高讀寫時延和有限的使用壽命,研究者從預(yù)取技術(shù)、bit位翻轉(zhuǎn)技術(shù)等方面有效地避免冗余數(shù)據(jù)被重復(fù)寫入存儲單元,而write buffer的加入能夠隱藏主存的訪問時延[16],延長PCM壽命的同時提升了主存的I/O性能。

    4 磨損均衡

    由于大多數(shù)程序的寫操作都呈現(xiàn)出明顯的局部性和不均衡性,寫操作集中的單元會比其他單元更早地達到壽命極限,失去改變相態(tài)的能力,從而造成數(shù)據(jù)錯誤以及器件壽命的縮短。將寫操作均勻分布在整個存儲空間上的磨損均衡算法能夠有效延長PCM的壽命?,F(xiàn)有的均勻化寫操作方法在改變地址映射的基礎(chǔ)上可以分為數(shù)據(jù)交換(Swapping)和數(shù)據(jù)移位(Shifting)兩大類,如圖2[17]所示。

    Figure 2 Swapping and shifting圖2 交換和移位技術(shù)

    4.1 數(shù)據(jù)交換技術(shù)

    數(shù)據(jù)交換技術(shù)通過周期性地交換寫頻繁頁面和寫操作次數(shù)較少頁面中的數(shù)據(jù)來達到磨損均衡的目的。表4列舉了應(yīng)用數(shù)據(jù)交換技術(shù)的相關(guān)磨損均衡的研究。Dhiman等人[18]設(shè)計了一種軟硬件結(jié)合的混合內(nèi)存系統(tǒng)—PDRAM,通過記賬(Book Keeping)硬件技術(shù)來存儲PCM頁面粒度的寫操作頻率,同時利用軟件手段維護PCM的寫訪問次數(shù)表。一旦寫操作次數(shù)超過一定的閾值,就產(chǎn)生中斷執(zhí)行磨損均衡操作。該算法通過三個鏈表對具有不同寫次數(shù)的頁面進行升降級操作,使得每一個頁面都獲得同樣多的寫操作。硬件可以在很小的開銷下維持和追蹤頁面的訪問,而軟件的管理策略可以提高PCM壽命,但是記錄頁面的寫操作次數(shù)將耗費一定的空間開銷。Park等人[19]提出一種基于段(Segment)的數(shù)據(jù)交換策略PFFS(Proposed Flash File System),一旦寫操作次數(shù)最大的分塊與最少的分塊之間的寫次數(shù)差距超過一定的閾值就執(zhí)行數(shù)據(jù)交換操作。這種方案需要監(jiān)控每一個分段的寫操作次數(shù),會帶來一定的空間開銷。Zhou等人[5]以段為粒度,通過限制數(shù)據(jù)段被頻繁選中進行數(shù)據(jù)交換來避免某一個段被過多寫訪問。同時,在寫入過程中,定期互換內(nèi)存段的高部與低部,以進一步達到磨損均衡,提高PCM的壽命的目的。不過,段交換的實現(xiàn)需要在硬件電路上增加移位寄存器和偏移器,這樣增加了實現(xiàn)的成本。Park等人[14]提出采用多級數(shù)據(jù)交換技術(shù)動態(tài)地平衡不同頁面之間的寫次數(shù)。該方法記錄頁面中每一個line的寫次數(shù),并且根據(jù)寫次數(shù)最大的line來定義所在頁面的寫次數(shù),當(dāng)頁面的寫次數(shù)超過閾值時就進行數(shù)據(jù)交換。這種通過line寫次數(shù)判斷全局寫次數(shù)的方式不能準(zhǔn)確反映一個頁面的寫操作情況,磨損均衡的過程較為粗略。Dong等人[20]通過監(jiān)測寫數(shù)據(jù)流量以及存儲單元承受寫操作的情況來控制損耗均衡的力度,當(dāng)數(shù)據(jù)更新分布較為均勻時提高數(shù)據(jù)交換的門檻,當(dāng)寫請求訪問集中在少數(shù)存儲塊時降低數(shù)據(jù)交換的條件來觸發(fā)更多的損耗均衡操作。Yun等人[21]提出基于Bloom Filter的磨損均衡算法。該算法利用Bloom Filter的特性判斷數(shù)據(jù)塊的冷熱情況,如果數(shù)據(jù)塊對應(yīng)的Bloom Filter值均超過一定的閾值,那么判定該數(shù)據(jù)塊為熱數(shù)據(jù)塊,并與冷數(shù)據(jù)塊進行數(shù)據(jù)交換。算法維護一個熱數(shù)據(jù)表和冷數(shù)據(jù)表,當(dāng)一個請求到達時,首先在冷熱數(shù)據(jù)表中尋找,如果命中則訪問冷熱數(shù)據(jù)交換后的地址,否則就直接訪問請求本身的地址。該算法能夠均衡冷熱數(shù)據(jù)塊上的寫訪問次數(shù),但是利用Bloom Filter進行冷熱數(shù)據(jù)的判斷依然會存在一定的誤差。

    Table 4 Related research on data swapping technology in wear-leveling表4 磨損均衡中應(yīng)用數(shù)據(jù)交換技術(shù)的相關(guān)研究

    數(shù)據(jù)交換能夠?qū)崿F(xiàn)寫操作過于集中的數(shù)據(jù)塊與冷數(shù)據(jù)塊進行地址映射的改變,但是監(jiān)測數(shù)據(jù)塊寫操作數(shù)量需要消耗一定的存儲空間,同時對于動態(tài)變化的數(shù)據(jù)流,通過特定閾值觸發(fā)交換操作的靜態(tài)方式會導(dǎo)致不必要的數(shù)據(jù)交換。

    4.2 數(shù)據(jù)移位技術(shù)

    數(shù)據(jù)交換技術(shù)實現(xiàn)了頁面(或者是分塊)之間的磨損均衡,而數(shù)據(jù)移位技術(shù)能夠?qū)崿F(xiàn)同一頁面下不同line的寫操作均勻分布。表5列舉了關(guān)于數(shù)據(jù)移位的相關(guān)磨損均衡的研究。Qureshi等人[22]提出Start-Gap算法,該算法周期性地將每個行的數(shù)據(jù)轉(zhuǎn)移到鄰近的地址,而不考慮每行寫請求多少的區(qū)別,以此實現(xiàn)數(shù)據(jù)重映射。算法通過2個寄存器來分別記錄Start和Gap指針,Gap始終指向稱為GapLine的地址空間,每經(jīng)過n次寫操作就將Gap指針向前移動一個位置,也就是將上一個GapLine地址下的內(nèi)容復(fù)制到當(dāng)前GapLine中。Start-Gap算法的地址映射邏輯可以通過簡單的硬件來實現(xiàn),能夠在較小的存儲開銷和計算開銷下?lián)碛休^好的磨損均衡效果,但同時固定不變的映射機制也容易遭受惡意攻擊。Park等人[19]提出line粒度的移位策略來避免同一line承受過多的寫操作。當(dāng)頁面從DRAM buffer寫回到PCM時,需要檢查寫次數(shù)來確定是否觸發(fā)移位操作,并且通過將寫操作均勻分布到頁面中每一個line來降低整個頁面的寫操作次數(shù),而不是集中在少數(shù)line。該算法能夠有效處理一個頁面中寫操作分布不均勻的情況,但是對于空間局部性較強的應(yīng)用,不能很好地平衡不同頁面之間的寫操作分布。Zhou等人[5]定期進行移位操作,每經(jīng)過256次寫操作就執(zhí)行1字節(jié)的移位,同時把對于一個row的寫操作,分散到每一個cell以實現(xiàn)磨損均衡。該方案并不是對每一次寫操作都進行移位操作,避免了由于移位帶來的冗余寫。但是,周期性的移位方案對于寫分布不均勻的應(yīng)用程序而言并不是很可靠。Joo等人[11]利用Bit-line偏移的方式,當(dāng)某個line的寫次數(shù)到達閾值之后,就更改當(dāng)前寫的偏移值,把新寫的數(shù)據(jù)移向其他line。

    Table 5 Related research on data shifting technology in wear-leveling表5 磨損均衡中應(yīng)用數(shù)據(jù)移位技術(shù)的相關(guān)研究

    移位技術(shù)往往通過硬件來完成,對于執(zhí)行移位的間隔、移位的粒度以及范圍還需要進一步考量,同時,設(shè)計移位策略時必須考慮到時間、空間局部性對磨損均衡效果的影響。此外,以固定映射邏輯通過移位實現(xiàn)的磨損均衡容易遭受惡意寫攻擊,導(dǎo)致存儲單元迅速損壞。

    除了上述磨損均衡的方法之外,研究者還通過減少緩存組間和組內(nèi)的寫波動、訪問感知策略來延長NVM的使用壽命[23 - 25]。緩存不均衡通常可以在位級別、行級別和塊級別等層級上實現(xiàn),不同粒度上的磨損均衡算法有不同的針對性、開銷、效率和安全性,觸發(fā)均衡操作的時機也千差萬別,實現(xiàn)磨損均衡時需要考慮存儲規(guī)模、應(yīng)用場景和特定的環(huán)境,在器件壽命和效率之間找到平衡點[26]。

    5 基于混合內(nèi)存架構(gòu)的頁面遷移

    PCM存在寫延遲長、寫功耗大、壽命短等缺陷,同時相比于DRAM,PCM的讀寫性能仍有一定差距。因此,在系統(tǒng)架構(gòu)中相變存儲器還不能完全取代DRAM作為主存,基于DRAM/PCM的混合內(nèi)存模型成為當(dāng)下的研究熱點[27]。目前,基于DRAM/PCM的混合內(nèi)存大致可分為兩種不同的結(jié)構(gòu):將DRAM作為PCM高速緩存的DRAM buffer模型[10]和DRAM和PCM共同作為主存的混合架構(gòu)[18],如圖1所示。前者作為減少PCM寫操作的重要途徑,后者使用同一地址空間由操作系統(tǒng)統(tǒng)一管理兩種存儲介質(zhì),在發(fā)揮各自優(yōu)點的同時,也需要克服DRAM高能耗和PCM寫性能不足、寫壽命有限的缺陷。高效的混合內(nèi)存頁面調(diào)度機制能夠針對這些缺陷,實現(xiàn)數(shù)據(jù)按照讀寫訪問頻率分別存放在不同的存儲介質(zhì)上,減少PCM磨損的同時降低系統(tǒng)能耗。表6列舉了關(guān)于混合內(nèi)存環(huán)境下頁面遷移的相關(guān)研究。

    5.1 被動式頁面遷移策略

    被動式頁面遷移策略在主存未命中時將請求數(shù)據(jù)直接寫到DRAM中,而當(dāng)DRAM寫滿時便會觸發(fā)遷移操作,再將訪問頻率低的冷頁面或者讀寫傾向性不明確的頁面遷移到PCM。Lee等人[28]提出的CLOCK-DWF(CLOCK with Dirty bits and Write Frequency)混合主存置換算法,在主存不命中時將寫請求數(shù)據(jù)寫到DRAM,讀請求數(shù)據(jù)存儲到PCM,同時當(dāng)寫請求不命中或者在PCM上命中時,數(shù)據(jù)將被載入到DRAM。如果DRAM被寫滿,將會把DRAM中的冷頁面替換到PCM中,始終保持PCM中的頁面處于低訪問頻率。Chen等人[29]提出的MHR-LRU(Maintain-Hit-Ratio LRU)算法,通過一個總的LRU鏈表管理整個內(nèi)存中的頁面以及一個LRU寫操作鏈表管理DRAM頁面。只有當(dāng)DRAM寫訪問命中時才改變DRAM寫鏈表中頁面的位置,并且當(dāng)鏈表被填滿時觸發(fā)遷移操作,選擇該鏈表LRU位置的頁面遷移到PCM。該方法能夠保證遷移到PCM中的頁面并不是近期被頻繁寫訪問的,但是仍然受限于測試程序的局部性。Qureshi等人[10]探討的Lazy-Write組織方法,在頁面被逐出DRAM且該頁被修改過時寫入PCM中,該方法能夠充分利用DRAM的I/O優(yōu)勢來掩蓋PCM的讀寫性能不足,但是對于PCM的寫操作減少作用有限。

    被動遷移方式能夠充分利用DRAM高讀寫帶寬的特點,將盡可能多的寫操作集中在DRAM,達到增加PCM壽命的目標(biāo)。但是,這種被動式遷移策略,缺乏從PCM到DRAM的寫頻繁頁面遷移,讀寫預(yù)測機制的不足導(dǎo)致PCM寫次數(shù)減少程度有限。

    Table 6 Related research on page migration in hybrid memory表6 混合內(nèi)存頁面遷移技術(shù)的相關(guān)研究

    5.2 主動式頁面遷移策略

    主動式頁面遷移策略通過訪問頻率和訪問間隔定義數(shù)據(jù)頁的冷熱,選擇合適的數(shù)據(jù)結(jié)構(gòu)開發(fā)時間局部性和空間局部性,并判斷頁面的讀寫傾向性進行相應(yīng)的頁遷移,保證DRAM存放寫傾向數(shù)據(jù)頁,而PCM存放讀傾向數(shù)據(jù)頁。RaPP(Rank-based Page Placement)[30]采用一種基于改進的多隊列置換算法MQ(Malti-queue)的頁面管理方法,對于降級的DRAM頁面和升級的PCM頁面將會進行置換。具體做法是:若DRAM頁面連續(xù)兩次降級且期間沒有被訪問,則被移出隊列并成為頁面交換的候選目標(biāo);若PCM頁面所屬隊列級別達到一定閾值,則觸發(fā)遷移操作。Seok等人[31]提出通過4個LRU鏈表分別管理DRAM和PCM中的讀寫頁面的方法。該方法監(jiān)測每個頁面的讀寫情況,并計算權(quán)值判斷頁面的讀寫傾向性。當(dāng)PCM中寫傾向頁面的權(quán)值超過一定閾值時則將其遷移到DRAM上,若DRAM空間被填滿,則從DRAM讀傾向隊列末尾選擇頁面換出,DRAM向PCM讀傾向性頁面的遷移操作與上述過程相似。此外,算法還維護一個LRU鏈表管理整個混合內(nèi)存的頁面,用于頁面替換算法中選擇被替換的頁面。該算法本質(zhì)是基于LRU改進的,不適用于弱局部性的應(yīng)用場景,同時當(dāng)遷移目的地被寫滿時需要選擇頁面替換出主存,會造成一定程度的命中率降低。APP-LRU(Access-Pattern-Prediction-based LRU)算法[32]根據(jù)數(shù)據(jù)頁在磁盤中的歷史讀寫訪問比例信息判斷該頁面被寫回主存后的讀寫傾向性,并且為讀傾向性的頁面分配PCM存儲空間,為寫傾向性的頁面分配DRAM存儲空間。當(dāng)存儲空間中數(shù)據(jù)的讀寫傾向性與存儲介質(zhì)的特性不匹配時,需要觸發(fā)DRAM和PCM之間的頁面遷移操作來創(chuàng)新分配與讀寫傾向性一致的內(nèi)存空間。Zhang等人[33]同樣通過MQ算法對頁面寫訪問進行計數(shù),根據(jù)頁修改的頻度來指導(dǎo)遷移。該算法通過16個LRU隊列管理頁面的訪問頻繁程度,把修改頻繁的頁面保存在DRAM中,將之前在DRAM但是具有較少寫次數(shù)的頁面遷移到PCM,但是對每個頁面進行寫訪問次數(shù)統(tǒng)計以及MQ算法本身的復(fù)發(fā)度都會對系統(tǒng)的性能造成一定影響。

    這些方法能夠有效預(yù)測頁面的讀寫熱度,在頁面表現(xiàn)出讀寫傾向時執(zhí)行遷移操作,但是需要較大的空間開銷來記錄讀寫訪問頻率和局部訪問熱度,并且各算法預(yù)測結(jié)果也存在較大差異。

    基于混合內(nèi)存架構(gòu)的頁面遷移策略能夠?qū)崿F(xiàn)將更新頻繁的頁面保存在DRAM中,將讀訪問頻繁的或者靜態(tài)的數(shù)據(jù)存放在PCM中,通過預(yù)測頁面的讀寫訪問熱度對數(shù)據(jù)進行遷移操作,達到減少PCM寫數(shù)量的目的,延長PCM使用壽命的同時降低了系統(tǒng)能耗開銷。

    6 研究展望

    目前PCM在存儲體系結(jié)構(gòu)中的應(yīng)用研究還處于實驗階段,在上述延長PCM使用壽命的幾項技術(shù)基礎(chǔ)上,仍存在許多挑戰(zhàn)未能解決。展望未來,針對PCM在替換存儲架構(gòu)中各個層次傳統(tǒng)器件所面臨的問題,以下幾個方面值得進一步探索和研究。

    6.1 混合存儲技術(shù)與磨損均衡的結(jié)合

    Flash和PCM都面臨著寫次數(shù)受限的問題,已有的一種解決方案是通過混合存儲技術(shù)實現(xiàn)非易失性存儲設(shè)備使用壽命的延長。在主存中,PCM通常與DRAM結(jié)合使用,而在二級存儲層級中,基于閃存的SSD常常與HHD一起構(gòu)建混合存儲設(shè)備。在混合存儲架構(gòu)中,需要有改進的緩存算法、頁面替換算法以及頁面調(diào)度機制來發(fā)揮不同存儲介質(zhì)的性能優(yōu)勢。結(jié)合磨損均衡策略,能夠在保證使用壽命的前提下保證存儲系統(tǒng)的高性能。

    6.2 糾錯機制與磨損均衡的結(jié)合

    芯片在生產(chǎn)的過程中由于工藝的問題,不能保證每個比特的可承受寫入次數(shù)都達到預(yù)期。對內(nèi)存使用較為貪婪的用戶或者一個了解磨損均衡算法的攻擊者可以很容易持續(xù)對存儲單元進行寫操作,造成這部分存儲單元快速達到耐久性極限,從而在很短時間內(nèi)失效。為了防止PCM中某些位可承受寫次數(shù)因為工藝問題過小,而導(dǎo)致整個設(shè)備短時間內(nèi)損壞的問題,必須要引入硬件糾錯機制?,F(xiàn)有的糾錯算法需要較大的額外存儲開銷,并且沒有特別區(qū)分SLC和MLC,因此在通過磨損均衡技術(shù)保證存儲單元使用壽命的同時,如何更好地引入糾錯機制仍需要進一步探索。

    6.3 重刪技術(shù)與磨損均衡的結(jié)合

    通過磨損均衡策略可以實現(xiàn)寫操作在存儲單元中的均勻分布,也可以通過減少寫操作次數(shù),以及在混合存儲架構(gòu)中的數(shù)據(jù)遷移技術(shù)實現(xiàn)讀寫熱度不同的數(shù)據(jù)按存儲介質(zhì)分別存放,達到損耗均衡的目的。為提升混合內(nèi)存資源的空間利用率,需要利用前沿數(shù)據(jù)縮減技術(shù),以較低的元數(shù)據(jù)開銷,發(fā)現(xiàn)并消除盡可能多的數(shù)據(jù)冗余。在損耗均衡的基礎(chǔ)上,通過重復(fù)數(shù)據(jù)技術(shù)[34]實現(xiàn)存儲空間利用率的進一步提高。

    7 結(jié)束語

    PCM的研究與發(fā)展為打破現(xiàn)有的計算機存儲體系提供了新的契機,工業(yè)界尚未完全攻克PCM寫性能與使用壽命的缺陷,研究者們針對如何提高PCM使用壽命展開了廣泛而深入的研究。無論是廣泛采用的減少寫操作數(shù)量、均勻化寫操作的磨損均衡策略,還是運用于混合內(nèi)存的頁面遷移技術(shù),都能夠減緩因程序局部性帶來的寫分布不均衡、冗余寫過多等問題,有效地延長PCM寫壽命。

    猜你喜歡
    存儲單元存儲器移位
    一種28 nm工藝下抗單粒子翻轉(zhuǎn)SRAM的12T存儲單元設(shè)計
    靜態(tài)隨機存儲器在軌自檢算法
    再生核移位勒讓德基函數(shù)法求解分?jǐn)?shù)階微分方程
    大型總段船塢建造、移位、定位工藝技術(shù)
    Σ(X)上權(quán)移位算子的不變分布混沌性
    數(shù)據(jù)在計算機內(nèi)存中的存儲形式及實驗驗證
    一種成本更低的全新靜態(tài)DRAM存儲單元
    MiR-125a-5p is Upregulated in Plasma of Residents from An Electronic Waste Recycling Site
    多指離斷手指移位再植拇指25例
    存儲器——安格爾(墨西哥)▲
    深夜a级毛片| 日本与韩国留学比较| 丰满人妻一区二区三区视频av| 国产一区二区三区在线臀色熟女| 少妇熟女欧美另类| 欧美变态另类bdsm刘玥| 国产三级中文精品| 国产av不卡久久| 美女内射精品一级片tv| 欧美另类亚洲清纯唯美| 伦精品一区二区三区| 国内少妇人妻偷人精品xxx网站| 久久这里只有精品中国| 日本爱情动作片www.在线观看| 日韩 亚洲 欧美在线| 又爽又黄a免费视频| 少妇高潮的动态图| 国产伦精品一区二区三区视频9| 免费看美女性在线毛片视频| 如何舔出高潮| 欧美不卡视频在线免费观看| 久久这里只有精品中国| 18禁裸乳无遮挡免费网站照片| 蜜桃亚洲精品一区二区三区| 大香蕉久久网| 欧美bdsm另类| 69人妻影院| 桃色一区二区三区在线观看| 国产精品99久久久久久久久| 亚洲自拍偷在线| 最近视频中文字幕2019在线8| 成人av在线播放网站| 亚洲人成网站高清观看| 欧美一区二区精品小视频在线| 亚洲精品色激情综合| 国产精品久久久久久av不卡| 国产久久久一区二区三区| 成人高潮视频无遮挡免费网站| 2022亚洲国产成人精品| 免费观看人在逋| 久久人人爽人人片av| 亚洲av中文字字幕乱码综合| 蜜臀久久99精品久久宅男| 欧美一区二区国产精品久久精品| 日韩 亚洲 欧美在线| 成人一区二区视频在线观看| 久久久午夜欧美精品| 国国产精品蜜臀av免费| 夜夜夜夜夜久久久久| kizo精华| 少妇人妻一区二区三区视频| 国产伦在线观看视频一区| 日本黄色视频三级网站网址| 国产av不卡久久| 麻豆国产av国片精品| 国产成人精品一,二区 | 免费搜索国产男女视频| 国产精品蜜桃在线观看 | 少妇的逼好多水| 国内精品宾馆在线| 真实男女啪啪啪动态图| ponron亚洲| 一边亲一边摸免费视频| 狂野欧美白嫩少妇大欣赏| 国产精品野战在线观看| 亚洲乱码一区二区免费版| 日韩强制内射视频| 青春草国产在线视频 | 波多野结衣高清作品| 亚洲最大成人手机在线| 国产在线精品亚洲第一网站| 日本-黄色视频高清免费观看| 99久久中文字幕三级久久日本| 日韩高清综合在线| 青春草视频在线免费观看| 悠悠久久av| 天堂√8在线中文| av女优亚洲男人天堂| 国内精品久久久久精免费| 国产成人精品久久久久久| 爱豆传媒免费全集在线观看| av女优亚洲男人天堂| 国产精品野战在线观看| 男的添女的下面高潮视频| 国产黄a三级三级三级人| 成人性生交大片免费视频hd| 免费av观看视频| 亚洲精品久久久久久婷婷小说 | 岛国在线免费视频观看| 国产成人精品久久久久久| 国产精品福利在线免费观看| 亚洲欧美日韩卡通动漫| 天堂影院成人在线观看| 国产爱豆传媒在线观看| 观看美女的网站| 国产精品伦人一区二区| 国产精品1区2区在线观看.| 久久久成人免费电影| 18禁在线无遮挡免费观看视频| 国内久久婷婷六月综合欲色啪| 在线a可以看的网站| 色吧在线观看| 国产精华一区二区三区| 国产成人午夜福利电影在线观看| av国产免费在线观看| 免费人成视频x8x8入口观看| 亚洲精品乱码久久久v下载方式| 国产老妇女一区| 亚州av有码| 精品欧美国产一区二区三| 青春草视频在线免费观看| 中文字幕av成人在线电影| 乱人视频在线观看| 久久久色成人| 国产视频内射| 蜜桃亚洲精品一区二区三区| 中文字幕制服av| 日韩视频在线欧美| 久久久久久久久中文| 国产伦一二天堂av在线观看| 色综合色国产| 身体一侧抽搐| 午夜a级毛片| 久久精品影院6| 18禁在线播放成人免费| 一本久久中文字幕| 麻豆av噜噜一区二区三区| 别揉我奶头 嗯啊视频| 免费一级毛片在线播放高清视频| 成人高潮视频无遮挡免费网站| 两个人的视频大全免费| avwww免费| 青春草亚洲视频在线观看| 亚洲精品国产av成人精品| 国产精品久久久久久久久免| 久久久久免费精品人妻一区二区| av在线观看视频网站免费| 国产黄片视频在线免费观看| 男女那种视频在线观看| 又粗又爽又猛毛片免费看| 青春草亚洲视频在线观看| 午夜精品国产一区二区电影 | 嫩草影院精品99| 中出人妻视频一区二区| 日本-黄色视频高清免费观看| 国产一区二区激情短视频| 成年免费大片在线观看| 欧美日韩综合久久久久久| 亚洲国产欧美在线一区| 如何舔出高潮| 高清午夜精品一区二区三区 | 亚洲国产精品合色在线| 长腿黑丝高跟| 成熟少妇高潮喷水视频| ponron亚洲| 欧美日韩乱码在线| 大又大粗又爽又黄少妇毛片口| 波多野结衣高清无吗| а√天堂www在线а√下载| 别揉我奶头 嗯啊视频| 国内精品美女久久久久久| 91久久精品国产一区二区三区| 蜜桃亚洲精品一区二区三区| 99久久久亚洲精品蜜臀av| 国产精品精品国产色婷婷| 晚上一个人看的免费电影| 熟女电影av网| 在线观看美女被高潮喷水网站| 内地一区二区视频在线| 国产乱人视频| 久久午夜福利片| 亚洲三级黄色毛片| 欧美bdsm另类| 99热6这里只有精品| 看免费成人av毛片| 成年女人永久免费观看视频| 99久久人妻综合| 国产精品一区二区性色av| 18禁在线播放成人免费| 老司机影院成人| 欧美日本视频| 久久久久久久久大av| 亚洲人与动物交配视频| 在线天堂最新版资源| 九九热线精品视视频播放| 如何舔出高潮| 亚洲精品自拍成人| 亚洲欧美清纯卡通| 特级一级黄色大片| 看非洲黑人一级黄片| 春色校园在线视频观看| 欧美人与善性xxx| 美女黄网站色视频| 免费看日本二区| 你懂的网址亚洲精品在线观看 | 青春草国产在线视频 | 又粗又硬又长又爽又黄的视频 | 亚洲成a人片在线一区二区| 成人亚洲精品av一区二区| 大又大粗又爽又黄少妇毛片口| 天天一区二区日本电影三级| 男的添女的下面高潮视频| 久久精品国产清高在天天线| 69人妻影院| 午夜激情福利司机影院| 青春草视频在线免费观看| 国产成人精品久久久久久| 国产精品一及| 嫩草影院入口| 亚洲不卡免费看| 国产成人freesex在线| 午夜福利在线在线| 一级毛片电影观看 | 国产精品爽爽va在线观看网站| 26uuu在线亚洲综合色| 国产一区二区亚洲精品在线观看| 日韩三级伦理在线观看| 熟女电影av网| 丰满人妻一区二区三区视频av| 国产精品爽爽va在线观看网站| 青春草国产在线视频 | 女同久久另类99精品国产91| 日韩欧美精品v在线| 九色成人免费人妻av| 18禁裸乳无遮挡免费网站照片| 欧美极品一区二区三区四区| 天天一区二区日本电影三级| 亚洲乱码一区二区免费版| 狂野欧美激情性xxxx在线观看| 国产人妻一区二区三区在| 老师上课跳d突然被开到最大视频| 亚洲欧美日韩东京热| 男人舔奶头视频| 亚洲欧洲日产国产| 国产片特级美女逼逼视频| 国产在线精品亚洲第一网站| 中文亚洲av片在线观看爽| 热99在线观看视频| 欧美xxxx黑人xx丫x性爽| 国产久久久一区二区三区| 国产黄片美女视频| 精品国产三级普通话版| 人妻少妇偷人精品九色| av.在线天堂| 99九九线精品视频在线观看视频| 99久久精品一区二区三区| 婷婷六月久久综合丁香| 特大巨黑吊av在线直播| 亚洲精品亚洲一区二区| 99久久精品国产国产毛片| 久久精品国产亚洲av涩爱 | 91狼人影院| 亚州av有码| 中出人妻视频一区二区| 久久99精品国语久久久| 好男人在线观看高清免费视频| 看免费成人av毛片| 一级毛片久久久久久久久女| 18+在线观看网站| 丰满人妻一区二区三区视频av| 国产精品久久久久久久久免| 日韩一本色道免费dvd| 亚洲精品久久国产高清桃花| 欧美日本视频| 久久久久久大精品| 日韩一区二区视频免费看| 久久99热这里只有精品18| 国产视频内射| 波多野结衣高清无吗| 免费观看的影片在线观看| 亚洲国产精品合色在线| 亚洲无线在线观看| 免费人成在线观看视频色| 九九久久精品国产亚洲av麻豆| 麻豆精品久久久久久蜜桃| 亚洲一区二区三区色噜噜| 亚洲国产精品成人综合色| 少妇的逼水好多| 色吧在线观看| 国产在视频线在精品| 久久国产乱子免费精品| 国产视频内射| 国产极品天堂在线| 乱系列少妇在线播放| 欧美最新免费一区二区三区| 亚洲国产精品成人综合色| 久久久久免费精品人妻一区二区| 日韩强制内射视频| 亚洲欧美日韩高清在线视频| 久久中文看片网| 干丝袜人妻中文字幕| 国产精品综合久久久久久久免费| 高清毛片免费观看视频网站| av福利片在线观看| 亚洲aⅴ乱码一区二区在线播放| 久久久久久久久中文| 国产精品一区二区三区四区久久| 观看免费一级毛片| 色吧在线观看| 国产 一区 欧美 日韩| 日韩中字成人| 亚洲精品456在线播放app| 午夜福利在线在线| 秋霞在线观看毛片| 亚洲精品乱码久久久久久按摩| 亚洲va在线va天堂va国产| 少妇高潮的动态图| 欧美日韩乱码在线| 伦精品一区二区三区| 一级毛片电影观看 | 国产伦在线观看视频一区| 国国产精品蜜臀av免费| 天堂av国产一区二区熟女人妻| 国产成年人精品一区二区| 99久久人妻综合| 亚洲精品成人久久久久久| 桃色一区二区三区在线观看| 国产精品久久久久久亚洲av鲁大| 精品无人区乱码1区二区| 国产免费一级a男人的天堂| 亚洲精品久久国产高清桃花| 女同久久另类99精品国产91| 99riav亚洲国产免费| 网址你懂的国产日韩在线| 狠狠狠狠99中文字幕| 精品久久久久久久末码| www.av在线官网国产| 成人漫画全彩无遮挡| 天堂av国产一区二区熟女人妻| 国产精品一区二区三区四区久久| 午夜精品一区二区三区免费看| 亚洲av.av天堂| 99久久人妻综合| 26uuu在线亚洲综合色| 成人二区视频| av国产免费在线观看| 性欧美人与动物交配| 2022亚洲国产成人精品| 国产精品一二三区在线看| 久久热精品热| 非洲黑人性xxxx精品又粗又长| ponron亚洲| 国产老妇伦熟女老妇高清| 国产亚洲精品久久久久久毛片| 国产成人a∨麻豆精品| www.av在线官网国产| 搡老妇女老女人老熟妇| 精品少妇黑人巨大在线播放 | 国产日本99.免费观看| 欧美+亚洲+日韩+国产| av女优亚洲男人天堂| 三级国产精品欧美在线观看| 精品一区二区三区视频在线| 日韩欧美 国产精品| 国模一区二区三区四区视频| 国产精品.久久久| 亚洲av熟女| 日本熟妇午夜| 免费搜索国产男女视频| 波野结衣二区三区在线| 高清毛片免费观看视频网站| 日本-黄色视频高清免费观看| 一本久久精品| 寂寞人妻少妇视频99o| 久久九九热精品免费| 国产亚洲精品久久久久久毛片| 国模一区二区三区四区视频| 欧美日韩一区二区视频在线观看视频在线 | 日本免费一区二区三区高清不卡| 久久人人精品亚洲av| 国产黄色小视频在线观看| 高清毛片免费看| 久久久久久九九精品二区国产| 天美传媒精品一区二区| 丝袜喷水一区| 亚洲成人精品中文字幕电影| 男插女下体视频免费在线播放| 国产伦精品一区二区三区视频9| 黄色视频,在线免费观看| 尤物成人国产欧美一区二区三区| 亚洲激情五月婷婷啪啪| 国产精品久久久久久av不卡| 天堂av国产一区二区熟女人妻| 国产伦精品一区二区三区视频9| 久久精品夜色国产| 国产三级中文精品| 99热6这里只有精品| 久久欧美精品欧美久久欧美| 欧美色欧美亚洲另类二区| 国产极品天堂在线| 国产一级毛片在线| 日韩精品有码人妻一区| 在线播放国产精品三级| 国产成年人精品一区二区| 天堂网av新在线| 亚洲自偷自拍三级| 亚洲av中文字字幕乱码综合| 深爱激情五月婷婷| 国产精品一区二区三区四区免费观看| 国模一区二区三区四区视频| 寂寞人妻少妇视频99o| 欧美色视频一区免费| 两个人的视频大全免费| 一级黄片播放器| 欧美日本亚洲视频在线播放| 欧美极品一区二区三区四区| 久久久久久久久大av| av在线老鸭窝| 国产一区二区在线av高清观看| 午夜视频国产福利| 我要搜黄色片| 伦理电影大哥的女人| 性插视频无遮挡在线免费观看| 亚洲成人av在线免费| 国产精华一区二区三区| 91久久精品电影网| 国产精品一二三区在线看| 久久国产乱子免费精品| 国产久久久一区二区三区| 亚洲av.av天堂| 国产日韩欧美在线精品| 国产一区二区激情短视频| 亚洲成av人片在线播放无| 欧美日韩乱码在线| 婷婷精品国产亚洲av| 亚洲精品国产av成人精品| 国产精品一区二区性色av| 日韩 亚洲 欧美在线| 只有这里有精品99| 成年av动漫网址| 久久久久久久久大av| 精品久久久久久久久久免费视频| 欧美性猛交黑人性爽| 中文资源天堂在线| 免费搜索国产男女视频| 国产极品精品免费视频能看的| 国产人妻一区二区三区在| 午夜福利在线在线| 亚洲av不卡在线观看| 亚洲美女视频黄频| 国内精品久久久久精免费| 久久久精品94久久精品| 少妇熟女aⅴ在线视频| 久久午夜福利片| 亚洲中文字幕一区二区三区有码在线看| 简卡轻食公司| 只有这里有精品99| 高清毛片免费看| 日韩欧美三级三区| 国产成人午夜福利电影在线观看| 狠狠狠狠99中文字幕| 变态另类成人亚洲欧美熟女| 国产老妇伦熟女老妇高清| 亚洲精品乱码久久久久久按摩| 欧美3d第一页| 亚洲美女视频黄频| 免费人成在线观看视频色| 青春草亚洲视频在线观看| 欧美激情久久久久久爽电影| 高清毛片免费观看视频网站| 听说在线观看完整版免费高清| 久久久久久久亚洲中文字幕| 亚洲最大成人av| 亚洲最大成人中文| 一本久久精品| 亚洲av中文av极速乱| 特大巨黑吊av在线直播| 亚州av有码| 看黄色毛片网站| 国产精品女同一区二区软件| 老熟妇乱子伦视频在线观看| 18禁裸乳无遮挡免费网站照片| 国产精品综合久久久久久久免费| 国产精品伦人一区二区| 久久中文看片网| 赤兔流量卡办理| 搡老妇女老女人老熟妇| 亚洲中文字幕日韩| 欧美xxxx性猛交bbbb| 久久国产乱子免费精品| 久久人妻av系列| 综合色av麻豆| 久久久久久久久久久免费av| 在现免费观看毛片| 亚洲欧美精品专区久久| 日韩欧美国产在线观看| a级毛片免费高清观看在线播放| 日本熟妇午夜| 国内精品宾馆在线| 中文欧美无线码| 99久久成人亚洲精品观看| 久久精品影院6| 麻豆成人av视频| 在线观看午夜福利视频| 国产爱豆传媒在线观看| 免费观看a级毛片全部| 亚洲天堂国产精品一区在线| 成年女人永久免费观看视频| 国产精品一区二区三区四区免费观看| 亚洲av免费高清在线观看| 人人妻人人澡欧美一区二区| av黄色大香蕉| 九九热线精品视视频播放| 99久久九九国产精品国产免费| 久久久色成人| 久久国产乱子免费精品| 久久久久久久亚洲中文字幕| 深爱激情五月婷婷| 亚洲中文字幕日韩| 桃色一区二区三区在线观看| 久久精品国产清高在天天线| 日韩在线高清观看一区二区三区| 久久午夜福利片| 大型黄色视频在线免费观看| 校园春色视频在线观看| 变态另类丝袜制服| 国产毛片a区久久久久| 毛片女人毛片| 日本与韩国留学比较| 天堂影院成人在线观看| a级毛片免费高清观看在线播放| 婷婷亚洲欧美| 乱系列少妇在线播放| 欧美bdsm另类| 国产欧美日韩精品一区二区| 欧美zozozo另类| 国产精品一区二区性色av| 亚洲精品456在线播放app| 深夜精品福利| 久久精品国产亚洲av涩爱 | 久久精品91蜜桃| 久久99热6这里只有精品| 免费av毛片视频| 国产精品电影一区二区三区| 日日摸夜夜添夜夜爱| 色哟哟哟哟哟哟| 成年免费大片在线观看| 免费不卡的大黄色大毛片视频在线观看 | 最近中文字幕高清免费大全6| 日本成人三级电影网站| 秋霞在线观看毛片| 亚洲av.av天堂| 久久亚洲国产成人精品v| 在线观看午夜福利视频| 久久99精品国语久久久| 国产亚洲av片在线观看秒播厂 | 免费看a级黄色片| 老师上课跳d突然被开到最大视频| 成人特级av手机在线观看| 免费无遮挡裸体视频| 狂野欧美白嫩少妇大欣赏| 日韩制服骚丝袜av| 亚洲欧美成人精品一区二区| 性色avwww在线观看| 自拍偷自拍亚洲精品老妇| 丝袜喷水一区| 午夜亚洲福利在线播放| 不卡一级毛片| 午夜精品国产一区二区电影 | 国产精品久久电影中文字幕| 麻豆国产97在线/欧美| 久久亚洲国产成人精品v| 99riav亚洲国产免费| 只有这里有精品99| 亚洲av成人精品一区久久| 天美传媒精品一区二区| 日本黄大片高清| 中文字幕制服av| 久久久久久久午夜电影| 精品不卡国产一区二区三区| 国产人妻一区二区三区在| 日产精品乱码卡一卡2卡三| 国产精品伦人一区二区| avwww免费| 精品人妻熟女av久视频| 波野结衣二区三区在线| 亚洲av熟女| 成人高潮视频无遮挡免费网站| 99九九线精品视频在线观看视频| 国产精品人妻久久久久久| 国产黄色小视频在线观看| 国产精品国产高清国产av| 久久午夜福利片| 全区人妻精品视频| 简卡轻食公司| 午夜福利在线在线| 女的被弄到高潮叫床怎么办| 久久久成人免费电影| 日韩大尺度精品在线看网址| 狂野欧美激情性xxxx在线观看| 看免费成人av毛片| 18禁裸乳无遮挡免费网站照片| 91久久精品电影网| 亚洲一区高清亚洲精品| 搡女人真爽免费视频火全软件| 午夜久久久久精精品| 床上黄色一级片| 成人永久免费在线观看视频| 美女内射精品一级片tv| 国产精品一区二区性色av| 夜夜夜夜夜久久久久| 99久久精品热视频| 99热精品在线国产| 日本免费a在线| 精品不卡国产一区二区三区| 成人性生交大片免费视频hd| 国产一区二区三区av在线 | 日韩欧美一区二区三区在线观看| 一级毛片aaaaaa免费看小| 亚洲av一区综合| 小说图片视频综合网站| 欧美xxxx性猛交bbbb| 久久精品久久久久久噜噜老黄 | 国产精品99久久久久久久久| 欧美日韩乱码在线|