異構(gòu)非易失性內(nèi)存卷模式實(shí)現(xiàn)與應(yīng)用

錢 璐 李 弋 吳毅堅(jiān) 趙文耘

(復(fù)旦大學(xué)軟件學(xué)院 上海 201203) (上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室(復(fù)旦大學(xué)) 上海 200433)

0 引 言

非易失性內(nèi)存設(shè)備NVM(Non-volatile memory)是指在系統(tǒng)掉電時(shí)仍能保持?jǐn)?shù)據(jù)不丟失的存儲設(shè)備。從發(fā)展歷程看，主要分為塊尋址和字節(jié)尋址兩種。塊尋址設(shè)備性能比動(dòng)態(tài)隨機(jī)存儲器DRAM(Dynamic Random Access Memory)低得多，而字節(jié)尋址設(shè)備性能接近DRAM。針對NVM建立訪問模式的研究主要集中在兩個(gè)方面。一方面將NVM當(dāng)作存儲設(shè)備，在NVM上建立文件系統(tǒng)進(jìn)行持久內(nèi)存管理[1]。另一方面，對于按字節(jié)尋址的NVM，將其替代傳統(tǒng)DRAM，提供應(yīng)用程序load/store訪問方式[2]。前者并沒充分挖掘NVM優(yōu)秀特性，沒有最大限度降低軟件系統(tǒng)開銷。后者直接訪問NVM，繞過很多軟件層包括系統(tǒng)調(diào)用、文件系統(tǒng)等，大大降低了訪問延遲。本文設(shè)計(jì)的非易失性內(nèi)存卷模式通過將多塊不同種類NVM組織成地址連續(xù)的持久內(nèi)存卷，簡稱PM卷(Persistent Memory Volume)，并將卷映射到用戶空間。既提供處理器load/store訪問方式，也對異構(gòu)NVM設(shè)備實(shí)現(xiàn)有效管理。

1 相關(guān)工作

主要從為NVM設(shè)備建立文件系統(tǒng)、以load/store方式直接訪問NVM設(shè)備、內(nèi)存通道劃分、熱數(shù)據(jù)劃分四方面闡述相關(guān)工作。

BPFS[3]文件系統(tǒng)以字節(jié)尋址方式管理NVM，通過在文件系統(tǒng)構(gòu)建樹狀數(shù)據(jù)結(jié)構(gòu)，省去文件系統(tǒng)緩存與映像間的數(shù)據(jù)拷貝，從而減少對NVM的寫入。SCMFS文件系統(tǒng)[4]與BPFS一樣在持久性內(nèi)存中不需要數(shù)據(jù)拷貝，并且盡可能為每一個(gè)文件分配連續(xù)空間從而提供優(yōu)越的性能。PMFS文件系統(tǒng)[5]繞開了文件系統(tǒng)緩存直接訪問NVM，避免了系統(tǒng)中數(shù)據(jù)的拷貝。NOVA[6]文件系統(tǒng)通過為每個(gè)文件inode維持一個(gè)日志來提高系統(tǒng)并發(fā)性，并在日志之外存儲文件數(shù)據(jù)來減少垃圾回收的開銷，最終在混合NVM內(nèi)存結(jié)構(gòu)中最大化性能。

在NVM單層存儲模型中，內(nèi)存中可以存儲持久化數(shù)據(jù)結(jié)構(gòu)，所以Haris Volos等[7]提出Mnemosyne，Joel Coburn等[8]提出NV-Heaps，提供了新的NVM編程接口。Mnemosyne和NV-Heaps通過提供用戶態(tài)的編程接口，使應(yīng)用程序能夠在用戶態(tài)訪問非易失內(nèi)存設(shè)備，避免了通過文件系統(tǒng)訪問NVM的系統(tǒng)開銷，包括系統(tǒng)調(diào)用、文件系統(tǒng)接口、設(shè)備驅(qū)動(dòng)程序等。

Muralidhara等[9]提出一種應(yīng)用感知的內(nèi)存通道隔離方法來減少多核環(huán)境下的訪存干擾，該方法映射相互之間可能產(chǎn)生嚴(yán)重訪存沖突的應(yīng)用的數(shù)據(jù)到不同的內(nèi)存通道并優(yōu)先調(diào)度非訪存密集型應(yīng)用的訪存請求。Jeong等[10]提出一種通過在多核之間隔離內(nèi)存Bank以隔離訪存請求從而減少局部性沖突的方法。為了彌補(bǔ)因此而損失的bank級并行性，該方法采用Memory Subranking技術(shù)來增加獨(dú)立的Bank數(shù)。

Kyu Ho Park等[11]提出了一種簡單的基于頁面訪問頻度的冷熱頁面劃分策略。通過設(shè)置一個(gè)訪問位來統(tǒng)計(jì)頁面的訪問頻繁程度來劃分冷頁面和熱頁面。Dong-Jae Shin等[12]提出了一種更為準(zhǔn)確反映頁面熱度的頁面劃分策略。通過擴(kuò)展頁表的條目，增加了4個(gè)記錄位，越是靠左的位權(quán)重更?。?、4、2、1，每當(dāng)頁面被訪問的時(shí)候標(biāo)記就會左移一位，最后劃分的時(shí)候計(jì)算頁面的總權(quán)重，根據(jù)設(shè)定的冷熱頁面的閾值來劃分冷熱頁面。Luiz Ramos等[13]提出了一種考慮頁面訪問頻度和時(shí)間的RaPP策略。策略利用一個(gè)M級的LRU隊(duì)列來記錄頁面的訪問信息，頁面在生存時(shí)間內(nèi)隨著被訪問的程度不斷地提高隊(duì)列等級。當(dāng)超過生存時(shí)間后降低隊(duì)列等級，全面地考慮頁面在很長時(shí)間和最近時(shí)間段的訪問情況。

2 動(dòng) 機(jī)

隨著大數(shù)據(jù)技術(shù)的發(fā)展傳統(tǒng)以計(jì)算為中心的系統(tǒng)架構(gòu)逐漸轉(zhuǎn)向以數(shù)據(jù)為中心。然而磁盤訪問性能的提升遠(yuǎn)落后于CPU計(jì)算能力的提升，無法滿足大數(shù)據(jù)處理應(yīng)用的需求。字節(jié)尋址NVM具有訪問性能高、容量大等特性，對數(shù)據(jù)密集型應(yīng)用性能的提升帶來了希望。傳統(tǒng)存儲架構(gòu)不利于發(fā)揮NVM的性能優(yōu)勢。本文研究如何針對NVM設(shè)計(jì)更加高效的訪存方式，從而替代DRAM。針對字節(jié)尋址NVM特性，設(shè)計(jì)相應(yīng)的文件系統(tǒng)在很大程度上提升了系統(tǒng)性能，如SCMFS、BPFS文件系統(tǒng)等。但始終將NVM當(dāng)作存儲使用，并沒充分挖掘NVM的優(yōu)秀特性，沒有最大限度的降低軟件系統(tǒng)的開銷。Mnemosyne在內(nèi)核中創(chuàng)建并虛擬化一個(gè)持久區(qū)域，通過內(nèi)存映射方式將持久區(qū)域映射到用戶空間，提供應(yīng)用程序load/store方式訪問，從而直接替代DRAM。直接訪問NVM繞過了很多軟件層包括系統(tǒng)調(diào)用、文件系統(tǒng)以及設(shè)備驅(qū)動(dòng)等，大大降低了訪問延遲。但Mnemosyne對于NVM設(shè)備的不同種類，在內(nèi)核中如何管理并沒有研究。本文設(shè)計(jì)并實(shí)現(xiàn)的非易失性內(nèi)存卷模式將NVM設(shè)備直接替代DRAM，通過將多塊不同種類NVM組織成地址連續(xù)的持久內(nèi)存卷，并將卷映射到用戶空間。既提供了處理器load/store訪問方式，也很好地對異構(gòu)NVM設(shè)備實(shí)現(xiàn)管理。

3 非易失性內(nèi)存卷模式設(shè)計(jì)

Linux通過虛擬內(nèi)存實(shí)現(xiàn)內(nèi)存管理，應(yīng)用程序中進(jìn)程使用虛擬地址訪問內(nèi)存。虛擬地址也即邏輯地址，是系統(tǒng)中分段機(jī)制產(chǎn)生的段內(nèi)偏移地址部分。實(shí)際數(shù)據(jù)需要物理地址直接訪問。物理地址是前端總線上尋址物理內(nèi)存的地址信號。虛擬地址加上相應(yīng)的段基地址就生成了線性地址，最后通過分頁機(jī)制將線性地址翻譯成物理地址。Linux操作系統(tǒng)中虛擬地址等于線性地址，所以在Linux中只需要分頁機(jī)制便能將虛擬地址轉(zhuǎn)換成物理地址。

如圖1所示，PM卷是在NVM硬件層之上建立地址連續(xù)的軟件層。在內(nèi)核中表現(xiàn)為一段地址連續(xù)的內(nèi)存空間，并和傳統(tǒng)內(nèi)存物理地址空間統(tǒng)一尋址。在系統(tǒng)中擁有一段物理地址空間，并提供內(nèi)核組件調(diào)用的接口。PM卷和異構(gòu)NVM之間通過映射算法實(shí)現(xiàn)地址翻譯，對PM卷的訪問實(shí)際被映射到NVM設(shè)備上。最后通過內(nèi)存映射方式將PM卷映射到用戶空間，使得應(yīng)用程序能夠以load/store方式訪問PM卷。

圖1 非易失性內(nèi)存卷模式結(jié)構(gòu)圖

非易失性內(nèi)存卷模式設(shè)計(jì)提供程序員一個(gè)持久內(nèi)存卷模式的抽象。應(yīng)用程序以load/store方式訪問PM卷，內(nèi)核負(fù)責(zé)將多個(gè)NVM設(shè)備組織成一個(gè)地址連續(xù)的PM卷。PM卷主要實(shí)現(xiàn)了三個(gè)方面的目標(biāo)。

1) 用戶態(tài)直接訪問持久內(nèi)存，繞過了包括系統(tǒng)調(diào)用，文件系統(tǒng)以及設(shè)備驅(qū)動(dòng)等軟件層降低訪問延遲。

2) 設(shè)計(jì)卷到非易失性內(nèi)存設(shè)備的映射關(guān)系，降低卷到非易失性內(nèi)存的地址翻譯開銷。

3) 一個(gè)靈活方便的卷模式管理機(jī)制，實(shí)現(xiàn)用戶態(tài)創(chuàng)建、初始化、刪除卷等。

4 非易失性內(nèi)存卷模式應(yīng)用

4.1 一對多地址映射設(shè)計(jì)動(dòng)機(jī)

現(xiàn)在的內(nèi)存系統(tǒng)都是多通道架構(gòu)，不同通道的內(nèi)存可以被并行訪問。一個(gè)典型的DRAM內(nèi)存模塊，通常有16個(gè)banks，而不同的bank之間也可以并行訪問。假設(shè)系統(tǒng)中有四個(gè)內(nèi)核，且每個(gè)內(nèi)核只有一個(gè)訪存請求。最好的情況下，四個(gè)訪問請求的數(shù)據(jù)分別位于四個(gè)不同的內(nèi)存bank中，那么四個(gè)訪問請求可以并行執(zhí)行。最壞的情況下，來自于四個(gè)內(nèi)核的訪存請求都指向同一個(gè)內(nèi)存bank，此時(shí)只能執(zhí)行其中一個(gè)請求，其他請求需要等待并按順序執(zhí)行，無法并行執(zhí)行。因而訪存延遲會成倍增加。大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)規(guī)模越來越大，而對數(shù)據(jù)的訪問更多集中在對數(shù)據(jù)的讀取上。由于緩存容量有限，大量的數(shù)據(jù)訪問是以內(nèi)存為主。在多核環(huán)境中熱數(shù)據(jù)的頻繁訪問會導(dǎo)致同一時(shí)刻不在同一cache line但位于同一內(nèi)存bank中的數(shù)據(jù)被多個(gè)訪存用戶同時(shí)請求訪問，這些訪存請求無法并行訪問，因此導(dǎo)致嚴(yán)重訪存沖突，極大地增加了系統(tǒng)訪問延遲。

針對熱數(shù)據(jù)頻繁訪問導(dǎo)致的嚴(yán)重訪存沖突，考慮將頻繁訪問的熱數(shù)據(jù)備份多次放置在不同內(nèi)存通道或不同內(nèi)存bank上。多核環(huán)境中，對于同一塊數(shù)據(jù)的多個(gè)訪問請求分配到不同的數(shù)據(jù)備份上，實(shí)現(xiàn)并行訪問，降低系統(tǒng)訪問延遲。由于數(shù)據(jù)有多個(gè)備份，對內(nèi)存容量要求很高，鑒于NVM容量很大，因而使用NVM替代DRAM，將同一塊數(shù)據(jù)備份多次，每個(gè)數(shù)據(jù)備份放置在不同的非易失性內(nèi)存設(shè)備上，并且使不同的NVM位于不同的內(nèi)存通道上。當(dāng)同一時(shí)刻對同一塊數(shù)據(jù)有多個(gè)訪問請求時(shí)，將訪問映射到存有不同數(shù)據(jù)備份的NVM上。在多核環(huán)境中，不同的處理器處理其中一個(gè)訪存請求，可以實(shí)現(xiàn)對同一塊數(shù)據(jù)的并行訪問。借助非易失性內(nèi)存卷模式，在位于不同內(nèi)存通道的NVM設(shè)備之上建立一個(gè)地址連續(xù)的PM卷層，對于PM卷中的每一頁映射到不同內(nèi)存通道NVM設(shè)備的多個(gè)頁面。

4.2 一對多地址映射詳細(xì)設(shè)計(jì)

假設(shè)PM卷中頁面是熱數(shù)據(jù)頁面，在大量數(shù)據(jù)訪問時(shí)會產(chǎn)生嚴(yán)重訪存沖突，所以將PM卷中的頁面映射到多個(gè)不同NVM設(shè)備上。并在設(shè)計(jì)一對多映射時(shí)將每一個(gè)NVM設(shè)備的大小看作與PM卷相同。類似于傳統(tǒng)內(nèi)存訪問的請求分頁方式，通過建立頁表機(jī)制實(shí)現(xiàn)一對多地址映射。頁表中頁表項(xiàng)按照PM卷地址由小到大依次存儲。但由于PM卷上的每一頁，可以映射到多個(gè)NVM設(shè)備，每個(gè)PM卷頁面可以對應(yīng)多個(gè)頁表項(xiàng)，對應(yīng)于同一個(gè)PM卷頁的多個(gè)頁表項(xiàng)按照頁表項(xiàng)對應(yīng)NVM設(shè)備的設(shè)備號由小到大依次存儲。

以PM卷和非易失性內(nèi)存的地址都用32 bit表示，并且建立的頁表中的每一個(gè)頁表項(xiàng)都是32 bit，而系統(tǒng)是以4 KB為一頁大小，給出頁表項(xiàng)的格式如圖2所示。地址中12-31位表示物理頁號，指向NVM中某一頁的基地址，要求物理頁4 KB對齊。由于頁表項(xiàng)前20位是頁幀號，后12位并沒有實(shí)際意義，取其中一位標(biāo)記此頁是否已經(jīng)被映射，就是V字段，當(dāng)為1的時(shí)候表示已經(jīng)映射。創(chuàng)建PM卷的時(shí)候初始化頁表項(xiàng)，將所有的頁表項(xiàng)初始化為0。建立的頁表映射都是固定的，一旦某個(gè)進(jìn)程訪問了PM卷的某一頁，通過一對多映射將地址映射到某個(gè)NVM設(shè)備某頁之后，在此進(jìn)程結(jié)束之前，該映射的頁表項(xiàng)保持不變。

圖2 一級頁表結(jié)構(gòu)的頁表項(xiàng)含義圖

建立了頁表機(jī)制，并初始化頁表項(xiàng)為0。當(dāng)有進(jìn)程首次對PM卷某頁寫入數(shù)據(jù)時(shí)，將數(shù)據(jù)寫入構(gòu)成卷的第一個(gè)NVM設(shè)備上(由于構(gòu)成卷的NVM設(shè)備是用鏈表鏈接，鏈表是按照NVM設(shè)備號的大小鏈接，第一個(gè)設(shè)備指的是鏈表中第一個(gè)結(jié)點(diǎn))，之后將數(shù)據(jù)拷貝到其他k個(gè)設(shè)備上。通過寫入的PM卷地址計(jì)算得到對應(yīng)的頁表項(xiàng)的位置，然后將每個(gè)數(shù)據(jù)備份的物理頁幀號根據(jù)設(shè)備號寫入正確的頁表項(xiàng)中。有了映射頁表，在大規(guī)模數(shù)據(jù)讀取時(shí)，需要設(shè)計(jì)地址翻譯策略，來實(shí)現(xiàn)并行的訪問。一對多地址映射算法見表1。

表1 一對多地址映射算法偽代碼

因?yàn)椴煌脚_的頁面大小不盡相同，偽代碼中的PAGE_SHIFT是地址中頁面偏移量的位數(shù)。Nums指的是PM卷的一頁究竟映射到多少個(gè)NVM設(shè)備上。1～4行代碼通過頁表基址加上PFN*Nums的方式找到頁表項(xiàng)。函數(shù)isValidEntry通過檢查V標(biāo)記位是否為1來判斷頁表項(xiàng)是否有效，如果是1則表示該頁表項(xiàng)無效。searchValidEntry函數(shù)尋找下一個(gè)有效的頁表項(xiàng)，函數(shù)setEntryNotValid將V標(biāo)記位設(shè)置為1。pfn_to_page函數(shù)將NVM設(shè)備的pfn轉(zhuǎn)化成對應(yīng)頁的page。算法的整體思路是：通過PM卷中待映射的頁幀號相對于PM卷初始地址頁幀號的偏移量乘以構(gòu)成PM卷的NVM設(shè)備總數(shù)，再加上頁表基地址得到待映射頁對應(yīng)頁表項(xiàng)集的初始地址，然后判斷該頁表項(xiàng)是否已經(jīng)被分配給某進(jìn)程，最后找到?jīng)]有被分配的頁表項(xiàng)，將該頁表項(xiàng)設(shè)置為已分配，同時(shí)通過頁表項(xiàng)前20位頁面物理地址得到頁幀號。

由于頁表的大小會隨著PM卷地址空間大小的增加成倍增加，因而增加缺頁開銷，所以考慮將頁表設(shè)計(jì)成多級結(jié)構(gòu)。若設(shè)計(jì)成二級頁表，對應(yīng)PM卷地址結(jié)構(gòu)如圖3所示。以一對四映射為例，頁表項(xiàng)中是4個(gè)頁表項(xiàng)指向同一個(gè)PM卷地址頁框，那么在一頁中(4 KB)可放入256個(gè)(一個(gè)頁表項(xiàng)占4 B，4 KB/(4 B×4))映射到不同PM卷地址的頁表項(xiàng)，所以需要8位來標(biāo)記，也即是圖3中的PPN2(physical page number)，一級頁表用12位，也即是圖3中的PPN1來標(biāo)記，需要存儲在4頁中。

圖3 二級頁表結(jié)構(gòu)的PM卷地址含義圖

4.3 一對多地址映射對系統(tǒng)影響

一對多地址映射由于在多塊NVM上建立了PM卷層，并且PM卷層到NVM設(shè)備之間通過頁表形式進(jìn)行地址翻譯，相比于傳統(tǒng)內(nèi)存架構(gòu)，多了一層地址翻譯過程。傳統(tǒng)內(nèi)存架構(gòu)中應(yīng)用程序虛擬地址在MMU作用下最多只需要一次訪存操作便可以得到物理地址，而非易失性內(nèi)存卷模式下的一對多地址映射中。應(yīng)用程序虛擬地址首先需要類似于傳統(tǒng)內(nèi)存架構(gòu)中地址翻譯過程得到PM卷對應(yīng)的地址，然后仍需要進(jìn)行PM卷到NVM地址映射得到最終存儲數(shù)據(jù)的NVM設(shè)備上地址，至少需要兩次訪存操作。這會導(dǎo)致缺頁處理開銷加大。

5 多路并行訪存實(shí)現(xiàn)

多路并行訪存是將數(shù)據(jù)備份放置在不同內(nèi)存通道的NVM上，在多核環(huán)境中通過一對多映射算法，將同一塊數(shù)據(jù)不同訪存請求分配到不同數(shù)據(jù)備份上，實(shí)現(xiàn)并行訪問。首先實(shí)現(xiàn)非易失性內(nèi)存卷模式，然后實(shí)現(xiàn)PM卷到NVM之間一對多地址映射。

5.1 非易失性內(nèi)存卷模式實(shí)現(xiàn)

為了對PM卷進(jìn)行管理，在內(nèi)核中創(chuàng)建結(jié)構(gòu)體struct pm_volume保存PM卷的卷大小、卷號、卷的開始地址以及組成卷的NVM設(shè)備等信息。同時(shí)PM卷是取自不同NVM設(shè)備的中的一部分內(nèi)存空間組成，因此創(chuàng)建結(jié)構(gòu)體struct pm_device保存組成PM卷的NVM設(shè)備開始頁號、大小、設(shè)備號等信息。實(shí)現(xiàn)非易失性內(nèi)存卷模式分兩步進(jìn)行，首先將PM卷加入內(nèi)存系統(tǒng)中，提供內(nèi)核中組件訪問接口。然后通過內(nèi)存映射方式將PM卷映射到用戶地址空間，提供應(yīng)用程序load/stroe訪問方式。

(1) 將PM卷加入內(nèi)存系統(tǒng)分兩步實(shí)現(xiàn)，首先將PM卷加入伙伴系統(tǒng)，然后修改內(nèi)核中alloc_pages函數(shù)使內(nèi)核組件能夠訪問PM卷。

傳統(tǒng)內(nèi)存系統(tǒng)中，內(nèi)核將內(nèi)存空間劃分成結(jié)點(diǎn)，每個(gè)結(jié)點(diǎn)劃分成管理區(qū)(zone)，每個(gè)管理區(qū)由各自的伙伴系統(tǒng)負(fù)責(zé)所有頁面的申請和釋放。管理區(qū)中的每個(gè)頁幀對應(yīng)一個(gè)struct page結(jié)構(gòu)。我們自定義了PM_ZONE管理區(qū)，讓PM卷和PM_ZONE管理區(qū)的頁面一一對應(yīng)，然后將PM_ZONE管理區(qū)中的頁面加入伙伴系統(tǒng)。通過修改管理區(qū)和伙伴系統(tǒng)初始化方法，加入對自定義PM_ZONE的管理。為了方便區(qū)分PM_ZONE和系統(tǒng)其他管理區(qū)，在struct zone結(jié)構(gòu)體中增加了char*name字段表示管理區(qū)的名字。完成管理區(qū)和伙伴系統(tǒng)初始化之后，PM_ZONE管理區(qū)上并沒有實(shí)際頁面，所以內(nèi)核中申請PM_ZONE大小的連續(xù)內(nèi)存頁，將其每頁初始化為屬于PM_ZONE管理區(qū)。由于申請和釋放頁面時(shí)系統(tǒng)通過page_zone(page)函數(shù)獲取頁所在的管理區(qū)，但該函數(shù)用到很多系統(tǒng)預(yù)定義標(biāo)記符，而PM_ZONE并沒有添加到系統(tǒng)中維護(hù)，因此無法通過此方法獲取頁所在的管理區(qū)，故在struct page中添加了一個(gè)struct zone*zone字段來表示該頁所在的管理區(qū)。在內(nèi)核申請PM_ZONE大小頁面并設(shè)置成所屬管理區(qū)時(shí)，通過page->zone->name=″PM_ZONE″實(shí)現(xiàn)。

PM卷以PM_ZONE管理區(qū)的形式加入內(nèi)存伙伴系統(tǒng)之后，需修改內(nèi)核的alloc_pages函數(shù)才能使內(nèi)核申請PM卷的頁面。實(shí)現(xiàn)中增加自定義GFP_PM標(biāo)志，也就是將GFP_PM標(biāo)志加入alloc_pages函數(shù)第一個(gè)參數(shù)gfp_t gfp_mask中。通過判斷gfp_mask標(biāo)志是否等于GFP_PM，進(jìn)而選擇是否從PM卷對應(yīng)的PM_ZONE管理區(qū)中申請頁面。

(2) PM卷以PM_ZONE管理區(qū)形式加入內(nèi)存系統(tǒng)之后，內(nèi)核可以申請釋放PM卷中頁面。但應(yīng)用程序?qū)M卷的訪問還需要提供正確的訪問接口，本文基于mmap的內(nèi)存映射接口模式，將PM卷層中的頁面通過mmap函數(shù)映射到用戶空間?；趍map的內(nèi)存映射方式是指通過mmap函數(shù)將PM卷地址空間映射到用戶進(jìn)程地址空間，提供用戶進(jìn)程load/store方式訪問。函數(shù)接口形式是int pm_mmap(struct file*filp, struct vm_area_struct*vma)，參數(shù)filp是待映射目標(biāo)文件的結(jié)構(gòu)體指針，vma是虛擬內(nèi)存區(qū)域。

5.2 一對多地址映射實(shí)現(xiàn)

一對多地址映射通過頁表機(jī)制實(shí)現(xiàn)，本文實(shí)現(xiàn)了單級頁表結(jié)構(gòu)。首先在PM卷結(jié)構(gòu)體struct pm_volume中加入屬性unsigned long*pageTableBase表示當(dāng)前PM卷對應(yīng)頁表基地址。由于struct pm_volume結(jié)構(gòu)體中有屬性volume_size表示PM卷大小以及num表示構(gòu)成卷的NVM設(shè)備個(gè)數(shù)。volume_size和num乘積就是頁表大小。另外還需在struct page結(jié)構(gòu)體中增加屬性unsigned int firstaccess，表示PM卷中每頁是否第一次被進(jìn)程訪問并寫入數(shù)據(jù)。0表示首次被訪問，1表示否。

創(chuàng)建PM卷時(shí)根據(jù)頁表大小將所有頁表項(xiàng)初始化為0。當(dāng)有進(jìn)程首次訪問PM卷的某頁時(shí)，修改mmap函數(shù)，通過判斷PM卷的當(dāng)前被寫入頁面的struct page的firstaccess屬性是否為0，決定是將數(shù)據(jù)直接寫入第一個(gè)NVM設(shè)備的對應(yīng)頁還是訪問頁表得到頁表項(xiàng)。如果是0，表示訪問的PM卷頁面是首次寫入，因此將數(shù)據(jù)寫入第一個(gè)NVM設(shè)備對應(yīng)頁。然后通過memcpy函數(shù)將該頁數(shù)據(jù)拷貝到其他NVM設(shè)備對應(yīng)頁面上。Memcpy函數(shù)使用內(nèi)存虛擬地址，可通過函數(shù)kmap將NVM設(shè)備物理地址轉(zhuǎn)換成內(nèi)存虛擬地址。最后修改PM卷中當(dāng)前頁面的頁表項(xiàng)集。

建立頁表后，對PM卷該頁面的大量讀取操作可以通過地址翻譯算法在多核環(huán)境中實(shí)現(xiàn)并行訪問。以PM卷映射到四個(gè)NVM設(shè)備為例子闡述地址翻譯的實(shí)現(xiàn)過程，考慮到非易失性內(nèi)存總的空間大小是PM卷的4倍，在制作頁表時(shí)PM卷的每一個(gè)頁號對應(yīng)四個(gè)不同NVM的頁號，PM卷每一頁對應(yīng)的四個(gè)不同的NVM頁號的頁表?xiàng)l目連續(xù)(每個(gè)頁表?xiàng)l目的大小為4 B)。若PM卷的大小為4 GB，每個(gè)NVM的大小同樣也是4 GB。以PM卷地址為：0x000645b0為例，一對四地址翻譯如圖4所示。對應(yīng)PM卷地址的頁表項(xiàng)有4個(gè)(圖中只畫出3個(gè))，地址0x000645b0前20位的物理頁號是100，根據(jù)算法乘以4得到400。查看頁表400位置處對應(yīng)的V標(biāo)記位是1，表示此頁表項(xiàng)已經(jīng)被映射，由searchValidEntry函數(shù)找到401處V標(biāo)記位是0有效，則將該標(biāo)記位設(shè)置為1，并且根據(jù)該頁表項(xiàng)的前二十位頁面物理基地址找到對應(yīng)的NVM設(shè)備的那一頁，再由offset為1 456計(jì)算得到最終目標(biāo)字節(jié)位置并找到。

圖4 一對四單級頁表結(jié)構(gòu)圖，左邊是頁表結(jié)構(gòu)，右邊是找到的NVM設(shè)備的具體物理頁

一旦將某個(gè)非易失性內(nèi)存的頁幀號映射給對應(yīng)進(jìn)程的時(shí)候，當(dāng)該進(jìn)程此后訪問PM卷同一頁時(shí)，一律訪問之前綁定的非易失性內(nèi)存的頁，而不再進(jìn)行缺頁處理，也就是缺頁處理只會在進(jìn)程首次訪問PM卷地址空間某一頁的時(shí)候進(jìn)行。即便缺頁訪問時(shí)，需要進(jìn)行兩次的地址翻譯，當(dāng)有大量的數(shù)據(jù)訪問時(shí)候，這個(gè)缺頁的開銷會被不斷稀釋掉。

6 實(shí)驗(yàn)與結(jié)果分析

6.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)中，硬件是ThinkPad x230 Intel i5雙核4 GB DDR3雙通道內(nèi)存筆記本電腦，安裝了Ubuntu15.10操作系統(tǒng)，內(nèi)核版本是4.2.8。

6.2 實(shí)驗(yàn)方法

在驗(yàn)證了非易失性內(nèi)存卷模式實(shí)現(xiàn)的合理性后，驗(yàn)證一對多地址映射。從內(nèi)存DRAM中申請兩個(gè)連續(xù)內(nèi)存塊模擬兩個(gè)NVM設(shè)備。由于一對多設(shè)計(jì)比傳統(tǒng)內(nèi)存訪問方式多了一層地址翻譯過程，因而首先考慮缺頁中斷處理中開銷的增加對系統(tǒng)的影響。實(shí)驗(yàn)組中測量的是實(shí)現(xiàn)了一對多映射的缺頁處理時(shí)間，對照組測量傳統(tǒng)內(nèi)存請求分頁方式缺頁處理時(shí)間。實(shí)驗(yàn)結(jié)果見圖5。

圖5 性能優(yōu)化后PM卷頁面訪問缺頁處理時(shí)間和正常內(nèi)存訪問缺頁處理時(shí)間對比圖

缺頁處理的開銷會增加，但由于頁表項(xiàng)一旦寫進(jìn)頁表，在當(dāng)前進(jìn)程結(jié)束前頁表項(xiàng)不會改變，所以缺頁只在首次訪問PM卷頁面時(shí)發(fā)生。在大規(guī)模數(shù)據(jù)讀取時(shí)開銷會被不斷稀釋，因此進(jìn)一步測試對PM卷大規(guī)模數(shù)據(jù)訪問時(shí)的性能提升情況。實(shí)驗(yàn)主要驗(yàn)證一對二地址映射時(shí)，雙通道并行訪問是否能夠提升系統(tǒng)性能，因而，對于映射到不同內(nèi)存通道的同一塊數(shù)據(jù)的兩個(gè)備份不要求數(shù)據(jù)相同，主要保證兩個(gè)數(shù)據(jù)備份位于不同內(nèi)存通道即可。

內(nèi)存控制器地址映射，是將一個(gè)內(nèi)存請求的物理地址翻譯并映射成DRAM模塊的物理結(jié)構(gòu)：channel、rank、bank、column等。對于雙通道的內(nèi)存結(jié)構(gòu)中，物理地址有1 bit表示該內(nèi)存請求的數(shù)據(jù)所在內(nèi)存通道。實(shí)驗(yàn)中使用的ThinkPad x230設(shè)備是物理地址右邊起第12 bit。

一對二地址映射實(shí)驗(yàn)中訪問不同內(nèi)存通道便可以通過訪問物理地址channel標(biāo)記位分別為0和1的兩個(gè)內(nèi)存通道。也就是一對二設(shè)計(jì)中同一PM卷頁面映射的兩個(gè)實(shí)際頁面的頁幀號倒數(shù)第2 bit不相同。實(shí)驗(yàn)中設(shè)計(jì)兩個(gè)并發(fā)的線程，分別讀取PM卷空間的一段頁框。由于實(shí)現(xiàn)了一對二的情況，當(dāng)訪問同一塊數(shù)據(jù)時(shí)兩個(gè)并發(fā)線程會實(shí)現(xiàn)并行執(zhí)行。對照組中將與一對多中PM卷大小相同的一塊連續(xù)內(nèi)存通過mmap函數(shù)映射到進(jìn)程虛擬地址空間，設(shè)計(jì)兩個(gè)線程執(zhí)行并發(fā)訪問。實(shí)驗(yàn)是在禁用cache中進(jìn)行。實(shí)驗(yàn)是將每一個(gè)線程對PM卷進(jìn)行100萬次讀取操作，測量兩個(gè)線程執(zhí)行完需要的總時(shí)間，與對照組總時(shí)間進(jìn)行對比。結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果匯總表 us

6.3 實(shí)驗(yàn)結(jié)果

如圖5缺頁處理實(shí)驗(yàn)共進(jìn)行了15組，實(shí)驗(yàn)組數(shù)據(jù)的最大值、最小值和平均值分別是9 514 ns、5 255 ns和6 917.9 ns。對照組數(shù)據(jù)的最大值、最小值和平均值分別是1 693 ns、322 ns和550.4 ns。從平均值看來，實(shí)驗(yàn)組所用時(shí)間是對照組的12.6倍。可以看出在缺頁處理上對性能產(chǎn)生了較大的影響。針對一對多地址映射進(jìn)行了22組實(shí)驗(yàn)得到數(shù)據(jù)，見表2。

表2中實(shí)驗(yàn)組數(shù)據(jù)的平均值、最大值和最小值分別是：11 430.8 us、14 728 us、9 496 us。對照組數(shù)據(jù)平均值、最大值和最小值分別是：12 324.9 us、15 968 us、9 889 us。由平均值可計(jì)算得出實(shí)驗(yàn)組比對照組性能提升7.25%。從實(shí)驗(yàn)結(jié)果看來，基于一對多映射的PM卷模式增加了一層地址翻譯過程雖然在缺頁處理時(shí)間上是傳統(tǒng)訪存方式的12.6倍，但在大量數(shù)據(jù)讀取中，整體性能提升了7.25%。但是仍然存在些不足之處，實(shí)驗(yàn)是在雙通道環(huán)境下進(jìn)行的，實(shí)現(xiàn)了一對二映射的情況，對于更多的一對三、一對四等映射情況可進(jìn)一步進(jìn)行實(shí)驗(yàn)。

7 結(jié) 語

本文針對新型NVM設(shè)備的優(yōu)秀特性，設(shè)計(jì)實(shí)現(xiàn)了load/store方式訪問NVM設(shè)備，并管理異構(gòu)的NVM設(shè)備的非易失性內(nèi)存卷。然后基于熱數(shù)據(jù)訪存沖突在非易失性內(nèi)存卷模式的基礎(chǔ)上提出了一對多的地址映射方案，實(shí)現(xiàn)了一對多地址映射策略。最后，通過在雙通道內(nèi)存中，進(jìn)行一對二映射實(shí)驗(yàn)，得到的數(shù)據(jù)在一對二映射情況下，系統(tǒng)訪存性能提升了7.25%。表明這種設(shè)計(jì)確實(shí)能夠改變內(nèi)存訪問方式并提升訪問性能，比較好地避免熱數(shù)據(jù)的訪存沖突。