針對海量小文件非結(jié)構(gòu)化數(shù)據(jù)的NAS災(zāi)備新方案

黃亮

在公檢法及互聯(lián)網(wǎng)電商等組織機(jī)構(gòu)的機(jī)房里，存在著大量的NAS存儲架構(gòu)。雖然NAS本身具有一定的文件共享和數(shù)據(jù)備份功能，但是隨著非結(jié)構(gòu)化數(shù)據(jù)與各類小文件的日積月累，這些功能已經(jīng)難以滿足用戶對關(guān)鍵數(shù)據(jù)實(shí)時性與便捷性等方面的災(zāi)備需求。

為了更加全面地展示NAS災(zāi)備新方案的特征，首先介紹NAS的相關(guān)知識。

NAS存儲及應(yīng)用場景

NAS（Network Attached Storage）是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實(shí)現(xiàn)數(shù)據(jù)存儲的機(jī)制。它基于標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)數(shù)據(jù)傳輸，為網(wǎng)絡(luò)中的Windows / Linux / macOS等各種不同操作系統(tǒng)的計算機(jī)提供文件共享和數(shù)據(jù)備份。

NAS的優(yōu)點(diǎn)很多，包括部署簡單，可以使NAS主機(jī)、客戶機(jī)和其他設(shè)備廣泛分布在整個企業(yè)的網(wǎng)絡(luò)環(huán)境中；NAS適用于那些需要通過網(wǎng)絡(luò)將文件數(shù)據(jù)傳送到多臺客戶機(jī)上的用戶；在高效的文件共享任務(wù)中，例如UNIX中的NFS和Windows NT中的CIFS，其中基于網(wǎng)絡(luò)的文件級鎖定提供了高級并發(fā)訪問保護(hù)的功能；能夠充分利用現(xiàn)有的網(wǎng)絡(luò)資源，提供強(qiáng)勁的存儲容量的擴(kuò)展和多臺服務(wù)器對海量文件級的數(shù)據(jù)讀寫；另外，NAS存儲還能降低存儲資源開銷及整體擁有的成本等等。

簡單地說，NAS存儲很好地解決了文件級（file）數(shù)據(jù)集中存儲與共享的用戶需求。因此NAS能夠滿足那些希望降低存儲成本但又無法承受SAN昂貴價格的中小企業(yè)的需求，具有相當(dāng)高的性價比，特別適合對數(shù)據(jù)安全性高，具有海量數(shù)據(jù)存儲需求以及組織網(wǎng)絡(luò)中存在異構(gòu)平臺的機(jī)構(gòu)，在企業(yè)辦公自動化OA系統(tǒng)、醫(yī)療數(shù)據(jù)、影樓影像數(shù)據(jù)、互聯(lián)網(wǎng)電商平臺和公檢法卷宗類海量小文件等場景具有強(qiáng)烈的需求。

NAS災(zāi)備在新環(huán)境下的挑戰(zhàn)

如上所述，NAS具有一定的數(shù)據(jù)備份的功能，包括本地備份（將電腦上的數(shù)據(jù)通過局域網(wǎng)備份到NAS中）、異地備份（將異地電腦上的數(shù)據(jù)通過廣域網(wǎng)備份到NAS中）和NAS間備份（NAS與NAS之間復(fù)制數(shù)據(jù)）等等。

但是這些備份都是基于傳統(tǒng)的備份方案進(jìn)行，具有操作繁瑣、需要備份時間窗口，主備端配置一致等軟肋，無法滿足組織機(jī)構(gòu)業(yè)務(wù)數(shù)據(jù)量快速增長的實(shí)時備份以及經(jīng)濟(jì)高效的需求。英方工程師根據(jù)實(shí)際的場景分析，總結(jié)了NAS災(zāi)備在大數(shù)據(jù)等新環(huán)境下的挑戰(zhàn)：

（1）數(shù)據(jù)量越來越大，而現(xiàn)有的NAS系統(tǒng)是在文件管理系統(tǒng)層次進(jìn)行復(fù)制，這決定了要么就全部復(fù)制，要么就都不復(fù)制，但在實(shí)際場景中，用戶更希望只對相關(guān)的文件進(jìn)行實(shí)時備份，但是因?yàn)榍岸藰I(yè)務(wù)集群服務(wù)器主機(jī)可能會同時讀寫同一個NAS文件夾中的數(shù)據(jù)，造成無法實(shí)現(xiàn)數(shù)據(jù)的實(shí)時保護(hù)。

（2）在備份海量小文件時，例如兩千萬的數(shù)據(jù)量，傳統(tǒng)的災(zāi)備方式在進(jìn)行實(shí)時復(fù)制時，無法確保復(fù)制數(shù)據(jù)時在主備兩端的數(shù)據(jù)一致性，以及在第一次全鏡像的同時，無法確保鏡像過程中增量部分的同步。

（3）異地備份難，數(shù)據(jù)量的增加使得帶寬成本加大，同時用戶無法接受定期和長時間的備份操作等過程，數(shù)據(jù)安全性面臨的風(fēng)險大。

基于i2NAS的災(zāi)備新方案

在NAS存儲方案中，用戶大多使用的方案是多個前端業(yè)務(wù)的集群共享同一個NAS存儲的目錄，它們擁有共同讀寫機(jī)制，確保不會寫沖突。這樣的讀寫機(jī)制確保了文件的唯一性，這種方案可以快捷擴(kuò)展前端集群節(jié)點(diǎn)的數(shù)量，以增加用戶對實(shí)際的訪問量的需求。

下面介紹的i2NAS災(zāi)備新方案，正是在這樣的環(huán)境進(jìn)行的。

i2NAS是英方股份針對NAS數(shù)據(jù)災(zāi)備的新方案，它是針對NAS無法安裝客戶端、數(shù)據(jù)非實(shí)時同步、RTO高和需要消耗大量主機(jī)資源等特點(diǎn)進(jìn)行了災(zāi)備技術(shù)上的創(chuàng)新，為用戶提供百TB級別數(shù)據(jù)災(zāi)備保護(hù)的新方案。

i2NAS具有定時與準(zhǔn)實(shí)時兩種方案，由于篇幅有限，在此只介紹更適合于針對海量小文件/非結(jié)構(gòu)化數(shù)據(jù)的準(zhǔn)實(shí)時方案。之所以稱為準(zhǔn)實(shí)時方案，是因?yàn)閕2NAS是基于英方字節(jié)級復(fù)制同步軟件i2COOPY的技術(shù)原理，由于i2COOPY實(shí)時復(fù)制在一般服務(wù)器下能夠做到毫秒級數(shù)據(jù)同步，而在NAS服務(wù)器集群環(huán)境下，i2COOPY通過在生產(chǎn)端指定一個服務(wù)器作為其他服務(wù)器IO變化的合并節(jié)點(diǎn)，能夠在備端的服務(wù)器達(dá)到秒級同步讀寫的目的。

（1）在各業(yè)務(wù)服務(wù)器上安裝客戶端；

（2）英方客戶端會將各業(yè)務(wù)服務(wù)器上修改的文件名和該文件的存儲路徑發(fā)生給“英方NAS匯聚服務(wù)器”；

（3）由英方NAS匯聚服務(wù)器實(shí)時讀取NAS數(shù)據(jù)；

（4）發(fā)送給災(zāi)備端。

由于該解決方案是旁路監(jiān)聽，因此對主業(yè)務(wù)的節(jié)點(diǎn)變化是安裝客戶端，但是客戶端本身不產(chǎn)生性能開銷，只是監(jiān)控對應(yīng)服務(wù)器會對目錄當(dāng)中的某個文件進(jìn)行修改。假如集群中有三臺服務(wù)器，當(dāng)?shù)谝慌_修改完了，會傳輸?shù)接⒎絅AS監(jiān)控服務(wù)器上，然后會優(yōu)先進(jìn)行傳輸；當(dāng)?shù)诙_修改完后，就會進(jìn)入文件隊(duì)列傳輸?shù)牡却^程，依次類推……英方監(jiān)控服務(wù)器得到更改確定的指令后，會第一時間去讀對應(yīng)目錄下的名稱，然后經(jīng)過TCP/IP網(wǎng)絡(luò)發(fā)送到災(zāi)備端的服務(wù)器。該方案既解決了實(shí)時同步的問題，又解決了海量數(shù)據(jù)情況下數(shù)據(jù)復(fù)制時間窗口的問題，確保當(dāng)生產(chǎn)環(huán)境NAS存儲出現(xiàn)故障時的數(shù)據(jù)安全，業(yè)務(wù)連續(xù)。

i2NAS災(zāi)備新方案6大優(yōu)勢

（1）無備份窗口，可實(shí)現(xiàn)準(zhǔn)實(shí)時的數(shù)據(jù)傳輸，可支持百TB級別的數(shù)據(jù)量保護(hù)；

（2）對用戶現(xiàn)有的業(yè)務(wù)架構(gòu)無調(diào)整，只增加同步主機(jī)、災(zāi)備主機(jī)，同時在客戶的業(yè)務(wù)環(huán)境上安裝客戶端，如果使用存儲級的復(fù)制，需要對存儲本身進(jìn)行調(diào)整；

（3）對用戶的資源系統(tǒng)沒有多余的開銷，因?yàn)槿ネ街鳈C(jī)才會產(chǎn)生數(shù)據(jù)的讀取，對源端的業(yè)務(wù)沒有壓力，對I/O的消耗比較??；

（4）支持異地數(shù)據(jù)復(fù)制，同時備端數(shù)據(jù)可見，因?yàn)橹鱾涠说臄?shù)據(jù)與文件目錄相同，可隨時查看數(shù)據(jù)的一致性；

（5）備端數(shù)據(jù)隨時可用，當(dāng)用戶需要容災(zāi)演練，查看備端海量的數(shù)據(jù)的啟動時間非常短；

（6）彌補(bǔ)現(xiàn)有解決方案中無法針對使用NAS作為存儲冗余架構(gòu)的不足，英方提供全場景解決方案，能夠滿足用戶同時做實(shí)時數(shù)據(jù)復(fù)制備份、非結(jié)構(gòu)數(shù)據(jù)同步、高可用等容災(zāi)備份的綜合需求。

目前，英方i2NAS數(shù)據(jù)災(zāi)備新方案已經(jīng)成功用于海通證券影像數(shù)據(jù)同步、長安信托OA、多金系統(tǒng)、車貸和信貸等系統(tǒng)項(xiàng)目。而在針對擁有海量小文件/非結(jié)構(gòu)化數(shù)據(jù)類型的金融、公檢法和互聯(lián)網(wǎng)等行業(yè)客戶，i2NAS數(shù)據(jù)災(zāi)備方案在結(jié)合高可用等災(zāi)備方案后，可以為用戶實(shí)現(xiàn)全場景的災(zāi)備服務(wù)。