統(tǒng)一檔案數(shù)據(jù)存儲管理平臺建設

□馬躍福 王 平 楊 靜

一、數(shù)字化檔案信息存儲體系

隨著社會信息化程度的不斷提高，各級檔案館也將逐步成為海量數(shù)字化檔案信息的存儲中心。建設安全、可用的數(shù)字化檔案信息存儲體系將成為現(xiàn)代檔案館的一個極其重要的內(nèi)容。目前數(shù)字化檔案信息存儲體系一般包括存儲、容災、備份和歸檔四方面的內(nèi)容。

1、存儲

存儲架構(gòu)分為3種：DAS（直連存儲）、NAS（網(wǎng)絡附加存儲）、SAN（網(wǎng)絡區(qū)域存儲）。在檔案系統(tǒng)應用中NAS和SAN架構(gòu)最為適合：NAS數(shù)據(jù)結(jié)構(gòu)是基于文件系統(tǒng)，因此NAS架構(gòu)應用于檔案文件的存放，可以經(jīng)濟高效地實現(xiàn)檔案電子化；SAN數(shù)據(jù)結(jié)構(gòu)基于數(shù)據(jù)塊，因此SAN架構(gòu)適用于檔案數(shù)據(jù)庫的構(gòu)建，可以高性能地實現(xiàn)檔案數(shù)據(jù)的查詢和管理。

考慮完架構(gòu)后，要考慮存儲產(chǎn)品自身的可靠性，如存儲控制器是否冗余、存儲相關(guān)設備是否冗余、存儲構(gòu)造的合理性、存儲自身的數(shù)據(jù)安全保護等等。一個可靠的存儲系統(tǒng)必須至少擁有2個或以上的高性能控制器，以保證核心控制的可靠性；必須擁有至少N+1設備冗余（電源、風扇、通道卡等）；存儲構(gòu)造應當采用交換或點對點模式，來確保內(nèi)部的數(shù)據(jù)傳輸性能及容錯性；存儲自身的數(shù)據(jù)安全保護涉及硬盤raid級別、故障監(jiān)測、數(shù)據(jù)快照支持和遠程數(shù)據(jù)復制支持。

2、容災

容災顧名思義就是為了預備災難發(fā)生時所做的預防應急措施。在規(guī)劃遠程容災系統(tǒng)方案時，應根據(jù)具體要求明確方案所要達到的目標。因為不同的災難恢復目標，可以使用不同的災難恢復技術(shù)實現(xiàn)方案，相應地，投資規(guī)模和運行成本也將會不同。根據(jù)信息中心的實際狀況，檔案館選擇容災系統(tǒng)方案時應考慮以下幾點：

目標－1：應對災難的種類

有許多計算機系統(tǒng)內(nèi)部以及計算機所處環(huán)境中的潛在因素可能會造成數(shù)據(jù)丟失情況的發(fā)生。據(jù)不完全統(tǒng)計，造成數(shù)據(jù)丟失的事件中，軟硬件和網(wǎng)絡故障占11%左右，斷電和電源故障占50%左右，火災地震爆炸和雷電等災害占18%左右，人為因素占17%左右，其他因素占4%左右。為應對不同的災難，主中心和災備中心的選址也會不一樣。例如為抵御地震災害，主中心和災備中心應選擇在不同的城市，而不宜選擇同城；為抵御長時間停電故障，主中心和災備中心就應選在由不同的輸變電網(wǎng)絡和電廠覆蓋的區(qū)域。

只有明確災難恢復方案所要應對的災難的種類，才能科學地選擇主中心和災備中心的地理位置。

目標－2：恢復時間目標（RecoveryTimeObjective）

恢復時間目標（RecoveryTime Objective-RTO）是災難發(fā)生后業(yè)務能夠容忍的停頓時間，或者說災難發(fā)生后，恢復業(yè)務運行所需要的時間。一般來說，恢復時間（RTO）越短，那么災難恢復方案的成本就越高，但是造成的業(yè)務損失就越??；反之，恢復時間（RTO）越長，災難恢復方案的成本較低，但是造成的業(yè)務損失就較大。

最佳的恢復時間目標（RTO）應為業(yè)務影響（損失）曲線和方案成本曲線的交點所對應的時間。比最佳恢復時間更短的目標將造成投資浪費；而比最佳恢復時間更長的目標，災難發(fā)生造成的損失會大于方案投資成本，所以災難損失的風險較大。

目標－3：恢復數(shù)據(jù)目標（RecoveryPointObjective）

恢復數(shù)據(jù)目標（RecoveryPoint Objective-RPO）是災難發(fā)生后業(yè)務能夠容忍的數(shù)據(jù)丟失量，或者說災難發(fā)生造成的數(shù)據(jù)丟失量。一般來說，恢復數(shù)據(jù)目標（RPO）越高（即丟失的數(shù)據(jù)越少），方案的成本越高，但是由于災難造成的業(yè)務損失就越??；反之，恢復數(shù)據(jù)目標（RPO）越低（即丟失的數(shù)據(jù)較多），方案的成本較低，但災難造成的業(yè)務損失也較大。

最佳的恢復數(shù)據(jù)目標（RPO）應為業(yè)務影響（損失）曲線和方案成本曲線的交點所對應的目標。比最佳恢復數(shù)據(jù)目標更高的目標，將造成投資浪費；而比最佳恢復數(shù)據(jù)目標更低的目標，災難發(fā)生造成的損失會大于方案投資成本，所以災難損失的風險較大。

目標－4：確定關(guān)鍵業(yè)務數(shù)據(jù)（需災備保護的數(shù)據(jù)對象）

按照數(shù)據(jù)的重要和關(guān)鍵程度，大致將IT系統(tǒng)的所有數(shù)據(jù)分為三大類：

客戶服務類數(shù)據(jù)：指那些支持數(shù)據(jù)中心核心產(chǎn)品和服務所需數(shù)據(jù)，該類數(shù)據(jù)的恢復時間目標（RTO）一般在一小時內(nèi)，而且不允許數(shù)據(jù)丟失。

業(yè)務支持類數(shù)據(jù)：指那些業(yè)務運行所需數(shù)據(jù)，該類數(shù)據(jù)的恢復時間目標（RTO）一般小于24小時。

可延緩數(shù)據(jù)：其他數(shù)據(jù)如辦公室OA等，該類數(shù)據(jù)的恢復時間目標（RTO）一般小于48小時。

考慮到上述三類數(shù)據(jù)之間的互相耦合和關(guān)聯(lián)，一般來說，客戶服務相關(guān)的數(shù)據(jù)約占數(shù)據(jù)總量的80%；業(yè)務支持數(shù)據(jù)約占15%；可延緩數(shù)據(jù)約占5%。

綜合以上因素選擇適合的容災模式和機制是非常重要的，可以幫助最大限度避免損失。

3、備份

備份是保證數(shù)據(jù)安全的最后一道屏障，因為無論是存儲還是容災，所有數(shù)據(jù)均為在線存放，而備份的數(shù)據(jù)既可以在線存放，也可以通過磁帶等介質(zhì)離線保存，在線保存的數(shù)據(jù)可以快速恢復，離線保存的數(shù)據(jù)可以存放在一個更為安全的特殊環(huán)境中。一個大范圍的災難造成本地及容災系統(tǒng)的數(shù)據(jù)完全不可用時，通過該備份數(shù)據(jù)，可以盡可能完整地恢復至可用數(shù)據(jù)，減少損失。若是由于人為操作失誤造成的數(shù)據(jù)丟失，那么磁盤等介質(zhì)在線備份的數(shù)據(jù)可以較快地檢索出之前的正確數(shù)據(jù)。

因此如果在條件允許的情況下，可以考慮磁盤備份和磁帶備份相結(jié)合，從而盡可能地保障數(shù)據(jù)安全。現(xiàn)今眾多的備份軟件越來越好地支持災難備份恢復，能夠通過災難恢復介質(zhì)恢復至災難前的數(shù)據(jù)、系統(tǒng)設置等，從而更加快速的恢復業(yè)務系統(tǒng)。

4、歸檔

備份的目的就是為了恢復，保證在出現(xiàn)意外情況時保證業(yè)務的連續(xù)進展；特別是在線備份，對速度的要求相對較高，但對容量的要求則相對較小。

歸檔的目的與備份完全不同。檔案館保存著大量的數(shù)據(jù)，其中的60%-80%今后可能很少使用到，但這些數(shù)據(jù)必須保留以備查詢。簡言之，歸檔的目的是為了保證數(shù)據(jù)的完整性。在如何最大化使用存儲，保證數(shù)據(jù)的訪問方面歸檔和備份有很大區(qū)別。

選擇歸檔系統(tǒng)有四個原則：

數(shù)據(jù)必須永遠保留。無論是歸檔還是備份，數(shù)據(jù)的完整性必須得到保證，必須在規(guī)定的時間內(nèi)保證數(shù)據(jù)的安全存儲。

數(shù)據(jù)易于讀取。雖然大部分數(shù)據(jù)重復讀取的可能性不大，但歸檔系統(tǒng)依舊不是一個“死”倉庫，必須保證在需要的時候能方便地讀取數(shù)據(jù)，這也是歸檔系統(tǒng)的必備原則之一。

保證法規(guī)遵從。目前國內(nèi)這方面的法規(guī)還在逐步完善過程中，國外如在美國的美國證券交易委員會SEC（SecuritiesExchangeCommission）法案、薩班斯-奧克斯萊法案（Sarbanes-Oxley）等，對電子記錄在完整性、保密性和可存取性三個方面都有明確規(guī)定。摩根公司就曾因為沒有在規(guī)定時間找到全部的電子數(shù)據(jù)，被罰款14.5億美金。數(shù)據(jù)歸檔系統(tǒng)也必須完全符合這些要求。

數(shù)據(jù)的可擴展性。數(shù)據(jù)是無時無刻不在擴展的，歸檔系統(tǒng)必須保證自身的可擴展性，以滿足迅速增長的數(shù)據(jù)量的要求。

二、面臨的問題

目前各級檔案館都開始投入巨資建設現(xiàn)代化的數(shù)字化檔案信息存儲體系，包括存儲、容災、備份和歸檔等功能的存儲系統(tǒng)，但由于不同的廠家產(chǎn)品之間缺乏集成，對數(shù)據(jù)的完整性和有效性缺乏有效的管理。數(shù)據(jù)管理人員對所存儲的數(shù)字化檔案信息缺乏整體的了解，往往是知道數(shù)據(jù)在，卻不知道具體位置在哪里。對數(shù)據(jù)的存儲狀況是否有效也不清楚，不能根據(jù)各個存儲系統(tǒng)的運行狀況及時提出數(shù)據(jù)遷移的計劃，往往是即使找到了數(shù)據(jù)，也可能發(fā)現(xiàn)數(shù)據(jù)已損壞不可讀了，從備份系統(tǒng)中恢復數(shù)據(jù)也非常麻煩。為了盡可能地做好數(shù)據(jù)備份，目前大多采用局部集中備份、單獨備份、手工定期備份等不同的備份模式，導致部分系統(tǒng)的應用數(shù)據(jù)備份不充分，備份時間過長，不能產(chǎn)生備份報表，無法了解真實的數(shù)據(jù)保存狀況，也沒有有效的介質(zhì)管理與異地保存。這些問題在不斷增加數(shù)據(jù)保護風險的同時，也使管理成本居高不下。

數(shù)字化檔案信息的存儲中心的功能應該是最大程度地挖掘出它所保管的檔案信息資源的價值。存儲設備、服務器、網(wǎng)絡為實現(xiàn)這個功能提供了工具和基礎架構(gòu)，但一個成功的數(shù)字化檔案信息的存儲中心應該體現(xiàn)在在適當?shù)臅r間和適當?shù)牡攸c提供適當?shù)男畔⒌哪芰ι?。要達到這個目的需要實現(xiàn)存儲、容災、備份和歸檔等各個環(huán)節(jié)的整合，建設統(tǒng)一的數(shù)字化檔案信息存儲管理平臺。

三、統(tǒng)一數(shù)據(jù)管理平臺的功能

統(tǒng)一數(shù)據(jù)管理平臺把數(shù)據(jù)備份、恢復、歸檔、復制、資源管理和搜索這些功能模塊利用同一套源代碼無縫地結(jié)合在一起。這些功能不僅強大，而且從一開始設計軟件架構(gòu)時就確保這些功能模塊能共享相同的服務功能，從而能通過單一控制臺，迅速、簡單、可靠地執(zhí)行所有的數(shù)據(jù)管理功能，以獨特的方式幫助客戶消除基礎架構(gòu)成本，并大幅度提高數(shù)據(jù)管理效率。

一個標準的數(shù)據(jù)管理平臺可以提升整體表現(xiàn)，減少存儲復雜性并且減少開銷，還可以使所有的數(shù)據(jù)拷貝更具有意義和可獲得性。統(tǒng)一數(shù)據(jù)管理平臺應該采用一個統(tǒng)一的視圖提供以下的功能：

數(shù)據(jù)備份/恢復。能對異構(gòu)環(huán)境下的各種操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù)庫、郵件系統(tǒng)和應用進行備份和恢復，備份過程是基于策略的自動操作，能提供小顆粒精確恢復。

快照管理和恢復。能利用硬件、軟件快照引擎，在存儲設備上創(chuàng)建具有時間點的恢復卷，在短短幾分鐘內(nèi)就能完全恢復硬軟件，確保業(yè)務的連續(xù)性。

遠程連續(xù)數(shù)據(jù)復制。利用有限帶寬來有效復制文件和應用軟件數(shù)據(jù)，并創(chuàng)建恢復點來確保數(shù)據(jù)的一致性?？衫迷摴δ馨阎行牡臄?shù)據(jù)復制到異地，達到容災的目的；也可把分布在不同地方的數(shù)據(jù)復制到中心，進行集中保護。

數(shù)據(jù)遷移和歸檔。按照用戶制定的策略把不常用的文件或郵件遷移到二級存儲中，當數(shù)據(jù)遷移走后，原系統(tǒng)中還留有“存根”，當用戶訪問“存根”時，數(shù)據(jù)會自動遷回到原處。如果把“存根”刪除，數(shù)據(jù)就自動歸檔到二級存儲中。該功能有效降低了在線存儲的壓力，提高系統(tǒng)性能，并節(jié)約了存儲費用。

存儲資源管理。對在線存儲上的文件、數(shù)據(jù)庫及應用的數(shù)據(jù)進行跟蹤、分析、發(fā)現(xiàn)、預測和報告，讓IT管理者及時準確掌握數(shù)據(jù)存儲的動態(tài)情況，為數(shù)據(jù)管理策略制定提供依據(jù)。

服務管理和報告。利用該工具軟件，管理者能輕松地跟蹤數(shù)據(jù)管理的所有操作和存儲資源管理，提供相關(guān)報告，確保規(guī)定的服務等級。

雖然可能還不成熟，但是各路廠商的集中數(shù)據(jù)管理平臺已經(jīng)在起步了。一些備份廠商已經(jīng)通過提供統(tǒng)一代理、統(tǒng)一政策引擎和共同服務、存儲而發(fā)展出了完全集成的、多功能的產(chǎn)品和很多其他的聯(lián)合點解決方案（pointsolutions，主要是通過集成）。比如 EMC、CommVault，HP和IBM提供集成的備份和歸檔。而這些廠商軟件——BakBone,CA和CommVault可以將備份和復制合并。而對于 Asigra、CommVault和Symantec而言，部署連續(xù)的備份抓取特性也是可行的。這些廠商——Asigra、CommVault、EMC、EVault、IBM和Symantec都在它們的備份特性中提供了數(shù)據(jù)重復刪除特性。

四、總結(jié)：統(tǒng)一數(shù)據(jù)管理平臺的特性和優(yōu)勢

和傳統(tǒng)的存儲管理相比，統(tǒng)一數(shù)據(jù)管理平臺具有以下的特性和優(yōu)勢：

提供文件系統(tǒng)、應用程序和數(shù)據(jù)庫當前存儲使用情況的報告，了解基礎架構(gòu)內(nèi)文件系統(tǒng)、應用程序和數(shù)據(jù)庫占用存儲空間情況，無論磁盤類型或其連接方式均可獲取信息，如DAS、NAS和SAN等。

趨勢分析和未來存儲需求預測。全面檢視存儲環(huán)境，做出更好的決策。提供支持性趨勢分析數(shù)據(jù)，優(yōu)化存儲開支，協(xié)助年度預算預測以及消除不必要的開支。

淺度數(shù)據(jù)收集。避免傳統(tǒng)的詳細統(tǒng)計數(shù)據(jù)收集，減輕CPU和服務器存儲相關(guān)的I/O負載，適用于無需分析型數(shù)據(jù)的查找場景。

深度數(shù)據(jù)收集。能夠執(zhí)行更強大的數(shù)據(jù)收集，滿足深入分析的需要。

應用程序相關(guān)的存儲容量視圖。了解映射到應用架構(gòu)的存儲使用狀況，如數(shù)據(jù)庫表、消息存儲或NAS共享等。

基于閾值的提示。通過策略管理數(shù)據(jù)存儲能力，以減少人工干預。通過主動提示可能影響生產(chǎn)環(huán)境的事件或故障降低風險。

歸檔ROI報告。計算通過歸檔陳舊數(shù)據(jù)可以節(jié)省的成本數(shù)量。

禁用文件報告。查明垃圾文件、多媒體和非業(yè)務相關(guān)文件的存儲位置和所有者。

邏輯資源與物理資源的映射。提供磁盤卷所有邏輯存儲實體，或與邏輯存儲實體相關(guān)的所有磁盤卷的使用狀態(tài)報告。

運行過程監(jiān)控。提高生產(chǎn)率和數(shù)據(jù)訪問效率，通過多種視圖查看主存儲資源。

操作窗口。可定義針對數(shù)據(jù)保護任務的操作規(guī)則，比如在特定的時間啟用或禁用特定的操作。這有助于確定數(shù)據(jù)保護任務的優(yōu)先級別，同時不會對SRM數(shù)據(jù)收集工作造成任何潛在影響。