北京數(shù)字檔案館（電子文件中心）存儲體系建設(shè)

王建文

北京數(shù)字檔案館（電子文件中心）系統(tǒng)存儲體系是檔案數(shù)字資源的載體，是系統(tǒng)軟硬件基礎(chǔ)環(huán)境建設(shè)的核心，也是檔案數(shù)字資源的信息安全基礎(chǔ)保障。高效可靠的檔案數(shù)字資源存儲體系，將確保核心應(yīng)用能夠穩(wěn)定支撐多種關(guān)鍵業(yè)務(wù)、相關(guān)業(yè)務(wù)按需獲得資源；能夠按照數(shù)據(jù)存儲量和分步實施的需要，擴(kuò)展未來的存儲、備份相關(guān)設(shè)備。

一、概述

北京數(shù)字檔案館（電子文件中心）的存儲體系建設(shè)，以先進(jìn)性、擴(kuò)展性、實用性、可靠性為原則，基于信息技術(shù)行業(yè)標(biāo)準(zhǔn)進(jìn)行了系統(tǒng)設(shè)計與實施，在北京市檔案館專網(wǎng)（內(nèi)部局域網(wǎng)）、北京市政務(wù)外網(wǎng)及因特網(wǎng)進(jìn)行部署，建設(shè)完成專網(wǎng)存儲系統(tǒng)、政務(wù)外網(wǎng)和互聯(lián)網(wǎng)存儲系統(tǒng)。存儲系統(tǒng)分別采用云存儲架構(gòu)，并通過分級存儲，滿足按需獲取和分級資源管理的要求。

二、需求分析

北京數(shù)字檔案館（電子文件中心）的存儲備份系統(tǒng)需要對各種來源的數(shù)據(jù)進(jìn)行充分整合集中，提高協(xié)同能力，由“面向單系統(tǒng)”的結(jié)構(gòu)轉(zhuǎn)變成“面向資源”的檔案館云系統(tǒng)。存儲體系部分主要需求包括：整合不同類型、不同階段的檔案數(shù)字資源形成統(tǒng)一的存儲管理；按照特定應(yīng)用需求規(guī)劃存儲資源分級管理；根據(jù)數(shù)據(jù)生命周期管理理念，兼顧數(shù)據(jù)特性和數(shù)據(jù)訪問規(guī)律，實現(xiàn)設(shè)備內(nèi)部磁盤間和跨設(shè)備間的數(shù)據(jù)分層存儲管理；結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化文件存儲的高效訪問以及原有存儲的利舊整合。根據(jù)北京市檔案館現(xiàn)有存儲所承載業(yè)務(wù)及檔案數(shù)據(jù)的現(xiàn)狀，要解決以下六個方面關(guān)鍵問題：

（一）對數(shù)據(jù)集中、媒資系統(tǒng)、檔案管理系統(tǒng)等多個存儲系統(tǒng)進(jìn)行資源整合共享、數(shù)據(jù)統(tǒng)一管理

（二）檔案數(shù)字資源多個平臺，文件系統(tǒng)不一，大量非結(jié)構(gòu)化檔案數(shù)據(jù)文件存儲受原有操作系統(tǒng)限制，單盤容量較小，檔案數(shù)據(jù)無法集中，數(shù)據(jù)訪問效率低、系統(tǒng)平臺整合存在結(jié)構(gòu)性缺陷

（三）隨著電子文件的累積以及檔案數(shù)字化程度越來越高，檔案數(shù)字資源數(shù)據(jù)量級對計算資源和存儲資源要求越來越高，計算系統(tǒng)的單一架構(gòu)處理檔案數(shù)據(jù)已無法滿足性能要求，同時存儲空間也不能滿足檔案數(shù)字資源的存儲

（四）現(xiàn)有數(shù)據(jù)訪問模式使用NAS方式，通過IP網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行共享訪問，性能和穩(wěn)定性都難以得到保證

（五）本地存儲空間越來越緊張，尤其是音視頻檔案管理系統(tǒng)數(shù)據(jù)量很大，在前期項目設(shè)計中，由磁帶庫保存全集數(shù)據(jù)，而且設(shè)計磁帶庫主要功能為數(shù)據(jù)集中及備份，實際工作中無法利用歸檔模式，直接調(diào)閱磁帶庫數(shù)據(jù)，嚴(yán)重影響了數(shù)字化音視頻檔案利用效率

（六）檔案數(shù)據(jù)的增長以及檔案業(yè)務(wù)逐漸走向熱點，存儲系統(tǒng)的存儲量以及數(shù)據(jù)讀取性能都不可能在一次建設(shè)中完備，應(yīng)考慮存儲架構(gòu)未來的發(fā)展方向，統(tǒng)籌設(shè)計系統(tǒng)擴(kuò)展性能

三、功能設(shè)計

根據(jù)需求分析以及存儲技術(shù)現(xiàn)狀，系統(tǒng)建設(shè)主要運用存儲虛擬化、多協(xié)議文件共享等技術(shù)滿足系統(tǒng)關(guān)鍵需求，這里主要就系統(tǒng)功能設(shè)計中的五個方面進(jìn)行說明。

（一）統(tǒng)一存儲池

配置具有存儲虛擬化功能的高端存儲陣列建立統(tǒng)一存儲池，兼容各品牌、各型號、各存儲介質(zhì)，實現(xiàn)存儲設(shè)備的開放式統(tǒng)一管理，將眾多獨立系統(tǒng)、分布在各種存儲介質(zhì)中和各個來源的檔案數(shù)據(jù)融合在其中，實現(xiàn)面向所有數(shù)據(jù)的統(tǒng)一優(yōu)化平臺，解決業(yè)務(wù)系統(tǒng)對存儲資源透明的統(tǒng)一存儲的要求，也為統(tǒng)一容災(zāi)備份打下堅實的基礎(chǔ)。

（二）分級分類存儲

指按照數(shù)據(jù)生命周期的發(fā)展規(guī)則，將數(shù)據(jù)分成三級，一級是業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫數(shù)據(jù)、服務(wù)器虛擬化存儲、業(yè)務(wù)處理中的數(shù)據(jù)，這些數(shù)據(jù)需要存放在高性能、快速磁盤陣列中，保證本部分?jǐn)?shù)據(jù)存儲的高性能、高可靠性和高可用性。二級存儲承接在線數(shù)據(jù)的近線備份和共享文件系統(tǒng)的遷移歸檔數(shù)據(jù)，部署轉(zhuǎn)速稍慢容量大的SAS NL磁盤。三級存儲承接長期遷移歸檔數(shù)據(jù)以及系統(tǒng)、數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù)的備份，部署更為廉價的磁帶介質(zhì)。

（三）存儲動態(tài)邏輯分區(qū)

動態(tài)邏輯分區(qū)主要包括存儲邏輯分區(qū)、動態(tài)供給和動態(tài)分區(qū)等三個主要功能點。存儲邏輯分區(qū)針對不同的安全域在磁盤陣列上劃分不同的業(yè)務(wù)分類存儲邏輯分區(qū)，實現(xiàn)對所有服務(wù)和業(yè)務(wù)的數(shù)據(jù)資源分配。動態(tài)供給使得用戶可以將上述邏輯分區(qū)中沒有被真正使用的存儲空間分配給其他應(yīng)用系統(tǒng)，動態(tài)伸縮邏輯分區(qū)的空間，而不改變分區(qū)的安全屬性。動態(tài)分區(qū)根據(jù)數(shù)據(jù)訪問頻率，自動化地遷移數(shù)據(jù)到最適合的磁盤類型；動態(tài)分層技術(shù)，高效地使用閃存或磁盤，以較低的成本提高性能，會將最經(jīng)常訪問到的數(shù)據(jù)，遷移到更高速度的磁盤，也會自動地將很少訪問的數(shù)據(jù)遷移到低速的磁盤如SAS NL盤上，這樣可以提升存儲的整體效率。

（四）多協(xié)議文件共享

多臺服務(wù)器組成高性能集群進(jìn)行數(shù)據(jù)處理，利用多協(xié)議文件共享，在原有IP網(wǎng)絡(luò)數(shù)據(jù)共享的基礎(chǔ)上，實現(xiàn)FC網(wǎng)絡(luò)的共享，不僅提供更高的性能滿足業(yè)務(wù)快速處理的需要，由FC網(wǎng)絡(luò)層實現(xiàn)非應(yīng)用層的數(shù)據(jù)遷移，可提升檔案數(shù)據(jù)業(yè)務(wù)流轉(zhuǎn)中的安全性。

（五）橫向擴(kuò)展

根據(jù)檔案業(yè)務(wù)前端應(yīng)用的需求擴(kuò)展，有較好的系統(tǒng)容量、性能擴(kuò)展能力，以支撐海量檔案數(shù)據(jù)的保存和處理，并提供主機(jī)到存儲系統(tǒng)的I/O通道負(fù)載平衡和故障自動切換功能。

四、存儲體系架構(gòu)

北京數(shù)字檔案館（電子文件中心）存儲系統(tǒng)建設(shè)包括專網(wǎng)存儲系統(tǒng)建設(shè)、政務(wù)外網(wǎng)和因特網(wǎng)存儲系統(tǒng)建設(shè)相關(guān)部分。

（一）專網(wǎng)云存儲系統(tǒng)

專網(wǎng)的統(tǒng)一存儲系統(tǒng)采用統(tǒng)一的SAN分級管理存儲池結(jié)構(gòu)，利用高性能存儲通過存儲虛擬化技術(shù)掛接原有的存儲陣列，把大容量低速存儲陣列作為二級存儲，所有物理存儲設(shè)備在一個虛擬化存儲池統(tǒng)一調(diào)度和管理，然后再結(jié)合超大容量的磁帶庫設(shè)備作為三級存儲，在保證擴(kuò)容和利舊的同時，實現(xiàn)整體存儲池的分級管理（見圖1）。

（二）政務(wù)外網(wǎng)和因特網(wǎng)存儲系統(tǒng)

政務(wù)外網(wǎng)在集中存儲基礎(chǔ)上，針對不同的數(shù)據(jù)類型添加相應(yīng)的優(yōu)化的數(shù)據(jù)處理節(jié)點，以實現(xiàn)數(shù)據(jù)統(tǒng)一后的面向各區(qū)檔案館、各檔案移交單位數(shù)據(jù)的統(tǒng)一平臺。為統(tǒng)一各區(qū)檔案館、委辦局檔案信息管理進(jìn)行數(shù)據(jù)組織并獲得硬件級的技術(shù)支持。

因特網(wǎng)使用共享的SAN存儲網(wǎng)絡(luò)和存儲設(shè)備，只需要在存儲端根據(jù)因特網(wǎng)的業(yè)務(wù)應(yīng)用劃分不同的分區(qū)給因特網(wǎng)生產(chǎn)服務(wù)器，整體仍然采用SAN存儲架構(gòu)。

政務(wù)外網(wǎng)和互聯(lián)網(wǎng)存儲系統(tǒng)從架構(gòu)層次上分為主機(jī)層、網(wǎng)絡(luò)層和存儲層，如圖2所示。

1.主機(jī)層。采用以太網(wǎng)連接方式，與內(nèi)容云網(wǎng)關(guān)集群建立連接，結(jié)合各區(qū)縣檔案館部署的前置存儲收集器，形成內(nèi)容云存儲網(wǎng)絡(luò)，為各服務(wù)器提供內(nèi)容云存儲通道。

2.網(wǎng)絡(luò)層。采用全冗余鏈路通過FC交換機(jī)連接光纖磁盤陣列，實現(xiàn)數(shù)據(jù)雙鏈路，保證鏈路安全性。同時通過云架構(gòu)設(shè)計的內(nèi)容網(wǎng)關(guān)集群模塊，實現(xiàn)對內(nèi)容云存儲的管理。

3.存儲層。由磁盤陣列提供存儲空間給內(nèi)容云平臺的網(wǎng)關(guān)模塊，其上存儲所有應(yīng)用系統(tǒng)的數(shù)據(jù)，并針對不同的安全域在磁盤陣列上劃分存儲分區(qū)，各安全域只能存取對應(yīng)分區(qū)上的數(shù)據(jù)。存儲設(shè)備上的存儲分區(qū)與LAN業(yè)務(wù)網(wǎng)絡(luò)中的安全域一一對應(yīng)，通過對其配置的高性能SAS磁盤和高容量SAS NL磁盤進(jìn)行劃分，形成單獨的存儲空間，作為各區(qū)檔案館、檔案移交單位集中到數(shù)據(jù)中心的云存儲容器，并實現(xiàn)高可用、高性能的存儲訪問。

五、結(jié)語

隨著社會以及政務(wù)信息化的發(fā)展和進(jìn)步，在大數(shù)據(jù)時代的今天，檔案數(shù)據(jù)，不管是結(jié)構(gòu)化還是非結(jié)構(gòu)化的數(shù)據(jù)都呈幾何級增長，檔案數(shù)字資源的數(shù)據(jù)存儲需求將不再只是簡單的安全存放、數(shù)據(jù)的共享訪問和實時共享交換、海量數(shù)據(jù)的快速訪問和檢索，同時還要能進(jìn)行數(shù)據(jù)分析和挖掘、數(shù)據(jù)的內(nèi)容管理等。檔案信息化工作者必須思考這些業(yè)務(wù)發(fā)展模式，在現(xiàn)有塊存儲、文件存儲模式的基礎(chǔ)上，就最適合檔案數(shù)據(jù)的對象存儲技術(shù)模式進(jìn)行探索，為檔案信息資源的安全保管，整合共享奠定技術(shù)與設(shè)施基礎(chǔ)。同時，北京數(shù)字檔案館作為區(qū)域性數(shù)字檔案館，符合國家信息化建設(shè)集約化的發(fā)展趨勢，其功能擴(kuò)展特別是全市檔案數(shù)字資源數(shù)據(jù)量的累積，決定其存儲體系必須滿足大數(shù)據(jù)處理，存儲體系應(yīng)融入數(shù)據(jù)中心構(gòu)建模式來統(tǒng)籌規(guī)劃設(shè)計。