磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存技術(shù)研究《基于磁、光、電多種載體的海量檔案數(shù)字資源長(zhǎng)久保存技術(shù)的研究和實(shí)踐》項(xiàng)目課題組

近年來(lái)，國(guó)家發(fā)布了一系列電子文件、電子檔案管理的政策規(guī)范，加之國(guó)家檔案局持續(xù)加大檔案信息化工作推進(jìn)力度，致使各類電子檔案、檔案數(shù)字復(fù)制件等檔案數(shù)字資源數(shù)量激增。這就使如何實(shí)現(xiàn)海量檔案數(shù)字資源的安全保存和長(zhǎng)期可用成為了各級(jí)檔案部門亟需解決的問(wèn)題[1]。

一、海量檔案數(shù)字資源長(zhǎng)久保存常見問(wèn)題

（一）數(shù)據(jù)保存呈碎片化的狀態(tài)

我國(guó)檔案部門主要推廣“一用兩備”的數(shù)據(jù)存儲(chǔ)和備份模式，由于缺少統(tǒng)一的大容量存儲(chǔ)和備份設(shè)備，導(dǎo)致檔案部門的數(shù)字檔案資源往往分散保存在多臺(tái)不同類型的存儲(chǔ)和備份設(shè)備中，數(shù)據(jù)保存情況較為復(fù)雜，往往需要花大量時(shí)間和精力去管理。

（二）數(shù)據(jù)檢測(cè)管理困難

由于海量數(shù)字檔案資源分別保存在各類人工管理的離線存儲(chǔ)載體之上，導(dǎo)致數(shù)據(jù)檢測(cè)模式多樣、程序復(fù)雜，難以及時(shí)判斷離線載體上保存的數(shù)字檔案資源是否有效。

（三）數(shù)據(jù)保存風(fēng)險(xiǎn)不易管控

常見的數(shù)字檔案資源的存儲(chǔ)設(shè)備缺少可視化的設(shè)備運(yùn)行與數(shù)據(jù)存儲(chǔ)情況監(jiān)控裝置，也不具備實(shí)時(shí)報(bào)警功能，導(dǎo)致數(shù)字檔案資源在存儲(chǔ)過(guò)程中存在的風(fēng)險(xiǎn)不易在第一時(shí)間發(fā)現(xiàn)。

二、課題研究綜述

為解決上述問(wèn)題，課題組通過(guò)互聯(lián)網(wǎng)及相關(guān)論文期刊雜志廣泛收集有關(guān)海量檔案數(shù)字資源長(zhǎng)久保存技術(shù)的資料，研究了磁存儲(chǔ)、光存儲(chǔ)和電存儲(chǔ)等存儲(chǔ)技術(shù)的優(yōu)缺點(diǎn)和適用范圍，從載體的耐久性、可靠性、通用性、容量、速度和成本等指標(biāo)進(jìn)行分析，設(shè)計(jì)了綜合采用多種存儲(chǔ)設(shè)備和存儲(chǔ)載體的存儲(chǔ)技術(shù)方案，以達(dá)到海量檔案數(shù)字資源長(zhǎng)久安全保存過(guò)程中安全性、經(jīng)濟(jì)性和訪問(wèn)速度的均衡。課題組對(duì)海量數(shù)字檔案長(zhǎng)久保存的需求進(jìn)行了全面的分析，設(shè)計(jì)了磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)的技術(shù)方案，明確了系統(tǒng)的總體架構(gòu)、關(guān)鍵技術(shù)及主要功能。基于上述技術(shù)方案，開發(fā)了綜合運(yùn)用多項(xiàng)關(guān)鍵技術(shù)和多種存儲(chǔ)載體的磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)，實(shí)現(xiàn)了面向海量檔案數(shù)字資源長(zhǎng)久安全保存的數(shù)據(jù)管理、設(shè)備管理、載體管理、任務(wù)管理和監(jiān)控預(yù)警等功能。課題組基于該系統(tǒng)開展了一系列的檔案數(shù)字資源保存實(shí)驗(yàn)，通過(guò)實(shí)踐應(yīng)用研究和驗(yàn)證適合該系統(tǒng)的檔案數(shù)字資源長(zhǎng)久保存的數(shù)據(jù)存儲(chǔ)備份機(jī)制、數(shù)據(jù)檢測(cè)機(jī)制、載體檢測(cè)機(jī)制、預(yù)警跟蹤處理機(jī)制和數(shù)據(jù)應(yīng)急恢復(fù)機(jī)制等多種管理機(jī)制，通過(guò)技術(shù)平臺(tái)和管理機(jī)制的結(jié)合，有效保障了海量檔案數(shù)字資源安全長(zhǎng)久保存過(guò)程中的真實(shí)性、完整性、可用性和安全性。

三、技術(shù)路線

（一）存儲(chǔ)載體和存儲(chǔ)設(shè)備的分析和選擇

1.存儲(chǔ)載體分析選擇

目前常見的主要存儲(chǔ)載體可劃分為磁（磁盤、磁帶）、光（光盤）、電（SSD固態(tài)硬盤）等類型，衡量存儲(chǔ)載體的基本指標(biāo)包括載體的耐久性、可靠性、通用性、容量、速度和成本等。一般而言，各項(xiàng)指標(biāo)不可能同時(shí)達(dá)到最優(yōu)化，只能根據(jù)應(yīng)用場(chǎng)景找到最合適的平衡點(diǎn)。課題組在分析選擇檔案數(shù)字資源長(zhǎng)期存儲(chǔ)載體時(shí)的主要關(guān)注點(diǎn)包括：

（1）存儲(chǔ)載體的物理穩(wěn)定性

檔案數(shù)據(jù)重要性高，保存周期長(zhǎng)，不宜使用對(duì)外界環(huán)境敏感，容易因存儲(chǔ)環(huán)境、外力等因素影響而丟失數(shù)據(jù)的存儲(chǔ)載體，也不宜使用物理壽命短暫的存儲(chǔ)載體。

（2）存儲(chǔ)載體的技術(shù)壽命[2]

檔案數(shù)據(jù)保存周期長(zhǎng)，需要采用技術(shù)穩(wěn)定的存儲(chǔ)載體，避免因載體的技術(shù)或市場(chǎng)不穩(wěn)定而增加丟失數(shù)據(jù)的風(fēng)險(xiǎn)。

（3）離線存儲(chǔ)能力[3]

為滿足離線備份的要求，檔案數(shù)據(jù)存儲(chǔ)載體應(yīng)可與存取設(shè)備分離，離線保存在檔案館庫(kù)內(nèi)或其他安全環(huán)境中。

（4）數(shù)據(jù)的防篡改能力[4]

原始記錄性是檔案的基本屬性，檔案必須保持其內(nèi)容的真實(shí)和完整。為防止非法篡改檔案數(shù)據(jù)，保證檔案數(shù)據(jù)的真實(shí)和完整，一次寫入防止更改數(shù)據(jù)的存儲(chǔ)載體有更大的優(yōu)勢(shì)。

（5）存儲(chǔ)載體使用成本[5]

檔案館的檔案數(shù)字資源保存工作受預(yù)算的限制，選取存儲(chǔ)載體時(shí)需要根據(jù)預(yù)算在價(jià)格和性能之間進(jìn)行權(quán)衡。需要注意的是，存儲(chǔ)載體的使用成本不僅僅是一次性采購(gòu)的成本，也包括長(zhǎng)期使用過(guò)程中載體維護(hù)和升級(jí)換代的成本。

2.存儲(chǔ)設(shè)備分析選擇

課題組結(jié)合海量檔案數(shù)字資源長(zhǎng)久保存場(chǎng)景以及存儲(chǔ)載體和存儲(chǔ)設(shè)備的關(guān)鍵特征屬性，分析得出了各場(chǎng)景下所適用的存儲(chǔ)設(shè)備類型及其載體的選擇。

在檔案數(shù)字資源的導(dǎo)入、檢測(cè)、檢索等數(shù)據(jù)頻繁讀寫的場(chǎng)景，對(duì)設(shè)備和載體的響應(yīng)速度和讀寫速度有較高的要求，因此適合以具有較高讀寫速度的高速磁盤或固態(tài)硬盤作為存儲(chǔ)載體，以高速磁盤陣列或閃存陣列作為主要存儲(chǔ)設(shè)備。

在檔案數(shù)字資源入庫(kù)長(zhǎng)久保存場(chǎng)景下，數(shù)據(jù)的訪問(wèn)頻率大大降低，但總體存儲(chǔ)的數(shù)據(jù)量則會(huì)增加許多，此時(shí)從經(jīng)濟(jì)性的角度考慮，以低速大容量磁盤、磁帶、光盤為存儲(chǔ)載體的低速大容量磁盤陣列、磁帶庫(kù)、光盤庫(kù)等設(shè)備成為了較好的選擇。為避免單一存儲(chǔ)載體帶來(lái)的技術(shù)風(fēng)險(xiǎn)，應(yīng)盡量使用兩種以上的存儲(chǔ)載體來(lái)進(jìn)行檔案數(shù)字資源的長(zhǎng)久保存。

在檔案數(shù)字資源離線備份、異地備份等場(chǎng)景下，以光盤載體和光盤庫(kù)為首選設(shè)備，其具有較大的存儲(chǔ)容量，穩(wěn)定性好，維護(hù)和管理量較小，適合長(zhǎng)久保存的數(shù)據(jù)，具有較高的性價(jià)比。

綜上分析，課題組選擇了以固態(tài)硬盤作為高速緩存處理區(qū)，以磁盤陣列和大容量光盤庫(kù)作為數(shù)據(jù)長(zhǎng)久保存區(qū)的磁光電一體化的海量檔案數(shù)字資源存儲(chǔ)方案，以實(shí)現(xiàn)安全性、存儲(chǔ)容量、訪問(wèn)性能和成本的較好均衡。

（二）海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)建設(shè)

課題組設(shè)計(jì)了海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)技術(shù)方案，經(jīng)過(guò)需求分析、系統(tǒng)設(shè)計(jì)、編碼開發(fā)、系統(tǒng)測(cè)試、系統(tǒng)部署等階段，開發(fā)建設(shè)了磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)。

1.系統(tǒng)架構(gòu)

磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)采用軟硬件一體化架構(gòu)。硬件部分包括服務(wù)器設(shè)備、存儲(chǔ)設(shè)備（磁盤陣列、光盤庫(kù)、SSD固態(tài)硬盤）、網(wǎng)絡(luò)設(shè)備（光纖交換機(jī)、智能網(wǎng)卡）、監(jiān)控設(shè)備（ARM）等，軟件部分包括基礎(chǔ)軟件（操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件）、功能支撐平臺(tái)（光盤管理平臺(tái)、監(jiān)控管理平臺(tái)）以及核心管理軟件系統(tǒng)（海量檔案數(shù)字資源安全保存平臺(tái)）等。

系統(tǒng)集大容量磁盤陣列、高密度光盤庫(kù)、高性能固態(tài)硬盤于一身，充分發(fā)揮磁光電存儲(chǔ)載體的各自優(yōu)勢(shì)。固態(tài)硬盤作為大批量數(shù)據(jù)高速I/O處理緩存，大容量磁盤陣列提供高可靠和高可用的在線存儲(chǔ)服務(wù)，光盤庫(kù)以歸檔級(jí)藍(lán)光光盤為存儲(chǔ)載體提供近線和離線存儲(chǔ)服務(wù)。

2.系統(tǒng)功能

磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)可實(shí)現(xiàn)檔案數(shù)字資源長(zhǎng)久保存過(guò)程中的自動(dòng)存儲(chǔ)備份、數(shù)據(jù)和載體檢測(cè)、數(shù)據(jù)智能恢復(fù)、預(yù)警故障追蹤及處理等功能。系統(tǒng)核心管理平臺(tái)的功能包括管理門戶（控制臺(tái)）、數(shù)據(jù)管理、資源管理、任務(wù)管理、預(yù)警管理和系統(tǒng)管理等部分。

控制臺(tái)是整個(gè)海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)的管理入口，直觀展現(xiàn)系統(tǒng)內(nèi)保存的檔案數(shù)據(jù)量和系統(tǒng)剩余容量、數(shù)據(jù)和載體檢測(cè)情況、系統(tǒng)各設(shè)備運(yùn)行狀態(tài)、各項(xiàng)任務(wù)執(zhí)行進(jìn)度信息等，還可以快速查看和處理各項(xiàng)預(yù)警信息；數(shù)據(jù)管理功能完成長(zhǎng)久保存檔案數(shù)字資源的接收入庫(kù)、數(shù)據(jù)備份、智能恢復(fù)、檢索出庫(kù)等功能；資源管理功能完成系統(tǒng)設(shè)備管理、離線存儲(chǔ)載體管理、載體組盤管理等功能；任務(wù)管理功能下可以查詢當(dāng)前任務(wù)執(zhí)行狀態(tài)和歷史任務(wù)執(zhí)行情況；預(yù)警管理功能可以進(jìn)行各項(xiàng)預(yù)警信息的查看、處理和跟蹤；系統(tǒng)管理功能完成數(shù)據(jù)保存?zhèn)浞菰O(shè)置、預(yù)警策略設(shè)置、用戶權(quán)限管理、日志管理等各項(xiàng)基礎(chǔ)設(shè)置和管理功能。

（三）海量檔案數(shù)字資源保存管理實(shí)驗(yàn)

磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存系統(tǒng)開發(fā)完成后，課題組以該系統(tǒng)為平臺(tái)，設(shè)置了檔案數(shù)字資源保存?zhèn)浞輽C(jī)制、數(shù)據(jù)檢測(cè)機(jī)制和載體檢測(cè)機(jī)制，開展了海量檔案數(shù)字資源長(zhǎng)久保存管理實(shí)驗(yàn)。

1.保存?zhèn)浞輽C(jī)制設(shè)置

經(jīng)過(guò)權(quán)衡檔案數(shù)字資源的安全性、訪問(wèn)性能和保存成本，課題組對(duì)系統(tǒng)中的檔案數(shù)字資源長(zhǎng)久保存采用了“321保存策略”，即對(duì)同一份檔案數(shù)字資源保存“3”套數(shù)據(jù)，分別保存在磁盤和光盤“2”種不同的存儲(chǔ)載體之上，其中磁盤上保存1套，光盤上保存兩套，1套光盤數(shù)據(jù)保存在光盤庫(kù)中，“1”套光盤數(shù)據(jù)離線保存。這種策略下，每一套檔案數(shù)據(jù)都可以獨(dú)立的檢測(cè)和使用，其中任意一套數(shù)據(jù)出現(xiàn)問(wèn)題后，均可以使用另外兩套數(shù)據(jù)來(lái)進(jìn)行恢復(fù)，避免了數(shù)據(jù)恢復(fù)過(guò)程的單套數(shù)據(jù)風(fēng)險(xiǎn)，避免了單一存儲(chǔ)載體的技術(shù)風(fēng)險(xiǎn)，滿足檔案離線備份的要求，有效保障了檔案數(shù)字資源的安全性，總體存儲(chǔ)成本也得到了較好的控制。

2.數(shù)據(jù)檢測(cè)機(jī)制設(shè)置

系統(tǒng)使用數(shù)字摘要技術(shù)來(lái)保障檔案數(shù)字資源的真實(shí)性。在檔案數(shù)字資源進(jìn)入系統(tǒng)時(shí)采用數(shù)字摘要算法進(jìn)行運(yùn)算，生成128位數(shù)字摘要。在檔案數(shù)字資源定期檢測(cè)、出庫(kù)或數(shù)據(jù)恢復(fù)時(shí)，再次生成數(shù)字摘要，通過(guò)比對(duì)入庫(kù)時(shí)生成的數(shù)字摘要是否一致，來(lái)判斷檔案數(shù)字資源的真實(shí)性，確保數(shù)據(jù)不被非法篡改。數(shù)據(jù)的定期檢測(cè)設(shè)置為系統(tǒng)自動(dòng)每月進(jìn)行一次磁盤上保存的檔案數(shù)據(jù)的完全掃描檢測(cè)。檢測(cè)時(shí)如果發(fā)現(xiàn)檔案數(shù)據(jù)出現(xiàn)破壞或丟失等情況，則發(fā)出預(yù)警信息，同時(shí)可根據(jù)系統(tǒng)設(shè)置自動(dòng)啟動(dòng)智能數(shù)據(jù)恢復(fù)。

3.載體檢測(cè)機(jī)制設(shè)置

為對(duì)各類備份介質(zhì)進(jìn)行檢測(cè)，系統(tǒng)集成了專用的藍(lán)光檢測(cè)光驅(qū)來(lái)檢測(cè)存儲(chǔ)光盤的有效性。系統(tǒng)設(shè)置為每月對(duì)光盤載體檢測(cè)一次。光盤采用隨機(jī)抽取少量光盤全檢（檢查光盤上所有的刻錄點(diǎn)）和全部光盤點(diǎn)檢（隨機(jī)抽取檢查光盤上的300個(gè)刻錄點(diǎn)）結(jié)合的方式。本次研究中為充分測(cè)試系統(tǒng)和設(shè)備的承壓能力，設(shè)置了較高的檢測(cè)強(qiáng)度和頻率，在實(shí)際的工作中，可以根據(jù)情況采用較低的檢測(cè)強(qiáng)度，例如每年或每?jī)赡隀z測(cè)的形式。

4.數(shù)據(jù)保存實(shí)驗(yàn)活動(dòng)

在“321保存策略”下，課題組選取了多種類型的檔案數(shù)字資源進(jìn)行保存實(shí)驗(yàn)，包括文書、照片、錄音、錄像等門類，覆蓋了PDF/JPG/MP4/FLV/MP3等各種類型的文件格式。其中PDF/JPG文件格式，單個(gè)文件容量較小，MP4/FLV/MP3等錄音、錄像檔案的文件格式，單個(gè)文件的容量較大，可用于檢驗(yàn)系統(tǒng)對(duì)于多種類型的不同容量大小的文件格式的支持能力。通過(guò)實(shí)驗(yàn)驗(yàn)證，該技術(shù)方案可有效完成海量檔案數(shù)字資源的接收、入庫(kù)、備份、檢測(cè)等操作任務(wù)，數(shù)據(jù)檢索和數(shù)據(jù)出庫(kù)效率符合預(yù)期，取得了穩(wěn)定的實(shí)驗(yàn)效果。

四、研究總結(jié)

課題組通過(guò)分析和設(shè)計(jì)面向海量檔案數(shù)字資源保存的磁光電一體存儲(chǔ)技術(shù)方案，開發(fā)了具有數(shù)據(jù)管理、資源管理、任務(wù)管理和預(yù)警管理等各項(xiàng)功能的磁光電一體化海量檔案數(shù)字資源長(zhǎng)久保存應(yīng)用系統(tǒng)，并基于該系統(tǒng)成功開展了海量檔案數(shù)字資源的保存實(shí)驗(yàn)。課題組認(rèn)為，上述技術(shù)方案和應(yīng)用系統(tǒng)可在檔案數(shù)字資源長(zhǎng)久保存工作中得到有效應(yīng)用，今后可以進(jìn)一步從檔案數(shù)字資源的異地備份和異質(zhì)備份、新型存儲(chǔ)載體運(yùn)用于檔案數(shù)字資源保存等方面對(duì)上述技術(shù)方案和應(yīng)用系統(tǒng)進(jìn)行提升和擴(kuò)展，以提高海量檔案數(shù)字資源長(zhǎng)久安全保存管理的技術(shù)水平。