基于云計算的寧波市民生檔案共享應(yīng)用平臺開發(fā)初探

陳 霄/寧波市檔案局

數(shù)字化時代，建設(shè)寧波市民生檔案共享平臺，能夠創(chuàng)新民生檔案工作的工作模式與工作理念，提高民生檔案資源的共建共享水平，提升檔案部門的公共服務(wù)能力，提高公眾滿意度。利用云計算技術(shù)建設(shè)民生檔案共享平臺，需依照軟件系統(tǒng)生命周期推進，即從系統(tǒng)設(shè)計到后期維護，要按照結(jié)構(gòu)化、流程化的方式定義各個階段。平臺建設(shè)可采用瀑布模型，從計劃、分析、設(shè)計、開發(fā)、測試、實施與維護等七個階段依次展開。

1 平臺的計劃

制定計劃時需明確平臺界線，應(yīng)明確平臺建設(shè)范圍為寧波大市區(qū)域，以實現(xiàn)市本級與市屬縣（市、區(qū)）檔案部門的聯(lián)動，以及市檔案系統(tǒng)與市民生檔案形成部門的相互配合，在此基礎(chǔ)上實現(xiàn)民生檔案共享，提高民生檔案服務(wù)水平。本環(huán)節(jié)需要制定平臺建設(shè)詳細的項目方案，以甘特圖為例，可設(shè)置7個主任務(wù)，每個主任務(wù)設(shè)置二級任務(wù)，二級任務(wù)下設(shè)任務(wù)明細，明確平臺建設(shè)各個階段涉及的工作、工作責(zé)任部門與責(zé)任人、需要配合的資源、工作預(yù)估時間，等等。

2 平臺的分析

平臺的分析包括用戶需求分析、平臺參與者需求分析和需求說明書編制。用戶需求是平臺的核心內(nèi)容，用戶需求分析包含3個任務(wù)明細：其一，從公眾視角出發(fā)編寫調(diào)研方案，需要注意針對不同人群采取不同調(diào)研方式，同時還要設(shè)計問卷表、設(shè)計實地走訪大綱、設(shè)計在線征集方案、設(shè)計專家需求意見提綱，并明確工作時限及工作目標。其二，需求收集，指派工作人員根據(jù)調(diào)研方案分批進行收集工作。其三，整理用戶需求，用戶對民生檔案共享利用的需求主要體現(xiàn)為一站式查詢、獲取相關(guān)的其他各類民生檔案、簡化檔案利用手續(xù)、支持多種方式獲取民生檔案信息等。

平臺參與者包含市檔案館、縣（市、區(qū)）檔案館、民生檔案形成單位和政務(wù)云管理單位，平臺參與者需求分析包含6個任務(wù)明細：第一，編寫調(diào)研方案；第二，收集市檔案館需求；第三，收集縣（市、區(qū)）檔案館需求；第四，收集民生檔案形成單位需求；第五，收集政務(wù)云管理單位需求；第六，進行需求整理。此階段的重點是明確市檔案館與縣（市、區(qū)）檔案館間的互聯(lián)工作，以及各民生系統(tǒng)與共享平臺間接口、平臺與政務(wù)云的銜接工作等。

在編寫需求說明書階段，要根據(jù)需求重要程度和項目開發(fā)順序，將獲得的需求進行歸集和排序，并依據(jù)軟件開發(fā)規(guī)范進行編寫，確保說明書的內(nèi)容盡可能詳盡。

3 平臺的設(shè)計

設(shè)計的核心內(nèi)容是將用戶以自然語言為主提出的需求說明書與平臺建設(shè)時系統(tǒng)能理解的技術(shù)性語言進行聯(lián)系。在這一環(huán)節(jié)，需將云計算開發(fā)技術(shù)與需求說明書相結(jié)合。設(shè)計環(huán)節(jié)主要工作包括概要設(shè)計、概要評審和詳細設(shè)計，其中，概要設(shè)計包含選定可行方案、編寫可行性設(shè)計方案書；概要評審即組織專家召開專家評審會，對編寫的概要設(shè)計書進行評審；詳細設(shè)計包含平臺整體設(shè)計，分為平臺框架設(shè)計及平臺模塊設(shè)計。

4 平臺的開發(fā)

首先，為提高軟件開發(fā)規(guī)范性，需要對合作的開發(fā)商進行資質(zhì)限定，應(yīng)要求開發(fā)商具備較強的軟件過程控制能力，以降低軟件開發(fā)風(fēng)險。其次，可采用Hadoop云計算框架。Hadoop是一套開源框架，其模型簡單、易于理解、易于使用，它主要分分布式存儲和分布式計算這兩個層次，含DHFS分布式文件系統(tǒng)、MapReduce分布式云計算技術(shù)、Common公共組件、Yarn分布式操作系統(tǒng)四大模塊等。

其中，DHFS分布式文件系統(tǒng)采用主服務(wù)器（Master）附屬服務(wù)器（Slave）進行構(gòu)建，能夠提供具有較高擴展性、可靠性、容錯性的分布式存儲服務(wù)，它適應(yīng)當(dāng)前民生檔案分散保存于各個民生檔案形成單位及各級檔案館的現(xiàn)狀，有利于實現(xiàn)民生檔案信息的統(tǒng)一管理。在本次平臺開發(fā)過程中，可以在寧波市檔案局搭建一臺主服務(wù)器，并在屬于建設(shè)范圍內(nèi)的民生檔案形成單位和縣（市、區(qū)）檔案館設(shè)立若干附屬服務(wù)器。服務(wù)器可采用虛擬服務(wù)器的模式，便于附屬服務(wù)器的增減，使平臺具有更強的靈活性。市檔案局主服務(wù)器可作為管理文件系統(tǒng)的命名節(jié)點（Name Node）和管理命名空間（Namespace），并協(xié)調(diào)客戶端的訪問；附屬服務(wù)器可作為數(shù)據(jù)節(jié)點（Data Node），保存由主服務(wù)器分配的數(shù)據(jù)。在平臺開發(fā)過程中除利用DHFS基礎(chǔ)的分布式存儲功能外，還可使用其安全保障技術(shù)，通過用戶和文件級認證、機器和服務(wù)級認證的方式，為民生檔案數(shù)據(jù)提供強有力的安全保障。

Yarn分布式操作系統(tǒng)主要提供管理服務(wù)器集群的計算資源，如中央處理器（CPU）資源和內(nèi)存（Memory）資源，以及提供客戶端訪問系統(tǒng)的接口（API）。其結(jié)構(gòu)與HDFS的主服務(wù)器（Master）附屬服務(wù)器（Slave）體系類似，并能夠?qū)①Y源管理與任務(wù)調(diào)度拆分。

MapReduce是發(fā)揮并行處理能力的核心算法，需要使用Yarn進行資源調(diào)度。開展民生檔案共享工作需要從海量民生檔案數(shù)據(jù)中迅速找到所需的檔案，然而這并非易事。MapReduce給出了一種解決途徑，它分為映射（Map）過程和歸約（Reduce）過程，其中，Map對一部分原始民生檔案數(shù)據(jù)進行指定操作，不同Map間沒有交集，這使得它們可以在Yarn系統(tǒng)中并行操作；Reduce對每個Map部分中間結(jié)果進行合并操作，且每個Reduce處理的內(nèi)容互不重疊，這使得Reduce也可并行操作，最后只需將所有Reduce產(chǎn)生的結(jié)果進行連接即可。這樣可充分利用云計算的計算能力，在較短時間內(nèi)完成分布式民生檔案數(shù)據(jù)查詢工作。服務(wù)的響應(yīng)時間是民生檔案共享的關(guān)鍵所在，當(dāng)公眾發(fā)起民生檔案利用請求時，MapReduce算法能大幅提高服務(wù)效率，滿足公眾的并發(fā)搜索請求。

再次，民生檔案共享平臺應(yīng)用模塊開發(fā)主要包括民生檔案數(shù)據(jù)管理、同步共享管理、共享服務(wù)管理三大模塊的開發(fā)。其中，民生檔案數(shù)據(jù)管理關(guān)注非結(jié)構(gòu)化的、以圖像數(shù)據(jù)為主的民生檔案的管理、查詢、計算、存儲。運用非結(jié)構(gòu)化及關(guān)系型數(shù)據(jù)庫的協(xié)同，搭建完整的數(shù)據(jù)平臺，以民生檔案數(shù)據(jù)驅(qū)動共享服務(wù)。管理應(yīng)用需包含民生檔案數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)管理等基本功能。應(yīng)用民生檔案同步共享，適合采用云爆發(fā)架構(gòu)的彈性擴展，建立動態(tài)的擴展形式，民生檔案上傳虛擬服務(wù)器時，若上傳的資源到達預(yù)設(shè)的閾值，民生檔案共享云會自動調(diào)配內(nèi)部IT資源擴展（爆發(fā)）到檔案云中，當(dāng)不再需要時，將該IT資源歸還到原先內(nèi)部環(huán)境中。此外，可利用云計算和分布式計算特性，在民生檔案同步共享過程中對計算資源、存儲資源進行協(xié)同分配，降低工作峰值時云環(huán)境的壓力，提高服務(wù)效率和服務(wù)質(zhì)量，提升公眾滿意度。

5 平臺的測試

測試的目的是確保民生檔案共享平臺正常運行，滿足業(yè)務(wù)需求。未經(jīng)嚴格測試的軟件產(chǎn)品，往往會在用戶使用中出現(xiàn)各種問題，甚至?xí)l(fā)生系統(tǒng)崩潰的問題，嚴重影響用戶體驗和用戶數(shù)據(jù)安全。在測試工作中，需要定義一系列細化內(nèi)容，這些內(nèi)容應(yīng)涵蓋平臺從底層到頁面所展現(xiàn)的方方面面。測試按照用戶實際應(yīng)用中的流程環(huán)節(jié)進行，即模擬現(xiàn)實場景，對流程中所有功能點進行測試用例的編寫，并將這些測試用例匯集成測試手冊，再根據(jù)測試手冊安排相應(yīng)測試工程師對整個平臺按步驟進行詳細測試。平臺測試按照方式的不同，可分為單元測試、系統(tǒng)測試、集成測試。

6 平臺的實施

平臺的實施即發(fā)布民生檔案共享平臺，讓所有參與者使用。平臺的實施可采用試運行加正式運行的方式，分為用戶使用說明書編寫、平臺宣傳、業(yè)務(wù)培訓(xùn)、平臺試運行和正式運行等步驟。在用戶使用說明書編寫階段，開發(fā)商會同檔案管理部門，以參與者的視角編寫說明書。以查閱民生檔案的公眾視角為例，說明書應(yīng)以開發(fā)設(shè)計階段形成的用戶需求為導(dǎo)向，使用簡潔易懂的文字，并輔以圖表，描述系統(tǒng)使用過程，編寫用戶說明書。在平臺宣傳階段，通過門戶網(wǎng)站、電視、期刊、微信、微博等方式對民生檔案共享平臺進行宣傳，讓更多公眾了解這項服務(wù)，并主動參與進來。業(yè)務(wù)培訓(xùn)分為系統(tǒng)用戶業(yè)務(wù)培訓(xùn)和普通公眾業(yè)務(wù)使用宣傳，前者以培訓(xùn)班的模式安排固定的培訓(xùn)時間和地點，進行系統(tǒng)教學(xué)；后者以視頻短片和網(wǎng)上互動的方式向公眾宣傳平臺，并展示平臺的使用方法。平臺在試運行時，可在一定范圍內(nèi)試用系統(tǒng)的部分典型功能，在此過程中發(fā)現(xiàn)問題并加以改進，達到完善各項系統(tǒng)功能、使系統(tǒng)功能更加簡潔和更加人性化的目的。平臺正式運行標志著民生檔案共享平臺正式上線，能夠為相關(guān)部門和公眾提供服務(wù)。

7 平臺的維護

維護是保持系統(tǒng)生命力的重要手段，要通過系統(tǒng)維護保證平臺的安全運行，同時還要隨著業(yè)務(wù)的變化及時調(diào)整維護的方式與手段。

參考文獻：

[1]萬波，李世祥.基于云計算的數(shù)字檔案館建設(shè)探討 [J].蘭臺世界，2012，(23)：23-24.

[2]張鳳武.基于云計算的檔案管理服務(wù)創(chuàng)新[J].檔案與建設(shè)，2013，(08)：28-29.

[3]程結(jié)晶.云技術(shù)中數(shù)字檔案資源共享與管理體系的構(gòu)建 [J].檔案學(xué)研究，2013，(01)：38-41.

[4]ICA Study n ° 8： Guide for Managing electronic records from an archival perspective.[EB/OL].[2011.09].http：//www.ica.org/10824/studiesand-case-studies/.

[5]懷特.hadoop權(quán)威指南[M].華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院，譯.北京：清華大學(xué)出版社，2015.