大數(shù)據(jù)技術下項目檔案管理系統(tǒng)設計研討

侯紅祥 金鳳

摘要：介紹了基于大數(shù)據(jù)構建的項目檔案管理系統(tǒng)。首先從項目檔案本身的屬性出發(fā)闡述系統(tǒng)建設的必要性，然后介紹大數(shù)據(jù)的特征，接著從流程分類、系統(tǒng)功能架構、系統(tǒng)業(yè)務流、分級利用和歸檔流程方面描述了如何結合大數(shù)據(jù)流程來構建項目檔案管理系統(tǒng)，最后總結了系統(tǒng)的重難點和特點，并展望了引入云計算和人工智能的設想。構建的項目檔案管理系統(tǒng)具有全面、先進、規(guī)范、靈活和安全的特點，大數(shù)據(jù)分析能從檔案數(shù)據(jù)中挖掘數(shù)據(jù)價值。

關鍵詞： 大數(shù)據(jù);檔案管理;方案設計

中圖分類號： TP302.1? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）20-0053-02

開放科學（資源服務）標識碼（OSID）：

Abstract：? The project file management system based on big data is introduced. Firstly， this paper expounds the necessity of system construction from the attribute of project archives itself. Then it introduces the characteristics of big data. And how to build project archives management system with big data process is described from the aspects of process classification， system functional architecture， system business flow， hierarchical utilization and archiving process. Finally， it summarizes the difficulties and characteristics of the system， looks forward to the introduction of cloud computing and artificial intelligence. The project archives management system is comprehensive， advanced， standardized， flexible and safe. Big data analysis can mine data value from archives data.

Key words： big data; archives management; scheme design

隨著社會的進步和科技的發(fā)展，計算機已經(jīng)在各行業(yè)普及使用，企業(yè)管理活動中60%以上都是項目，而在項目管理中各種類型的電子文件大量產(chǎn)生，傳統(tǒng)紙質文件的檔案管理模式已明顯不適應現(xiàn)代項目管理的要求[1]。項目管理過程中產(chǎn)生的項目檔案其本身具有大數(shù)據(jù)特征，如果結合大數(shù)據(jù)技術構建基于大數(shù)據(jù)的項目檔案管理系統(tǒng)，不但能提高項目檔案管理效率、降低失誤率，而且能通過大數(shù)據(jù)分析從檔案數(shù)據(jù)中挖掘數(shù)據(jù)價值[2]。

在項目可行性分析、招投標、施工實施、項目驗收和運行維護等階段產(chǎn)生大量的檔案，從管理上一般分為售前、售中、售后三個大階段，三個大階段又由多個小環(huán)節(jié)組成。一個項目從可行性分析到項目驗收多的要歷時一兩年，少的也要幾個月以上。項目檔案都散落在各個環(huán)節(jié)項目經(jīng)理手上，某個重要文檔徹底丟失是常有的事情。項目中變更不可避免且非常頻繁，變更引起的記錄會對原先文檔中的項目信息進行更新，缺少變更記錄會導致項目信息失真。項目檔案泄密，特別是售前階段的文檔被競爭對手竊取，往往會導致項目失敗，造成企業(yè)成本浪費，嚴重時會造成名譽或重大利益的損失。由于歷時長、環(huán)節(jié)繁、人員多、變更頻造成項目檔案經(jīng)常丟失，企業(yè)在年終審計時造成人為誤解，項目檔案泄密可能對企業(yè)造成的損失難以承受，故建設項目檔案管理系統(tǒng)十分必要。

1 大數(shù)據(jù)的特征

麥肯錫在報告中給出的大數(shù)據(jù)定義是：大數(shù)據(jù)是超出常規(guī)的數(shù)據(jù)庫工具采集、存儲、管理和應用能力的大型數(shù)據(jù)集[3]。有關專家給大數(shù)據(jù)用四個特征來定義，即大規(guī)模（Volume）、高速性（Velocity）、多樣化（Variety）、高價值（Value），所以大數(shù)據(jù)的“大”包含了容量上的“大”、流動速度上的“快”、樣式上的“雜”和價值上的“值”四個含義，如圖1。

大規(guī)模（Volume）：一般企業(yè)級處理的大數(shù)據(jù)容量都達到TB級，甚至達到PB級，一個形象的對比是美國國會圖書館收錄藏書1.6 億冊，對應的電子數(shù)據(jù)容量是251TB。

高速性（Velocity）：即指數(shù)據(jù)更新的頻次高，又指數(shù)據(jù)采集的速度快[4]。孤立的數(shù)據(jù)是沒有價值的，更新頻率越高的數(shù)據(jù)蘊含更豐富的信息，數(shù)據(jù)相互融合，才能通過大量的數(shù)據(jù)發(fā)現(xiàn)其中的規(guī)律。從海量的數(shù)據(jù)中提取數(shù)據(jù)的速率又是一個重要的課題，客戶體驗在秒級，如果應用的響應速度達不到秒級，其商業(yè)價值就會大打折扣。

多樣化（Variety）：數(shù)據(jù)種類和格式多，來源廣。數(shù)據(jù)種類可分兩類：結構化與非結構化，數(shù)據(jù)格式包括：數(shù)據(jù)庫數(shù)據(jù)、日志數(shù)據(jù)、文本數(shù)據(jù)、圖數(shù)據(jù)、流數(shù)據(jù)、多媒體數(shù)據(jù)等，而這些數(shù)據(jù)可以通過各種方式產(chǎn)生。

高價值（Value）：通過數(shù)據(jù)的關聯(lián)關系，分析過去已發(fā)生的數(shù)據(jù)，從中掌握事物的規(guī)律，從而根據(jù)規(guī)律來預測未來發(fā)生的事情。數(shù)據(jù)是無價之寶，但并不是所有的數(shù)據(jù)都有價值，海量活性的融合數(shù)據(jù)具有更高的商業(yè)價值。

2 系統(tǒng)設計

2.1 系統(tǒng)功能架構

本文依據(jù)大數(shù)據(jù)流程設計[5]的項目檔案管理系統(tǒng)的功能架構主要有八個模塊，分別是檔案利用、系統(tǒng)管理、信息中心、歸檔管理、業(yè)務管理、檔案管理、文件管理和人事管理。

檔案利用包括借閱、統(tǒng)計和專題三個功能，主要實現(xiàn)項目檔案的借閱審批、統(tǒng)計分析和專題編研等。

系統(tǒng)管理包括組織、日志和介質三個功能，實現(xiàn)系統(tǒng)的組織管理、日志備份和審計、軟硬件介質調度等。

信息中心包括新聞、公告和消息等功能，實現(xiàn)用戶之間的信息分享、通知和實時聯(lián)系等。

歸檔管理包括接收、整理、歸檔和退回等功能，實現(xiàn)檔案的接收、預歸檔規(guī)范、整理修改、正式規(guī)定和退回補充等。

業(yè)務管理包括編碼規(guī)范、安全策略和結構定義等功能，為不同的業(yè)務設置相應的編碼規(guī)范、安全策略和數(shù)據(jù)結構自定義等。

檔案管理包括庫房保管、脫機保管、機密銷毀、數(shù)據(jù)備份和傳輸?shù)裙δ堋?/p>

文件管理模塊中設置在線掃描、批量導入、移交、變更、回滾等模塊，實現(xiàn)數(shù)據(jù)采集生成原始數(shù)據(jù)。

人事管理模塊中設置部門、職務、崗位和員工四個小功能，將系統(tǒng)的權限分配給崗位，職務限制對文檔的查閱權限，根據(jù)部門職能分配不同的功能模塊，從而實現(xiàn)文檔在有限范圍內使用。

2.2 流程分類

從上面兩節(jié)來看，如果把項目檔案看作難以用常規(guī)數(shù)據(jù)庫工具采集、存儲、管理、利用的數(shù)據(jù)集合，那么項目檔案就是大數(shù)據(jù)，那么我們可以依據(jù)大數(shù)據(jù)的流程來設計，如圖2：

2.3 系統(tǒng)業(yè)務流

本系統(tǒng)的業(yè)務流按大數(shù)據(jù)流程來設計，涵蓋數(shù)據(jù)的采集、存儲、管理到利用整個大數(shù)據(jù)流程[6]，如圖3。數(shù)據(jù)采集階段業(yè)務系統(tǒng)、在線掃描和批量導入產(chǎn)生原始數(shù)據(jù)。

通過預歸檔管理和文件管理功能將這三類源數(shù)據(jù)在數(shù)據(jù)存儲階段在存儲介質上保存下來。

經(jīng)過存儲后的文檔在數(shù)據(jù)管理階段通過整理歸檔，按數(shù)據(jù)按規(guī)范記錄進檔案全文數(shù)據(jù)庫，完成歸檔動作。

在數(shù)據(jù)利用階段主要包括檔案利用的專題編研、數(shù)據(jù)導出、統(tǒng)計分析和查詢調閱，檔案全文數(shù)據(jù)庫平時需要數(shù)據(jù)備份，防止數(shù)據(jù)丟失，無價值檔案要進行機密銷毀，數(shù)據(jù)備份和機密銷毀屬于數(shù)據(jù)管理階段。

2.4 系統(tǒng)特點

本文基于大數(shù)據(jù)設計的項目檔案管理系統(tǒng)中，非結構化數(shù)據(jù)調用過大時影響系統(tǒng)性能[8]，本系統(tǒng)采用分級利用的方式來提高效率。非結構化數(shù)據(jù)傳輸受網(wǎng)絡瓶頸限制嚴重，本系統(tǒng)采用本地暫存、斷點續(xù)傳、二級緩存等技術，提高數(shù)據(jù)傳輸?shù)男省?/p>

本文介紹的系統(tǒng)主要有以下幾點特點：

全面：用于對各種業(yè)務文檔、收發(fā)文、圖片、照片、音視頻等數(shù)據(jù)信息進行計算機管理的綜合系統(tǒng)，涵蓋檔案業(yè)務采集、存儲、管理、利用的全過程。

先進：采取先進的功能和技術解決系統(tǒng)難點，系統(tǒng)穩(wěn)定。

規(guī)范：統(tǒng)一權限管理、統(tǒng)一利用管理、統(tǒng)一條目分類。

靈活：界面可配置，支持各種自定義、外部數(shù)據(jù)交互。

安全：系統(tǒng)權限控制有限訪問、系統(tǒng)操作日志審計以及系統(tǒng)實時管控保證項目檔案的安全。

3 展望

本文介紹系統(tǒng)設計靈活，使用方便，在將來推廣到不同的企業(yè)，形成廣泛的應用后，可以與云計算技術結合[7]，在積累了大量數(shù)據(jù)以后，引進智能算法，經(jīng)過樣本訓練后，挖掘出更有價值的數(shù)據(jù)。

參考文獻：

[1] 高梅. 工程檔案管理系統(tǒng)的設計與實現(xiàn)[J]. 工程建設與設計， 2006（11）：48-50.

[2] 金光明， 袁定蓮， 沈曄， 等. 與OA集成的企業(yè)檔案管理系統(tǒng)研究與實現(xiàn)[J]. 檔案與建設， 2014（11）：21-24.

[3] MANYIAK J. Big data：the next frontier for innovation，competition，and productivity[EB/OL].http：//www.mckinsey.com/insights/business technology/big data the next frontier for innovation.

[4] 劉凱悅. 大數(shù)據(jù)綜述[J]. 計算機科學與應用，2018，8（10）：1503-1509.

[5] 王珊，王會舉，覃雄派，等. 架構大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J]. 計算機學報，2011（10）：17-40.

[6] 張常淳.基于MapReduce的大數(shù)據(jù)連接算法的設計與優(yōu)化[D].合肥：中國科學技術大學， 2014.

[7] 劉曉光. 非結構化檔案信息及檔案異構數(shù)據(jù)庫管理系統(tǒng)的研究[J]. 中國檔案， 2010（9）：66-68.

[8] 廖玉玲. 用云計算搭建陽光信息工程——深圳市建筑工務署項目建設信息智能在線監(jiān)管服務平臺介紹[J]. 中國檔案， 2014（8）：54-55.

【通聯(lián)編輯：王力】