大數(shù)據(jù)背景下地質(zhì)資料電子數(shù)據(jù)長期保存技術(shù)探究

孔昭煜，郭 磊，李海龍，范 璘，蘇志強(qiáng)

(1.中國地質(zhì)調(diào)查局發(fā)展研究中心，北京 100037；2.全國地質(zhì)資料館，北京 100037)

地質(zhì)資料電子數(shù)據(jù)具有數(shù)據(jù)內(nèi)容豐富、數(shù)據(jù)容量大、數(shù)據(jù)類型格式多、存儲信息量大和數(shù)據(jù)價值高等特點，同時數(shù)據(jù)的內(nèi)容即具有地質(zhì)科研屬性、信息資料屬性、專業(yè)檔案屬性和歷史檔案屬性[1]。在信息化技術(shù)高速發(fā)展的當(dāng)下，大數(shù)據(jù)、云計算和人工智能等信息技術(shù)改變著地質(zhì)調(diào)查工作和地質(zhì)資料管理工作的傳統(tǒng)模式。近年來，隨著信息技術(shù)的高度普及，已成為地質(zhì)調(diào)查工作中密不可分的基礎(chǔ)科研生產(chǎn)工具之一，因此所產(chǎn)生的科研成果數(shù)據(jù)已全部為電子數(shù)據(jù)。這些數(shù)據(jù)是新時代地質(zhì)工作者辛勤勞動的成果，隨著大數(shù)據(jù)技術(shù)的不斷完善，這些地質(zhì)資料電子數(shù)據(jù)也成為了重要的國家戰(zhàn)略數(shù)據(jù)基礎(chǔ)組成部分。開展地質(zhì)資料電子數(shù)據(jù)的長期保存技術(shù)研究，切實促進(jìn)地質(zhì)資料電子數(shù)據(jù)的長久可信、長久可用、存放安全和使用安全，也是近時期地質(zhì)資料工作者應(yīng)對的挑戰(zhàn)[7]。

本文以全國地質(zhì)資料館日常開展的館藏地質(zhì)數(shù)據(jù)管理為基礎(chǔ)，利用大數(shù)據(jù)技術(shù)和標(biāo)準(zhǔn)，開展地質(zhì)資料電子數(shù)據(jù)長期保存工作的探索，重點對電子數(shù)據(jù)政策支撐保障；數(shù)據(jù)可信、數(shù)據(jù)格式更新機(jī)制建設(shè)和數(shù)據(jù)存放風(fēng)險應(yīng)對等各個方面進(jìn)行研究和思考總結(jié)。望能推動和促進(jìn)實現(xiàn)地質(zhì)資料電子數(shù)據(jù)的長期保存，切實保障地質(zhì)資料電子數(shù)據(jù)為地質(zhì)學(xué)科研和國家經(jīng)濟(jì)建設(shè)提供可信、權(quán)威、精準(zhǔn)的服務(wù)支撐能力。

1 地質(zhì)資料電子數(shù)據(jù)保存現(xiàn)狀

1.1 地質(zhì)資料電子數(shù)據(jù)現(xiàn)狀

全國地質(zhì)資料館歷經(jīng)過67年的不懈努力，目前已成為我國范圍內(nèi)地質(zhì)資料館藏量最多，地學(xué)成果數(shù)據(jù)涵蓋內(nèi)容最全的地質(zhì)資料專業(yè)館藏機(jī)構(gòu)。同時具有在全國范圍內(nèi)依法開展地質(zhì)調(diào)查成果資料接收、保管和服務(wù)的專業(yè)館藏機(jī)構(gòu)。目前全國地質(zhì)資料館館藏地質(zhì)資料電子數(shù)據(jù)中，涵蓋的行業(yè)包括地質(zhì)、煤炭、冶金、有色、化工、建材、石油、核工業(yè)、環(huán)境等相關(guān)行業(yè)和部門[3]，地質(zhì)資料電子數(shù)據(jù)的內(nèi)容包括區(qū)域調(diào)查、礦產(chǎn)勘查、物化遙勘查、水工環(huán)勘查、地質(zhì)科學(xué)研究、海洋地質(zhì)調(diào)查和技術(shù)方法研究等專業(yè)數(shù)據(jù)。其資料的形成時間從1894年至今涵蓋了近三個世紀(jì)的地質(zhì)調(diào)查成果資料。目前全國地質(zhì)資料館在專業(yè)檔案館中率先完成全部館藏老舊資料的圖文數(shù)字化轉(zhuǎn)換，共計完成102 429檔，2 747 363件的老舊館藏地質(zhì)資料，除個別破損嚴(yán)重資料外，目前已實現(xiàn)館藏地質(zhì)資料99%數(shù)字化，為地質(zhì)資料電子數(shù)據(jù)社會化服務(wù)提供了優(yōu)質(zhì)的數(shù)據(jù)基礎(chǔ)[1,3,8]。

截至2018年4月末，全國地質(zhì)資料館館藏地質(zhì)調(diào)查成果資料數(shù)據(jù)為149 000檔、4 503 039件。其中，正文154 508件、審批141 530件，附圖3 883 613件、附表85 524件、附件110 029件、數(shù)據(jù)庫3 324件、軟件2 166件、多媒體198件、其他122 147件。這些地質(zhì)調(diào)查成果資料數(shù)據(jù)單套占用存儲空間為210.4 TB，共有206 709 809個文件夾和19 861 517個文件組成[8]。

1.2 地質(zhì)資料電子數(shù)據(jù)保存現(xiàn)狀

全國地質(zhì)資料館館藏地質(zhì)資料保存形式仍為“以電為主，紙電結(jié)合”的傳統(tǒng)保存方式，依托已有項目開展了數(shù)字地質(zhì)資料館建設(shè)并已投入使用，實現(xiàn)了內(nèi)部核心數(shù)據(jù)的一體化管理，公開地質(zhì)資料電子數(shù)據(jù)的社會化在線服務(wù)。通過開展數(shù)字資料館的建設(shè)對地質(zhì)資料進(jìn)行了部分系統(tǒng)的電子數(shù)據(jù)的清洗、整理和集成整合工作，完成了部分信息化建設(shè)初期形成的地質(zhì)調(diào)查電子數(shù)據(jù)的格式升級和規(guī)范化清洗，促進(jìn)了館藏地質(zhì)資料電子數(shù)據(jù)的長期可用[7-9]相關(guān)技術(shù)發(fā)展。

為了確保地質(zhì)資料電子數(shù)據(jù)的存放安全，全國地質(zhì)資料館加大投入建設(shè)完成多套用于存放不同類型數(shù)據(jù)的專業(yè)存儲系統(tǒng)，利用現(xiàn)有成熟的硬件設(shè)施平臺，完成了專業(yè)存儲、磁盤、光盤、磁帶等多介質(zhì)的數(shù)據(jù)安全備份體系建設(shè)。同時建成了以全國地質(zhì)資料館為主，河北燕郊為輔，甘肅蘭州為補(bǔ)充的異地備份機(jī)制。通過開展近線存儲、離線備份的地質(zhì)資料電子數(shù)據(jù)的保存體系的建設(shè)，有效地應(yīng)對自然災(zāi)害、人為誤操作和保存設(shè)施技術(shù)故障等因素對地質(zhì)資料電子數(shù)據(jù)的破壞和遺失，安全有效地保障了館藏地質(zhì)資料電子數(shù)據(jù)的安全、有效和穩(wěn)定的保存需求[8]。

2 長期保存技術(shù)亟待解決的問題

隨著信息技術(shù)的不斷完善和普及，大數(shù)據(jù)、云計算和人工智能等新興技術(shù)的高速發(fā)展，使地質(zhì)調(diào)查工作中全面借助信息化手段進(jìn)行地質(zhì)調(diào)查數(shù)據(jù)采集、生產(chǎn)和加工。在數(shù)據(jù)的獲取、加工和保存等工作中，數(shù)據(jù)的容量發(fā)生了爆發(fā)式增長，2018年單套館藏地質(zhì)資料電子數(shù)據(jù)增長超過50 TB，是2013年的數(shù)倍。同時，地質(zhì)調(diào)查信息化建設(shè)已開展近20年的歷史，形成了不同階段、不同技術(shù)手段的各類地質(zhì)資料電子數(shù)據(jù)。如何確保這些地質(zhì)資料電子數(shù)據(jù)完整、可用、可信和存放安全，急需開展地質(zhì)資料電子數(shù)據(jù)的長期保存技術(shù)研究，既是對已有地質(zhì)資料電子數(shù)據(jù)的保護(hù)，又促進(jìn)了建立規(guī)范化的地質(zhì)資料電子數(shù)據(jù)的生產(chǎn)加工體系。切實有效地推動地質(zhì)資料管理業(yè)務(wù)全流程信息化轉(zhuǎn)型，間接推動建設(shè)地質(zhì)調(diào)查信息化工作的標(biāo)準(zhǔn)化建設(shè)[2-5]。

2.1 數(shù)據(jù)格式可持續(xù)性風(fēng)險

地質(zhì)資料電子數(shù)據(jù)的文件格式關(guān)乎到電子數(shù)據(jù)能否長期可用和持續(xù)使用的關(guān)鍵技術(shù)因素，目前全國地質(zhì)資料館館藏地質(zhì)資料電子數(shù)據(jù)中主要文件包括：文字、圖像、表格、聲像、樣本、樣品、信息系統(tǒng)、數(shù)據(jù)庫、其他相關(guān)軟件等文件，其數(shù)據(jù)格式主要涵蓋：柵格數(shù)據(jù)(TIFF、JPG、BMP等)、文檔(WORD)、文本(TEXT)、表格(EXCEL)、數(shù)據(jù)庫(ACCESS、SQLSERVER等)、GIS數(shù)據(jù)(MapGIS、ArcGIS等)、元數(shù)據(jù)(XML)和其他相關(guān)文件格式等[1-3]。

在信息技術(shù)高速發(fā)展的今天，地質(zhì)資料電子數(shù)據(jù)的格式是嚴(yán)重制約地質(zhì)資料電子數(shù)據(jù)使用的重要因素之一，在當(dāng)下地質(zhì)資料電子數(shù)據(jù)的格式可持續(xù)性存在以下幾方面風(fēng)險。

1) 地質(zhì)資料電子數(shù)據(jù)的可持續(xù)使用風(fēng)險。在地質(zhì)資料電子數(shù)據(jù)的生產(chǎn)和交付過程中，需要利用到不同類型和不同類別的軟件工具來實現(xiàn)，由于軟件工具的版本發(fā)生變革，直接造成不同版本的軟件工具制作的數(shù)據(jù)無法在新版本中繼續(xù)使用的風(fēng)險，同時個別小眾軟件廠商的滅失嚴(yán)重對地質(zhì)資料電子數(shù)據(jù)的可持續(xù)使用造成更大的風(fēng)險[2]。

2) 地質(zhì)資料電子數(shù)據(jù)變更風(fēng)險。在地質(zhì)資料電子數(shù)據(jù)的生產(chǎn)和管理過程中，根據(jù)新規(guī)范標(biāo)準(zhǔn)和實際業(yè)務(wù)需求，需要對部分?jǐn)?shù)據(jù)進(jìn)行清理、調(diào)整和更正，同時在使用過程中須應(yīng)對已發(fā)現(xiàn)的數(shù)據(jù)本體發(fā)生的錯誤即時進(jìn)行調(diào)整、修改和完善并進(jìn)行完整記錄。減少在日后數(shù)據(jù)管理中對變更的數(shù)據(jù)無法清晰的定位，對變更的數(shù)據(jù)內(nèi)容無法說明變更的合理性與合規(guī)性。

3) 地質(zhì)資料電子數(shù)據(jù)的版權(quán)使用風(fēng)險。地質(zhì)資料電子數(shù)據(jù)是地質(zhì)科研工作者辛勤勞動的智慧結(jié)晶，同時這些數(shù)據(jù)是通過驗收的成果數(shù)據(jù)具有極高的科研權(quán)威性。因此須通過相應(yīng)的技術(shù)手段進(jìn)行有效管控，來確保地質(zhì)資料電子數(shù)據(jù)在使用過程中數(shù)據(jù)內(nèi)容的準(zhǔn)確和唯一，同時需要對這些成果數(shù)據(jù)的知識產(chǎn)權(quán)進(jìn)行保護(hù)以尊重地質(zhì)科研工作者的辛勤勞動。

4) 地質(zhì)資料電子數(shù)據(jù)對支撐環(huán)境保障風(fēng)險。地質(zhì)資料電子數(shù)據(jù)涵蓋眾多圖像、表格、樣本和樣品等數(shù)據(jù)，部分?jǐn)?shù)據(jù)的使用需要相應(yīng)的基礎(chǔ)系統(tǒng)和軟硬件環(huán)境保障，同時部分軟件環(huán)境需要相應(yīng)的硬件認(rèn)證提供必備支撐，因此在這些數(shù)據(jù)的使用過程中基礎(chǔ)環(huán)境對數(shù)據(jù)的有效使用存在一定的穩(wěn)定性風(fēng)險[5-7]。

2.2 數(shù)據(jù)保存面臨的主要風(fēng)險

在大數(shù)據(jù)時代下，地質(zhì)資料電子數(shù)據(jù)隨著信息技術(shù)的改變，而變得量級成數(shù)倍逐年遞增，因此在數(shù)據(jù)的安全保存中需要應(yīng)對風(fēng)險。

1) 數(shù)據(jù)在線安全存放風(fēng)險。地質(zhì)資料電子數(shù)據(jù)目前單套已達(dá)到210.4 TB，這些數(shù)據(jù)全部為非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)的單體從數(shù)字節(jié)到數(shù)GB不等，因此在數(shù)據(jù)安全存放過程中，存在占用空間大、復(fù)制和使用效率受存儲系統(tǒng)和網(wǎng)絡(luò)環(huán)境制約、硬件設(shè)施使用環(huán)境差設(shè)施損壞率高等風(fēng)險。

2) 數(shù)據(jù)備份安全風(fēng)險。在全國地質(zhì)資料館現(xiàn)階段，主要采用的是光盤和磁帶的形式進(jìn)行數(shù)據(jù)備份，同時建設(shè)有同城異地和異城異地的備份機(jī)制，能夠基本滿足數(shù)據(jù)安全需求，但由于經(jīng)費(fèi)和政策限制尚未建設(shè)在線備份體系。現(xiàn)有備份體系在應(yīng)對海量數(shù)據(jù)恢復(fù)中需要大量時間進(jìn)行恢復(fù)，對數(shù)據(jù)的即時使用和數(shù)據(jù)恢復(fù)造成一定安全和即時有效風(fēng)險。

3) 數(shù)據(jù)安全防護(hù)風(fēng)險。地質(zhì)資料電子數(shù)據(jù)全部是地質(zhì)調(diào)查的成果數(shù)據(jù)，在長期存放過程中存在管理和使用客戶端感染病毒對數(shù)據(jù)的完整性帶來一定的安全風(fēng)險。同時這些數(shù)據(jù)中含有一定的敏感內(nèi)容因此在數(shù)據(jù)的安全、合理使用中存在一定的安全風(fēng)險。

3 長期保存技術(shù)研究

全國地質(zhì)資料館在日常數(shù)據(jù)生產(chǎn)、加工和社會化服務(wù)過程中，探索和研究電子數(shù)據(jù)的長期保存技術(shù)，首先需要應(yīng)對館藏地質(zhì)調(diào)查成果數(shù)據(jù)的存放安全、信息可信、信息權(quán)威、可持續(xù)不斷更新和可持續(xù)不斷社會化服務(wù)等需求。同時，為目前的“雙軌制”向“單軌制”轉(zhuǎn)型提供必要的技術(shù)儲備和技術(shù)支撐[9]。在地質(zhì)資料電子數(shù)據(jù)長期保存技術(shù)研究需要研究以下幾點內(nèi)容。

3.1 制定長期保存政策與標(biāo)準(zhǔn)

在地質(zhì)資料電子數(shù)據(jù)長期保存工作研究探索過程中，目前尚未制定相應(yīng)的政策法規(guī)，因此無法對這些電子數(shù)據(jù)進(jìn)行合法的授權(quán)與認(rèn)定，需要跟蹤有關(guān)電子數(shù)據(jù)的可信認(rèn)證相關(guān)的法規(guī)，對數(shù)據(jù)的權(quán)威性進(jìn)行法律層面的認(rèn)定。同時由于數(shù)據(jù)生產(chǎn)單位技術(shù)能力具有一定差異，因此需要開展地質(zhì)資料數(shù)據(jù)生產(chǎn)相關(guān)的標(biāo)準(zhǔn)化建設(shè)，選取開放、標(biāo)準(zhǔn)的數(shù)據(jù)生產(chǎn)環(huán)境，減少人為因素和系統(tǒng)工具因素對后期數(shù)據(jù)的使用，存在因格式不同無法使用的窘境[8-10]。

3.2 提供長期保存環(huán)境與保障

在地質(zhì)資料電子數(shù)據(jù)長期保存環(huán)境中需要參考《電子文件歸檔與電子檔案管理規(guī)范》(GB/T 18894—2016)、《電子文件歸檔與電子檔案管理規(guī)范》(GB/T 18894—2016)、《電子文件管理系統(tǒng)通用功能要求》(GB/T 29194—2012)、《電子文件管理裝備規(guī)范》(GB/T 33189—2016)、《電子文件信息的長期保存》(ISO 18492)、《信息與文獻(xiàn)——電子文件的長期保存需求》(ISO/TR 26102)、《文檔管理——長期保存的電子文檔格式》(ISO 19005)等標(biāo)準(zhǔn)和規(guī)范，建設(shè)符合標(biāo)準(zhǔn)的在線存儲系統(tǒng)和離線備份系統(tǒng)，同時持續(xù)開展和完善地質(zhì)資料電子數(shù)據(jù)的多維備份體系的探索和研究，打造安全、可靠、高效和穩(wěn)定的長期保存物理環(huán)境[4,8]。同時建立日常維護(hù)和設(shè)施更新的穩(wěn)定經(jīng)費(fèi)投入機(jī)制，確保設(shè)施的維護(hù)即時和更新即時。

4 結(jié) 語

地質(zhì)資料電子數(shù)據(jù)長期保存是一項繁雜、耗時耗力且工作強(qiáng)度大，科研成果不顯著的基礎(chǔ)性保障支撐工作。在開展電子數(shù)據(jù)長期保存過程中需要多年的數(shù)據(jù)管理經(jīng)驗，熟悉數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容，同時需要嚴(yán)謹(jǐn)?shù)墓ぷ鲬B(tài)度和高度的歷史責(zé)任感。通過不懈努力保障地質(zhì)資料電子數(shù)據(jù)的長期可用，為地質(zhì)資料大數(shù)據(jù)提供安全可信的基礎(chǔ)數(shù)據(jù)支撐。

在信息技術(shù)的迅猛發(fā)展當(dāng)今，大數(shù)據(jù)、云計算和人工智能等信息技術(shù)將持續(xù)改變著人類的工作、學(xué)習(xí)和生活模式。隨著信息技術(shù)的全面推廣和使用，使得產(chǎn)生的電子數(shù)據(jù)逐步將代成為主要信息承載的載體。同時隨著近期國家頒布的《國務(wù)院關(guān)于在線政務(wù)服務(wù)的若干規(guī)定》中明確了電子簽名、印章、證照和檔案的法律效力，由此地質(zhì)資料電子數(shù)據(jù)的重要程度大幅度提升。地質(zhì)資料管理者的工作重點不僅是面對如何完整安全保存，需要開展地質(zhì)資料電子數(shù)據(jù)管理政策和方法入手，加大相關(guān)技術(shù)投入，實現(xiàn)地質(zhì)資料電子數(shù)據(jù)格式規(guī)范化更新，建立更加完善合理的管理政策，打造更加安全可靠的數(shù)據(jù)保存體系，最終實現(xiàn)地質(zhì)資料電子數(shù)據(jù)長期可信、長期可用和長期保存的最終目標(biāo)。