李葉繁
摘 要:城市地質(zhì)數(shù)據(jù)具有多樣性、不確定性和復(fù)雜性,為實(shí)現(xiàn)多源、異構(gòu)、海量數(shù)據(jù)的有效管理與高效訪問,本文全面分析了城市地質(zhì)數(shù)據(jù)的構(gòu)成及特點(diǎn),結(jié)合國內(nèi)城市地質(zhì)調(diào)查數(shù)據(jù)現(xiàn)狀和應(yīng)用需求,參考《城市地質(zhì)調(diào)查數(shù)據(jù)內(nèi)容與數(shù)據(jù)庫結(jié)構(gòu)》等相關(guān)規(guī)范,開展了城市地質(zhì)數(shù)據(jù)建庫內(nèi)容與結(jié)構(gòu)設(shè)計(jì),建立了“縱向?qū)哟?、橫向?qū)I(yè)”的數(shù)據(jù)庫結(jié)構(gòu),并針對(duì)性地探討了數(shù)據(jù)建庫過程中的質(zhì)量控制措施,確保城市地質(zhì)數(shù)據(jù)建庫質(zhì)量,為探討本輪城市地質(zhì)調(diào)查數(shù)據(jù)資源建設(shè)提供了建議指導(dǎo)。
關(guān)鍵詞:城市地質(zhì)數(shù)據(jù)庫 結(jié)構(gòu)設(shè)計(jì) 質(zhì)量控制
Abstract: Urban geological data has features of diversity, uncertainty and complexity. In order to realize the effective management and efficient access of multi-source, heterogeneous and massive data, the composition and characteristics of urban geological data are comprehensively analyzed in this paper.Combined with the current situation and application requirements of domestic urban geological survey data, and referring to relevant specifications such as <Data and Database Structure of Urban Geological Survey>, the content and structure design of urban geological data database construction are carried out, the database structure of "vertical level and horizontal specialty" is established.And the quality control measures in the process of data database construction are discussed to ensure the quality of urban geological data database construction, which provides suggestions and guidance for the construction of data resources of this round of urban geological survey.
Key Words: Urban geology; ?Database; ?Structural design; ?Qualitycontrol
地質(zhì)數(shù)據(jù)是國民經(jīng)濟(jì)建設(shè)和社會(huì)可持續(xù)發(fā)展非常重要的信息資源[ ],城市地質(zhì)數(shù)據(jù)庫是建立城市地質(zhì)信息共享服務(wù)技術(shù)標(biāo)準(zhǔn)的關(guān)鍵內(nèi)容之一。基于城市地質(zhì)數(shù)據(jù)庫的地質(zhì)數(shù)據(jù)中心建設(shè),可以實(shí)現(xiàn)地質(zhì)數(shù)據(jù)的規(guī)范采集處理、合理存儲(chǔ)、科學(xué)管理和有效使用。當(dāng)前,地質(zhì)部門管理的地質(zhì)數(shù)據(jù)按照數(shù)據(jù)類型劃分有空間數(shù)據(jù)、非空間結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化的描述數(shù)據(jù),本文介紹了城市地質(zhì)數(shù)據(jù)構(gòu)成及特點(diǎn)、數(shù)據(jù)庫內(nèi)容與結(jié)構(gòu)設(shè)計(jì)以及數(shù)據(jù)建庫質(zhì)量控制相關(guān)要點(diǎn)。
1城市地質(zhì)數(shù)據(jù)構(gòu)成及特點(diǎn)
1.1 城市地質(zhì)數(shù)據(jù)構(gòu)成
我國自1999年開展國土資源大調(diào)查以來,積累了大量數(shù)據(jù),主要包括不同比例尺的地質(zhì)空間數(shù)據(jù)庫、地球物理和地球化學(xué)專題數(shù)據(jù)庫、礦產(chǎn)數(shù)據(jù)庫和潛力評(píng)價(jià)數(shù)據(jù)庫,建成了10大類48個(gè)國家地質(zhì)數(shù)據(jù)庫,成為國家空間數(shù)據(jù)的重要組成部分[ ]。本輪多要素城市地質(zhì)調(diào)查(2017-2025)開展了工程建設(shè)與地下空間開發(fā)利用條件、地質(zhì)資源種類、水土環(huán)境指標(biāo)、地質(zhì)災(zāi)害類型等調(diào)查評(píng)價(jià),應(yīng)用了豐富的包括鉆探、地表觀測(cè)、電法、地震、地質(zhì)雷達(dá)、測(cè)井、遙感、原位測(cè)試、綜合成果應(yīng)用等技術(shù)手段與方式,更是進(jìn)一步獲得了大量城市基礎(chǔ)地理、基礎(chǔ)地質(zhì)、水工環(huán)地質(zhì)、地球物理、遙感、地球化學(xué)、地質(zhì)災(zāi)害、地質(zhì)資源等多類型數(shù)據(jù)。
為此,依據(jù)城市地質(zhì)調(diào)查的采集手段、數(shù)據(jù)來源和成果階段,城市地質(zhì)調(diào)查的數(shù)據(jù)內(nèi)容可分為野外調(diào)查、工程施工與試驗(yàn)、地質(zhì)環(huán)境監(jiān)測(cè)、地質(zhì)成果4個(gè)大類,用來描述基礎(chǔ)地質(zhì)、工程建設(shè)與地下空間開發(fā)條件、地質(zhì)資源、土地與地下水環(huán)境、地質(zhì)災(zāi)害等方面的專業(yè)信息[ ]。野外調(diào)查、工程施工與試驗(yàn)數(shù)據(jù)是對(duì)包括巖石、地層、構(gòu)造、地貌等地質(zhì)現(xiàn)象,通過野外綜合調(diào)查、施工勘探、樣品試驗(yàn)等手段直接獲取的數(shù)據(jù)。地質(zhì)環(huán)境監(jiān)測(cè)數(shù)據(jù)是對(duì)地下水、地質(zhì)災(zāi)害等自然地質(zhì)環(huán)境或者工程建設(shè)影響的地質(zhì)環(huán)境及其變化,進(jìn)行定期觀察測(cè)量、采樣測(cè)試、記錄計(jì)算等產(chǎn)生的數(shù)據(jù)。分析評(píng)價(jià)成果數(shù)據(jù)是對(duì)地質(zhì)調(diào)查和地質(zhì)環(huán)境監(jiān)測(cè)數(shù)據(jù)進(jìn)行加工處理、綜合研究和分析評(píng)價(jià)所產(chǎn)生的地質(zhì)專題成果數(shù)據(jù)。此外,城市地質(zhì)數(shù)據(jù)還應(yīng)包括與地形地貌、地質(zhì)構(gòu)造、地層巖性、水文地質(zhì)條件、不良地質(zhì)作用、可利用土體資源、地?zé)豳Y源、地下水資源、水土環(huán)境質(zhì)量等相關(guān)三維模型數(shù)據(jù)。
1.2 城市地質(zhì)數(shù)據(jù)特點(diǎn)
城市地質(zhì)數(shù)據(jù)具有多樣性、不確定性和復(fù)雜性[ ],往往來自不同時(shí)期、不同單位(部門)、不同項(xiàng)目,其存儲(chǔ)介質(zhì)可能是紙質(zhì)的或磁盤(磁帶、光盤等)形式的,其表現(xiàn)形式可能是文字(文字報(bào)告)、數(shù)據(jù)庫文件(Access、SQL Server、Oracle等)或圖形圖像等。同時(shí),城市地質(zhì)數(shù)據(jù)還具有大數(shù)據(jù)特性,呈現(xiàn)多元(源)、異構(gòu)、多態(tài)、時(shí)空關(guān)聯(lián)、大容量高相關(guān)、價(jià)值低密度、復(fù)雜與不確定性等特點(diǎn)[ ]。
2 數(shù)據(jù)建庫內(nèi)容與結(jié)構(gòu)設(shè)計(jì)
由于城市地質(zhì)數(shù)據(jù)來源廣、類型多、數(shù)據(jù)量大、關(guān)系復(fù)雜,要實(shí)現(xiàn)多源、異構(gòu)、海量數(shù)據(jù)的有效管理與高效訪問,數(shù)據(jù)建庫首先要對(duì)數(shù)據(jù)及相互關(guān)系進(jìn)行整理,根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行分類,并實(shí)現(xiàn)數(shù)據(jù)的分層管理;其次根據(jù)數(shù)據(jù)類別、數(shù)據(jù)層次等要素,分別設(shè)計(jì)數(shù)據(jù)存儲(chǔ)的邏輯結(jié)構(gòu)、物理結(jié)構(gòu)、訪問控制方式、備份策略等[ ]。
2.1 城市地質(zhì)數(shù)據(jù)庫內(nèi)容
依據(jù)城市地質(zhì)數(shù)據(jù)構(gòu)成分析,城市地質(zhì)數(shù)據(jù)庫建設(shè)內(nèi)容包括基礎(chǔ)數(shù)據(jù)庫、專題數(shù)據(jù)庫、成果數(shù)據(jù)庫[ ]。
2.1.1 基礎(chǔ)數(shù)據(jù)庫
基礎(chǔ)數(shù)據(jù)是指搜集或采集到的非常寶貴的第一手資料的數(shù)字化形式,是數(shù)據(jù)庫建設(shè)的基礎(chǔ),其他層次的數(shù)據(jù)都是基于原始數(shù)據(jù)而建立的,除非數(shù)據(jù)輸入錯(cuò)誤,原則上不能對(duì)這類數(shù)據(jù)進(jìn)行修改。這一層次的數(shù)據(jù)包括以下類型。
(1)地質(zhì)館藏地質(zhì)資料,包括報(bào)告、圖片及原始檔案。
(2)鉆孔原始資料(各類鉆孔(井)卡片中的野外現(xiàn)場描述、深井檔案、各種測(cè)試數(shù)據(jù))。
(3)水文地質(zhì)與地質(zhì)環(huán)境監(jiān)測(cè)原始資料。
(4)地球物理勘探數(shù)據(jù)。
(5)地球化學(xué)調(diào)查中獲取的土壤、地下水、地表水采樣等原始采樣數(shù)據(jù)。
(6)在地質(zhì)、礦產(chǎn)調(diào)查過程中收集到的其他原始數(shù)據(jù)。
在建立基礎(chǔ)數(shù)據(jù)庫過程中,原始數(shù)據(jù)應(yīng)按照原有的數(shù)據(jù)格式和數(shù)據(jù)結(jié)構(gòu)進(jìn)行管理,不做任何變動(dòng)和轉(zhuǎn)換。只是在輔助數(shù)據(jù)庫中加上對(duì)原始數(shù)據(jù)庫的字典描述,以實(shí)現(xiàn)對(duì)原始數(shù)據(jù)層的數(shù)據(jù)識(shí)別和管理。
2.1.2 專題數(shù)據(jù)庫
專題數(shù)據(jù)是指能夠進(jìn)行GIS查詢統(tǒng)計(jì)、分析應(yīng)用、三維建模等所使用的數(shù)據(jù),是基于基礎(chǔ)數(shù)據(jù)經(jīng)標(biāo)準(zhǔn)化處理或重新解釋后得到,對(duì)這部分?jǐn)?shù)據(jù)允許利用系統(tǒng)提供的工具進(jìn)行增、刪、查、改等操作。本項(xiàng)目中的專題數(shù)據(jù)指通過野外調(diào)查、工程施工與試驗(yàn)等地質(zhì)調(diào)查活動(dòng)獲取的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后得到的數(shù)據(jù),以及對(duì)地下水、地質(zhì)災(zāi)害等自然地質(zhì)環(huán)境或者工程建設(shè)影響的地質(zhì)環(huán)境及其變化進(jìn)行定期觀察測(cè)量、采樣測(cè)試、記錄計(jì)算等產(chǎn)生的數(shù)據(jù)。
2.1.3 成果數(shù)據(jù)庫
成果數(shù)據(jù)庫包括分析評(píng)價(jià)成果數(shù)據(jù)庫和三維地質(zhì)模型數(shù)據(jù)庫。分析評(píng)價(jià)成果數(shù)據(jù)庫由用戶基于基礎(chǔ)數(shù)據(jù)、監(jiān)測(cè)數(shù)據(jù)經(jīng)綜合分析應(yīng)用得到,允許進(jìn)行編輯修改。具體包括成果圖件、基于評(píng)價(jià)模型生成的評(píng)價(jià)結(jié)果數(shù)據(jù)集和各類成果報(bào)告。
三維地質(zhì)模型數(shù)據(jù)是利用三維地質(zhì)建模工具基于基礎(chǔ)數(shù)據(jù)、專題數(shù)據(jù)、監(jiān)測(cè)數(shù)據(jù)構(gòu)建的包含與地形地貌、地質(zhì)構(gòu)造、地層巖性、水文地質(zhì)條件、不良地質(zhì)作用、可利用土體資源、地?zé)豳Y源、地下水資源、水土環(huán)境質(zhì)量等相關(guān)信息的模型數(shù)據(jù)。
2.2 數(shù)據(jù)庫邏輯層次結(jié)構(gòu)
整個(gè)數(shù)據(jù)中心采取縱向分層,橫向按專業(yè)的原則進(jìn)行數(shù)據(jù)庫的邏輯組織。
(1)縱向上分為3個(gè)層次:基礎(chǔ)數(shù)據(jù)層、專題數(shù)據(jù)層和成果數(shù)據(jù)層。
(2)橫向上,每一個(gè)數(shù)據(jù)層次按照專業(yè)進(jìn)行劃分。
(3)在3個(gè)數(shù)據(jù)層次之外,建立輔助數(shù)據(jù)庫,協(xié)調(diào)各個(gè)層次數(shù)據(jù)庫之間的關(guān)系。
其中,基礎(chǔ)數(shù)據(jù)層與原始數(shù)據(jù)庫的結(jié)構(gòu)保持一致,不改變?cè)械臄?shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)組織方式;專題數(shù)據(jù)層劃分為基礎(chǔ)地理、基礎(chǔ)地質(zhì)、地球物理、地球化學(xué)、礦產(chǎn)勘查、潛力評(píng)價(jià)等幾大專題,是從原始數(shù)據(jù)層解釋而來的數(shù)據(jù)庫,并重新進(jìn)行了數(shù)據(jù)組織,存儲(chǔ)在大型關(guān)系數(shù)據(jù)庫中;成果數(shù)據(jù)庫主要管理收集的成果圖件、三維模型、報(bào)表報(bào)告等,存儲(chǔ)在大型關(guān)系數(shù)據(jù)庫中;此外,為了管理各個(gè)層次的數(shù)據(jù)庫,建立各個(gè)層次數(shù)據(jù)庫之間的關(guān)聯(lián)關(guān)系,數(shù)據(jù)中心建立一套輔助數(shù)據(jù)庫,包括元數(shù)據(jù)、數(shù)據(jù)字典、系統(tǒng)日志、系統(tǒng)配置等信息,存儲(chǔ)于大型關(guān)系數(shù)據(jù)庫中(見圖1)。
3數(shù)據(jù)建庫質(zhì)量控制與措施
城市地質(zhì)數(shù)據(jù)建庫的質(zhì)量控制應(yīng)貫穿從設(shè)計(jì)到驗(yàn)收的全過程,應(yīng)在數(shù)據(jù)生產(chǎn)、建庫過程中嚴(yán)格執(zhí)行“二級(jí)檢查一級(jí)驗(yàn)收”制度[ ]。
3.1 數(shù)據(jù)建庫過程控制
即采用過程方法對(duì)每一個(gè)過程的質(zhì)量進(jìn)行監(jiān)管與分析和評(píng)價(jià),以實(shí)現(xiàn)最大限度的質(zhì)量控制管理及持續(xù)改進(jìn)。
(1)在建庫策劃階段(P),依據(jù)項(xiàng)目目標(biāo),進(jìn)行建庫資源、技術(shù)準(zhǔn)備,包括組建技術(shù)團(tuán)隊(duì),收集相關(guān)法律法規(guī)、技術(shù)標(biāo)準(zhǔn)等文件資料,收集整理項(xiàng)目區(qū)鉆孔、地質(zhì)圖、剖面圖、地形地貌等圖件和遙感數(shù)據(jù)以及各類文檔數(shù)據(jù)資料,配備計(jì)算機(jī)及專業(yè)圖形軟件等;同時(shí),認(rèn)真組織編寫,項(xiàng)目實(shí)施方案、開展數(shù)據(jù)庫設(shè)計(jì)并進(jìn)行評(píng)審及改進(jìn)。
(2)在建庫實(shí)施階段(D),依據(jù)數(shù)據(jù)生產(chǎn)及質(zhì)量控制流程實(shí)現(xiàn)數(shù)據(jù)庫的建設(shè)及質(zhì)量控制,主要通過對(duì)數(shù)據(jù)庫建設(shè)過程中的模型建立、圖形及表類數(shù)據(jù)轉(zhuǎn)換入庫等過程進(jìn)行監(jiān)管。通過識(shí)別各個(gè)過程的重要節(jié)點(diǎn)以及依存關(guān)系并進(jìn)行檢查和控制,強(qiáng)調(diào)作業(yè)自檢、互檢及隨檢的工作方法,以實(shí)現(xiàn)質(zhì)量目標(biāo)。
(3)項(xiàng)目檢查與分析(C)貫穿于各過程重要節(jié)點(diǎn),通過檢查、評(píng)審等進(jìn)行質(zhì)量的分析與評(píng)價(jià),實(shí)現(xiàn)質(zhì)量的控制和提升。
(4)通過各個(gè)環(huán)節(jié)的檢查及監(jiān)控,進(jìn)行有效改進(jìn),提高整個(gè)項(xiàng)目的效率和質(zhì)量,達(dá)到甚至超越質(zhì)量目標(biāo)(A)。
3.2 數(shù)據(jù)建庫質(zhì)量檢查
地質(zhì)數(shù)據(jù)庫建設(shè)過程中,需要對(duì)圖形數(shù)字化、屬性數(shù)據(jù)錄入、坐標(biāo)定位等三大步驟進(jìn)行質(zhì)量控制。質(zhì)量檢查包括自檢、互檢和抽檢3個(gè)層次。自檢由作業(yè)者在完成作業(yè)后自行檢查,所有數(shù)據(jù)必須進(jìn)行100%自檢。對(duì)自檢錯(cuò)誤數(shù)、錯(cuò)誤比例、錯(cuò)誤內(nèi)容分別予以記錄,對(duì)錯(cuò)誤處自行修改。互檢指由另一作業(yè)者對(duì)他人完成的矢量化成果進(jìn)行檢查,互檢比例為100%?;z者應(yīng)在數(shù)據(jù)質(zhì)量檢查表中寫明錯(cuò)誤內(nèi)容、錯(cuò)誤數(shù)、錯(cuò)誤比例等,并告知作業(yè)者讓其對(duì)應(yīng)修改。完成自檢、互檢程序后,應(yīng)交由第三者進(jìn)行抽檢,抽檢比例不得低于30%。
3.2.1入庫過程準(zhǔn)確性檢查
數(shù)據(jù)入庫的過程中為避免人為因素造成的錯(cuò)誤,應(yīng)編制相應(yīng)的數(shù)據(jù)入庫工具,采用全自動(dòng)或半自動(dòng)的方式將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫,保證入庫過程的準(zhǔn)確性。數(shù)據(jù)入庫后,采用自動(dòng)或半自動(dòng)的方式用軟件再對(duì)數(shù)據(jù)庫內(nèi)數(shù)據(jù)進(jìn)行全面的檢查,確保入庫數(shù)據(jù)的一致性。
3.2.2入庫數(shù)據(jù)正確性檢查
表格數(shù)據(jù)由原始數(shù)據(jù)得來,由人工錄入、數(shù)據(jù)轉(zhuǎn)存等方式得到,為避免人為因素導(dǎo)致的數(shù)據(jù)不準(zhǔn)確,采用多種檢查手段,如自檢、小組互檢、抽樣檢查、程序檢查。程序檢查還可以對(duì)相關(guān)信息進(jìn)行比較檢查,保證了資料的準(zhǔn)確可靠;檢查并保證圖元要素、屬性數(shù)據(jù)和原始數(shù)據(jù)或成果數(shù)據(jù)資料一一對(duì)應(yīng);保證屬性及表格數(shù)據(jù)的編碼唯一且正確。數(shù)據(jù)正確性檢查的內(nèi)容包括圖面質(zhì)量檢查、空間數(shù)據(jù)質(zhì)量檢查、附表數(shù)據(jù)質(zhì)量檢查、資料文檔檢查、元數(shù)據(jù)檢查等。
3.2.3數(shù)據(jù)入庫后的應(yīng)用性檢查
數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫后,運(yùn)用信息系統(tǒng)調(diào)用各專業(yè)的數(shù)據(jù),抽取不少于20%的數(shù)據(jù)進(jìn)行專業(yè)計(jì)算、應(yīng)用,檢查數(shù)據(jù)在系統(tǒng)中的展示應(yīng)用情況,保證數(shù)據(jù)準(zhǔn)確可靠。
3.2.4數(shù)據(jù)檢查工具
通過總結(jié)數(shù)據(jù)庫中存在問題或可能存在問題的類型和種類,采用專業(yè)數(shù)據(jù)檢查工具,包括鉆孔位置檢驗(yàn)、鉆孔分層檢驗(yàn)、鉆孔編碼檢驗(yàn)、地質(zhì)環(huán)境監(jiān)測(cè)數(shù)據(jù)檢驗(yàn)等[ ]。
4結(jié)語
城市地質(zhì)數(shù)據(jù)建庫是地質(zhì)信息化建設(shè)的關(guān)鍵內(nèi)容,其結(jié)構(gòu)設(shè)計(jì)的規(guī)范性和先進(jìn)性決定了地質(zhì)數(shù)據(jù)價(jià)值是否能夠得到有效發(fā)揮。本文通過分析城市地質(zhì)數(shù)據(jù)構(gòu)成及特點(diǎn),開展了城市地質(zhì)數(shù)據(jù)建庫內(nèi)容與結(jié)構(gòu)設(shè)計(jì),并針對(duì)性地探討了數(shù)據(jù)建庫過程中的質(zhì)量控制措施。
參考文獻(xiàn)
[1] 潘寶玉,楊潤書.淺論地質(zhì)大數(shù)據(jù)的管理與利用[J].地礦測(cè)繪, 2017,33(1):1-3,14.
[2] 中國地質(zhì)調(diào)查局.地質(zhì)調(diào)查信息化“十三五”規(guī)劃[EB/OL]. https://www.cgs.gov.cn/xwl/ddyw/201711/t20171109_443600.html.
[3] 中華人民共和國自然資源部.DZ/T 0352-2020.城市地質(zhì)調(diào)查數(shù)據(jù)內(nèi)容與數(shù)據(jù)庫結(jié)構(gòu)[S]. ?北京:自然資源部地質(zhì)出版社,2020.
[4] 陸敬華. 地質(zhì)數(shù)據(jù)特點(diǎn)與分類[J]. 黑龍江科技信息, 2013(13):32.
[5] 譚永杰,文敏,朱月琴,等.地質(zhì)數(shù)據(jù)的大數(shù)據(jù)特性研究[J].中國礦業(yè),2017,26(9):67-71,84.
[6] 李玉. 城市地質(zhì)數(shù)據(jù)集成與共享技術(shù)研究[D].成都:成都理工大學(xué),2020.
[7] 陳澤鵬,黃睦謹(jǐn), 江齊英,等.城市地質(zhì)大數(shù)據(jù)中心關(guān)鍵技術(shù)研究與設(shè)計(jì)[J].科學(xué)與信息化,2021(19):34-35.
[8] 何學(xué)洲,向運(yùn)川,王楊剛,等.全球地質(zhì)礦產(chǎn)數(shù)據(jù)庫質(zhì)量控制體系建立與應(yīng)用 [J].中國地質(zhì),2015,42(2):737-744.
[9] Liang D., Hua W., Liu X., et al.Uncertainty assessment of a 3D geological model by integrating data errors, spatial variations and cognition bias[J].Earth Science Informatics 20201,14:161–178.