檔案數(shù)據(jù)化背景下面向?qū)ｎ}的檔案語料庫構(gòu)建探析

《“十四五”全國檔案事業(yè)發(fā)展規(guī)劃》指出：“新一代信息技術(shù)廣泛應(yīng)用，檔案工作環(huán)境、對(duì)象、內(nèi)容發(fā)生巨大變化，迫切要求創(chuàng)新檔案工作理念、方法、模式，加快全面數(shù)字轉(zhuǎn)型和智能升級(jí)?！盵1]黨的十九屆四中全會(huì)首次提出將數(shù)據(jù)作為生產(chǎn)要素參與分配，數(shù)據(jù)成為繼土地、勞動(dòng)力、資本、技術(shù)之后的第五大生產(chǎn)要素。隨著信息技術(shù)水平的不斷提高，社會(huì)智能化、數(shù)字化程度也隨之提高，人類生活生產(chǎn)方式的轉(zhuǎn)變導(dǎo)致信息資源空間結(jié)構(gòu)發(fā)生顛覆性變化，傳統(tǒng)的檔案數(shù)字化已經(jīng)不能很好地滿足目前以至未來人們的檔案開發(fā)利用需求，檔案數(shù)據(jù)化已經(jīng)成為檔案事業(yè)數(shù)字轉(zhuǎn)型和全面升級(jí)的必要條件。檔案數(shù)據(jù)化的核心在于進(jìn)一步細(xì)化電子化檔案的信息顆粒度，使得信息顆粒度重組為計(jì)算機(jī)可識(shí)別語義的精細(xì)化數(shù)據(jù)[2]，簡(jiǎn)單來說就是將電子化的檔案進(jìn)一步加工成機(jī)器可理解識(shí)別的機(jī)讀數(shù)據(jù)。語料庫是為研究自然語言現(xiàn)象而收集、整理和存儲(chǔ)的文本數(shù)據(jù)集 [3]，也是檔案數(shù)據(jù)化的表現(xiàn)形式之一。2024年1月，國家數(shù)據(jù)局等17部門聯(lián)合印發(fā)《“數(shù)據(jù)要素×”三年行動(dòng)計(jì)劃（2024—2026年）》，提出“深入挖掘各類科學(xué)數(shù)據(jù)和科技文獻(xiàn)，通過細(xì)粒度知識(shí)抽取和多來源知識(shí)融合，構(gòu)建科學(xué)知識(shí)資源底座，建設(shè)高質(zhì)量語料庫和基礎(chǔ)科學(xué)數(shù)據(jù)集” [4]。構(gòu)建高質(zhì)量的語料庫是對(duì)檔案資源進(jìn)行深度數(shù)字加工、知識(shí)組織、知識(shí)發(fā)現(xiàn)的必備條件。目前，我國檔案資源種類繁多，保密期限不同，開放利用的方式也不盡相同，因此，以專題為單位構(gòu)建檔案語料庫可以進(jìn)一步幫助我國檔案資源開發(fā)與利用。本文在分析面向?qū)ｎ}的檔案語料庫構(gòu)建必要性的基礎(chǔ)上提出語料庫的構(gòu)建原則，并給出了面向?qū)ｎ}的檔案語料庫構(gòu)建方法，以抗美援朝檔案為例，構(gòu)建抗美援朝專題檔案語料庫模型，以期為其他專題檔案語料庫構(gòu)建提供參考。

一、面向?qū)ｎ}的檔案語料庫構(gòu)建的必要性

首先，從國家層面來說，專題檔案語料庫的建立是檔案數(shù)據(jù)化建設(shè)的重要途徑之一，不僅契合將數(shù)據(jù)作為五大生產(chǎn)要素之一合理利用的思想，更推動(dòng)了數(shù)字中國建設(shè)進(jìn)程。

其次，從社會(huì)層面來說，隨著信息化時(shí)代的到來，社會(huì)公眾對(duì)于信息透明、知識(shí)共享的需求日益增長(zhǎng)。目前，檔案館的檔案開放工作正在如火如荼地進(jìn)行，傳統(tǒng)的檔案管理模式通常以紙質(zhì)或電子掃描保存為主，查閱流程復(fù)雜且費(fèi)時(shí)，難以滿足現(xiàn)代社會(huì)對(duì)檔案高效查閱與利用的需求。面向?qū)ｎ}的檔案語料庫通過數(shù)字化、網(wǎng)絡(luò)化的方式開放檔案資料，使公眾能夠通過互聯(lián)網(wǎng)輕松獲取相關(guān)檔案數(shù)據(jù)，尤其是在某些具有廣泛社會(huì)影響力的專題領(lǐng)域構(gòu)建檔案語料庫，有助于公眾更好地理解歷史、關(guān)注社會(huì)問題。

最后，從文化價(jià)值方面來說，檔案是社會(huì)歷史和文化的真實(shí)記錄，具有獨(dú)特的歷史文化價(jià)值，每一份檔案都承載著一個(gè)時(shí)代的印記，是人類社會(huì)發(fā)展歷程的重要見證。面向?qū)ｎ}的檔案語料庫能夠?qū)⑴c特定主題相關(guān)的重要檔案資料集中收錄，形成一個(gè)結(jié)構(gòu)化的數(shù)字化平臺(tái)，有效避免珍貴資料散失、遺忘或被忽略。這不僅有利于檔案的保存和傳承，同時(shí)也為后代研究、考證提供了寶貴的資料，從而推動(dòng)歷史文化的傳承與保護(hù)。

因此，面向?qū)ｎ}的檔案語料庫構(gòu)建不僅在國家層面推動(dòng)數(shù)字化進(jìn)程，在社會(huì)層面滿足公眾的需求，更在文化價(jià)值層面保護(hù)和傳承了歷史文化。它是實(shí)現(xiàn)檔案數(shù)字化管理、信息公開共享、文化保護(hù)的重要途徑，也是社會(huì)各界進(jìn)行深入研究、探討歷史與現(xiàn)實(shí)問題的堅(jiān)實(shí)基礎(chǔ)。

二、面向?qū)ｎ}的檔案語料庫構(gòu)建原則

（一）真實(shí)可靠原則

確保語料庫中收集的檔案資料真實(shí)可靠是構(gòu)建檔案語料庫的首要原則，也是構(gòu)建高質(zhì)量檔案語料庫的核心條件。確保語料庫中收集的檔案資料真實(shí)、準(zhǔn)確，首先要做到所有檔案資料來源明確，并經(jīng)過仔細(xì)驗(yàn)證，防止篡改、偽造，以及不準(zhǔn)確、不完整的數(shù)據(jù)進(jìn)入語料庫。這一原則是為了確保研究人員和其他用戶能夠依賴語料庫中的數(shù)據(jù)進(jìn)行可信的分析和研究。

（二）全面性原則

以專題為單位對(duì)檔案收集齊全，確保同一專題的可開放利用檔案都能進(jìn)入語料庫，其來源通常并不拘泥于單一的館藏單位，保存在檔案館、圖書館、文化館、史志辦等文化機(jī)構(gòu)的相關(guān)材料都應(yīng)該納入收集范圍[5]。這種廣泛的收集方式能夠保證語料庫內(nèi)容的多樣性與豐富性，使其能夠更全面地反映出某一專題的方方面面，為研究者提供一個(gè)廣闊的有深度的研究基礎(chǔ)。

（三）安全性原則

語料庫作為一個(gè)可供研究和公眾使用的開放性文本數(shù)據(jù)集，安全性是其構(gòu)建過程中必須嚴(yán)肅考慮的重要因素。在構(gòu)建語料庫之前，需要首先檢查檔案資料的保密期限，確保所有納入語料庫的資料都已經(jīng)解密或無保密限制。此外，在數(shù)據(jù)的存儲(chǔ)、傳輸和應(yīng)用過程中，應(yīng)采取必要的安全措施，以保證數(shù)據(jù)載體和內(nèi)容的安全，防止數(shù)據(jù)丟失、泄露或被非法篡改，確保語料庫的長(zhǎng)期穩(wěn)定和安全使用。

三、面向?qū)ｎ}的檔案語料庫構(gòu)建方法

（一）數(shù)據(jù)收集

明確收集范圍，在確保真實(shí)可靠的基礎(chǔ)上盡可能從不同角度全面地收集專題檔案數(shù)據(jù)資源，以確保語料庫的全面性和適用性。收集過程中，應(yīng)注意不同類型檔案的綜合性和代表性，以便為后續(xù)研究提供豐富、詳細(xì)的數(shù)據(jù)支持。

（二）數(shù)據(jù)預(yù)處理

收集到的數(shù)據(jù)可能存在許多噪聲和無用信息，因此需要進(jìn)行數(shù)據(jù)清洗和預(yù)處理。首先，可以將文本拆分成單詞或詞組，去掉頻繁出現(xiàn)但沒有實(shí)際意義的詞語。其次，可以對(duì)文本進(jìn)行標(biāo)準(zhǔn)化處理，如統(tǒng)一格式、糾正拼寫錯(cuò)誤等。此外，數(shù)據(jù)預(yù)處理還包括文本的結(jié)構(gòu)化處理，以便更好地進(jìn)行后續(xù)分析和應(yīng)用。

（三）數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注是指為語料庫中的數(shù)據(jù)添加結(jié)構(gòu)化標(biāo)簽或注釋，以便機(jī)器學(xué)習(xí)模型可以使用這些標(biāo)簽進(jìn)行訓(xùn)練和評(píng)估。數(shù)據(jù)標(biāo)注是構(gòu)建高質(zhì)量語料庫的重要環(huán)節(jié)，標(biāo)注原則與方法的確定是做好數(shù)據(jù)標(biāo)注工作的重中之重。

在標(biāo)注體系的確定上，常見的標(biāo)注方法有實(shí)體標(biāo)注，即標(biāo)注人名、物名、組織名等實(shí)體；詞性標(biāo)注以及基于依存句法的標(biāo)注，即標(biāo)注句子中詞與詞之間的語法關(guān)系。目前信息資源領(lǐng)域主流的標(biāo)注方法是實(shí)體標(biāo)注，為了更好地體現(xiàn)文本核心語義信息以實(shí)現(xiàn)檔案文本的語義計(jì)算，可以將語義本體引入數(shù)據(jù)標(biāo)注階段。通過本體建模進(jìn)而指導(dǎo)數(shù)據(jù)標(biāo)注，構(gòu)建標(biāo)注體系。

在標(biāo)注方法上，目前數(shù)據(jù)標(biāo)注策略主要有人工標(biāo)注、機(jī)器標(biāo)注和人機(jī)結(jié)合標(biāo)注三種[6]。人工標(biāo)注耗時(shí)較多，且需要標(biāo)注人員有一定的行業(yè)知識(shí)儲(chǔ)備才能保證標(biāo)注內(nèi)容的準(zhǔn)確，費(fèi)時(shí)費(fèi)力，適合小型語料庫的標(biāo)注。目前機(jī)器標(biāo)注的研究尚未完全成熟，因此可以選擇人機(jī)結(jié)合的標(biāo)注方法進(jìn)行數(shù)據(jù)標(biāo)注。

（四）數(shù)據(jù)存儲(chǔ)

專題的檔案語料庫存儲(chǔ)可以選用非關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)。這些數(shù)據(jù)庫具有高擴(kuò)展性和靈活性，能夠高效地處理大量的非結(jié)構(gòu)化數(shù)據(jù)，并支持復(fù)雜查詢和實(shí)時(shí)分析。選擇合適的存儲(chǔ)方案，可以確保語料庫的數(shù)據(jù)管理和檢索更為高效、便捷。

四、面向?qū)ｎ}檔案語料庫構(gòu)建模型——以抗美援朝檔案為例

抗美援朝檔案是指在抗美援朝時(shí)期形成的，記錄與反映抗美援朝歷史，體現(xiàn)抗美援朝精神的具有保存價(jià)值的歷史文化資料[7]。圖1為抗美援朝檔案語料庫構(gòu)建模型，主要分為：檔案數(shù)據(jù)資源層、檔案數(shù)據(jù)處理層和檔案數(shù)據(jù)資產(chǎn)層三個(gè)模塊。

（一）檔案數(shù)據(jù)資源層

檔案數(shù)據(jù)資源層主要包括應(yīng)收納進(jìn)語料庫的抗美援朝檔案資源，語料庫數(shù)據(jù)資源的選取應(yīng)遵循數(shù)量規(guī)模大、覆蓋面廣、真實(shí)可靠、來源清晰、合法合規(guī)的原則。在此基礎(chǔ)上將抗美援朝時(shí)期電子化文件、抗美援朝口述資料、抗美援朝回憶錄等抗美援朝檔案收集齊全，再通過人工篩查重復(fù)檔案、文本提取等一系列操作手段形成抗美援朝檔案數(shù)據(jù)資源。

（二）檔案數(shù)據(jù)處理層

檔案數(shù)據(jù)處理層是抗美援朝專題檔案語料庫構(gòu)建模型的核心部分，也是抗美援朝專題檔案語料庫構(gòu)建的主要步驟。首先對(duì)抗美援朝檔案進(jìn)行本體建模，明確檔案數(shù)據(jù)的結(jié)構(gòu)和關(guān)系，為后續(xù)的處理和分析提供基礎(chǔ)，并構(gòu)建語料標(biāo)注體系。其次，將檔案數(shù)據(jù)資源層得到的抗美援朝檔案數(shù)據(jù)資源進(jìn)行數(shù)據(jù)清洗、去重、分詞。數(shù)據(jù)清洗是指去除數(shù)據(jù)中的噪聲和錯(cuò)誤，保證數(shù)據(jù)的質(zhì)量；去重是指消除重復(fù)的檔案記錄，保證數(shù)據(jù)的獨(dú)特性；分詞是指將文本數(shù)據(jù)按照詞語進(jìn)行切分，便于后續(xù)的分析和處理，經(jīng)過一系列操作后得到抗美援朝檔案原始語料。在數(shù)據(jù)預(yù)處理之后，進(jìn)入數(shù)據(jù)標(biāo)注階段。可以采取人工標(biāo)注的方式根據(jù)構(gòu)建的標(biāo)注體系進(jìn)行實(shí)體標(biāo)注，也可以采用命名實(shí)體識(shí)別技術(shù)識(shí)別出抗美援朝檔案數(shù)據(jù)資源中的實(shí)體進(jìn)行標(biāo)注，標(biāo)注后即得到抗美援朝專題檔案語料庫。

（三）檔案數(shù)據(jù)資產(chǎn)層

將檔案數(shù)據(jù)處理層得到的抗美援朝專題檔案語料庫采用非關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)即得到抗美援朝專題檔案數(shù)據(jù)資產(chǎn)。非關(guān)系型數(shù)據(jù)庫具有高效的存儲(chǔ)和檢索性能，能夠滿足大規(guī)模檔案數(shù)據(jù)的存儲(chǔ)需求，設(shè)計(jì)存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)并導(dǎo)入非關(guān)系型數(shù)據(jù)庫中即可進(jìn)行檢索?？姑涝瘜ｎ}檔案語料庫不僅可以作為數(shù)據(jù)資產(chǎn)，為檔案管理部門提供高效的數(shù)據(jù)存儲(chǔ)和檢索服務(wù)，還可以作為抗美援朝相關(guān)研究的基礎(chǔ)數(shù)據(jù)。將抗美援朝檔案語料進(jìn)行進(jìn)一步知識(shí)融合與抽取即可構(gòu)建抗美援朝領(lǐng)域知識(shí)圖譜。領(lǐng)域知識(shí)圖譜又稱為行業(yè)知識(shí)圖譜或垂直知識(shí)圖譜，是面向某一特定領(lǐng)域，由該領(lǐng)域的專業(yè)數(shù)據(jù)構(gòu)成的行業(yè)知識(shí)庫[8]。除此之外，還可以進(jìn)行抗美援朝檔案的文本挖掘與語義分析。文本挖掘可以從海量的檔案數(shù)據(jù)中提取有價(jià)值的信息，語義分析可以深入理解檔案數(shù)據(jù)的內(nèi)容和意義。這些技術(shù)手段的應(yīng)用，可以極大地提升檔案數(shù)據(jù)的利用價(jià)值，為抗美援朝相關(guān)研究提供新的視角和方法。

五、結(jié)語

大數(shù)據(jù)時(shí)代，數(shù)據(jù)成為國家基礎(chǔ)性戰(zhàn)略資源和關(guān)鍵生產(chǎn)要素，推動(dòng)經(jīng)濟(jì)運(yùn)行方式、生產(chǎn)生活方式和社會(huì)治理方式深刻變革[9]。檔案數(shù)據(jù)已經(jīng)成為了檔案管理的新對(duì)象。本文立足于檔案數(shù)據(jù)化背景之下，探究面向?qū)ｎ}的檔案語料庫的實(shí)現(xiàn)路徑，以抗美援朝檔案為例，構(gòu)建抗美援朝專題檔案語料庫模型，以期為其他專題檔案語料庫構(gòu)建提供參考。

參考文獻(xiàn)：

[1] 中共中央辦公廳，國務(wù)院辦公廳.“十四五”全國檔案事業(yè)發(fā)展規(guī)劃[EB/OL].（2021-06-09）[2024-07-01]. https：//www.saac.gov.cn/daj/toutiao/202106/ecca2de5bce44a0eb55c890762868683.shtml.

[2]陸國強(qiáng).檔案信息智能化利用：從數(shù)字化到數(shù)據(jù)化[J].浙江檔案，2023（5）：48-50.

[3]周明. 中文語言學(xué)與計(jì)算語言學(xué)[M]. 北京：高等教育出版社，2017.

[4] 中華人民共和國國家發(fā)展和改革委員會(huì).國家數(shù)據(jù)局等17部門聯(lián)合印發(fā)《“數(shù)據(jù)要素×”三年行動(dòng)計(jì)劃（2024—2026年）》[EB/OL].（2024-01-04）[2024-07-02]. https：//www.ndrc.gov.cn/xwdt/ztzl/szjj/zcwj/202406/t20240607_1386734.html.

[5]婁麗娜.紅色檔案語料庫構(gòu)建的原則與方法[J].山西檔案，2024（1）：70-72.

[6] 黃水清，王東波.國內(nèi)語料庫研究綜述[J].信息資源管理學(xué)報(bào)，2021 （3）：4-17+87.

[7] 趙彥昌，吉日格勒.抗美援朝檔案資源敘事化開發(fā)研究：紀(jì)念抗美援朝戰(zhàn)爭(zhēng)勝利70周年[J].檔案與建設(shè)，2023（12）：8-11.

[8] 劉燁宸，李華昱.領(lǐng)域知識(shí)圖譜研究綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020 （6）：1-12.

[9] 金波，楊鵬.檔案數(shù)據(jù)治理賦能的思維意象與行動(dòng)具象[J].檔案學(xué)研究，2024（3）：4-12.

基金項(xiàng)目：2024年遼寧省教育廳高校基本科研項(xiàng)目“數(shù)據(jù)要素化背景下數(shù)字檔案資源知識(shí)組織與開放利用研究”（LJ112410140076）

作者單位：遼寧大學(xué)信息資源管理學(xué)院