檔案信息智能采集技術(shù)的創(chuàng)新應(yīng)用研究

顧偉

摘要：檔案信息智能采集技術(shù)是大數(shù)據(jù)環(huán)境下獲取數(shù)字檔案信息資源的重要技術(shù)手段。本文在分析檔案信息智能采集技術(shù)現(xiàn)有研究成果的基礎(chǔ)上，根據(jù)檔案信息智能采集方法的不同，提出了改進(jìn)檔案信息智能采集技術(shù)應(yīng)用的創(chuàng)新方式，以達(dá)到提高檔案信息智能采集技術(shù)實(shí)用性和有效性的目的。

關(guān)鍵詞：檔案信息 智能采集 改進(jìn)方式 應(yīng)用研究

一、引言

大數(shù)據(jù)環(huán)境下，智能信息采集技術(shù)是實(shí)現(xiàn)電子檔案齊全完整收集的重要手段，尤其是對(duì)網(wǎng)站網(wǎng)頁、社交媒體等“新領(lǐng)域”電子檔案的收集有著重要意義。這些“新領(lǐng)域”的檔案信息不僅來源渠道廣、數(shù)量大，而且更新速度快、存在時(shí)間短，若不能做到及時(shí)發(fā)現(xiàn)、主動(dòng)采集，就會(huì)被新的信息所覆蓋。因此，利用檔案信息智能采集技術(shù)實(shí)現(xiàn)檔案信息自動(dòng)采集變得日益迫切和重要。

目前，已有學(xué)者從不同角度對(duì)檔案信息智能采集問題進(jìn)行了研究，張倩認(rèn)為利用自動(dòng)搜集方式是獲取檔案信息資源的新方式[1]，王維娜提出了互聯(lián)網(wǎng)條件下檔案信息采集的原則[2]，符昌慧從個(gè)性化服務(wù)的角度指出有效采集檔案數(shù)據(jù)的困難之處，以及如何制定合理的采集策略和選用合適的采集工具[3]，程知構(gòu)建了檔案數(shù)據(jù)智能采集模型[4]，冉朝霞基于輿情數(shù)據(jù)研究了檔案信息跨維度收集與分類方法[5]。但是，這些研究較少地關(guān)注檔案信息智能采集技術(shù)的實(shí)際應(yīng)用，故此，本文從實(shí)踐創(chuàng)新的角度研究檔案信息智能采集技術(shù)。

二、檔案信息智能采集技術(shù)

檔案信息智能采集技術(shù)是在電子環(huán)境下，為齊全、完整、及時(shí)、準(zhǔn)確地收集數(shù)字檔案信息資源，將檔案實(shí)踐工作與計(jì)算機(jī)信息采集技術(shù)相結(jié)合而產(chǎn)生的應(yīng)用技術(shù)。檔案信息采集是檔案數(shù)據(jù)存儲(chǔ)、清洗、分析和應(yīng)用的首要環(huán)節(jié)，在豐富數(shù)字檔案信息資源和開展檔案數(shù)據(jù)治理工作中占有重要的作用。從檔案信息采集技術(shù)的發(fā)展階段來看，檔案信息采集技術(shù)經(jīng)歷了人工采集、計(jì)算機(jī)自動(dòng)采集、網(wǎng)絡(luò)信息搜集和智能信息采集四個(gè)階段。

本文所研究的檔案信息智能采集是檔案信息采集技術(shù)的第四個(gè)階段，它是利用信息爬取技術(shù)主動(dòng)在互聯(lián)網(wǎng)上按照預(yù)設(shè)采集規(guī)則對(duì)來源不同的檔案信息進(jìn)行采集，并對(duì)采集到的檔案信息進(jìn)行數(shù)據(jù)類型解析和異構(gòu)數(shù)據(jù)分類存儲(chǔ)，并在分析檔案信息有效性和關(guān)聯(lián)性的基礎(chǔ)上，智能化地篩選和提取出與采集主題高度相關(guān)的檔案信息及其元數(shù)據(jù)，以此實(shí)現(xiàn)檔案信息精準(zhǔn)化自動(dòng)采集目標(biāo)的技術(shù)。與前三個(gè)階段相比，檔案信息智能采集不僅要能實(shí)現(xiàn)檔案信息的自動(dòng)搜集，而且還要對(duì)搜集到的檔案信息進(jìn)行分析與處理，達(dá)到檔案信息精準(zhǔn)聚合的目的。這是融合檔案學(xué)、情報(bào)學(xué)、計(jì)算機(jī)科學(xué)等相關(guān)領(lǐng)域的專業(yè)知識(shí)，通過語義理解、邏輯推理、數(shù)據(jù)分析、知識(shí)發(fā)現(xiàn)與關(guān)聯(lián)等技術(shù)模擬人類認(rèn)知功能和智能活動(dòng)而開展的一項(xiàng)智能化工作。檔案信息智能采集技術(shù)能夠?yàn)閷?shí)現(xiàn)檔案信息的完整收集提供技術(shù)保障，有助于實(shí)現(xiàn)檔案信息采集由被動(dòng)向主動(dòng)的轉(zhuǎn)變，在新媒體、網(wǎng)站網(wǎng)頁信息歸檔、檔案編研等方面有著重要的應(yīng)用價(jià)值。

三、檔案信息智能采集方式

（一）檔案信息自動(dòng)采集方式

檔案信息自動(dòng)采集是按照一定的智能采集算法將搜索路徑上所有檔案信息都保存下來的方法。它在采集過程中不設(shè)置任何條件，可以做到檔案信息的完整捕獲和實(shí)時(shí)保存，適合輿情類檔案信息的采集。該方式的不足之處在于這種采集方式未做信息過濾，采集到的信息雖較為完整，但也存在部分無用信息，為后續(xù)檔案信息的處理增加了難度，不利于檔案信息資源的開發(fā)利用。

（二）檔案信息自定義采集方式

檔案信息自定義采集是一種能夠根據(jù)檔案用戶需求，定向采集檔案用戶所需要的檔案信息的采集方式，適用于網(wǎng)頁網(wǎng)站類檔案信息的采集。與檔案信息自動(dòng)采集方式不同的是，它能根據(jù)檔案用戶采集需求自動(dòng)生成采集規(guī)則，做到精細(xì)化的智能采集，避免了大量無用信息對(duì)采集結(jié)果質(zhì)量的影響。同時(shí)，這種采集方式能夠?qū)W(wǎng)站網(wǎng)頁中文字、圖片、視頻等不同格式數(shù)據(jù)進(jìn)行智能解析和分類存儲(chǔ)，這為檔案信息利用打下了良好的數(shù)據(jù)基礎(chǔ)。但該方式的難點(diǎn)在于采集規(guī)則的準(zhǔn)確描述與設(shè)置。

（三）檔案信息定制采集方式

互聯(lián)網(wǎng)上的信息展現(xiàn)形式和技術(shù)實(shí)現(xiàn)方式是多種多樣的，在高安全性的網(wǎng)站中，其內(nèi)容是通過技術(shù)手段動(dòng)態(tài)加載實(shí)現(xiàn)的，因此，使用靜態(tài)頁面采集技術(shù)是無法采集到網(wǎng)站信息的。針對(duì)這類情況，我們需要使用定制采集的方法來實(shí)現(xiàn)。這里的“定制”是指在分別分析每個(gè)網(wǎng)站技術(shù)框架的基礎(chǔ)上，采用相應(yīng)的采集策略以實(shí)現(xiàn)檔案信息實(shí)時(shí)準(zhǔn)確地采集。這種采集方式的優(yōu)點(diǎn)在于針對(duì)性強(qiáng)，能精準(zhǔn)獲取需要采集的檔案信息，缺點(diǎn)在于成本較高，通用性不強(qiáng)。

（四）移動(dòng)端檔案信息采集方式

移動(dòng)端檔案信息采集方式是對(duì)微信公眾號(hào)、微博等移動(dòng)端的檔案信息進(jìn)行采集所采用的方式。在網(wǎng)絡(luò)媒體時(shí)代，移動(dòng)端的信息發(fā)布數(shù)量和擴(kuò)散效應(yīng)已明顯高于Web端，所以，移動(dòng)端的檔案信息采集變得越加重要。與Web端檔案信息采集相比，移動(dòng)端檔案信息采集在采集方法上與其完全不同，在技術(shù)實(shí)現(xiàn)上也更為復(fù)雜，不同移動(dòng)端的信息采集方法不完全相同，因此，移動(dòng)端檔案信息采集的開發(fā)難度和成本更高。

四、檔案信息智能采集技術(shù)應(yīng)用的創(chuàng)新方式

（一）合理優(yōu)化檔案信息智能采集的輸入方式

明確檔案信息采集需求，合理優(yōu)化輸入方式是提升檔案信息智能采集效果的有效手段。目前，改進(jìn)檔案信息智能采集輸入方式至少有三種方法：一是采用同義詞等價(jià)替換的方法。在信息采集之前，我們利用同義詞識(shí)別技術(shù)對(duì)輸入內(nèi)容進(jìn)行同義關(guān)系分析，根據(jù)相似性、顯著性和易理解性等原則將用戶輸入替換為采集系統(tǒng)最能理解的表達(dá)方式，從而得到較好的采集結(jié)果。二是利用自然語言處理技術(shù)，在語義層面提取采集需求的關(guān)鍵信息。用戶需求表達(dá)方式是多樣的，直接將這些需求輸入采集系統(tǒng)，采集系統(tǒng)不一定能智能化地準(zhǔn)確把握采集需求的關(guān)鍵內(nèi)容及其之間的相互聯(lián)系。因此，我們可以對(duì)用戶采集需求做語義分析，提取關(guān)鍵語義信息，然后，利用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等人工智能技術(shù)找出這些關(guān)鍵信息之間的關(guān)聯(lián)關(guān)系和限制關(guān)系，最后，將這些關(guān)鍵信息和限定信息以正則表達(dá)式的方式輸入采集系統(tǒng)，實(shí)現(xiàn)精準(zhǔn)描述用戶采集需求的目的。三是設(shè)置簡單、合理的信息采集規(guī)則。已有實(shí)踐經(jīng)驗(yàn)表明，在信息采集過程中，設(shè)置太過復(fù)雜的規(guī)則往往不利于獲得較好的采集結(jié)果。簡單、明確、合理即是精準(zhǔn)。采集要求過多、描述詞匯過長反而會(huì)誤導(dǎo)采集系統(tǒng)，產(chǎn)生錯(cuò)誤的采集結(jié)果。

（二）改進(jìn)檔案信息智能采集策略

檔案信息智能采集的目標(biāo)是獲得高質(zhì)量的采集結(jié)果。我們可以從采集策略上進(jìn)行調(diào)整，不斷提高采集系統(tǒng)的適用性。一是在技術(shù)上做好網(wǎng)絡(luò)站點(diǎn)反爬措施的應(yīng)對(duì)，擴(kuò)大采集的來源和范圍?，F(xiàn)在，網(wǎng)絡(luò)信息爬取技術(shù)是一種常見的信息采集手段，安全性高的網(wǎng)站都會(huì)采取反爬措施以防止信息采集系統(tǒng)對(duì)網(wǎng)站信息的自動(dòng)爬取。因此，我們應(yīng)該采用多種的技術(shù)手段，如采用動(dòng)態(tài)調(diào)整采集時(shí)間間隔、使用代理IP方法和基于深度學(xué)習(xí)的驗(yàn)證碼識(shí)別平臺(tái)等技術(shù)，降低反爬技術(shù)對(duì)采集系統(tǒng)的影響。二是要注意對(duì)采集目標(biāo)的保護(hù)，將集中式采集變?yōu)榉稚⑹讲杉苊庖驗(yàn)樾畔⒉杉斐刹杉繕?biāo)的宕機(jī)。在短時(shí)間內(nèi)頻繁地對(duì)網(wǎng)絡(luò)站點(diǎn)進(jìn)行信息采集，會(huì)產(chǎn)生大量的網(wǎng)絡(luò)并發(fā)訪問，客觀上會(huì)增大網(wǎng)絡(luò)站點(diǎn)服務(wù)器的壓力。如果該服務(wù)器并發(fā)處理能力有限，則信息采集的過程相當(dāng)于是對(duì)該網(wǎng)絡(luò)站點(diǎn)做一次網(wǎng)絡(luò)攻擊，必然造成服務(wù)器的宕機(jī)。因此，從保護(hù)采集目標(biāo)和實(shí)現(xiàn)信息長期持續(xù)采集的角度來說，應(yīng)將集中式的連續(xù)采集變?yōu)榭刂圃L問次數(shù)的分散采集。

（三）加強(qiáng)檔案信息智能采集系統(tǒng)的數(shù)據(jù)處理能力

通過采集系統(tǒng)采集到的原始信息可能存在一些與采集需求關(guān)聯(lián)度較小的信息，這些信息的存在使采集結(jié)果含有“雜質(zhì)”。將含有“雜質(zhì)”的原始采集結(jié)果進(jìn)行“提純”處理，并以直觀方式展現(xiàn)采集信息的價(jià)值，也是檔案信息智能采集必須解決的問題。為此，我們可以采用無監(jiān)督聚類算法，對(duì)原始采集結(jié)果進(jìn)行智能化甄別。通過聚類算法建立采集信息的數(shù)據(jù)模型，利用該模型找出與采集需求關(guān)聯(lián)度較小的誤采信息，并將誤采信息刪除，以提高采集結(jié)果準(zhǔn)確性。

五、檔案信息智能采集過程中應(yīng)注意的問題

（一）檔案信息采集的法律和隱私保護(hù)問題

檔案信息采集的目的是利用技術(shù)手段在互聯(lián)網(wǎng)上收集檔案信息，但客觀上，檔案信息采集也存在著促進(jìn)檔案信息資源共享與侵犯檔案主體信息權(quán)利的兩面性。檔案信息采集的正當(dāng)性和有效性源于檔案信息主體的授權(quán)，而區(qū)分這種兩面性和界定這種授權(quán)的關(guān)鍵之處在于檔案信息的開放程度和訪問權(quán)限[6]。因此，我們?cè)谶M(jìn)行檔案信息采集時(shí)，首先要明確檔案信息采集的法律邊界和個(gè)人隱私的保護(hù)范圍，依法合規(guī)的采集檔案信息。

（二）檔案信息采集標(biāo)準(zhǔn)化建設(shè)問題

制定檔案信息采集標(biāo)準(zhǔn)，明確檔案信息采集規(guī)范，既有助于提升檔案信息采集的質(zhì)量，又能為檔案信息資源共享提供保障。但在實(shí)踐中，筆者僅發(fā)現(xiàn)一項(xiàng)與檔案信息采集有關(guān)的標(biāo)準(zhǔn)即《建設(shè)工程檔案信息數(shù)據(jù)采集標(biāo)準(zhǔn)》。因此，我們應(yīng)該針對(duì)不同領(lǐng)域和行業(yè)，因地制宜做好檔案信息采集標(biāo)準(zhǔn)化建設(shè)工作，為檔案信息治理奠定良好的數(shù)據(jù)基礎(chǔ)。

（三）異構(gòu)檔案信息的集成管理問題

檔案信息的采集將產(chǎn)生大量多源異構(gòu)的數(shù)據(jù)，表現(xiàn)為數(shù)據(jù)來源、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)的多樣性。多源異構(gòu)問題給信息整合和數(shù)據(jù)應(yīng)用帶來了較大的困擾，因此，為多源異構(gòu)數(shù)據(jù)提供統(tǒng)一表示、統(tǒng)一存儲(chǔ)和統(tǒng)一管理的方法變得日益重要。在實(shí)踐中，我們應(yīng)該結(jié)合應(yīng)用場景的要求，盡可能將異構(gòu)數(shù)據(jù)集成到統(tǒng)一數(shù)據(jù)平臺(tái)中進(jìn)行管理，實(shí)現(xiàn)檔案信息的有效匯集。

六、結(jié)語

在大數(shù)據(jù)環(huán)境下，檔案智能信息采集是獲取檔案信息的有效方式，也是開展數(shù)字檔案信息資源建設(shè)、開發(fā)和利用的前提。目前，檔案信息智能采集技術(shù)處于探索階段，在實(shí)踐中未有完善的解決方案。但隨著實(shí)踐工作的深入開展和信息采集技術(shù)的不斷發(fā)展，檔案信息智能采集技術(shù)必會(huì)朝精細(xì)化、實(shí)用化方向前進(jìn)。

*本文系安徽大學(xué)校史研究項(xiàng)目《安徽大學(xué)校史研究資料智能搜集系統(tǒng)》的階段性研究成果。

注釋及參考文獻(xiàn)：

[1]張倩.應(yīng)用Web數(shù)據(jù)挖掘技術(shù)捕獲網(wǎng)絡(luò)檔案信息資源的個(gè)性化服務(wù)研究[J].檔案與建設(shè)，2008（7）：15-18.

[2]王維娜.互聯(lián)網(wǎng)條件下檔案采集與存儲(chǔ)的技術(shù)方式和管理原則[J].機(jī)電兵船檔案， 2016（5）：49-50.

[3]符昌慧.基于數(shù)據(jù)采集的互聯(lián)網(wǎng)檔案服務(wù)個(gè)性化轉(zhuǎn)變[J].山西檔案，2017（3）：72-74.

[4]程知.基于數(shù)據(jù)魔方的異構(gòu)檔案信息資源采集方法分析[J].浙江檔案，2018（8）：60- 61.

[5]冉朝霞.基于輿情數(shù)據(jù)的檔案信息跨維度收集與分類研究[J].檔案管理，2019（6）： 53-55.

[6]楊志瓊.數(shù)據(jù)時(shí)代網(wǎng)絡(luò)爬蟲的刑法規(guī)制[J].比較法研究，2020（4）：1-19.

作者單位：安徽大學(xué)檔案館