基于知識(shí)圖譜的項(xiàng)目文檔智能管理與應(yīng)用系統(tǒng)

王志剛，吳士泓，李孟全，李 向

（1.遠(yuǎn)光軟件股份有限公司，珠海 519085；2.華中科技大學(xué)管理學(xué)院，武漢 430074）

0 引言

在互聯(lián)網(wǎng)與計(jì)算機(jī)科學(xué)技術(shù)快速發(fā)展的形勢(shì)下，信息化是企業(yè)發(fā)展的必由之路，對(duì)企業(yè)文檔進(jìn)行網(wǎng)絡(luò)化、自動(dòng)化和電子化管理，實(shí)現(xiàn)全面信息共享是大勢(shì)所趨［1］。因?yàn)槠髽I(yè)大部分有價(jià)值的信息都是以文件形式存在且很多重要的業(yè)務(wù)流程是以文件流驅(qū)動(dòng)的，所以文檔管理在企業(yè)管理中非常重要［2］。國(guó)內(nèi)外的項(xiàng)目文檔管理研究更多的集中在項(xiàng)目文檔管理流程自動(dòng)化方面［3-4］，對(duì)于文檔內(nèi)容自身的價(jià)值并沒(méi)有重點(diǎn)關(guān)注導(dǎo)致文檔難以發(fā)揮應(yīng)有價(jià)值［5-6］。

現(xiàn)有文檔管理系統(tǒng)造成項(xiàng)目文檔價(jià)值不能充分利用的主要原因包括以下3點(diǎn)：①現(xiàn)有的文檔管理系統(tǒng)對(duì)于文檔的管理比較粗糙，大多是以整個(gè)文檔作為最小粒度，更多考慮的是項(xiàng)目文檔的流程自動(dòng)化，提升項(xiàng)目文檔的編寫(xiě)、存儲(chǔ)與使用。并沒(méi)有從單個(gè)文檔本身內(nèi)容處理出發(fā)，對(duì)于文檔中更小粒度的重要的和有用的信息進(jìn)行捕獲和提取，導(dǎo)致文檔價(jià)值難以充分體現(xiàn)和發(fā)揮。②現(xiàn)有文檔管理系統(tǒng)涉及文檔內(nèi)容處理的過(guò)程主要使用人工進(jìn)行，存在大量重復(fù)性高、內(nèi)容枯燥的工作，這將會(huì)導(dǎo)致難以避免的人為失誤。③現(xiàn)有文檔管理系統(tǒng)對(duì)于文檔的分析與應(yīng)用技術(shù)手段落后，文檔處理質(zhì)量和效率低下，難以實(shí)現(xiàn)多維度文檔智能分析與應(yīng)用?？傮w來(lái)說(shuō)，現(xiàn)有文檔管理系統(tǒng)對(duì)于企業(yè)各種類(lèi)型的項(xiàng)目文檔管理與價(jià)值深度挖掘能力不足，自動(dòng)化和智能化程度有待提高。隨著信息化技術(shù)的發(fā)展，如何使用新技術(shù)提高項(xiàng)目文檔處理質(zhì)量和效率，深度挖掘文檔數(shù)據(jù)價(jià)值變得尤為重要。

招投標(biāo)文檔管理系統(tǒng)作為文檔管理系統(tǒng)的一種，也存在文檔價(jià)值利用率低的問(wèn)題。為解決這個(gè)問(wèn)題，本文提供一種基于知識(shí)圖譜的招投標(biāo)文檔管理與應(yīng)用系統(tǒng)。該系統(tǒng)以企業(yè)商務(wù)招投標(biāo)項(xiàng)目管理（項(xiàng)目管理的文檔包括招標(biāo)文檔、投標(biāo)文檔和合同文檔）為例，基于機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、知識(shí)圖譜和光學(xué)字符識(shí)別等人工智能技術(shù)支持智能文檔處理與應(yīng)用，充分挖掘文檔價(jià)值，保證文檔處理質(zhì)量，減少人力成本，提升工作效率。具體而言，針對(duì)非結(jié)構(gòu)化文檔數(shù)據(jù)價(jià)值挖掘不足的問(wèn)題，分別構(gòu)建預(yù)訓(xùn)練模型與規(guī)則相融合的提取模型、圖片分類(lèi)與光學(xué)字符識(shí)別融合模型進(jìn)行文檔關(guān)鍵文字內(nèi)容和圖片內(nèi)容提取。使用知識(shí)圖譜技術(shù)將抽取的知識(shí)、項(xiàng)目、文檔、外部支撐和佐證等數(shù)據(jù)一起構(gòu)建文檔知識(shí)圖譜，著重構(gòu)建文檔與文檔內(nèi)容之間的深度關(guān)聯(lián)，實(shí)現(xiàn)招投標(biāo)文檔數(shù)據(jù)的統(tǒng)一組織與存儲(chǔ)，支撐深度知識(shí)挖掘和智能應(yīng)用開(kāi)發(fā)。針對(duì)文檔處理智能化程度低下和人力成本高等問(wèn)題，提供基于機(jī)器學(xué)習(xí)和自然語(yǔ)言處理的文檔智能查重和比對(duì)、基于文檔信息的企業(yè)資質(zhì)審查等模型，將機(jī)械重復(fù)的、內(nèi)容枯燥的文檔處理工作交由機(jī)器自動(dòng)完成。系統(tǒng)提供文檔的智能多維分析、語(yǔ)義檢索、智能問(wèn)答與推薦等應(yīng)用，能夠?qū)崿F(xiàn)文檔管理的多維度智能分析與可視化展示，方便用戶(hù)快速獲取文檔知識(shí)，實(shí)現(xiàn)挖掘的文檔數(shù)據(jù)輔助決策支持。

1 系統(tǒng)使用的人工智能技術(shù)

人工智能技術(shù)是引領(lǐng)未來(lái)的一種戰(zhàn)略性技術(shù)，世界上的主要發(fā)達(dá)國(guó)家都把發(fā)展人工智能作為提高生產(chǎn)力，提升工作效率的有效途徑。2016 年10 月，美國(guó)白宮發(fā)布《為人工智能的未來(lái)做好準(zhǔn)備》和《人工智能研究與發(fā)展戰(zhàn)略規(guī)劃》兩份報(bào)告，將人工智能技術(shù)放到很重要的地位。2017 年7 月，中國(guó)國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，提出將人工智能放在國(guó)家戰(zhàn)略層面進(jìn)行系統(tǒng)布局［7］。2018年4月，歐盟委員會(huì)通過(guò)《人工智能通訊》，旨在建立《歐洲人工智能聯(lián)盟》，提升歐盟在人工智能相關(guān)領(lǐng)域的生產(chǎn)力和影響力。

當(dāng)前，人工智能已經(jīng)產(chǎn)生了許多細(xì)分領(lǐng)域，比如自然語(yǔ)言處理、知識(shí)圖譜、語(yǔ)音識(shí)別和圖像識(shí)別等，這些領(lǐng)域正在逐步改變著人類(lèi)的生活。無(wú)論在學(xué)術(shù)界還是工業(yè)界，研究人員都在緊鑼密鼓地研究著人工智能技術(shù)，全力搶占人工智能制高點(diǎn)［8］。本文設(shè)計(jì)的文檔管理與應(yīng)用系統(tǒng)充分吸收自然語(yǔ)言處理、知識(shí)圖譜和OCR等多種人工智能技術(shù)的優(yōu)勢(shì)，輔助解決文檔管理的各種難題，提升文檔的處理質(zhì)量和效率，提升項(xiàng)目文檔管理的智能化和自動(dòng)化程度，降低人力成本。以下將對(duì)項(xiàng)目文檔管理過(guò)程中使用的幾種關(guān)鍵智能技術(shù)進(jìn)行簡(jiǎn)單介紹。

1.1 自然語(yǔ)言處理

自然語(yǔ)言處理技術(shù)（natural language processing，NLP）可以讓計(jì)算機(jī)能夠理解人類(lèi)語(yǔ)言，實(shí)現(xiàn)人與計(jì)算機(jī)之間的信息交互［9-10］。依據(jù)對(duì)語(yǔ)言處理的粒度粗細(xì)不同，自然語(yǔ)言處理可以分為字詞級(jí)、句法級(jí)和篇章級(jí)等三大類(lèi)技術(shù)。當(dāng)前環(huán)境下，自然語(yǔ)言處理技術(shù)被廣泛應(yīng)用在文本處理［11-12］、問(wèn)答系統(tǒng)［13］等領(lǐng)域。

本文所設(shè)計(jì)的系統(tǒng)主要處理對(duì)象是各種類(lèi)型的項(xiàng)目文檔，從項(xiàng)目文檔中進(jìn)行知識(shí)提取和對(duì)文檔進(jìn)行查重比對(duì)及校驗(yàn)是一個(gè)重點(diǎn)工作。本文通過(guò)使用自然語(yǔ)言處理字詞級(jí)技術(shù)擬解決項(xiàng)目文檔知識(shí)抽取難度大、文檔比對(duì)和校驗(yàn)困難等問(wèn)題，提升項(xiàng)目文檔知識(shí)挖掘與文檔處理的自動(dòng)化和智能化程度。

1.2 知識(shí)圖譜

知識(shí)圖譜（knowledge graph，KG）以其強(qiáng)大的語(yǔ)義表達(dá)、存儲(chǔ)和推理能力，為互聯(lián)網(wǎng)時(shí)代的數(shù)據(jù)知識(shí)化組織和智能應(yīng)用提供了有效解決方案［14］。谷歌公司的阿米特·辛格博士曾說(shuō):“The world is not made of strings，but is made of things”，這句話(huà)表達(dá)的深層含義是知識(shí)圖譜描述真實(shí)世界中存在的各種實(shí)體和概念，以及這些實(shí)體、概念之間的關(guān)聯(lián)關(guān)系［15］。通常來(lái)說(shuō)，知識(shí)圖譜包括本體層和實(shí)例層，本體層是以概念/實(shí)體、關(guān)系、屬性等要素組成的語(yǔ)義網(wǎng)絡(luò)，實(shí)例層是本體為模式具體存儲(chǔ)的實(shí)例數(shù)據(jù)記錄。

知識(shí)圖譜能夠克服企業(yè)各種結(jié)構(gòu)類(lèi)型的數(shù)據(jù)不能進(jìn)行有效整合和關(guān)聯(lián)、數(shù)據(jù)價(jià)值挖掘難度大等數(shù)據(jù)管理難題，其強(qiáng)大的語(yǔ)義處理和數(shù)據(jù)結(jié)構(gòu)化組織能力，為企業(yè)充分挖掘數(shù)據(jù)價(jià)值支撐決策提供重要支撐，為企業(yè)的智能化信息應(yīng)用提供基礎(chǔ)。知識(shí)圖譜的常見(jiàn)應(yīng)用包括語(yǔ)義搜索［16-18］、智能問(wèn)答［19-21］和個(gè)性化推薦［22］等。

本文使用知識(shí)圖譜技術(shù)對(duì)企業(yè)項(xiàng)目文檔及其上下游業(yè)務(wù)數(shù)據(jù)構(gòu)建文檔知識(shí)圖譜，解決項(xiàng)目文檔知識(shí)結(jié)構(gòu)化存儲(chǔ)與管理難、知識(shí)檢索不便捷等問(wèn)題。并且，以文檔知識(shí)圖譜為基礎(chǔ)，支撐企業(yè)實(shí)現(xiàn)知識(shí)快速檢索、多維統(tǒng)計(jì)分析、智能問(wèn)答與推薦等各種智能應(yīng)用，充分發(fā)揮企業(yè)文檔知識(shí)的價(jià)值，提高知識(shí)服務(wù)的便捷性和準(zhǔn)確性。

1.3 光學(xué)字符識(shí)別

光學(xué)字符識(shí)別（optical character recognition，OCR）是利用計(jì)算機(jī)技術(shù)對(duì)圖片上的信息內(nèi)容進(jìn)行提取并轉(zhuǎn)換成一種計(jì)算機(jī)可以處理的字符?；贠CR的識(shí)別系統(tǒng)將圖片文字自動(dòng)轉(zhuǎn)換為字符文本，不僅可以有效縮減存儲(chǔ)空間，還可以減少人工處理信息的成本，提供查詢(xún)便捷性以及提升檢索速度。OCR的常見(jiàn)應(yīng)用主要體現(xiàn)在圖片信息檢測(cè)與提?。?3-24］、票據(jù)識(shí)別［25］等。

企業(yè)項(xiàng)目文檔中包含大量的非結(jié)構(gòu)化圖片數(shù)據(jù)，這些數(shù)據(jù)在實(shí)際應(yīng)用中具有價(jià)值量大、難以挖掘等特征。本文擬使用OCR 技術(shù)對(duì)文檔中的圖片進(jìn)行檢測(cè)與信息提取，解決圖片數(shù)據(jù)難以被機(jī)器自動(dòng)挖掘價(jià)值信息的問(wèn)題。并且，以使用OCR 對(duì)圖片數(shù)據(jù)進(jìn)行提取的結(jié)構(gòu)化信息作為文檔知識(shí)圖譜的數(shù)據(jù)來(lái)源之一，實(shí)現(xiàn)非結(jié)構(gòu)化圖片數(shù)據(jù)的結(jié)構(gòu)化過(guò)程，達(dá)到充分利用圖片數(shù)據(jù)信息的目標(biāo)。

2 系統(tǒng)功能設(shè)計(jì)

本文所設(shè)計(jì)系統(tǒng)是基于知識(shí)圖譜、自然語(yǔ)言處理、OCR 和機(jī)器學(xué)習(xí)等人工智能技術(shù)設(shè)計(jì)的項(xiàng)目文檔智能管理與應(yīng)用系統(tǒng)，系統(tǒng)核心功能模塊包括項(xiàng)目管理、模板管理、知識(shí)圖譜和統(tǒng)計(jì)查詢(xún)。項(xiàng)目管理模塊提供項(xiàng)目管理與數(shù)據(jù)收集、文檔關(guān)鍵信息提取、文檔查重比對(duì)和企業(yè)資格審查。模板管理提供文件模板、知識(shí)抽取模板和企業(yè)資質(zhì)審查資格證書(shū)模板。知識(shí)圖譜模板將抽取的知識(shí)與元數(shù)據(jù)構(gòu)建知識(shí)圖譜，實(shí)現(xiàn)文檔的語(yǔ)義互聯(lián)。統(tǒng)計(jì)查詢(xún)模塊基于構(gòu)建的文檔知識(shí)圖譜實(shí)現(xiàn)多維統(tǒng)計(jì)分析、語(yǔ)義檢索與智能問(wèn)答等應(yīng)用。依據(jù)文檔處理流程，系統(tǒng)的功能視圖如圖1所示。

圖1 系統(tǒng)功能視圖

2.1 數(shù)據(jù)源

本文設(shè)計(jì)的文檔管理系統(tǒng)，首先需要對(duì)各種類(lèi)型的非結(jié)構(gòu)化的電子文檔數(shù)據(jù)（doc/docx、pdf和excel等文檔）進(jìn)行收集與分類(lèi)存儲(chǔ)，同時(shí)需要從外部數(shù)據(jù)庫(kù)獲取業(yè)務(wù)上下游的結(jié)構(gòu)化數(shù)據(jù)。

2.2 項(xiàng)目管理

項(xiàng)目管理功能正是以企業(yè)招投標(biāo)項(xiàng)目為單位，創(chuàng)建招投標(biāo)項(xiàng)目基本信息，上傳與存儲(chǔ)招投標(biāo)過(guò)程中產(chǎn)生的各類(lèi)非結(jié)構(gòu)化文檔數(shù)據(jù)。項(xiàng)目管理還包含模板功能，模板管理用于管理與配置各類(lèi)招標(biāo)項(xiàng)目的招標(biāo)文件模板和招標(biāo)項(xiàng)目類(lèi)型對(duì)應(yīng)的企業(yè)資質(zhì)審核要求模板以及文檔知識(shí)抽取模板。

2.3 文檔處理與存儲(chǔ)

文檔處理與存儲(chǔ)功能模塊是對(duì)項(xiàng)目管理模塊收集的各種項(xiàng)目文檔進(jìn)行處理與統(tǒng)一結(jié)構(gòu)化存儲(chǔ)，其主要包括三個(gè)核心功能：文檔查重比對(duì)、企業(yè)資質(zhì)審查與文檔知識(shí)圖譜構(gòu)建。

2.3.1 文檔查重比對(duì)

文檔查重比對(duì)是文檔處理的一個(gè)重要功能。文檔查重比對(duì)是使用自然語(yǔ)言處理和機(jī)器學(xué)習(xí)算法模型實(shí)現(xiàn)文檔重復(fù)率檢查和文檔版本差異比對(duì)等應(yīng)用，其目標(biāo)是將機(jī)械重復(fù)的文檔處理工作交由機(jī)器自主實(shí)現(xiàn)，提高文檔處理效率和降低人力成本。具體而言，本系統(tǒng)提供包括招標(biāo)文檔與招標(biāo)文檔模板、投標(biāo)文檔與招標(biāo)文檔、合同與合同模板等之間的比對(duì)，以及投標(biāo)文檔與投標(biāo)文檔之間重復(fù)率查詢(xún)等查重比對(duì)功能。文檔查重比對(duì)包括文檔預(yù)處理、文檔數(shù)據(jù)抽取和查重比對(duì)算法等幾個(gè)關(guān)鍵部分。其中，查重比對(duì)算法包括采用simHash 和winnowing 等兩種機(jī)器學(xué)習(xí)算法模型實(shí)現(xiàn)文檔查重，采用diff算法模型實(shí)現(xiàn)文檔比對(duì)。文檔查重比對(duì)的技術(shù)方案如圖2所示。

圖2 文檔查重比對(duì)技術(shù)方案

2.3.2 資格審查

資格審查是文檔處理的另外一個(gè)重要功能。資格審查是對(duì)投標(biāo)企業(yè)的相關(guān)資質(zhì)是否滿(mǎn)足招標(biāo)方的要求以及對(duì)資質(zhì)證明文件的真?zhèn)芜M(jìn)行校驗(yàn)。企業(yè)資質(zhì)證明文件通常是依據(jù)招標(biāo)要求由投標(biāo)方寫(xiě)在投標(biāo)文件之中。該功能目標(biāo)是將企業(yè)資質(zhì)審核的問(wèn)題交由機(jī)器自動(dòng)實(shí)現(xiàn)，進(jìn)而能夠節(jié)省大量時(shí)間成本和人力成本。資格審查的實(shí)現(xiàn)首先需要從招標(biāo)文件中識(shí)別出相應(yīng)的資質(zhì)圖片并分類(lèi)，使用OCR技術(shù)從資質(zhì)圖片中提取到關(guān)鍵信息以備到發(fā)證機(jī)關(guān)提供的接口進(jìn)行查驗(yàn)。具體而言，本系統(tǒng)進(jìn)行資格審查的過(guò)程包括從投標(biāo)文件中進(jìn)行資質(zhì)圖片數(shù)據(jù)抽取、圖片分類(lèi)和OCR關(guān)鍵信息識(shí)別等，其中進(jìn)行關(guān)鍵信息提取的技術(shù)路徑是使用DBnet進(jìn)行文本檢測(cè)，使用CTC進(jìn)行文本識(shí)別以及使用Inception V3 進(jìn)行文本分類(lèi)。企業(yè)資格審查的技術(shù)方案如圖3所示。

圖3 企業(yè)資格審查的技術(shù)方案

2.3.3 文檔知識(shí)圖譜構(gòu)建

知識(shí)圖譜是文檔智能管理與應(yīng)用的一個(gè)核心功能之一，它實(shí)現(xiàn)文檔處理結(jié)果結(jié)構(gòu)化存儲(chǔ)與支持文檔上層應(yīng)用。構(gòu)建文檔知識(shí)圖譜是將項(xiàng)目、項(xiàng)目文檔、文檔關(guān)鍵要素、招投標(biāo)公司等項(xiàng)目招標(biāo)過(guò)程中產(chǎn)生的結(jié)構(gòu)化、半結(jié)構(gòu)化和和非結(jié)構(gòu)化等數(shù)據(jù)進(jìn)行統(tǒng)一的結(jié)構(gòu)化組織和存儲(chǔ)。文檔知識(shí)圖譜是以文檔價(jià)值利用為出發(fā)點(diǎn)，解決項(xiàng)目文檔知識(shí)結(jié)構(gòu)化存儲(chǔ)與管理難、知識(shí)檢索不便捷等問(wèn)題，支撐企業(yè)的文檔知識(shí)快速檢索、多維統(tǒng)計(jì)分析、智能問(wèn)答與智能推薦等智能應(yīng)用。構(gòu)建文檔知識(shí)圖譜的一個(gè)重要前提是從文檔中提取關(guān)鍵信息。

文檔關(guān)鍵信息提取是文檔處理中構(gòu)建知識(shí)圖譜的一個(gè)子功能，其主要目標(biāo)是從招投標(biāo)文檔、合同文檔中提取有價(jià)值的要素，如從合同文件中抽取合同金額、簽訂日期、簽訂地址、支付方式、權(quán)利與義務(wù)、違約責(zé)任、爭(zhēng)議解決和合同變更等關(guān)鍵要素。文檔關(guān)鍵信息提取的目標(biāo)是采用人工智能技術(shù)手段將文檔這種非結(jié)構(gòu)化類(lèi)型的數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)文檔信息的快速利用和價(jià)值挖掘。具體而言，本系統(tǒng)設(shè)計(jì)的信息抽取包括從招投標(biāo)文件中進(jìn)行實(shí)體抽取和文本段落抽?。ㄎ谋径温淇梢砸暈橐粋€(gè)要素）。為達(dá)到信息提取目標(biāo)，使用預(yù)訓(xùn)練模型和規(guī)則配置相結(jié)合的模型進(jìn)行實(shí)現(xiàn)。本系統(tǒng)所使用的預(yù)訓(xùn)練模型是百度中文NLP 預(yù)訓(xùn)練模型飛槳ERNIE［26］。以合同要素（實(shí)體和文本段落）抽取為例，使用該預(yù)訓(xùn)練模型和規(guī)則配置相結(jié)合的方法流程圖如圖4所示。

合同要素抽取主要包括以下幾個(gè)步驟：

（1）將合同以段落為單位進(jìn)行劃分（合同中獨(dú)占一行的章節(jié)標(biāo)題也作為一個(gè)段落）。

（2）讀取一個(gè)段落，判斷段落是否為空，如果為空則說(shuō)明達(dá)到合同結(jié)尾，結(jié)束流程并返回結(jié)果；如果不為空，則進(jìn)入步驟（3）。

（3）依據(jù)配置的規(guī)則判斷段落是章節(jié)標(biāo)題還是一段長(zhǎng)文本，如果是長(zhǎng)文本則使用NRNIE 模型抽取滿(mǎn)足要求的實(shí)體并返回步驟（2）；如果是章節(jié)標(biāo)題則進(jìn)入步驟（4）。

（4）判斷章節(jié)標(biāo)題是否滿(mǎn)足需求，如果不滿(mǎn)足則返回步驟（2）；如果滿(mǎn)足則開(kāi)始記錄該段落讀取相鄰下一段落直至出現(xiàn)新的段落標(biāo)題，記錄兩個(gè)段落標(biāo)題之間的內(nèi)容作為長(zhǎng)文本要素，返回步驟（2）。

在實(shí)現(xiàn)文檔關(guān)鍵信息提取后，可以進(jìn)行文檔知識(shí)圖譜構(gòu)建。實(shí)現(xiàn)知識(shí)圖譜構(gòu)建的過(guò)程包括圖譜Schema 設(shè)計(jì)、數(shù)據(jù)導(dǎo)入（文檔關(guān)鍵信息提取的數(shù)據(jù)以及源數(shù)據(jù)）和圖譜構(gòu)建等。其中圖譜Schema 設(shè)計(jì)是定義知識(shí)圖譜中的“實(shí)體”和“關(guān)系”； 文檔關(guān)鍵信息提取是從文檔中提取結(jié)構(gòu)化關(guān)鍵信息作為知識(shí)圖譜的數(shù)據(jù)來(lái)源之一；圖譜構(gòu)建是基于圖譜Schema 設(shè)計(jì)與數(shù)據(jù)源進(jìn)行具體的構(gòu)建過(guò)程。

2.4 文檔智能應(yīng)用

文檔智能應(yīng)用以滿(mǎn)足企業(yè)智能化建設(shè)為需求，以體現(xiàn)文檔價(jià)值為主要目標(biāo)，實(shí)現(xiàn)文檔的智能化處理，提升文檔信息獲取效率和精度，從而實(shí)現(xiàn)輔助企業(yè)進(jìn)行決策。本系統(tǒng)設(shè)計(jì)的文檔智能應(yīng)用的核心能力包括多維文檔信息可視化統(tǒng)計(jì)與分析、文檔檢測(cè)、企業(yè)資格審查、文檔信息精準(zhǔn)檢索、智能問(wèn)答與智能推薦等。多維文檔信息可視化統(tǒng)計(jì)與分析提供自定義維度的文檔信息可視化統(tǒng)計(jì)與展示。文檔檢測(cè)提供文檔查重和比對(duì)功能。企業(yè)資格審查實(shí)現(xiàn)從文檔中獲取企業(yè)資質(zhì)信息并進(jìn)行校驗(yàn)。文檔信息精準(zhǔn)檢索實(shí)現(xiàn)實(shí)體和多條實(shí)體關(guān)系的精準(zhǔn)查詢(xún)，可視化顯示實(shí)體關(guān)系關(guān)聯(lián)路徑。智能問(wèn)答提供基于自然語(yǔ)言處理技術(shù)的問(wèn)句意圖解析和答案精準(zhǔn)匹配，實(shí)現(xiàn)智能交互。智能推薦實(shí)現(xiàn)相似內(nèi)容推薦，輔助文檔編寫(xiě)。

3 系統(tǒng)架構(gòu)設(shè)計(jì)與功能展示

本文設(shè)計(jì)的項(xiàng)目文檔智能管理與應(yīng)用系統(tǒng)的系統(tǒng)架構(gòu)與流程實(shí)現(xiàn)如下文所示。

3.1 系統(tǒng)架構(gòu)

本系統(tǒng)的整體架構(gòu)設(shè)計(jì)如圖5所示，其包括數(shù)據(jù)層、預(yù)處理層、算法層、存儲(chǔ)層、能力層和應(yīng)用層，架構(gòu)中各層的主要功能如下。

圖5 系統(tǒng)整體架構(gòu)

（1）數(shù)據(jù)層：作為系統(tǒng)建設(shè)的第一個(gè)環(huán)節(jié)，數(shù)據(jù)層收集項(xiàng)目管理上下游的不同來(lái)源的數(shù)據(jù)，包括doc/docx、pdf、excel 等非結(jié)構(gòu)化格式以及外部數(shù)據(jù)庫(kù)的結(jié)構(gòu)化數(shù)據(jù)，為系統(tǒng)建設(shè)提供數(shù)據(jù)支撐。

（2）預(yù)處理層：對(duì)數(shù)據(jù)層獲取的非結(jié)構(gòu)化的文檔數(shù)據(jù)進(jìn)行預(yù)處理，主要包括文檔數(shù)據(jù)清洗、格式轉(zhuǎn)換、文字內(nèi)容提取、資質(zhì)證書(shū)提取和文檔表格提取等，將文檔預(yù)處理成算法層可以讀取的輸入數(shù)據(jù)模式，以便進(jìn)行信息抽取。

（3）算法層：對(duì)文檔數(shù)據(jù)進(jìn)行處理和信息抽取，支撐文檔查重比對(duì)和文檔數(shù)據(jù)結(jié)構(gòu)化過(guò)程。具體而言，使用diff、simHash 和winnowing 等機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)文檔查重比對(duì)；基于百度公司的飛槳深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)文檔命名實(shí)體識(shí)別、OCR 和圖片分類(lèi)等相關(guān)的算法服務(wù)；基于Facebook 公司的PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)文檔數(shù)據(jù)的實(shí)體關(guān)系抽取。

（4）存儲(chǔ)層：實(shí)現(xiàn)對(duì)原始的非結(jié)構(gòu)化文檔數(shù)據(jù)、結(jié)構(gòu)化的相關(guān)文檔管理上下游數(shù)據(jù)以及從文檔中抽取的數(shù)據(jù)進(jìn)行存儲(chǔ)。其中，Neo4j 圖數(shù)據(jù)庫(kù)用于存儲(chǔ)所有的結(jié)構(gòu)化數(shù)據(jù)，為知識(shí)圖譜構(gòu)建與應(yīng)用提供支撐。

（5）服務(wù)層：基于算法層和存儲(chǔ)層的能力為系統(tǒng)提供基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)、文檔查重比對(duì)、文檔關(guān)鍵信息提取、文檔中的圖片識(shí)別與OCR 以及知識(shí)圖譜構(gòu)建等服務(wù)能力。

（6）應(yīng)用層：實(shí)現(xiàn)文檔智能管理與應(yīng)用，主要包括項(xiàng)目管理、招標(biāo)與投標(biāo)文檔管理、招標(biāo)與投標(biāo)及合同的查重比對(duì)、企業(yè)資格審查、文檔多維分析、智能推薦與智能問(wèn)答、精準(zhǔn)檢索和關(guān)聯(lián)關(guān)系可視化展示等功能。

3.2 系統(tǒng)實(shí)施流程

基于系統(tǒng)的主要功能與系統(tǒng)架構(gòu)，系統(tǒng)實(shí)施流程設(shè)計(jì)如圖6所示。

圖6 系統(tǒng)實(shí)施流程

（1）用戶(hù)通過(guò)“創(chuàng)建項(xiàng)目”功能新建項(xiàng)目并填寫(xiě)項(xiàng)目信息。每個(gè)項(xiàng)目是以招標(biāo)項(xiàng)目為基本單位進(jìn)行組織。

（2）項(xiàng)目創(chuàng)建完成后，通過(guò)“上傳文檔”功能分類(lèi)上傳項(xiàng)目相關(guān)的招投標(biāo)文檔，包括招標(biāo)模板文檔、招標(biāo)文檔、各個(gè)投標(biāo)公司的投標(biāo)文檔、各個(gè)版本的合同文檔等。

（3）判斷用戶(hù)是否需要使用文檔“查重比對(duì)”功能。如果需要進(jìn)行文檔查重比對(duì)，則可細(xì)分選擇招標(biāo)文檔與招標(biāo)文檔模板、合同與合同模板以及各個(gè)版本合同之間的比對(duì)，還可以進(jìn)行投標(biāo)文檔與投標(biāo)文檔之間的重復(fù)率檢測(cè)，返回結(jié)果并進(jìn)入“數(shù)據(jù)抽取”功能；如果不需要進(jìn)行文檔查重比對(duì)，則直接進(jìn)入“數(shù)據(jù)抽取”功能模塊。

（4）無(wú)論用戶(hù)是否使用文檔查重比對(duì)功能都會(huì)流轉(zhuǎn)到“數(shù)據(jù)抽取”功能模塊，該功能模塊既可以從招投標(biāo)文檔及合同文檔中抽取關(guān)鍵信息，也可以根據(jù)需求對(duì)投標(biāo)文檔中的企業(yè)資質(zhì)文件和投標(biāo)標(biāo)價(jià)進(jìn)行提取。對(duì)投標(biāo)文件中的報(bào)價(jià)信息進(jìn)行抽取用于“報(bào)價(jià)對(duì)比”功能，實(shí)現(xiàn)比對(duì)各個(gè)投標(biāo)企業(yè)的報(bào)價(jià)及報(bào)價(jià)明細(xì)。

（5）完成根據(jù)資質(zhì)審核模板中配置的資質(zhì)證明文件類(lèi)型從投標(biāo)文件中抽取出企業(yè)資質(zhì)證明文件圖片之后可以使用“資質(zhì)審核”功能。該功能使用OCR 技術(shù)對(duì)資質(zhì)文件圖片中的關(guān)鍵信息進(jìn)行提取并依據(jù)這些信息到相應(yīng)的發(fā)證機(jī)關(guān)網(wǎng)站查驗(yàn)真?zhèn)巍?/p>

（6）利用“圖譜設(shè)計(jì)”“基礎(chǔ)數(shù)據(jù)”和“數(shù)據(jù)抽取”三個(gè)模塊的功能實(shí)現(xiàn)構(gòu)建文檔知識(shí)圖譜?！皥D譜設(shè)計(jì)”模塊是以可視化方式設(shè)計(jì)文檔知識(shí)圖譜Schema，是構(gòu)造知識(shí)圖譜的必要前提。“基礎(chǔ)數(shù)據(jù)”模塊管理招標(biāo)過(guò)程中的上下游結(jié)構(gòu)化數(shù)據(jù)信息，可以實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)到知識(shí)圖譜的映射?！皵?shù)據(jù)抽取”模塊實(shí)現(xiàn)非結(jié)構(gòu)化文檔中提取結(jié)構(gòu)化信息并融合到知識(shí)圖譜?！盎A(chǔ)數(shù)據(jù)”和“數(shù)據(jù)抽取”都是為知識(shí)圖譜的構(gòu)建提供數(shù)據(jù)支撐。

（7）在知識(shí)圖譜Schema 設(shè)計(jì)和支撐數(shù)據(jù)準(zhǔn)備完成之后進(jìn)入“文檔知識(shí)圖譜構(gòu)建”功能模塊進(jìn)行文檔知識(shí)圖譜的構(gòu)建過(guò)程。文檔知識(shí)圖譜構(gòu)建完成后可以通過(guò)“數(shù)據(jù)清洗”和“歸一消歧”等操作實(shí)現(xiàn)手動(dòng)調(diào)優(yōu)和知識(shí)圖譜重構(gòu)。

（8）在文檔知識(shí)圖譜構(gòu)建完成之后，進(jìn)入“文檔知識(shí)圖譜應(yīng)用”功能模塊。該模塊的“多維分析”“精準(zhǔn)檢索”“智能問(wèn)答”和“智能推薦”等四個(gè)主要功能支撐企業(yè)文檔的智能應(yīng)用。

3.3 系統(tǒng)功能展示

本小節(jié)將對(duì)系統(tǒng)的部分功能進(jìn)行效果展示。圖7 和圖8 是項(xiàng)目信息創(chuàng)建和項(xiàng)目相關(guān)文檔上傳界面。

圖7 項(xiàng)目信息創(chuàng)建功能

圖8 項(xiàng)目文檔上傳功能

圖9 與圖10 分別展示項(xiàng)目文檔的查重與比對(duì)功能。圖9中左邊文檔中的紅色帶下劃線(xiàn)部分在右邊文檔中可以找到相同的描述（紅色部分）。圖10 展示兩個(gè)文檔之間的比對(duì)功能，綠色帶下劃線(xiàn)和紅色帶下劃線(xiàn)字體表示右邊文檔相對(duì)于左邊文檔增加和刪除的內(nèi)容。

圖9 文檔查重功能

圖10 文檔比對(duì)功能

圖11是從文檔中提取出企業(yè)資格證書(shū)并進(jìn)行識(shí)別的過(guò)程及結(jié)果，根據(jù)設(shè)計(jì)要求的字段均能正確提取。在提取字段內(nèi)容后根據(jù)字段“名稱(chēng)”和“統(tǒng)一社會(huì)信用代碼”以及證書(shū)類(lèi)型可以到相應(yīng)的發(fā)證機(jī)關(guān)驗(yàn)證，從而判斷該資質(zhì)的真?zhèn)巍?/p>

圖11 企業(yè)資質(zhì)證書(shū)識(shí)別功能

圖12是文檔知識(shí)圖譜Schema 設(shè)計(jì)樣例，其包含7個(gè)實(shí)體（“事物”看作所有實(shí)體的根節(jié)點(diǎn)）和14 個(gè)關(guān)系。圖13 是項(xiàng)目及項(xiàng)目文檔多維統(tǒng)計(jì)功能，圖中展示的統(tǒng)計(jì)維度包括年份、項(xiàng)目總個(gè)數(shù)、投標(biāo)次數(shù)、投標(biāo)單位個(gè)數(shù)、項(xiàng)目所在地區(qū)、項(xiàng)目類(lèi)型及個(gè)數(shù)、項(xiàng)目標(biāo)的類(lèi)型及個(gè)數(shù)等。

圖12 文檔知識(shí)圖譜Schema設(shè)計(jì)功能

圖13 文檔多維統(tǒng)計(jì)分析功能

4 結(jié)語(yǔ)

現(xiàn)有的文檔管理系統(tǒng)主要存在兩方面的問(wèn)題:（1）以整個(gè)文檔為管理對(duì)象，因不能提取文檔中的更細(xì)粒度的價(jià)值信息而導(dǎo)致文檔的價(jià)值不能被充分挖掘，且因忽略了文檔與文檔及文檔知識(shí)之間的關(guān)聯(lián)關(guān)系構(gòu)建，導(dǎo)致整個(gè)文檔與文檔信息的組織較為松散；（2）文檔處理大多是使用人工進(jìn)行的，效率低下且容易發(fā)生人為失誤。本文采用自然語(yǔ)言處理、知識(shí)圖譜和OCR等人工智能技術(shù)實(shí)現(xiàn)的基于知識(shí)圖譜的文檔智能管理系統(tǒng)能夠有效解決以上問(wèn)題。體現(xiàn)在本文所設(shè)計(jì)系統(tǒng)的四大核心創(chuàng)新點(diǎn):：①智能抽取文檔關(guān)鍵信息?；谧匀徽Z(yǔ)言處理、OCR 和機(jī)器學(xué)習(xí)等相關(guān)技術(shù)，對(duì)于根據(jù)業(yè)務(wù)需求制定的數(shù)據(jù)模型（以知識(shí)圖譜Schema 設(shè)計(jì)進(jìn)行表達(dá)）中的無(wú)法從已有結(jié)構(gòu)化的數(shù)據(jù)源中獲取的數(shù)據(jù)創(chuàng)建機(jī)器學(xué)習(xí)模型自動(dòng)從文檔中進(jìn)行抽取。②智能企業(yè)資質(zhì)審查。基于知識(shí)圖譜和OCR 技術(shù)對(duì)企業(yè)進(jìn)行資質(zhì)審核。③智能文檔查重比對(duì)。基于自然語(yǔ)言處理和機(jī)器學(xué)習(xí)算法模型實(shí)現(xiàn)文檔查重和比對(duì)等功能。④智能文檔多維分析。基于知識(shí)圖譜、自然語(yǔ)言處理和機(jī)器學(xué)習(xí)等相關(guān)技術(shù)進(jìn)行文檔預(yù)處理、知識(shí)抽取和知識(shí)存儲(chǔ)，實(shí)現(xiàn)非結(jié)構(gòu)化文檔知識(shí)的結(jié)構(gòu)化組織與管理，并在此基礎(chǔ)上展開(kāi)文檔信息多維統(tǒng)計(jì)與分析，支持文檔信息智能查詢(xún)與精準(zhǔn)檢索，支持文檔信息智能問(wèn)答與智能推薦。該系統(tǒng)能夠?qū)崿F(xiàn)文檔價(jià)值深度挖掘，大幅提高文檔處理質(zhì)量和效率，降低人力成本和提升工作效率。值得注意的是本文設(shè)計(jì)的項(xiàng)目文檔智能管理與應(yīng)用系統(tǒng)在應(yīng)用中可能存在功能設(shè)計(jì)不足、通用性較差等問(wèn)題，在未來(lái)需要結(jié)合企業(yè)實(shí)際應(yīng)用逐步完善系統(tǒng)的功能設(shè)計(jì)，提升系統(tǒng)的易用性和通用性。