柔性數(shù)據(jù)治理策略下的知識圖譜構(gòu)建與應用探究*

龔海波 陸渝 劉波 劉小菁

廣西產(chǎn)研院人工智能與大數(shù)據(jù)應用研究所有限公司 廣西 南寧 530201

引言

隨著人工智能和大數(shù)據(jù)技術(shù)發(fā)展日益成熟，以知識圖譜為代表的應用模式開始受到廣泛關注。知識圖譜是以結(jié)構(gòu)化形式描繪實體以及其相關元素之間關系的語義網(wǎng)絡，包括語義、邏輯含義和規(guī)則，通過三元組即“實體-關系-屬性”集合的形式來描述事物之間的關系。知識圖譜在多個領域已有應用，如我們?nèi)粘Ｊ褂眯侣勝Y訊信息流、短視頻應用的智能推薦等都運用了知識圖譜。本文主要介紹知識圖譜的相關技術(shù)特點，以及結(jié)合柔性數(shù)據(jù)治理策略下的知識圖譜構(gòu)建過程。

1 知識圖譜概念及其特點

1.1 知識圖譜概念及構(gòu)成

知識圖譜（Knowledge Graph）的概念由谷歌在2012年提出，是以結(jié)構(gòu)化形式描述的知識元素及其聯(lián)系的集合，主要由實體、概念及其之間的各種關系組成的大規(guī)模語義網(wǎng)絡。

知識圖譜的實體可以是現(xiàn)實世界中獨立存在的具體對象，也可以是一種抽象概念，對應知識圖譜中的節(jié)點/頂點（Point/Vertex）。實體與實體之間的外部聯(lián)系，對應知識圖譜中的邊（Edge）。屬性是指實體內(nèi)部的本質(zhì)特征，是實體的固有特性，一般不體現(xiàn)在圖表征結(jié)構(gòu)中，而是蘊藏在實體內(nèi)部或關系內(nèi)。

1.2 知識圖譜平臺架構(gòu)

知識圖譜平臺可分為4層結(jié)構(gòu)，即基礎服務層、存儲服務層、圖譜服務層、圖譜應用層，基于此模式下構(gòu)建的知識圖譜平臺，可以支撐多種業(yè)務場景的應用。

1.2.1 基礎服務層?；A服務層主要提供平臺的服務器資源、網(wǎng)絡資源等底層的基礎服務能力。根據(jù)不同的場景特性，可以使用公有云、私有云或者混合云模式。為更好地與上層服務對接適配，應構(gòu)建IaaS適配器實現(xiàn)多種服務模式整合與適配。

1.2.2 存儲服務層。存儲服務層實現(xiàn)知識數(shù)據(jù)的存儲相關服務。根據(jù)不同的數(shù)據(jù)類型，提供多種數(shù)據(jù)庫的存儲服務支撐，如非關系型數(shù)據(jù)MongoDB、關系型數(shù)據(jù)庫MySQL等?；诮y(tǒng)一、標準化和規(guī)范化的SQL語言，可以實現(xiàn)平臺存儲服務的國產(chǎn)化適配，如對達夢數(shù)據(jù)庫、人大金倉等國產(chǎn)數(shù)據(jù)庫服務商的數(shù)據(jù)庫產(chǎn)品實現(xiàn)兼容或切換。

1.2.3 圖譜服務層。圖譜服務是知識圖譜平臺的核心，實現(xiàn)了完整的數(shù)據(jù)匯聚處理、知識抽取、知識融合、知識加工等圖譜構(gòu)建和應用過程。在此過程中，知識管理模塊實現(xiàn)監(jiān)控和管理，保障知識圖譜構(gòu)建全流程順利執(zhí)行。此外，知識質(zhì)量評估模塊負責對知識在使用過程中進行評估，從而實現(xiàn)知識的迭代更新，持續(xù)提升知識圖譜的服務質(zhì)量。

1.2.4 圖譜應用層。依托圖譜服務層對知識數(shù)據(jù)進行融合和加工處理，圖譜應用層可以提供直觀可視化方式或符號形式的應用，支撐不同業(yè)務場景的需求。如基于警務大數(shù)據(jù)構(gòu)建的知識圖譜，可通過鏈路預測、最短路徑等圖算法，深度挖掘?qū)嶓w復雜的網(wǎng)絡關系，應用在公安系統(tǒng)中實現(xiàn)嫌疑人行為的關聯(lián)分析。在個人消費者領域，基于知識圖譜可以搭建智能客服系統(tǒng)，通過分析用戶自然語言問題的語義，進而在已構(gòu)建的知識圖譜中通過檢索、匹配和推理等方式，獲取正確答案，自動化、智能化解決用戶問題。

2 柔性數(shù)據(jù)治理與知識圖譜關系分析

2.1 數(shù)據(jù)治理現(xiàn)狀與問題分析

以政務大數(shù)據(jù)治理為例，現(xiàn)有政務數(shù)據(jù)治理和云服務平臺在系統(tǒng)構(gòu)架擴展性、定制性（彈性）方面存在較大問題，使得系統(tǒng)難以修改和擴展，難以快速響應用戶/業(yè)務部門對功能的修改和功能擴展需求。

現(xiàn)有政務系統(tǒng)存在各部門數(shù)據(jù)共享及業(yè)務互通性差的問題，一是系統(tǒng)開發(fā)者對業(yè)務不熟悉，缺乏對各部門業(yè)務和數(shù)據(jù)的統(tǒng)一梳理。二是各系統(tǒng)在數(shù)據(jù)格式和標準上的不一致，導致互通和共享有困難。三是現(xiàn)有系統(tǒng)在技術(shù)構(gòu)架上沒有一套能適應各種來源數(shù)據(jù)共享和互通方面的機制，對新的子系統(tǒng)的增加不能很好地融合。

2.2 柔性治理的思路與應用探索

柔性治理策略為解決數(shù)據(jù)治理難題帶來新的思路。“以人為中心”的政府柔性治理理念，就是減少控制性手段，增加管理彈性。在政務數(shù)據(jù)領域，多元數(shù)據(jù)主體標準不一，存在較多模糊與不確定性。通過柔性治理策略，實現(xiàn)構(gòu)建多元主體之間的動態(tài)的，扁平化、網(wǎng)絡化的關系結(jié)構(gòu)，可以主動適應變化，支持柔性靈活的治理結(jié)構(gòu)，實現(xiàn)動態(tài)平衡的治理生態(tài)。

柔性治理技術(shù)架構(gòu)為處理這種柔性關系結(jié)構(gòu)創(chuàng)造條件和平臺，有效支撐多主體之間更加快速有效的合作互動，也同時輔助實現(xiàn)多元主體在這種相互依賴關系中充分信息共享，資源交換，保障協(xié)作治理過程的開放、透明和包容，既實現(xiàn)協(xié)作的協(xié)同一致，又保持各自獨立性。

2.3 柔性治理技術(shù)框架構(gòu)成

柔性治理從3個方面為上述難點提供解決方案：柔性流程管理、柔性功能定制、柔性數(shù)據(jù)管理。通過將基于流程模板化（及可視化）定制和自動化生成技術(shù)，對流程審批等流程管理功能進行快速定制和開發(fā)，實現(xiàn)數(shù)據(jù)治理流程服務的柔性定制開發(fā)；基于參數(shù)配置和腳本自定義的技術(shù)框架，快速實現(xiàn)對功能模塊的修改和自定義，實現(xiàn)柔性功能定制[1]。在柔性數(shù)據(jù)管理上方面建立一套過程數(shù)據(jù)和知識數(shù)據(jù)分離的數(shù)據(jù)存儲和管理構(gòu)架，同時對業(yè)務數(shù)據(jù)進行解耦和關聯(lián)性分析，在對公用數(shù)據(jù)和專用數(shù)據(jù)進行分類的基礎上，建立適應各種業(yè)務數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)存儲形態(tài)和數(shù)據(jù)交換標準及接口，解決數(shù)據(jù)交換和共享問題。通過使用柔性治理技術(shù)框架，結(jié)合微服務和松耦合技術(shù)構(gòu)架，全面提高系統(tǒng)的定制能力、可擴展性和運行性能。

3 柔性治理策略在知識圖譜構(gòu)建上的應用

目前傳統(tǒng)大數(shù)據(jù)平臺難以真正落到應用的根本原因在于缺少智能化的手段，平臺匯聚的大量數(shù)據(jù)無法有效組織，缺少能像人腦一樣能夠理解數(shù)據(jù)內(nèi)涵的知識引擎。知識圖譜則是構(gòu)建這樣的知識引擎來實現(xiàn)大數(shù)據(jù)應用落地。通過提煉、萃取、關聯(lián)、整合數(shù)據(jù)，重組和鏈接各個數(shù)據(jù)單元之間的聯(lián)系，以類似人腦神經(jīng)元細胞的方式呈現(xiàn)數(shù)據(jù)實體關系，知識圖譜已經(jīng)成為知識引擎的核心，成為大數(shù)據(jù)落地應用關鍵技術(shù)之一。

知識圖譜構(gòu)建和應用過程，主要分為4個階段，即知識匯聚階段、知識抽取階段、知識融合階段、知識加工階段，最終為各種場景下的應用提供知識服務能力。

3.1 知識匯聚階段

數(shù)據(jù)是知識圖譜的基礎。數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在知識匯聚階段的主要工作就是通過數(shù)據(jù)處理技術(shù)實現(xiàn)數(shù)據(jù)的統(tǒng)一化，標準化和結(jié)構(gòu)化。在實際應用中，多源異構(gòu)的數(shù)據(jù)存在歧義沖突、噪聲大、質(zhì)量不高等問題。不同來源的數(shù)據(jù)有著不同的質(zhì)量，需要不同的數(shù)據(jù)加工方式。常用的數(shù)據(jù)加工技術(shù)包括數(shù)據(jù)結(jié)構(gòu)化、數(shù)據(jù)識別、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換等，如對于政策制度、法律文書、協(xié)議合同等長文本類型的半結(jié)構(gòu)化數(shù)據(jù)，一般采用NLP技術(shù)實現(xiàn)關鍵信息的結(jié)構(gòu)化處理；對于視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)，則需要通過視頻分析、語義分割等技術(shù)實現(xiàn)結(jié)構(gòu)化轉(zhuǎn)換。

3.2 知識抽取階段

知識抽取是構(gòu)建知識圖譜“實體-關系-屬性”三元組的過程。主要包括實體抽取、關系抽取、屬性抽取、事件抽取等。通過以下步驟實現(xiàn)：①從數(shù)據(jù)集中識別出實體；②抽取實體之間的關系，形成關系網(wǎng)絡；③從不同的信息源中采集特定的屬性信息。目前知識抽取主要采用基于神經(jīng)網(wǎng)絡的方法，如通過構(gòu)建預訓練語言模型BERT進行編碼，并結(jié)合CNN、RNN等算法進行抽取。知識建模階段需要行業(yè)專家參與支持模式設計、業(yè)務場景構(gòu)建等工作。在專家的指導下進行知識抽取和構(gòu)建，若涉及文本抽取工作還需要行業(yè)專家進行數(shù)據(jù)標注，整個知識抽取流程不僅涉及知識圖譜算法，還涉及底層的圖數(shù)據(jù)存儲與數(shù)據(jù)治理、NLP文本抽取和語義轉(zhuǎn)換，同時各環(huán)節(jié)都需結(jié)合機器學習相關的底層人工智能技術(shù)，需要多個技術(shù)領域的專業(yè)人員協(xié)同合作。

3.3 知識融合階段

因為知識抽取來源多樣，不同的來源得到的知識不盡相同，知識融合階段需要完成實體對齊、屬性融合、值規(guī)范化等工作，將來自不同的知識源的知識在同一框架規(guī)范下進行異構(gòu)數(shù)據(jù)整合、消歧、加工、推理驗證、更新等步驟，達到數(shù)據(jù)、信息、方法、經(jīng)驗以及人的思想的融合，形成高質(zhì)量的知識庫。主要通過以下步驟進行[2]：①完成指示代詞與先行詞的合并；②完成同一實體的歧義消除；③將已識別的實體對象，無歧義地指向知識庫中的目標實體。實體沖突處理用來判斷知識庫中的同名實體是代表同一含義、是否有其他實體也表示相同含義，識別不同來源的同一實體。解決同名實體產(chǎn)生沖突和歧義，通常采用聚類法、空間向量模型、語義模型等。屬性歸一是識別同一屬性的不同描述。不同來源的數(shù)據(jù)值通常有不同的格式、不同的單位或者不同的描述形式。比如日期、地址等表達方式，這些需要規(guī)范化到統(tǒng)一格式。

3.4 知識加工階段

知識加工的主要任務包括知識推理和知識質(zhì)量評估。主要包括以下步驟：①構(gòu)建知識概念模塊，抽取本體；②進行知識圖譜推理，通過知識推理識別和推斷出隱藏或未知的語義，并構(gòu)建新的知識網(wǎng)絡；③對知識圖譜的可信度進行量化質(zhì)量評估，評估過關的知識圖譜可以流入知識圖譜庫中存儲，評估不過關的知識圖譜需要返回數(shù)據(jù)環(huán)節(jié)進行調(diào)整，而后重復相同環(huán)節(jié)直到評估過關。

柔性治理的策略在知識加工環(huán)節(jié)應用尤為重要[3]。對于已經(jīng)構(gòu)建完成的知識圖譜，其知識網(wǎng)絡并非“剛性不變”的，需要實現(xiàn)柔性化機制，以適應知識網(wǎng)絡的迭代更新。在知識圖譜使用過程中，通過建立反饋模塊獲取知識更新要素，并結(jié)合知識加工流程，將更新的知識要素通過知識推理進行重新識別和推斷語義，以更新的知識網(wǎng)絡，最終實現(xiàn)知識圖譜的迭代更新。

3.5 知識應用階段

知識圖譜在行業(yè)的落地應用需要有業(yè)務知識和技術(shù)背景的專業(yè)人員來實現(xiàn)。由業(yè)務專家參與支持模式設計、業(yè)務場景構(gòu)建，與技術(shù)人員進行深入溝通，依托知識圖譜平臺，將業(yè)務與技術(shù)團隊協(xié)同推進，才能完成知識圖譜的構(gòu)建和應用。

從知識圖譜的構(gòu)建技術(shù)看，它經(jīng)歷了由人工構(gòu)建到自動獲取、構(gòu)建的過程。人工構(gòu)建是早期知識圖譜構(gòu)建的主要方法，得益于結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的積累，結(jié)合特征工程機器學習算法，已經(jīng)能夠逐步實現(xiàn)自動化構(gòu)建知識。在一些數(shù)據(jù)質(zhì)量要求較高領域，如醫(yī)療、安全和金融等，仍需通過人工審核保證準確性。這是知識圖譜技術(shù)發(fā)展需要經(jīng)歷的一個過程，隨著知識圖譜持續(xù)增大，數(shù)據(jù)節(jié)點同步增加，邊和屬性同步會帶來幾何倍增長，人力方式已經(jīng)無法支撐校驗知識圖譜的質(zhì)量，這將要求技術(shù)演進逐步實現(xiàn)算法自動進行校驗，最終實現(xiàn)自動化構(gòu)建。

4 知識圖譜應用方向

知識圖譜目前已經(jīng)廣泛應用于政務服務場景和企業(yè)服務領域。如在政務服務場景，依托物聯(lián)網(wǎng)感知設備構(gòu)建的對大氣、水利、土壤等空天地環(huán)境監(jiān)測網(wǎng)絡，通過海量原始數(shù)據(jù)的采集，構(gòu)建知識圖譜[4]。應用知識圖譜實現(xiàn)可視化結(jié)構(gòu)復雜的原始環(huán)境數(shù)據(jù)，梳理挖掘環(huán)保對象、環(huán)保流程、環(huán)保措施等數(shù)據(jù)之間的關系并轉(zhuǎn)化為知識庫，對環(huán)境數(shù)據(jù)進行實時、立體化監(jiān)控，進行對環(huán)境質(zhì)量趨勢的長期跟蹤和分析研判，對質(zhì)量異常波動和各類環(huán)境污染事故做出預警，提升管理能力，輔助精準決策。

在企業(yè)服務方向知識圖譜也有廣闊的應用前景。例如針對制造型企業(yè)自身業(yè)務體系龐大，數(shù)據(jù)多元且知識結(jié)構(gòu)復雜的特性，通過知識圖譜技術(shù)，將人力資源、生產(chǎn)車間、生產(chǎn)物料、機械設備、生產(chǎn)工藝等基礎數(shù)據(jù)進行知識抽取、建模、融合和加工，構(gòu)建知識服務平臺，建立企業(yè)管理全流程知識圖譜，可以提高生產(chǎn)流程中問題的預見和解決能力，提升資源配置效率、生產(chǎn)效率和產(chǎn)品質(zhì)量。

在個人消費領域，應用大數(shù)據(jù)進行精準營銷和服務的模式已經(jīng)得到充分驗證。從產(chǎn)品設計、銷售到售后的過程中，利用信息化系統(tǒng)積累大量的用戶數(shù)據(jù)，基于知識圖譜的能力打通并與業(yè)務場景結(jié)合，利用數(shù)據(jù)驅(qū)動業(yè)務增長提高業(yè)務效率，是數(shù)字化賦能消費行業(yè)升級的一種新趨勢。隨著市場競爭性增加，商家希望通過增強對客戶的數(shù)據(jù)洞察能力，盡可能地準確理解和深度挖掘客戶的差異化需求，與自身產(chǎn)品和服務進行匹配，從而實現(xiàn)精準觸達，縮短獲客時間，降低營銷成本?；谥R圖譜技術(shù)匯聚多源客戶信息，構(gòu)建客戶多維畫像和標簽體系，在個人及零售業(yè)務中，能將客戶的關系、事件、行為等進行關聯(lián)，在整個業(yè)務周期對客戶屬性進行動態(tài)、實時的描繪，深度分析客戶喜好，實現(xiàn)產(chǎn)品的精準匹配推薦，發(fā)掘出有價值的營銷線索。

綜上所述，以柔性治理策略下的知識圖譜將有效促進人工智能與大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的融合發(fā)展，推動數(shù)據(jù)智能，從而實現(xiàn)產(chǎn)業(yè)智能化升級。