面向情報感知的多源多模態(tài)數(shù)據(jù)融合方法研究*

白如江 鞠孜涵 張玉潔 張亞輝 馮夢瑩

(山東理工大學(xué)信息管理研究院 淄博 255049)

隨著“互聯(lián)網(wǎng)+”、“5G”時代的到來,情報工作拓展到了科技、經(jīng)濟(jì)、社會等諸多領(lǐng)域,情報分析的數(shù)據(jù)源呈現(xiàn)出海量、多源、異構(gòu)、多模態(tài)等特征,數(shù)據(jù)之間的關(guān)聯(lián)更為隱蔽多變。但情報工作的本質(zhì)始終是解決決策管理過程中信息不完備的問題[1],這也使得情報感知成為了新時代情報工作的核心?！扒閳蟾兄笔菍Α拔粗钡膯栴}進(jìn)行感知探索,“早醒遠(yuǎn)眺”,對不確定的未來揭示預(yù)警,從而減少“意外”的發(fā)生[2]。其中,“感”是指情報人員對數(shù)據(jù)的獲取和處理;“知”則強(qiáng)調(diào)了數(shù)據(jù)的理解、評析與展望。由此可知,情報感知對數(shù)據(jù)優(yōu)勢的依賴性越來越強(qiáng),兩者密不可分。出色的情報感知工作必須要有豐富的數(shù)據(jù)支撐,進(jìn)而發(fā)現(xiàn)數(shù)據(jù)之間復(fù)雜的關(guān)聯(lián),挖掘出更深層、未知的研究內(nèi)容,解決信息不完備情況下的決策問題。

大數(shù)據(jù)時代的數(shù)據(jù)往往呈現(xiàn)出碎片化、線索化的特征,無法提供完整的情報地圖。因此,情報感知工作不僅需要多源多模態(tài)的數(shù)據(jù)支持,還需要將這些數(shù)據(jù)進(jìn)行有效融合,形成格式統(tǒng)一、面向感知應(yīng)用的數(shù)據(jù)集[3]。只有通過數(shù)據(jù)之間的相互支持、補(bǔ)充和校對,才能提供更加準(zhǔn)確、全面和及時的信息支撐情報感知工作。在此基礎(chǔ)上,數(shù)據(jù)融合粒度的問題也應(yīng)運而生。由于數(shù)據(jù)外部特征融合方法難免會帶來宏觀、粗糙、客觀性差、層次淺的問題[4],如何將數(shù)據(jù)的外部結(jié)構(gòu)特征和內(nèi)部語義特征深度融合,更加全面、深入、客觀的分析情報元素,支撐情報感知研究迫在眉睫。

1 相關(guān)研究

情報感知是對“未知”問題的進(jìn)行感知和探索。早在2008年杜元清研究員提出“有組織的‘惦記’和‘監(jiān)測’”[5],就昭示著情報學(xué)者對于情報感知的認(rèn)知追求。2016年楊峰等[6]在“情景嵌入的突發(fā)事件情報感知”研究中,雖然沒有給出“情報感知”的明確定義,但指出了要在多源異構(gòu)細(xì)粒度情報資源的融合層面上討論感知問題。2018年王延飛教授[7]首次界定了“情報感知”的概念,并認(rèn)為情報工作必須重視對情報需求、情報對象和情報任務(wù)的感知和刻畫。除此之外,楊峰等[8]探討了基于情景相似度的突發(fā)事件情報感知方法,并指出全源情報資料是感知的基礎(chǔ)。馬紅巖等[9]從科技情報感知出發(fā),構(gòu)建了多源信息融合的新模式。白如江等[10]提出了智慧情報感知的內(nèi)涵,將因果推斷、事件溯因等方法引入情報感知研究,并指出了語義級多源數(shù)據(jù)融合的重要性。在上述情報感知研究中,均在不同程度上指出了數(shù)據(jù)融合在情報感知中的重要性,學(xué)界對技術(shù)賦能并融合多源多模態(tài)的數(shù)據(jù)進(jìn)行情報感知研究已經(jīng)形成共識。

數(shù)據(jù)融合(Data Fusion)又稱為信息融合(Information Fusion),旨在利用多種方式采集多源多模態(tài)的數(shù)據(jù),得出更準(zhǔn)確、統(tǒng)一的信息,輔助決策[11]。①在國際上,以美國為代表的情報機(jī)構(gòu)在“9·11”事件之前,煙囪式的情報體制阻礙了數(shù)據(jù)的融合,導(dǎo)致無法產(chǎn)生更高價值的情報產(chǎn)品。之后美國汲取教訓(xùn),逐步建立多源融合中心,例如公開信息源中心,通過挖掘、融合和分析多源異構(gòu)的公開數(shù)據(jù),支持政府決策。②在國內(nèi),數(shù)據(jù)融合的研究多集中于多源數(shù)據(jù)理論、方法和技術(shù)的探討。化柏林[12]構(gòu)建了科技大數(shù)據(jù)在情報服務(wù)中的應(yīng)用框架,并指出多源異構(gòu)的融合技術(shù)推動情報服務(wù)轉(zhuǎn)向了主動服務(wù)、嵌入式服務(wù)。李廣建等[13]從知識融合的角度研究了多源異構(gòu)數(shù)據(jù)的計算型情報分析。李綱等[14]提出了科學(xué)社會計算的概念,解決了多源數(shù)據(jù)的組織與建模問題。但總體來看,有關(guān)多模態(tài)數(shù)據(jù)融合的研究多集中于計算機(jī)視覺、遙感等領(lǐng)域,在情報工作中的應(yīng)用還有待深入。

綜上,無論是用“海量數(shù)據(jù)”還是“大數(shù)據(jù)”來表征這個時代,情報感知過程中多源多模態(tài)數(shù)據(jù)的融合問題都無法回避,然而現(xiàn)有研究大多聚焦于數(shù)據(jù)融合必要性、理論的探討,融合的深度也浮于數(shù)據(jù)表面,并不能支撐細(xì)粒度的情報感知任務(wù)。破除數(shù)據(jù)異構(gòu)、異質(zhì)、多模態(tài)等特征給數(shù)據(jù)組織和關(guān)聯(lián)帶來的阻礙刻不容緩。

基于此,本文在系統(tǒng)梳理情報感知和多源多模態(tài)數(shù)據(jù)特點的基礎(chǔ)上,闡述了多源異構(gòu)數(shù)據(jù)的細(xì)粒度融合方法以及多模態(tài)數(shù)據(jù)的語義融合方法,并提出了時空數(shù)據(jù)輔助的多模態(tài)數(shù)據(jù)融合思路。旨在彌補(bǔ)信息不完備情況下的感知弊端,支撐情報感知由被動轉(zhuǎn)向主動,促進(jìn)情報感知的智慧發(fā)展。

2 基于多源多模態(tài)數(shù)據(jù)的情報感知

情報感知針對的是未知或知之不詳?shù)膶ο?情報工作者所面臨的問題不確定性更強(qiáng)。因此,只有及時、準(zhǔn)確地捕捉用戶的情報需求,結(jié)合海量的數(shù)據(jù)去挑戰(zhàn)更為潛在的假設(shè),才能發(fā)現(xiàn)數(shù)據(jù)之間更為隱蔽的關(guān)聯(lián),完成好情報感知的任務(wù)。此外,過去的情報需求往往由情報用戶直接提出,但隨著情報工作的轉(zhuǎn)型升級,如何主動感知潛在的情報用戶需求也變得越來越重要。

在情報感知過程中,情報素材的處理也至關(guān)重要。本文所指的情報素材是多源、異構(gòu)、多模態(tài)的數(shù)據(jù),包括期刊、專利等科技文獻(xiàn)數(shù)據(jù),博客、論壇等新媒體數(shù)據(jù),空間媒體、行為軌跡等空間數(shù)據(jù)。由于數(shù)據(jù)的更新迭代速度極快,使得情報感知從泛化的感知相關(guān)數(shù)據(jù)逐漸發(fā)展到更加細(xì)致化的感知分支數(shù)據(jù)[15]。如何把這些多源多模態(tài)的數(shù)據(jù)融合起來,統(tǒng)一規(guī)范、消除冗余,形成數(shù)據(jù)的互補(bǔ)與交叉印證,提供統(tǒng)一的數(shù)據(jù)視圖,值得我們關(guān)注。

綜上,本文將重點梳理情報感知模型中,多源多模態(tài)的數(shù)據(jù)融合什么、怎么融合的問題,即多源多模態(tài)數(shù)據(jù)的細(xì)粒度融合與融合方法的研究(見圖1)。

圖1 情報感知模型

3 多源多模態(tài)數(shù)據(jù)的特征與挑戰(zhàn)

3.1 多源多模態(tài)數(shù)據(jù)的特征

隨著網(wǎng)絡(luò)化、數(shù)字化的快速發(fā)展,互聯(lián)網(wǎng)數(shù)據(jù)的規(guī)模不斷擴(kuò)大,來自不同來源的數(shù)據(jù)被收集在一個數(shù)據(jù)集中,這種類型的數(shù)據(jù)被稱為多源數(shù)據(jù);而多模態(tài)數(shù)據(jù)是指不同形態(tài)的數(shù)據(jù)形式,多指文本、圖像、音視頻等混合數(shù)據(jù)。兩者之間存在著或強(qiáng)或弱的內(nèi)容跨越和語義關(guān)聯(lián),一般來說多源的數(shù)據(jù),也多涉及多模態(tài)的處理問題。

總體來說,互聯(lián)網(wǎng)背景下的多源多模態(tài)數(shù)據(jù)主要有以下特征:①多源和多模態(tài)的數(shù)據(jù)混合并存,兩者密不可分,在處理不同粒度的數(shù)據(jù)時,是否多源和多模態(tài)的判斷都不是絕對的;②數(shù)據(jù)外部的組織結(jié)構(gòu)復(fù)雜,有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種類型;③不同類型的數(shù)據(jù)從不同方面表達(dá)同一語義,例如有些數(shù)據(jù)雖然在底層上是異構(gòu)的,但在頂層語義上卻是一致的。

具體而言,在情報感知過程中所使用的多源多模態(tài)數(shù)據(jù)是指公開、可以合法獲取的數(shù)據(jù),特別是網(wǎng)絡(luò)上的開源數(shù)據(jù)。在國際上,RAND公司將開源的數(shù)據(jù)劃分為來自新聞媒體、灰色文獻(xiàn)、社交媒體等的數(shù)據(jù)[16];CIA則將其劃分為來自互聯(lián)網(wǎng)、新聞媒體、期刊、地理空間信息等類型的開源情報[17]。因此,結(jié)合情報感知的特點,本文所指的多源多模態(tài)數(shù)據(jù)主要有:文本、圖像、音頻、視頻、矢量、混合數(shù)據(jù)等6種模態(tài);從來源來看可以分為:科技文獻(xiàn)數(shù)據(jù)(期刊、會議論文、專利、基金報告等)、社交媒體數(shù)據(jù)、新聞報道數(shù)據(jù)和地理時空數(shù)據(jù)(經(jīng)濟(jì)人文數(shù)據(jù)、位置軌跡數(shù)據(jù)和空間媒體數(shù)據(jù)等)等4種來源。

首先,文本數(shù)據(jù)的獲取難度小、內(nèi)容解析容易,但異構(gòu)性強(qiáng)。例如以文本為主的科技文獻(xiàn)數(shù)據(jù)中,期刊、專利等提供了摘要、關(guān)鍵詞和全文等,而基金項目、行業(yè)報告等只提供了全文,如果從全文開始分析,當(dāng)處理高維數(shù)據(jù)時,會因文本長度的過載使得效率降低[18]。因此異構(gòu)文本數(shù)據(jù)的融合粒度至關(guān)重要。其次,圖像、音視頻數(shù)據(jù)多來自社交媒體和新聞媒體,所蘊含的信息更加直觀,但是如果將其應(yīng)用于情報感知中,更重要的是深層語義的理解。只有將深層語義信息與感知任務(wù)結(jié)合,才能發(fā)揮多模態(tài)的互補(bǔ)優(yōu)勢。此外,由于其發(fā)布門檻低、操作簡單,在使用時要注意對數(shù)據(jù)質(zhì)量的評估。最后,矢量數(shù)據(jù)是指來自地理空間的數(shù)據(jù),往往具有時間、空間和屬性3方面的固有特征,呈現(xiàn)出時空緊耦合、數(shù)據(jù)高維、復(fù)雜語義關(guān)聯(lián)的特點[19]。

綜上,公開的多源數(shù)據(jù)對于情報感知具有較強(qiáng)的適用性,但文本數(shù)據(jù)的應(yīng)用必須解決其多源異構(gòu)帶來的分析阻礙,從不同粒度的融合出發(fā),整合彼此增益的信息;圖像、音視頻數(shù)據(jù)的應(yīng)用必須要理解深層的語義,將直觀感覺轉(zhuǎn)換為計算機(jī)可理解;矢量地理數(shù)據(jù)為情報感知的時序和地理分析提供了新的視角,可以根據(jù)感知任務(wù)的特點進(jìn)行恰當(dāng)運用(見圖2)。

圖2 多源多模態(tài)數(shù)據(jù)的特征

3.2 多源多模態(tài)數(shù)據(jù)面臨的挑戰(zhàn)

情報感知視角下情報工作所需要的數(shù)據(jù)支撐已經(jīng)不再局限于傳統(tǒng)的文獻(xiàn)、事實型數(shù)據(jù),網(wǎng)絡(luò)開源數(shù)據(jù)所呈現(xiàn)出的上述特征對于提升數(shù)據(jù)的語義理解具有重要意義。如何打通并利用好這些多源多模態(tài)的數(shù)據(jù),成為情報感知的重要基礎(chǔ)。本文梳理了多源多模態(tài)數(shù)據(jù)在情報感知應(yīng)用中亟待解決的挑戰(zhàn),旨在為后文數(shù)據(jù)的融合研究提供思想指導(dǎo)。

a.數(shù)據(jù)不完備,數(shù)據(jù)所蘊含的碎片化信息使得情報線索呈現(xiàn)復(fù)雜性,實現(xiàn)數(shù)據(jù)的快速調(diào)動、文本挖掘與分析,發(fā)現(xiàn)潛在規(guī)律和聯(lián)系至關(guān)重要;b.數(shù)據(jù)質(zhì)量良莠不齊,數(shù)據(jù)的質(zhì)量直接影響了后續(xù)情報分析的成敗,需要篩選數(shù)據(jù)自身質(zhì)量高、情報價值高、對感知任務(wù)貢獻(xiàn)度高的數(shù)據(jù);c.數(shù)據(jù)的動態(tài)調(diào)整,數(shù)據(jù)體量并不是越大越好,而是要隨著情報感知任務(wù)的需求逐漸清晰和聚焦;d.數(shù)據(jù)歸屬問題,要在數(shù)據(jù)安全、允許的法律規(guī)范下進(jìn)行數(shù)據(jù)的獲取、融合與分析。

4 面向情報感知的多源多模態(tài)數(shù)據(jù)融合方法研究

如何將互補(bǔ)但冗余的多源多模態(tài)數(shù)據(jù)有效融合,支撐情報感知,面臨著以下挑戰(zhàn):①數(shù)據(jù)異構(gòu)鴻溝和語義鴻溝亟待解決,不同源、不同類型的數(shù)據(jù)往往結(jié)構(gòu)差異較大,且語義復(fù)雜;②數(shù)據(jù)融合粒度問題,如何根據(jù)不同的感知需求確定不同的融合粒度至關(guān)重要;③時序數(shù)據(jù)融合,海量的數(shù)據(jù)難免會引發(fā)快速查詢等一系列問題,如何利用時間序列數(shù)據(jù)更快、更好地做出決策亟待解決;④智能融合,機(jī)器技術(shù)的蓬勃發(fā)展使“人+AI”的組合引人矚目,需要在充分利用機(jī)器學(xué)習(xí)的基礎(chǔ)上,更高效、智能的融合。

基于此,本文將從以下3個方面具體展開:①針對多源數(shù)據(jù)的異構(gòu)鴻溝導(dǎo)致文本的相似性難以直接度量,融合粒度難以確定這一問題,聚焦單模態(tài)數(shù)據(jù)的融合,主要是指文本數(shù)據(jù)的多粒度融合。②針對多模態(tài)數(shù)據(jù)的語義鴻溝問題,重點調(diào)研了基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)語義融合方法,特別是基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的智能化融合方法。③情報感知中無論是時序數(shù)據(jù)還是空間數(shù)據(jù),都能在情報感知的演化、預(yù)測類任務(wù)中提供全新的視角。因此應(yīng)充分利用時空數(shù)據(jù)的交互,將時序、空間信息融入感知過程。

綜上,面向情報感知的多源多模態(tài)數(shù)據(jù)融合模型(如圖3),根據(jù)不同的情報感知任務(wù)特點,將數(shù)據(jù)的支持劃分為單模態(tài)文本數(shù)據(jù)、多模態(tài)數(shù)據(jù)與地理時空輔助數(shù)據(jù)。具體的研究方法包括細(xì)粒度的數(shù)據(jù)級融合、句子級融合、篇章級融合和知識級融合,基于特征級、深度學(xué)習(xí)和異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的語義融合,基于時空數(shù)據(jù)輔助的多源多模態(tài)數(shù)據(jù)融合。

圖3 面向情報感知的多源多模態(tài)數(shù)據(jù)融合模型

4.1 多源異構(gòu)數(shù)據(jù)的細(xì)粒度融合

目前學(xué)者們探討的多源數(shù)據(jù)融合模型多從融合的過程出發(fā),對各組成部分間的相互作用過程進(jìn)行描述,例如Paul[20]將融合過程劃分為特征提取、位置融合、關(guān)系融合和關(guān)聯(lián)融合4個步驟。還有學(xué)者從數(shù)據(jù)層、特征層和決策層融合3個層次概括多源數(shù)據(jù)融合模型。本文借鑒上述思路,結(jié)合情報感知任務(wù)的需求,認(rèn)為面向情報感知的多源異構(gòu)數(shù)據(jù)融合必須是細(xì)粒度的,在考慮融合過程和層次的基礎(chǔ)上,是由簡單的數(shù)據(jù)級組合融合擴(kuò)展到考慮詞粒度、短語粒度等的句子級融合,進(jìn)而深化至考慮篇章語義、篇章結(jié)構(gòu)、知識結(jié)構(gòu)的細(xì)粒度融合,以揭示數(shù)據(jù)的深層規(guī)律,作出前瞻性強(qiáng)、價值高的判斷。

4.1.1數(shù)據(jù)級融合

數(shù)據(jù)作為情報感知的源頭,可以幫助情報分析人員快速獲取所需信息,其重要性不言而喻。多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)級融合可以分為數(shù)據(jù)直接融合和元數(shù)據(jù)融合兩種不同的粒度。

數(shù)據(jù)級別直接融合。當(dāng)情報感知的任務(wù)清晰,數(shù)據(jù)源結(jié)構(gòu)相似、主題相似或核心數(shù)據(jù)明確時,可以將不同來源的數(shù)據(jù)在同一主題的指導(dǎo)下拼接組合,可以看作是數(shù)據(jù)集的擴(kuò)大,是數(shù)據(jù)間的淺層融合[21]。例如,數(shù)據(jù)A和數(shù)據(jù)B融合,補(bǔ)充數(shù)據(jù)C缺失的字段,或在數(shù)據(jù)A、B、C中選擇高質(zhì)量的字段。這種融合通常發(fā)生在學(xué)科前沿?zé)狳c的識別、產(chǎn)業(yè)發(fā)展的變革規(guī)律、科研關(guān)系的發(fā)展演化等情報研究中,把同一主題、結(jié)構(gòu)相似的數(shù)據(jù)直接融合,發(fā)現(xiàn)其演進(jìn)的過程和規(guī)律,進(jìn)而實現(xiàn)趨勢的預(yù)測,早醒遠(yuǎn)眺。

元數(shù)據(jù)級別融合。元數(shù)據(jù)作為描述數(shù)據(jù)的數(shù)據(jù),不僅能夠在情報感知中幫助情報人員快速獲取所需素材,而且在對元數(shù)據(jù)進(jìn)行抽取、映射、融合等操作時,能夠有效避免數(shù)據(jù)的異構(gòu)問題。主要有三種融合方式[22]:①去重融合,當(dāng)同一資源的元數(shù)據(jù)非空且一致時,只需要簡單去重,保留一個來源的元數(shù)據(jù)。例如論文中的“關(guān)鍵詞”元數(shù)據(jù)項均為“人工智能”,則直接將其作為融合后的“題名”。②互補(bǔ)融合,當(dāng)不同來源的元數(shù)據(jù)部分缺失時,需要對空值進(jìn)行填補(bǔ)。例如某篇論文中的“作者”,各來源中只有一個來源的“作者”非空,則將非空項信息進(jìn)行保留。③規(guī)則融合,如果某一資源各來源的元數(shù)據(jù)均非空,則保留符合元數(shù)據(jù)著錄標(biāo)準(zhǔn)的數(shù)據(jù)。綜上,去重融合和互補(bǔ)融合只針對元數(shù)據(jù)本身進(jìn)行操作,簡單快捷;而規(guī)則融合需要考慮元數(shù)據(jù)的質(zhì)量和異構(gòu)問題。

4.1.2句子級融合

在情報感知過程中,情報素材的評判對感知的結(jié)果至關(guān)重要。例如,針對前沿動態(tài)跟蹤類的感知項目,情報工作人員必須要全面、系統(tǒng)地獲取可能與用戶需求相匹配的數(shù)據(jù),這時需要對含有“最新”、“最前沿”等字樣的文章極為在意,基于數(shù)據(jù)粒度的融合已經(jīng)不能滿足情報需求。而詞語級和短語級融合大多以詞作為語義單元,對于英文文檔來說適用于這種融合粒度,但是中文的分詞、語義等直接影響了融合結(jié)果,只考慮詞語或短語級融合不一定能取得很好的效果。因此需要考慮到多語義的文檔信息,綜合考慮文本的詞粒度信息、短語粒度信息和句粒度信息,通過更多層級和多粒度的融合,彌補(bǔ)數(shù)據(jù)級融合的信息損失,從而達(dá)到更好的融合效果。

在句子級融合的具體研究上,Luo等[23]融合了句子級和文檔級信息,提出了分層語義表示模型,并結(jié)合BiLSTM使模型充分利用上下文和全局信息。楊春霞等[24]通過字、詞、句的句法關(guān)系以及字-詞關(guān)系,對字和詞嵌入后進(jìn)行多粒度融合,利用CNN提取語義特征及上下文特征完成了新聞文本的主題分類。由此可知,當(dāng)數(shù)據(jù)級的融合不能支撐情報感知時,基于字、詞、句的多粒度融合模型能更好的理解文本的實體信息和語義信息,同時兼顧文本的上下文信息,支撐情報感知任務(wù)。

4.1.3篇章級融合

篇章級融合主要是從文章的邏輯結(jié)構(gòu)和篇章單元之間的語義關(guān)系出發(fā),挖掘更深層次的語義和結(jié)構(gòu)信息。篇章級融合有助于理解篇章的中心思想和主旨內(nèi)容,對情報感知時間線的構(gòu)建、感知信息的抽取等任務(wù)具有重要意義。以情報感知中的科技政策類任務(wù)為例,主題各異的政策看來在是離散的,在內(nèi)容上缺乏相關(guān)性,而實際上卻具有深層次的聯(lián)系。在這時,就可以將不同主題文本中的關(guān)鍵信息抽取,以篇章級的事件時序關(guān)系或主題聯(lián)系為特征,生成關(guān)于全局?jǐn)?shù)據(jù)的新的更加抽象的特征,以此揭示數(shù)據(jù)的深層次規(guī)律。

在篇章級事件時序關(guān)系融合方面,事件的時序關(guān)系與篇章關(guān)系密切相關(guān),如果僅以句子級的信息作為支撐,難以高效識別并融合事件的時序關(guān)系。戴倩雯等[25]融合了句子的依存關(guān)系和篇章的修辭關(guān)系,利用BiLSTM捕獲更多有效信息,較好地識別了事件的時序關(guān)系。劉耀等[26]提出了融合篇章結(jié)構(gòu)的文本知識網(wǎng)絡(luò),利用BiLSTM-CRF和SVM完成關(guān)系的標(biāo)引,融合了篇章特征和句法語義特征。由此可知,融合過程中如果考慮了篇章級的時序關(guān)系,文章中的事件并非孤立的存在,使得全文的一致性得以保證,增強(qiáng)了情報感知的準(zhǔn)確性。

篇章級主題融合的重點在于發(fā)現(xiàn)數(shù)據(jù)間的主題關(guān)聯(lián),找出背后的情報線索,以此洞察事務(wù)的本質(zhì)。在具體方法上,基于LDA的主題模型在情報感知的演化類任務(wù)中具有較好的效果。徐碩等[27]將主題、作者和時間關(guān)聯(lián)提出作者主題演化模型(Author-Topic over Time, AToT),挖掘了隱含主題和作者研究興趣隨時間變化的規(guī)律。馮佳等[28]從載體-特征-關(guān)系3個層面構(gòu)建了改進(jìn)LDA的多源數(shù)據(jù)融合模型。但是LDA模型產(chǎn)生的主題之間相互孤立,會受到文本自身篇幅短、內(nèi)容格式散亂等多方面的影響。隨著深度學(xué)習(xí)的突破性應(yīng)用,word2vec通過向量空間的相似度衡量文本的相似度,克服了詞袋表示的不足,使得語義信息更加豐富,則更適于從短文本中提取主題。

4.1.4知識級融合

知識級融合中最具代表性的是應(yīng)用于知識圖譜的知識融合(Knowledge Fusion),即合并兩個知識圖譜中各層面的知識,將多源的有關(guān)同一實體的描述信息有效融合。相比于篇章級的融合,知識級的融合粒度更加細(xì)致,得到的結(jié)果也更加準(zhǔn)確和全面。由于同一領(lǐng)域的數(shù)據(jù)具有各自的知識庫,不同領(lǐng)域的數(shù)據(jù)進(jìn)行交互時,知識的共享性、動態(tài)性決定了知識的構(gòu)建過程中不可避免地會遇到知識異構(gòu)的現(xiàn)象。南京大學(xué)計算機(jī)軟件新技術(shù)國家重點實驗室開發(fā)的眾包知識融合系統(tǒng)FactChain[29],解決了知識因時效性更新、多源知識間沖突的問題,為知識的多源共享與融合提供了指導(dǎo)。因此,解決知識級的融合問題,能更好地支持細(xì)粒度的情報感知,將知識異構(gòu)現(xiàn)象冰解凍釋。

在知識融合中常用的工具主要包括Falcon-AO、Dedupe、Limes和Silk等。其中,Falcon-AO[30]是一個本體自動匹配系統(tǒng),是目前web本體匹配最為實用和流行的方法之一。而Dedupe[31]可以支持多種數(shù)據(jù)類型和自定義類型,為多源異構(gòu)數(shù)據(jù)的融合提供了合適的選擇。Limes是基于度量空間的框架,適用于大規(guī)模的數(shù)據(jù)鏈接;Silk是集成異構(gòu)數(shù)據(jù)的開源框架,提供了圖形化的用戶界面,可以更加方便的進(jìn)行記錄鏈接。

綜上,異構(gòu)數(shù)據(jù)融合,特別是異構(gòu)文本數(shù)據(jù)融合時,基于數(shù)據(jù)級、句子級、篇章級和知識級的融合各有利弊(見圖4),但在情報感知的應(yīng)用時,要根據(jù)情報任務(wù)的特點,選擇恰當(dāng)?shù)娜诤狭６?并在必要的時候?qū)Σ煌６鹊娜诤线M(jìn)行組合,促進(jìn)情報感知的智能化和精準(zhǔn)化。

圖4 多源異構(gòu)數(shù)據(jù)融合的發(fā)展趨勢

4.2 多模態(tài)數(shù)據(jù)的語義融合方法研究

隨著智能設(shè)備的更新迭代,越來越多的人在微博、微信、抖音等社交平臺上以文本、圖片、音視頻等形式發(fā)表個人觀點。面對海量的社交媒體和新聞報道數(shù)據(jù),若能實現(xiàn)其合理利用,將在情報感知中產(chǎn)生巨大的價值。相比于單模態(tài)的文本數(shù)據(jù)融合,多模態(tài)數(shù)據(jù)融合則更加重視對數(shù)據(jù)深層次語義的理解,以及不同數(shù)據(jù)間關(guān)系的建模,有時也通過抽取不同模態(tài)的交互信息,高效利用海量的媒體數(shù)據(jù)。

總體。Omvivore采用統(tǒng)一的預(yù)訓(xùn)練模型處理圖片、視頻和3D圖像三種視覺模態(tài)的輸入,并映射到統(tǒng)一的特征空間;Data2vec則采用了統(tǒng)一的模型和訓(xùn)練框架,分別去訓(xùn)練文本、圖像和音頻,是第一個適用于文本、語音和圖像等多領(lǐng)域的高性能自監(jiān)督算法。此外,Bridge-Tower(MSRA)也提出了多模態(tài)預(yù)訓(xùn)練模型新的特征融合方式,其在單模態(tài)表示學(xué)習(xí)的中間層進(jìn)行跨模態(tài)的交互,不僅可以有效應(yīng)對模態(tài)缺失的問題,而且能更好的學(xué)習(xí)多模態(tài)的交互。

4.2.1基于特征、決策級的多模態(tài)數(shù)據(jù)融合

關(guān)于多模態(tài)數(shù)據(jù)融合的智能處理,有特征級和決策級2個層次的融合方法。特征級融合適用于不同模態(tài)的數(shù)據(jù)高度相關(guān)的情況,采用提取特征信息融合的方式[33]。Yang等[34]采用了特征級的多模態(tài)數(shù)據(jù)融合,將音頻和視頻數(shù)據(jù)應(yīng)用于語音識別,但特征提取難度大,效果有待提高。此外,最初應(yīng)用于文本分類問題的PLSA(Probabilistic Latent Semantic Analysis, PLSA)模型近年來被應(yīng)用于圖像、音視頻等多媒體數(shù)據(jù)的分析,并取得了不錯的效果。例如,熊回香等[35]利用PLSA模型和潛在主題變量的不同特征,構(gòu)建了潛在主題語義空間,進(jìn)而發(fā)現(xiàn)多模態(tài)數(shù)據(jù)間的相關(guān)性,克服了文字潛在語義信息的問題。在決策級融合方面,謝豪等[36]構(gòu)建了多層語義決策級融合模型,充分挖掘圖文兩種模態(tài)數(shù)據(jù)之間的相似性信息,對社交媒體的圖文進(jìn)行了情感分類。但需要注意的是,決策級的融合在處理異質(zhì)的多模態(tài)數(shù)據(jù)時,會產(chǎn)生信息的損失。

4.2.2基于深度學(xué)習(xí)的跨模態(tài)數(shù)據(jù)融合

隨著人工智能的發(fā)展,跨模態(tài)的數(shù)據(jù)融合逐漸走向人們的視野?？缒B(tài)數(shù)據(jù)融合通過關(guān)系抽取來獲得不同模態(tài)間的交互信息,再結(jié)合數(shù)據(jù)自身得到相互獨立的特征,比多模態(tài)數(shù)據(jù)融合所得到的特征更加全面和精確。

a.基于CNN的跨模態(tài)數(shù)據(jù)融合。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)不需要手動提取數(shù)據(jù)的特征,可以共享權(quán)值并直接輸入網(wǎng)絡(luò),被廣泛應(yīng)用于圖像、視頻等模態(tài)數(shù)據(jù)的處理中。2015年You等[37]首次提出拼接圖文特征以實現(xiàn)跨模態(tài)分類,使用ImageNet預(yù)訓(xùn)練的CNN提取圖像特征,Word2Vec提取文本特征,此后的研究均是該方法的改進(jìn)。申自強(qiáng)[38]利用CNN和CBOW(Continuous Bag of Words, CBOW)分別提取圖文特征,但也只能提取高級語義特征。針對這一問題,陳巧紅等[39]利用VGG13網(wǎng)絡(luò)外接卷積層,提取3個層次的圖像特征,對文本數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行跨模態(tài)融合。Hu等[40]利用預(yù)訓(xùn)練的CNN提取圖像特征,選擇LSTM在Glove詞向量上提取文本特征表示。

b.基于注意力的跨模態(tài)數(shù)據(jù)融合。在深度學(xué)習(xí)中引入注意力機(jī)制(Attention Mechanism)后,使得機(jī)器更貼合人類行為,也在多模態(tài)數(shù)據(jù)融合中取得了一定效果。Xu等[41]基于注意力機(jī)制分別計算了圖文之間的雙向注意力,將文本實體和圖像語義對齊,實現(xiàn)了分層次的跨模態(tài)融合。陳小敏等[42]提出了基于Attention的TAI-CNN跨模態(tài)情感分類方法。Yu等[43]利用多頭注意力機(jī)制(Multi-Head Attention Mechanism)將圖像特征融入到文本特征中,并利用自注意力機(jī)制提取文本數(shù)據(jù)的上下文信息,使跨模態(tài)的融合更加清晰。在此基礎(chǔ)上,又提出視覺注意力網(wǎng)絡(luò)(Visual Aspect Attention Network)以解決圖像模態(tài)的數(shù)據(jù)為主的應(yīng)用場景,更精確的進(jìn)行多模態(tài)數(shù)據(jù)融合。綜上,跨模態(tài)數(shù)融合模型不再局限于簡單的特征提取、決策融合或單一神經(jīng)網(wǎng)絡(luò),而是可以根據(jù)實際問題的需要和應(yīng)用環(huán)境,選擇適合于當(dāng)前情報感知任務(wù)或感知對象的模型。

4.2.3基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)數(shù)據(jù)融合

情報感知中的多模態(tài)數(shù)據(jù)大都具有圖結(jié)構(gòu),圖神經(jīng)網(wǎng)絡(luò)GNN(Graph Neural Network, GNN)[44]可以通過圖節(jié)點傳遞和捕捉數(shù)據(jù)的相關(guān)性,推動了數(shù)據(jù)融合領(lǐng)域相關(guān)研究的發(fā)展。然而傳統(tǒng)的GNN模型,只能處理某一類型節(jié)點構(gòu)成的規(guī)則拓?fù)鋱D,也就是說只能表示同一模態(tài)或類型的數(shù)據(jù),但是在實際的情報感知過程中,多模態(tài)的數(shù)據(jù)并非只有一種類型的節(jié)點構(gòu)成,傳統(tǒng)GNN的模型質(zhì)量明顯下降。

近年來,由不同類型的節(jié)點和邊構(gòu)成的異質(zhì)信息網(wǎng)絡(luò)(Heterogeneous Information Network, HIN)出現(xiàn),彌補(bǔ)了同構(gòu)網(wǎng)絡(luò)的不足[45]。越來越多的學(xué)者將多模態(tài)的交互信息建模為異質(zhì)信息網(wǎng)絡(luò),保留更加全面的語義信息,完成了更精確的知識關(guān)聯(lián)與發(fā)現(xiàn)。特別是面對情報感知中的海量、多源、異構(gòu)、多模態(tài)的數(shù)據(jù),異質(zhì)信息網(wǎng)絡(luò)的融合優(yōu)勢使其成為解決多模態(tài)數(shù)據(jù)融合的重要途徑。

既然異質(zhì)信息網(wǎng)絡(luò)可以融合豐富的結(jié)構(gòu)和語義信息,解決數(shù)據(jù)異質(zhì)融合的挑戰(zhàn),那文字、圖像、時空數(shù)據(jù)等模態(tài)數(shù)據(jù)是否可以采用異質(zhì)信息網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)結(jié)合的方式進(jìn)行建模與分析?陳卓等[46]將GNN與異質(zhì)信息網(wǎng)絡(luò)結(jié)合,對多源異質(zhì)數(shù)據(jù)進(jìn)行了解碼,實現(xiàn)了用戶項目和社交數(shù)據(jù)兩種網(wǎng)絡(luò)節(jié)點的有效融合。馮小東等[47]基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)實現(xiàn)了社交媒體用戶與信息的交互建模與融合。Hu等[48]利用異質(zhì)信息網(wǎng)絡(luò)、GNN和LSTM完成了用戶、新聞、新聞主題間的模態(tài)交互,捕捉了用戶的興趣,對于情報感知的用戶追蹤類任務(wù)具有一定的啟示意義。在以圖像模態(tài)數(shù)據(jù)為主的領(lǐng)域,基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的建模方式也有初步嘗試。Li等[49]將圖像中的位置、空間、語義等信息建模為異質(zhì)網(wǎng)絡(luò),并利用圖注意力機(jī)制完善了全局建模。因此針對情報感知中的多模態(tài)數(shù)據(jù),基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合是具有一定的競爭優(yōu)勢的(見圖5)。

圖5 多模態(tài)數(shù)據(jù)融合的發(fā)展趨勢

4.3 時空數(shù)據(jù)輔助的多源多模態(tài)數(shù)據(jù)融合

在情報感知時,允許不同模態(tài)的數(shù)據(jù)之間互融互通、彼此增益是多源多模態(tài)數(shù)據(jù)融合面臨的挑戰(zhàn),如果僅依靠深度學(xué)習(xí)等數(shù)據(jù)挖掘的方法,情報用戶難以對數(shù)據(jù)和感知的過程本身進(jìn)行直觀的理解和探索?；跁r間數(shù)據(jù)和空間數(shù)據(jù)輔助的多源多模態(tài)數(shù)據(jù)的融合,可以充分利用時空的交互,將時序數(shù)據(jù)、地理空間信息融入整個數(shù)據(jù)分析、感知決策的過程[50]。

時序數(shù)據(jù)融合。時序數(shù)據(jù)表示著事件發(fā)生的先后順序,串聯(lián)了情報感知中各個事件或要素的發(fā)展演化,一些看似離散著被敘述的事件,往往背后存在著一定的聯(lián)系。如果能及時、準(zhǔn)確地抽取并融合情報感知數(shù)據(jù)源中事件的時序關(guān)系,對于情報感知的脈絡(luò)梳理起到了很好的推動作用。因此,時序數(shù)據(jù)的融合也被看作是情報感知中的一項重要任務(wù),受到了越來越多的關(guān)注。

空間數(shù)據(jù)融合。隨著全球定位、無線傳感器等技術(shù)的發(fā)展,產(chǎn)生了海量GPS數(shù)據(jù),進(jìn)而催發(fā)了大量基于位置服務(wù)(Location-Based Services, LBS)的應(yīng)用平臺。典型的LBS的社交網(wǎng)絡(luò),如Twitter、新浪、高德等運營過程中,產(chǎn)生了海量的時空語義數(shù)據(jù)[51],助力了情報的多維度感知。Twitter每天約產(chǎn)生1000萬條帶有地理信息的數(shù)據(jù);美國Foursquare中更是存儲了超100億條的位置簽到信息[52]。在情報感知中,如果將這些數(shù)據(jù)的GPS信息與多模態(tài)數(shù)據(jù)結(jié)合,既可以表示感知對象在一定時間范圍內(nèi)的位置變化,也可以從細(xì)粒度、多層面和多視角記錄感知對象的變化狀態(tài)。

5 總結(jié)與展望

本文在系統(tǒng)梳理情報感知與多源多模態(tài)數(shù)據(jù)特點的基礎(chǔ)上,提出了多源多模態(tài)數(shù)據(jù)在情報感知應(yīng)用中存在的問題,并以此為基礎(chǔ)上詳細(xì)梳理了細(xì)粒度的數(shù)據(jù)融合方法。針對單模態(tài)數(shù)據(jù)特別是多源異構(gòu)的文本數(shù)據(jù),根據(jù)情報任務(wù)的不同選擇數(shù)據(jù)級、句子級、篇章級和知識級的融合方法。面對復(fù)雜的多模態(tài)數(shù)據(jù),基于深度學(xué)習(xí)的方法始終是語義融合的首選,值得一提的是基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的融合方法,是未來研究的重點。最后,提出了時空數(shù)據(jù)輔助的多模態(tài)數(shù)據(jù)融合思路,為情報感知提供了新的視角,未來一段時間,融合時序數(shù)據(jù)或全時空大數(shù)據(jù)的情報感知研究仍具有重要的研究意義。

總體而言,情報感知視角下,多粒度的多源、異構(gòu)、多模態(tài)數(shù)據(jù)融合不可避免。在實際應(yīng)用時也需要注意不同融合粒度之間的選擇與組合,以及各模態(tài)數(shù)據(jù)的綜合、準(zhǔn)確應(yīng)用。特別是面對異質(zhì)、交互的多模態(tài)數(shù)據(jù),基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的融合方法實力強(qiáng)勁,但也存在不少難題,例如從多模態(tài)數(shù)據(jù)中提取恰當(dāng)?shù)膶ο蠛完P(guān)系;實際應(yīng)用中的異質(zhì)網(wǎng)絡(luò)往往動態(tài)變化、規(guī)模巨大、模式豐富;異質(zhì)圖網(wǎng)絡(luò)中,局部和全局信息的關(guān)系如何把握等都亟待解決。