基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體情報大數(shù)據(jù)智能處理技術(shù)

白亮 郭金林 老松楊

隨著物聯(lián)網(wǎng)、云計算以及多傳感技術(shù)的不斷發(fā)展,圖、文、聲、像融合表現(xiàn)的多源跨媒體信息呈現(xiàn)“爆發(fā)式”的涌現(xiàn)現(xiàn)象.以互聯(lián)網(wǎng)為例,截至2015年底,全球互聯(lián)網(wǎng)圖、文、聲、像等多媒體數(shù)據(jù)總存儲量已達數(shù)百億TB以上,并且還在以59%以上的年增長率迅速增長.不同的學科領(lǐng)域,正在不同的層面上廣泛地關(guān)注著大數(shù)據(jù)對自己的研究和實踐帶來的深刻影響,信息化戰(zhàn)爭中的情報分析與預測工作也不例外.

信息化戰(zhàn)爭中各種傳感器和數(shù)據(jù)獲取手段極大豐富,情報數(shù)據(jù)存在形態(tài)表現(xiàn)為:多源跨媒體情報大數(shù)據(jù),即在多媒體數(shù)據(jù)的基礎(chǔ)上,利用各種媒體的形式和特征,對相同或相關(guān)的情報信息用不同的媒體表達形式進行處理,由此而產(chǎn)生存儲、處理、檢索和共享等活動,其特點是:1)多源跨媒體情報數(shù)據(jù)來自于不同類型傳感器,時空尺度大、模態(tài)多樣化;2)多種類型媒體數(shù)據(jù)混合并存,包括圖像、視頻、音頻等相互關(guān)聯(lián)的不同模態(tài),且動態(tài)變化、真?zhèn)位祀s;3)跨媒體情報數(shù)據(jù)組織結(jié)構(gòu)復雜;4)不同類型媒體數(shù)據(jù)從不同側(cè)面表達同一語義;5)感知主題跨越時空,檢索中需要根據(jù)媒體之間存在的各種聯(lián)系,從一種媒體跨越到另一種媒體.因此,多源跨媒體情報數(shù)據(jù)具有復雜、海量、異質(zhì)多源、大范圍時空關(guān)聯(lián)等特點,它們構(gòu)成了復雜的情報感知網(wǎng)絡(luò).一方面,以圖像、視頻為代表的非結(jié)構(gòu)化數(shù)據(jù)處理帶來的挑戰(zhàn),使得對海量、復雜的跨媒體數(shù)據(jù)進行有效的分析、處理與挖掘,成為亟待解決的難題;另一方面,跨媒體特性對于海量數(shù)據(jù)語義理解具有重要意義,原因在于交叉關(guān)聯(lián)信息可加強被檢索特征的表示,有利于實現(xiàn)被檢索資源的綜合、歸納和過濾,有助于從海量數(shù)據(jù)中搜索發(fā)現(xiàn)有價值的情報信息,進而提供“從數(shù)據(jù)到?jīng)Q策”的各種智能情報分析服務(wù).

1 跨媒體情報大數(shù)據(jù)分析需求

情報分析是一個包含了知識獲取、分析和利用等活動的過程[1?4].由于技術(shù)條件的改善、研究方法的發(fā)展以及用戶需求的變化,目前情報分析研究正日益由“情報”工作向“研究”工作方面偏移,也就是對深加工的研究和分析性工作要求越來越多、越來越深入,不僅要求情報分析研究成果具有綜述性,還要具有研究性和預測性.這要求情報分析不僅完成一般性的統(tǒng)計功能,還應(yīng)該在知識層面揭示情報之間的相互關(guān)系,進一步實現(xiàn)“知識發(fā)現(xiàn)”.可以說,情報分析的本質(zhì)就是要最大限度地輔助情報分析人員揭示、提升軍事情報的價值,滿足軍事斗爭的需要.隨著多源情報獲取手段極大豐富,現(xiàn)有情報分析與預測技術(shù)手段存在的問題和不足也逐漸暴露出來,主要體現(xiàn)在以下幾個方面:

1)現(xiàn)有情報管理偏重資料管理,情報間跨媒體關(guān)聯(lián)性較差

各系統(tǒng)對情報資料的管理重心放在收集和整理原始資料上,通常提供簡單的編目、分組、存儲和查詢,但缺乏內(nèi)容層面的關(guān)聯(lián)建模,特別是針對海量跨媒體信息,很多資料表面上看起來似乎與情報分析無關(guān),但往往是情報綜合必不可少的基礎(chǔ)資料[5].

2)跨媒體信息處理過程自動化程度低

情報內(nèi)容分析工作大多依賴對內(nèi)容的人工手動標注,分析人員處理海量跨媒體數(shù)據(jù)資料費時費力,工作壓力巨大,不僅影響工作效率,還容易造成分析錯誤.此外,情報處理與生產(chǎn)過程缺乏統(tǒng)一指揮控制與協(xié)同計劃,難以進行情報分析的全生命周期管理.

3)情報分析智能化程度低,缺乏語義層面的情報內(nèi)容分析

現(xiàn)有系統(tǒng)主要依賴關(guān)系數(shù)據(jù)庫,針對海量的跨媒體信息,分析和檢索方法手段有限,主要基于關(guān)鍵字進行全文檢索,雖然匹配精度高,但由于缺少語義信息,往往難以準確獲得用戶所關(guān)心的準確內(nèi)容.同時,在傳感器廣泛應(yīng)用,數(shù)據(jù)獲取手段不斷進步的情況下,跨媒體情報數(shù)據(jù)的積累爆炸性增長,分析人員需要花費大量的時間完成對資料的查找、分析,從資料中獲取有價值的情報更加困難,這不僅為平時分析工作帶來了不便,更難以適應(yīng)瞬息萬變的戰(zhàn)場環(huán)境.

4)情報綜合利用率低,缺乏對情報服務(wù)機制的統(tǒng)一描述

現(xiàn)有情報分析系統(tǒng)是為滿足不同作戰(zhàn)部門作戰(zhàn)需求而建立[6?7],都是針對特定部門的特定應(yīng)用,形成一個個“煙囪”式的孤立應(yīng)用系統(tǒng),各系統(tǒng)之間以約定的文件格式進行數(shù)據(jù)交換或者根本沒有數(shù)據(jù)接口,數(shù)據(jù)共享程度差,情報的綜合利用率不高.

因此,如何迅速地分析、過濾和綜合多源跨媒體情報大數(shù)據(jù),高效發(fā)現(xiàn)與挖掘其中蘊含的高價值情報知識,不斷提升多源跨媒體情報數(shù)據(jù)自動化和智能化分析與檢索的能力,提供“從數(shù)據(jù)到?jīng)Q策”的各種智能服務(wù),最終為作戰(zhàn)指揮決策提供精確、動態(tài)、持續(xù)的情報支持,成為保障國家情報安全的重大軍事需求.而隨著大數(shù)據(jù)、深度學習理論框架的提出,研究網(wǎng)絡(luò)空間中基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體信息智能處理技術(shù)已成為必然.本文在上述深入分析網(wǎng)絡(luò)空間中跨媒體數(shù)據(jù)特點及其應(yīng)用需求的基礎(chǔ)上,提出一種新的深度認知神經(jīng)網(wǎng)絡(luò)方法,通過交叉關(guān)聯(lián)信息加強被檢索特征的表示.在此基礎(chǔ)上構(gòu)建基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體信息處理框架,并歸納總結(jié)其中涉及的關(guān)鍵技術(shù),提出解決方案.

2 深度認知神經(jīng)網(wǎng)絡(luò)方法框架

自2006年深度置信網(wǎng)絡(luò)提出以來[8?11],深度神經(jīng)網(wǎng)絡(luò)的相關(guān)工作重新引起了大家的重視,并在計算機視覺、語音識別和自然語言理解等方面的研究取得了巨大的進展[12?15],很多研究案例已經(jīng)證明深度學習方法能夠有效從大數(shù)據(jù)中發(fā)現(xiàn)其具有的特征表示,這也正是情報分析的重要目的.情報分析的過程就是對大量數(shù)據(jù)的“認知過程”,如何讓計算機能夠有效學習并掌握這一認知過程,是需要解決的關(guān)鍵問題.

現(xiàn)有神經(jīng)網(wǎng)絡(luò)一般把注意建模成強化學習問題,以及近期提出記憶神經(jīng)網(wǎng)絡(luò)、存儲結(jié)構(gòu)、神經(jīng)圖靈機等研究成果忽略認知過程中的聯(lián)想記憶特性、層級記憶與注意的相互作用的缺點.本文從人類視覺認知機理出發(fā).提出一種融合注意與記憶機制的深度認知神經(jīng)網(wǎng)絡(luò),如圖1所示.

機理層:主要是歸納總結(jié)注意機制和記憶機制等關(guān)鍵認知過程的人體機理,并將其總結(jié)歸納為可解釋、有依據(jù)、能實現(xiàn)的計算機制,為提出深度神經(jīng)網(wǎng)絡(luò)提供支撐.

模型算法層:融合視覺注意和記憶機制提取任務(wù)導向的特征.對于輸入圖像,通過卷積神經(jīng)網(wǎng)絡(luò)學習得到低層特征,然后利用視覺注意機制為每部分特征設(shè)置權(quán)重得到全局特征,最后利用記憶模塊對特征進行更新,并同時添加或更新記憶.最終得到的特征可以作為下一步的輸入使用,而下一步的操作可以根據(jù)具體任務(wù)來決定.

圖2 網(wǎng)絡(luò)空間中基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體信息處理框架

3 基于深度認知神經(jīng)網(wǎng)絡(luò)跨媒體信息處理框架

大數(shù)據(jù)背景下跨媒體信息智能處理技術(shù),針對海量跨媒體情報數(shù)據(jù)智能化處理的迫切軍事需求,將海量龐雜、異質(zhì)多源、大時空尺度關(guān)聯(lián)的多源跨媒體情報大數(shù)據(jù)化繁為簡,通過區(qū)別式或生成式,監(jiān)督學習或半監(jiān)督學習等方法(例如:深度學習),識別出數(shù)據(jù)集中蘊含的關(guān)鍵目標對象、熱點事件等語義,挖掘發(fā)現(xiàn)海量多源情報數(shù)據(jù)內(nèi)在的、有價值的關(guān)聯(lián)或相關(guān)關(guān)系,準確快速檢索提取滿足情報需求的、人可理解并利用的情報信息和知識資源,并進一步對目標的行為規(guī)律進行挖掘,對其意圖進行預測,形成對戰(zhàn)場態(tài)勢的深入洞察和準確認知.從而有效服務(wù)于情報數(shù)據(jù)分析處理、目標檢測與識別、情報信息查詢檢索、情報安全態(tài)勢的實時監(jiān)控和預警預報.本文提出的網(wǎng)絡(luò)空間中基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體信息處理框架如圖2所示.

從數(shù)據(jù)獲取的角度看,本文研究的多源情報主要是通過戰(zhàn)場網(wǎng)絡(luò)聚合各類傳感器形成的多源跨媒體情報大數(shù)據(jù).首先,本框架采用基于視覺認知計算的深度神經(jīng)網(wǎng)絡(luò)方法,并采用GPU加速方法提高其學習效率與速度,以高效準確地從中發(fā)現(xiàn)有價值的情報信息.其次,通過采用深度學習框架中的模型訓練、自主學習等大數(shù)據(jù)處理技術(shù)機制,對圖像、文本、視頻等各類數(shù)據(jù)進行數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)挖掘、自動融合匹配與關(guān)聯(lián)等智能分析處理,獲取多源情報隱含的關(guān)聯(lián)分析.最后,通過目標檢測與識別、關(guān)聯(lián)分析等方法和技術(shù),能夠準確快速地檢索提取滿足情報需求的、人可理解并利用的情報信息和知識資源.在此基礎(chǔ)上,結(jié)合目標時空特征數(shù)據(jù)、時序過程數(shù)據(jù)等,采用機器學習方法,進一步對目標的行為規(guī)律進行挖掘,并采用可視化的技術(shù)手段和工具對情報分析結(jié)果進行直觀形象的描述和展現(xiàn),輔助軍事人員形成對戰(zhàn)場態(tài)勢的深入洞察和準確認知,提升情報分析工作的有效性和實用性.

4 需要解決的關(guān)鍵技術(shù)

本節(jié)將歸納總結(jié)跨媒體情報大數(shù)據(jù)智能處理的關(guān)鍵技術(shù),并提出需要研究的內(nèi)容及解決思路.

4.1 目標檢測與識別

1)視覺對象檢測識別

視覺對象分類與檢測是認識和理解圖像視頻內(nèi)容的兩個重要方面.傳統(tǒng)的方法割裂了對象整體和局部的聯(lián)系,很難得到關(guān)于對象的全面表達,因而對視覺對象的分類與檢測研究通常也是獨立進行的.因此,需同時考慮整體和局部的作用,并將它們整合到同一個深度學習框架中進行類別判別和位置計算,重點研究突破對象深度表達建模、基于深度認知神經(jīng)網(wǎng)絡(luò)的對象檢測識別等關(guān)鍵問題.同時,針對在軍事情報分析領(lǐng)域軍事目標對象的數(shù)據(jù)難以搜集,往往只有少量的標記樣本的問題,小樣本條件下基于深度認知神經(jīng)網(wǎng)絡(luò)的目標檢測識別是其中的關(guān)鍵問題.主要采用大樣本標記數(shù)據(jù)學習的知識對小樣本目標檢測模型訓練指導的思路,通過遷移學習,利用小樣本數(shù)據(jù)對深度認知神經(jīng)網(wǎng)絡(luò)基本模型進行調(diào)整優(yōu)化,進而研究增量學習框架,實現(xiàn)檢測模型的迭代更新,從而不斷提高檢測精度.

2)視覺場景分類

視覺場景(例如:爆炸、集會游行等)是更高層次的語義內(nèi)容,提高對視覺場景的分析理解和認知能力,是視覺信息理解和計算機視覺領(lǐng)域的一個重要問題,也是跨媒體情報數(shù)據(jù)智能分析的關(guān)鍵環(huán)節(jié).與對象類別不同,場景類別本身具有語義模糊性和不確定性,同一場景類別具有很大的類內(nèi)差異,使得場景分類問題極具挑戰(zhàn).研究突破新的融合視覺注意機制和深度卷積神經(jīng)網(wǎng)絡(luò)的場景分類框架是解決這一問題的關(guān)鍵,需深入分析基于空間變換模型的顯性視覺注意機制,研究突破具體計算方法和視覺注意的感興趣區(qū)域自動提取技術(shù),同時利用全局特征和局部特征具有的特征互補性,將兩者進行有效融合,采用全局模型與局部視覺注意模型相結(jié)合的場景分類技術(shù),提升場景分類準確性.

3)基于多模態(tài)數(shù)據(jù)的對象分類識別

情報的價值往往體現(xiàn)于細節(jié),目標的信息越全面對情報的貢獻度就越高.單純利用視覺信息進行檢測識別,往往只能得到關(guān)注目標的部分信息,而關(guān)注目標的更多細節(jié)如發(fā)生時間、背景往往包含在伴隨文本或場景文字中.需研究突破多模態(tài)數(shù)據(jù)下對象分類識別方法,基于視覺對象檢測識別、場景文字識別后的文本,以及圖像或視頻的伴隨文本,采用多模態(tài)深度特征學習方法,獲得視覺對象和關(guān)鍵文本的深度特征,計算得到視覺目標和關(guān)鍵文本的相關(guān)關(guān)系,實現(xiàn)基于多模態(tài)數(shù)據(jù)的對象分類識別.

4.2 海量多源情報關(guān)聯(lián)分析

海量多源情報關(guān)聯(lián)分析主要是通過采用深度學習框架中的模型訓練、自主學習、知識維護、信息反饋等大數(shù)據(jù)處理技術(shù)機制,對圖像、文本、視頻、流媒體等各類數(shù)據(jù)進行數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)挖掘、自動融合匹配與關(guān)聯(lián)等智能分析處理,獲取多源情報隱含的關(guān)聯(lián)分析.

1)視頻內(nèi)容重復檢測與關(guān)聯(lián)分析

視頻內(nèi)容重復檢測與關(guān)聯(lián)分析技術(shù)完成對重復視頻內(nèi)容的檢測與過濾,并在此基礎(chǔ)上融合多種模態(tài)的特征信息對其內(nèi)容進行關(guān)聯(lián),重點研究相似關(guān)鍵幀的檢測技術(shù)、相似視頻檢測技術(shù)、基于聚類的視頻內(nèi)容關(guān)聯(lián)、融合上下文信息的視頻內(nèi)容關(guān)聯(lián)、基于時間序列信息的視頻內(nèi)容關(guān)聯(lián)等技術(shù).

2)海量跨媒體數(shù)據(jù)語義內(nèi)容分析與理解

跨媒體數(shù)據(jù)蘊含的語義內(nèi)容是信息分析基礎(chǔ),賦予機器類似人類認知系統(tǒng)的跨媒體語義統(tǒng)一感知能力是智能信息處理的一個核心和熱點科學問題,也是跨媒體信息分析的關(guān)鍵.重點需要研究解決兩個方面:一是如何利用跨媒體數(shù)據(jù)語義關(guān)聯(lián)特性,處理大規(guī)?？缑襟w高維特征,通過分析數(shù)據(jù)在高維空間中的幾何拓撲結(jié)構(gòu)優(yōu)化數(shù)據(jù)之間相似性計算,降低計算復雜度是需要研究的關(guān)鍵問題.二是如何構(gòu)建更好的機器學習方法提高語義概念探測與識別的性能,重點需要解決通過多示例描述單一樣本以增強樣本歧義性表達能力問題.

3)跨媒體語義關(guān)聯(lián)分析

對海量跨媒體進行關(guān)聯(lián)挖掘的前提是能夠建立不同媒體之間的語義關(guān)聯(lián).其關(guān)鍵問題是如何將不同類型媒體表達在同一特征空間中進行關(guān)聯(lián)性分析度量.一方面,需要構(gòu)建準確的數(shù)學映射將不同媒體的特征映射到同一個隱空間中;另一方面,要重點解決隱空間中特征模式相似性度量問題,傳統(tǒng)方法通常采用兩種訓練樣例:一種是同一語義的不同媒體數(shù)據(jù),另一種是用單向排序的樣本.如何有效利用雙向排序樣本的優(yōu)勢來增強語義關(guān)聯(lián)是研究的重點.

4)基于網(wǎng)絡(luò)模型的跨媒體數(shù)據(jù)關(guān)聯(lián)挖掘方法

海量的跨媒體數(shù)據(jù)是數(shù)據(jù)生產(chǎn)者、制作者、消費者的偏好、意圖、情感、行為的信息載體,其背后隱藏著極其龐大、復雜的社會群體與行為模式,如何從中分析挖掘出有價值的知識是跨媒體信息分析需要解決的關(guān)鍵問題.如何通過跨媒體語義關(guān)聯(lián)的結(jié)果構(gòu)建跨媒體數(shù)據(jù)語義聯(lián)系,并且在此基礎(chǔ)上,引入網(wǎng)絡(luò)模型有效融合跨媒體用戶“社會性”信息,進一步構(gòu)建用戶社會網(wǎng)絡(luò)是需要解決的重點問題.

4.3 情報數(shù)據(jù)挖掘及預測技術(shù)

基于高層特征的情報數(shù)據(jù)挖掘與預測研究如何基于高層特征對目標的行為規(guī)律進行挖掘,對其意圖進行預測,并通過態(tài)勢可視化的方式來加以輔助.

1)情報數(shù)據(jù)時間序列挖掘

戰(zhàn)場情報監(jiān)視數(shù)據(jù)的采集通常與時間相關(guān),數(shù)據(jù)具有時間上的關(guān)聯(lián)性.利用時間序列數(shù)據(jù)挖掘方法,可以得到數(shù)據(jù)中蘊含的與時間相關(guān)的有用信息,實現(xiàn)知識的提取.

時間序列數(shù)據(jù)是數(shù)據(jù)挖掘中一類復雜的數(shù)據(jù)對象,其復雜性表現(xiàn)在:一般維數(shù)比較高,往往含有噪聲;在幅度方面存在拉伸和平移,在時間軸上存在伸縮;另外還有線性漂移和不連續(xù)點.時間序列數(shù)據(jù)挖掘與一般的數(shù)據(jù)挖掘最大的區(qū)別在于其數(shù)據(jù)的有序性,是一個演化分析過程.

因此,需要針對實際的大量序列數(shù)據(jù),根據(jù)應(yīng)用目的,選取相應(yīng)的挖掘工具,從序列數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)則(或稱為模式、知識),再以這些規(guī)律對序列未來的變化進行預測或描述.

2)情報熱點傳播演化分析

情報熱點傳播分析研究如何基于情報熱點演化關(guān)系、信息語義內(nèi)容和網(wǎng)絡(luò)成員聯(lián)系建立情報熱點通過多源跨媒體數(shù)據(jù)及其成員傳播的路徑,追溯信息的起源,跟蹤情報熱點的傳播過程及范圍.如何基于情報熱點演化關(guān)系和信息語義內(nèi)容建立貝葉斯網(wǎng)絡(luò)的拓撲結(jié)構(gòu)是需要解決的關(guān)鍵技術(shù)之一;在模型推理中,綜合考慮計算速度和計算精度,重點研究高效的推理算法方法,提出估計情報熱點傳播路徑方法,分析計算情報熱點在信息間傳播關(guān)系的強弱.

3)情報態(tài)勢可視化

為了讓用戶更好地理解情報態(tài)勢,降低態(tài)勢認知門檻,針對多源情報海量、異構(gòu)、跨媒體、大時空尺度等特點,需要設(shè)計適合的可視化隱喻,以最適合的方式展現(xiàn)各種情報態(tài)勢要素的時空特性和其他屬性、態(tài)勢要素間的關(guān)聯(lián)關(guān)系以及情報態(tài)勢的發(fā)展變化歷程與發(fā)展趨勢也是需要解決的關(guān)鍵技術(shù).

5 結(jié)論

網(wǎng)絡(luò)空間中跨媒體數(shù)據(jù)爆炸式涌現(xiàn),如何對海量、復雜的跨媒體數(shù)據(jù)進行有效的分析、處理與挖掘,成為亟待解決的難題,深度學習理論的出現(xiàn)為處理跨媒體大數(shù)據(jù)提供有效的解決思路,總的來說:一是要注重大數(shù)據(jù)與深度神經(jīng)網(wǎng)絡(luò)的結(jié)合,深度神經(jīng)網(wǎng)絡(luò)是解決大數(shù)據(jù)分析的有力工具,同時大數(shù)據(jù)也為深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用提供了數(shù)據(jù)支撐;二是要注重人類認知機制與深度學習方法的結(jié)合,人腦在進行復雜思維、關(guān)聯(lián)分析方面具有極大的優(yōu)勢,如何將人腦的認知機制轉(zhuǎn)化為計算模型,進一步與計算機強大計算能力有機結(jié)合,是大數(shù)據(jù)分析的關(guān)鍵;三是要注重跨媒體關(guān)聯(lián),大數(shù)據(jù)的一個重要特點就是“數(shù)據(jù)關(guān)聯(lián)性”,有價值的信息往往隱藏在紛雜繁蕪、千絲萬縷的“關(guān)聯(lián)”之中,特別是不同模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)更是跨媒體大數(shù)據(jù)時代的重要挑戰(zhàn)和巨大機遇.

本文深入分析網(wǎng)絡(luò)空間中跨媒體數(shù)據(jù)特點及其應(yīng)用需求,提出一種新的深度認知神經(jīng)網(wǎng)絡(luò)方法.在此基礎(chǔ)上構(gòu)建基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體信息處理框架,并歸納總結(jié)其中涉及的關(guān)鍵技術(shù),提出解決方案.實現(xiàn)網(wǎng)絡(luò)空間中跨媒體情報大數(shù)據(jù)的綜合、歸納和過濾,輔助從海量數(shù)據(jù)中搜索發(fā)現(xiàn)有價值的情報信息,進而提供“從數(shù)據(jù)到?jīng)Q策”的各種智能信息服務(wù).