基于MEBN的大型艦船艦面保障作業(yè)檢測

郭雪昆，秦遠(yuǎn)輝，杜 亮，羅永亮，王宏安

1.中國船舶工業(yè)系統(tǒng)工程研究院，北京100094

2.中國科學(xué)院 軟件研究所，北京100080

大型艦船艦面保障作業(yè)指駐扎于大型艦船的飛機的一次出動過程中，發(fā)生于艦面的針對飛機的出動回收準(zhǔn)備活動，包括飛機降落、機械檢查、補充燃料、加注特種液體和氣體、充電、飛機調(diào)運、物資轉(zhuǎn)運、物資掛載、飛機滑跑起飛等數(shù)十種作業(yè)[1-2]。基于艦面監(jiān)控視頻檢測艦面保障作業(yè)，利于分析并提高保障作業(yè)效率。然而，大型艦船艦面往往停放數(shù)十架飛機；在機群出動過程中，艦面上所有飛機同時進行保障作業(yè)。單個保障作業(yè)往往涉及十幾位操作員、數(shù)種特種車輛及器械。整個機群的艦面保障作業(yè)需數(shù)以百計的操作員、高級器械及設(shè)施設(shè)備的協(xié)作。這導(dǎo)致艦面監(jiān)控視頻的同一視頻場景內(nèi)同時發(fā)生多個保障作業(yè)，而且不同保障作業(yè)參與者位置交叉、重疊。圖1示意了某大型艦船某艦面監(jiān)控視頻場景內(nèi)同時發(fā)生的三個保障作業(yè)：調(diào)運車調(diào)運（圖1（a）下方）、調(diào)運員調(diào)運飛機（圖1（a）右上角）、調(diào)運員調(diào)運飛機（圖1（b）右上角）。調(diào)運員調(diào)運飛機的兩個保障作業(yè)的各參與者軌跡交叉、重疊，同時調(diào)運員調(diào)運飛機保障作業(yè)又與調(diào)運車調(diào)運保障作業(yè)參與者的軌跡交叉。

最近幾十年，研究人員對監(jiān)控視頻中事件檢測技術(shù)進行了大量研究，取得了很大進展?，F(xiàn)有的監(jiān)控視頻中事件檢測技術(shù)大多適用于檢測單目標(biāo)物的某個關(guān)鍵姿態(tài)[3-4]、關(guān)鍵動作[5]或運動軌跡[6]。然而，大型艦船艦面保障作業(yè)涉及多個參與者（十幾位操作員、數(shù)種車輛及高級器械）的多個動作?，F(xiàn)有的監(jiān)控視頻中事件檢測技術(shù)很難處理大型艦船艦面保障作業(yè)檢測問題。相對監(jiān)控視頻中事件檢測，復(fù)雜事件檢測關(guān)注持續(xù)時間更長、參與者數(shù)量更多、信息更加豐富復(fù)雜的事件[7]?，F(xiàn)有的復(fù)雜事件檢測技術(shù)，或通過融合多種底層特征檢測復(fù)雜事件[8-9]，或基于高層語義概念實現(xiàn)復(fù)雜事件檢測[10-11]，基本都針對場景內(nèi)只發(fā)生一個復(fù)雜事件的情況設(shè)計。然而，在大型艦船艦面保障作業(yè)檢測問題中，往往同一視頻場景內(nèi)同時發(fā)生多個保障作業(yè)，不同保障作業(yè)參與者的軌跡交叉、重疊，這給現(xiàn)有的復(fù)雜事件檢測技術(shù)帶來很大挑戰(zhàn)。

本文提出了一種基于MEBN（Multi-entity Bayesian Network，多實體貝葉斯網(wǎng)絡(luò)）的大型艦船艦面保障作業(yè)檢測技術(shù)。在視頻預(yù)處理階段，獲取視頻場景內(nèi)目標(biāo)物運動軌跡。在保障作業(yè)檢測階段，首先，采用帶約束的軌跡自動聚類算法，自動計算保障作業(yè)個數(shù)并將參與同一保障作業(yè)的軌跡聚至同一類；然后，采用基于MEBN的保障作業(yè)識別算法，推斷各聚類的保障作業(yè)類型。

本文的貢獻有兩個：（1）帶約束的軌跡自動聚類技術(shù)，先將軌跡由三維空間曲線投影為多維空間的點，再采用基于LCVQE[12]的遺傳算法，搜索得到最佳聚類個數(shù)及最佳分割方式，將參與同一保障作業(yè)的軌跡聚至同一類；（2）基于MEBN的艦面保障作業(yè)識別算法，針對各軌跡聚類，得到各時刻的保障作業(yè)，通過對保障作業(yè)序列的聯(lián)合分析，得到聚類的保障作業(yè)。

圖1 同一視頻場景內(nèi)同時發(fā)生三個保障作業(yè)時各保障作業(yè)參與者位置交叉

1 相關(guān)工作

1.1 多實體貝葉斯網(wǎng)絡(luò)

多實體貝葉斯網(wǎng)絡(luò)由Laskey[13]于2008年提出，因其描述不確定性問題的優(yōu)勢及建模領(lǐng)域知識的能力，在各領(lǐng)域得到廣泛用。徐江科等人[14]將多實體貝葉斯網(wǎng)絡(luò)用于評估信息系統(tǒng)用戶行為的可信程度。文獻[15]介紹了基于多實體貝葉斯網(wǎng)絡(luò)的戰(zhàn)場態(tài)勢估計方法。Laskey等人[16]提出一種基于多實體貝葉斯網(wǎng)絡(luò)的Cross Country Mobility（CCM）分析方法，克服了現(xiàn)有地理信息系統(tǒng)在處理不確定性數(shù)據(jù)方面的缺點。為了解決語義網(wǎng)問題中的不確定性因素，文獻[17]將多實體貝葉斯網(wǎng)絡(luò)與語義網(wǎng)本體語言（Web Ontology Language）結(jié)合，提出一種新的基于概率的語義網(wǎng)本體論。與這些技術(shù)不同，將多實體貝葉斯網(wǎng)絡(luò)應(yīng)用于大型艦船艦面保障作業(yè)檢測，定義了針對艦面保障作業(yè)的多實體貝葉斯理論。

文獻[18]提出一種基于多實體貝葉斯網(wǎng)絡(luò)的籃球比賽視頻分析技術(shù)，該技術(shù)可檢測運動員執(zhí)球、投球、接球、傳球等事件，并提取事件發(fā)生的關(guān)鍵幀。與該技術(shù)不同，本文技術(shù)要檢測的事件往往并發(fā)于同一視頻場景內(nèi)，且事件參與者位置交叉、重疊。為此，本文提出了帶約束的軌跡自動聚類技術(shù)，依據(jù)保障作業(yè)的約束，自動將場景內(nèi)所有軌跡按不同保障作業(yè)聚類，使得參與同一保障作業(yè)的目標(biāo)物聚在同一類。

1.2 復(fù)雜事件檢測

在計算機視覺中，復(fù)雜事件檢測技術(shù)與本文密切相關(guān)。傳統(tǒng)的復(fù)雜事件檢測技術(shù)大多采用多種特征融合的思路[7-9，19]。近年來，基于語義概念進行復(fù)雜事件檢測的技術(shù)逐漸引起關(guān)注[10]。Yan等人[11]提出一種基于語義概念的字典學(xué)習(xí)框架，將描述相關(guān)語義概念的圖像數(shù)據(jù)與多任務(wù)字典學(xué)習(xí)框架融合，訓(xùn)練出單個事件的字典表示形式，用于復(fù)雜事件檢測。Ma等人[20]更進一步，結(jié)合了視頻中的語義概念，通過整合多種特征實現(xiàn)復(fù)雜事件檢測。文獻[21]提出一種新的多實例學(xué)習(xí)方法（multiinstance learning），為各事件分別學(xué)習(xí)一個SVM線性分類器及二值指示器。

與現(xiàn)有的復(fù)雜事件檢測技術(shù)不同，采用帶約束的軌跡自動聚類方法，將同一視頻場景內(nèi)并發(fā)的保障作業(yè)參與者聚至同一類；再采用基于多實體貝葉斯網(wǎng)絡(luò)的保障作業(yè)檢測算法識別各聚類發(fā)生的保障作業(yè)。

1.3 自動聚類與帶約束的聚類

自動聚類方法不需輸入目標(biāo)聚類個數(shù)，算法自動確定最佳聚類個數(shù)及數(shù)據(jù)分割方式。Zelnik-Manor等人[22]對Ng-Jordan-Weiss 譜聚類算法進行改進，提出局部尺度分析與特征向量旋轉(zhuǎn)技術(shù)，實現(xiàn)對數(shù)據(jù)的自動聚類。He等人[23]提出一種兩階段遺傳算法的自動聚類方法，第一階段在解空間內(nèi)搜索最佳聚類個數(shù)，第二階段在最佳聚類個數(shù)基礎(chǔ)上進一步進化聚類中心。GenClust 對AGCUK 技術(shù)[24-25]的染色體操作方式，避免了搜索陷入局部最優(yōu)。Zhou 等人[26]于2018 年提出SeedClust 方法，采用基于密度分析的方法生成初始群體，并采用改進的k-means++方法生成聚類的初始中心。

帶約束的聚類問題來自將期望的數(shù)據(jù)分割方式融合至聚類過程的需求[27]。常見的約束包括限制某些數(shù)據(jù)對象必須于同一類或不可于同一類。Constrianed Vector Quantization Error，CVQE）算法[28]是最典型的一種方法。該方法為k-means 聚類目標(biāo)函數(shù)添加衡量受約束對象與聚類原型（prototypes）間距的能量項，懲罰違反約束的聚類，以獲得符合約束的聚類結(jié)果。針對CVQE對約束對象順序敏感、計算量過大等缺點，Pelleg等人[12]提出LCVQE 方法，通過數(shù)據(jù)對象與聚類原型間距衡量聚類結(jié)果保持聚類約束的程度。Bilenko 等人[29]提出MPCK-Means方法，通過學(xué)得最符合約束的距離函數(shù)，最大化符合的的約束的數(shù)量。

與自動聚類及帶約束的聚類方法不同，本文針對艦面保障作業(yè)檢測問題，提出一種帶約束的自動聚類方法。該方法基于遺傳算法框架，先自動搜索最適合的聚類個數(shù)，再采用帶約束的k-means算法尋找符合艦面保障約束的最佳聚類。

圖2 本文方法流程圖

2 方法概述

本文方法流程如圖2所示，分為視頻數(shù)據(jù)預(yù)處理與保障作業(yè)檢測兩個階段。本文方法的重點是保障作業(yè)檢測。在視頻數(shù)據(jù)預(yù)處理階段，輸入艦面監(jiān)控視頻，提取視頻內(nèi)各目標(biāo)物的運動軌跡、連接中斷軌跡及修復(fù)重合軌跡。在保障作業(yè)檢測階段，輸入視頻內(nèi)目標(biāo)物運動軌跡，先基于帶約束的軌跡自動聚類技術(shù)，將參與同一保障作業(yè)的目標(biāo)物聚至同一類（第3章）；再在各軌跡聚類內(nèi)，采用基于MEBN的保障作業(yè)識別技術(shù)識別作業(yè)類型（第4章）。

視頻數(shù)據(jù)預(yù)處理：該階段的輸入是艦面監(jiān)控視頻，輸出目標(biāo)物運動軌跡。本文采用張等提出的方法跟蹤目標(biāo)物并對軌跡進行修剪。

令軌跡為S個點的有序集合，其中一點mi=(xi,yi,ti)為目標(biāo)物在ti時刻的位置(xi,yi)。兩軌跡點mi、mj間距定義為Ti、Tj距離為終點的延長線為過與三個軌跡點的插值曲線，其沿起點的延長線為過與三個軌跡點的插值曲線。跡軌跡修剪步驟如下：

（1）軌跡下采樣。以間隔α(α=3)采樣軌跡點，以過濾噪音。

（2）過濾短軌跡。令ms、me分別為軌跡的起點與終點，若‖ ‖msme≤β(β=10) ，則認(rèn)為該軌跡為噪聲軌跡，過濾掉。

（3）連接中斷軌跡。若兩軌跡Ti、Tj的目標(biāo)物類型相同，‖TiTj‖＜δ(δ=7)且與相交于，則視Ti與Tj屬于同一軌跡，采用過兩端點及的曲線將兩軌跡連接為一條軌跡。

3 帶約束的軌跡自動聚類

大型艦船艦面保障作業(yè)檢測問題中，將視頻場景內(nèi)參與同一保障作業(yè)的軌跡聚至同一類面臨兩個難點：

（1）聚類個數(shù)未知，不同視頻場景內(nèi)發(fā)生的保障作業(yè)個數(shù)不同。

（2）聚類需滿足一定的約束，大型艦船艦面保障作業(yè)過程中，不會出現(xiàn)多架飛機參與同一保障作業(yè)的情況，不會出現(xiàn)多輛同類車輛參與同一保障作業(yè)的情況。

為了解決如上難題，本文提出一種帶約束的軌跡自動聚類方法。該方法首先將場景內(nèi)軌跡由三維空間中曲線投影為多維空間中的點（3.1 節(jié)）；然后采用帶約束的自動聚類算法，先在解空間內(nèi)搜索最佳聚類個數(shù)，再搜索符合約束的最佳聚類，最終實現(xiàn)視頻場景內(nèi)軌跡聚類（3.2節(jié)）。

3.1 軌跡投影

為了便于軌跡聚類，先采用多維尺度分析（Multidimensional Scale，MDS）[30]將軌跡投影為多維空間中的點。為了投影，首先計算任意兩軌跡間距。軌跡間距需反映軌跡參與同一保障作業(yè)的可能性，本文基于兩方面計算軌跡間距：（1）內(nèi)部距離。在艦面保障作業(yè)過程中，同一保障作業(yè)的各參與者移動方向基本相同，始終保持很近距離，且基本于同一視頻場景內(nèi)，所以若兩軌跡方向相近、空間距離較近且重疊時間較長，則兩軌跡距離較近。（2）外部距離。若兩軌跡與其他軌跡的距離相近，則兩軌跡距離較近。基于此，兩軌跡Ti、Tj的間距定義為D(Ti,Tj)=Din(Ti,Tj)+Dout(Ti,Tj)。

Din(Ti,Tj)衡量Ti與Tj的內(nèi)部距離，定義如下：

ω、λ和γ是權(quán)重。Ddist(Ti,Tj)衡量軌跡的空間距離，定義為Ti與Tj的豪斯道夫距離。Dcocur(Ti,Tj)衡量軌跡的時間距離，定義為兩軌跡同時出現(xiàn)的時間。Ddir(Ti,Tj)=∠ABCD衡量兩軌跡的方向距離，定義為Ti與Tj位移方向的夾角。其中AB、CD分別為由Ti、Tj的起點指向終點的向量衡量Ti與Tj的外部距離，定義為兩軌跡與其他軌跡內(nèi)部距離之和的差。

基于軌跡間距公式，得到場景內(nèi)任一對軌跡(Ti,Tj)的間距αij：

基于場景內(nèi)軌跡距離矩陣M(Mij=αij)，采用MDS方法將軌跡Ti投影為點pi。

3.2 帶約束的自動聚類

已將場景內(nèi)軌跡投影為多維空間中的點，接下來需在滿足保障作業(yè)約束的前提下，自動聚類點集。保障作業(yè)的約束包括：（1）最多只有一架飛機參與同一保障作業(yè)；（2）同一類型車輛最多只有一輛參與同一保障作業(yè)。為了解決該帶約束的自動聚類問題，本文提出一種基于遺傳算法的k-means聚類技術(shù)，該技術(shù)采用遺傳算法框架[23]搜索最佳聚類個數(shù)與最佳分割方式，基于LCVQE[12]算法尋找最佳聚類；算法見算法1。

算法1 基于遺傳算法的k-means聚類技術(shù)

輸入：點集（含個N頂點）及其CL約束（兩個點不可于同一聚類內(nèi)稱為Cannot-Link，簡稱CL約束）集合B=L個約束），當(dāng)前迭代的次數(shù)iter，最大迭代次數(shù)Nmax，交叉概率Pc，變異概率Pm，群體數(shù)量NG，直接進入下一代的個體數(shù)量Nbkg，當(dāng)前群體集合Gcur，下一代群體集合Gnext

1.Gnext←?，iter←0

2. 由P生成初始群體Gcur（包含NG個個體）

3. whileiter ＜Gmax：

4. foreacheinGcur：

5.Gnext←Gnext?mutation(e)

6. end foreach

7. foreach(ei,ej)inGcur：

8.Gnext←Gnext?crossover(ei,ej)

9. end foreach

10.Gnext←selection(Gcur,Nbkg)

11.Gcur←selection(Gnext,NG)

12. iter++

帶約束的k-mean 聚類：大型艦船艦面保障作業(yè)的約束全為CL 約束[12]。因此，與LCVQE[12]不同，本文的LCVQE 算法目標(biāo)函數(shù)內(nèi)只包含CL 約束項（LCVEQ 算法見參考文獻[12]）。

遺傳算法：本文采用基于聚類中心的聚類表示方法，一個個體表示一種聚類方式的所有聚類中心。注意，進化過程中，個體表示的聚類方式的聚類個數(shù)不同，則個體長度不同。初始群體通過隨機采樣法生成。適應(yīng)函數(shù)基于聚類自身的聚合程度與聚類間分離程度定義（詳情見文獻[23]）。選擇操作分成兩個階段，先搜索最佳聚類個數(shù)，再搜索符合約束的最佳聚類[23]。在交叉操作中，只有在聚類個數(shù)相同的情況下交換聚類中心才有意義，所以限定交叉操作僅限于聚類個數(shù)相同的個體間進行[23]。變異操作分成兩個階段[23]，第一階段專注于產(chǎn)生新的聚類個數(shù)；第二階段，群體中個體表示的聚類個數(shù)趨于一致，變異操作專注于產(chǎn)生新的聚類中心。

4 基于MEBN的保障作業(yè)識別

已聚類視頻場景內(nèi)目標(biāo)物軌跡，接下來需識別各聚類內(nèi)保障作業(yè)的類型。保障作業(yè)識別面臨如下難點：

（1）參與者行為具有不確定性。比如，某視頻場景內(nèi)某時刻有一架飛機正在移動，若飛機一直保持該速度且前方有調(diào)運員指揮則可能是飛機調(diào)運，若飛機速度越來越快且旁邊有放飛員則可能是滑跑起飛。因此，需通過對參與者的整個移動過程及相關(guān)目標(biāo)物行為做聯(lián)合分析推斷保障作業(yè)類型。

（2）參與者行為/狀態(tài)具時序性。同樣的行為/狀態(tài)按不同時序發(fā)生是不同保障作業(yè)，比如，上一時刻物資在物資轉(zhuǎn)運車上，下一時刻物資不在物資轉(zhuǎn)運車上，發(fā)生物資卸載保障作業(yè)；上一時刻物資不在物資轉(zhuǎn)運車上，下一時刻物資在物資轉(zhuǎn)運車上，發(fā)生物資裝載保障作業(yè)。因此，需結(jié)合前面時刻與當(dāng)前時刻的行為/狀態(tài)推斷保障作業(yè)類型。

（3）同一保障作業(yè)的各參與者不同時進入視頻場景。以調(diào)運員指揮調(diào)運車調(diào)運飛機為例，調(diào)運員需在調(diào)運車前面一段距離引路，調(diào)運車在飛機前面一段距離通過牽引桿牽引飛機。調(diào)運員、調(diào)運車與飛機先后先進入視頻場景。因此，需基于聚類內(nèi)所有目標(biāo)物的行為推斷保障作業(yè)類型。

為了解決這些難點，本文提出一種基于MEBN的保障作業(yè)識別算法。首先，將保障作業(yè)視為由一系列子事件按層級組合成的復(fù)雜事件，自底向上逐層定義各子事件，直至復(fù)雜事件；然后，對各聚類，按時間采樣，推斷得到各時刻的保障作業(yè)，得到該聚類的保障作業(yè)序列，再對保障作業(yè)序列進行聯(lián)合分析得到該聚類的保障作業(yè)類型。

MEBN 是傳統(tǒng)貝葉斯網(wǎng)絡(luò)與一階邏輯謂詞（firstorder logic）的結(jié)合，兼具傳統(tǒng)貝葉斯網(wǎng)絡(luò)處理不確定性的能力與一階邏輯謂詞的表達能力[13]。MEBN 將現(xiàn)實世界中對象抽象為實體，采用隨機變量表示實體屬性，用隨機變量構(gòu)成的有向無環(huán)圖表示實體間因果關(guān)系，用聯(lián)合概率分布描述因果變量間的條件概率，使用多實體片斷（MEBN Fragment，MFrag）描述領(lǐng)域知識。在實例化階段，取得一組MFrag，構(gòu)造得到相關(guān)對象的貝葉斯網(wǎng)絡(luò)（Situation-Specific Bayesian Network，SSBN），通過貝葉斯推斷得到目標(biāo)節(jié)點的后驗概率。

4.1 保障作業(yè)多實體片斷

根據(jù)概率本體建模流程（Probabilistic Ontology Modeling）[31]定義了保障作業(yè)相關(guān)的MFrag。本節(jié)僅給出與最典型的保障作業(yè)相關(guān)的MFrag，全部MFrag見附件。MFrag的條件概率表在訓(xùn)練階段生成，本處省略。

4.1.1 調(diào)運車調(diào)運飛機保障作業(yè)相關(guān)的MFrag

描述調(diào)運車調(diào)運飛機的相關(guān)MFrag 如圖3 所示。調(diào)運車通過索引桿與飛機聯(lián)接，拖動飛機移動。在調(diào)運過程中，調(diào)運車、牽引桿與飛機的運動方向與速率基本相同，三者為相伴移動。

圖3（a）與（b）分別為飛機移動與調(diào)運車移動的MFrag。該MFrag基于物體的速度大小（SpeedMeasure）、位置變化（PosMeasure）與速度方向（DirMeasure）推斷物體是否移動。令物體O在ti-1與ti時刻的位置分別為(xi-1,yi-1)與(xi,yi)，ti時刻的位置變化PosMeasurei=(xi-xi-1,yi-yi-1)，速度大小SpeedMeasurei=PosMeasurei/‖ti-ti-1‖，速度方向DirMeasurei=PosMeasurei/‖posi‖。

調(diào)運車與飛機相伴移動的MFrag 如圖3（c）所示。描述飛機移動、調(diào)運車移動、飛機與調(diào)運車運動方向距離、飛機與調(diào)運車速度大小距離、飛機與調(diào)運車位置距離的變量為輸入變量；輸出變量為飛機與調(diào)運車相伴移動的概率。類似圖3（c），圖3（d）為描述牽引桿與飛機相伴移動的MFrag。令物體Oi與Oj在某時刻的速度方向分別為diri與dirj，速度大小分別為vi與vj，位置分別為pi與pj，則運動方向距離，速度大小距離SpeedCov(Oi,Oj)=，位置距離

圖3（e）為調(diào)運車調(diào)運飛機的MFrag，輸入變量描述了牽引桿與飛機相伴移動、調(diào)運車與飛機相伴移動；輸出變量描述了調(diào)運車調(diào)運飛機的概率。

圖3 調(diào)運車調(diào)運飛機保障作業(yè)相關(guān)的MFrag

4.1.2 物資轉(zhuǎn)運車卸載物資保障作業(yè)相關(guān)的MFrag

如圖4 為物資轉(zhuǎn)運車卸載物資的相關(guān)MFrag。圖4（a）所示MFrag 判斷物資與物資轉(zhuǎn)運車之間的幾何位置關(guān)系。圖4（b）所示MFrag 通過物資與物資轉(zhuǎn)運車之間的位置關(guān)系判斷物資是否于物資轉(zhuǎn)運車上。圖4（c）所示MFrag 的輸入變量為物資包圍盒與物資轉(zhuǎn)運車包圍盒間位置關(guān)系，輸出變量為物資不在物資轉(zhuǎn)運車上的概率。圖4（d）所示MFrag，通過前后兩時刻物資與物資轉(zhuǎn)運車的位置關(guān)系，推斷物資轉(zhuǎn)運車是否在卸載物資。

圖4 物資轉(zhuǎn)運車卸載物資相關(guān)的MFrag

圖5 調(diào)運員指揮調(diào)運車調(diào)運飛機的相關(guān)軌跡

圖6 調(diào)運員指揮調(diào)運車調(diào)運飛機相關(guān)軌跡的時間軸

4.2 保障作業(yè)識別

對各軌跡聚類，先以時間間隔t采樣該聚類內(nèi)軌跡的狀態(tài)，再得到得到各采樣點上的SSBN，并通過貝葉斯推斷[32]得到作業(yè)類型及其概率。至此，得到保障作業(yè)序列，序列中的一個元素表示對應(yīng)采樣時刻以對應(yīng)概率發(fā)生了某保障作業(yè)。最后，依據(jù)如下兩點聯(lián)合分析保障作業(yè)序列得到聚類的保障作業(yè)類型：

（1）一旦發(fā)生具時序性的事件，則判斷發(fā)生了對應(yīng)的保障作業(yè)。例如，在事件序列中，前一時刻的事件是物資不在物資轉(zhuǎn)運車，后一時刻的事件是物資在物資轉(zhuǎn)運車，則判斷發(fā)生了物資裝載保障作業(yè)；兩事件出現(xiàn)順序相反，則判斷發(fā)生了物資卸載保障作業(yè)。

（2）參與者最多的事件為該聚類的保障作業(yè)。以調(diào)運員指揮調(diào)運車調(diào)運飛機為例（相關(guān)軌跡如圖5；各軌跡沿時間軸排布如圖6），各參與者先后進入視頻場景，t0,t1,…為各采樣時刻，t0時刻檢測出人移動事件，t1時刻檢測出人指揮調(diào)運車事件，t2時刻無任何對應(yīng)事件，t3時刻檢測出人指揮調(diào)運車調(diào)運飛機事件（t3時刻生成的SSBN 如圖7 所示）。只有t3及其之后的時刻的SSBN 包含的目標(biāo)物最多，則判斷該聚類的保障作業(yè)是人指揮調(diào)運車調(diào)運飛機。

圖7 調(diào)運員指揮調(diào)運車調(diào)運飛機的SSBN

5 實驗與分析

采用C++、Python3.5與Matlab2016b實現(xiàn)系統(tǒng)原型，基于HP Z8G4服務(wù)器（Intel Xeon Gold 6136 CPU @3.00 GHZ 3.00 GHZ，128 GB RAM，NVDIA TITAN XP 12 GB RAM）完成對比與實驗。

5.1 大型艦船艦面監(jiān)控視頻數(shù)據(jù)集

本文使用的大型艦船艦面監(jiān)控視頻數(shù)據(jù)集（簡稱數(shù)據(jù)集）共包括48 個監(jiān)控視頻片斷，速率25 幀/s，分辨率1 280×720，涉及物資轉(zhuǎn)移至物資掛載車（MTMM）、物資裝載（ML）、操作員調(diào)運（OM）、飛機起飛（PF）、調(diào)運車調(diào)運（TM）、矮梯調(diào)運（LM）、物資掛載車調(diào)運（MMM）、物資掛載車轉(zhuǎn)運物資（MMT）、調(diào)運車調(diào)運飛機（TTP）、調(diào)運員指揮調(diào)運車調(diào)運飛機（OTTP）、叉車調(diào)運（FM）、調(diào)運員調(diào)運飛機（OP）、物資調(diào)運（MT）、擋板調(diào)運（DBM）、直升機起飛（HF）、物資轉(zhuǎn)運車調(diào)運（MTVM）共16 個艦面保障作業(yè)。數(shù)據(jù)集內(nèi)各保障作業(yè)出現(xiàn)次數(shù)統(tǒng)計如圖8所示；保障作業(yè)并發(fā)情況出現(xiàn)次數(shù)統(tǒng)計如圖9 所示；本文技術(shù)針對各艦面保障作業(yè)的AP（Average Precision）如圖10所示。

圖8 數(shù)據(jù)集內(nèi)各保障作業(yè)次數(shù)統(tǒng)計

圖9 數(shù)據(jù)集內(nèi)保障作業(yè)并發(fā)情況出現(xiàn)次數(shù)統(tǒng)計

5.2 參數(shù)與時間

本文算法模型涉及一系列參數(shù)，影響算法的效率與效果。為了選取最佳參數(shù)配置，先固定其他參數(shù)，再使當(dāng)前參數(shù)在一定范圍內(nèi)按一定步長變化，取使保障作業(yè)檢測mAP最佳的值。軌跡投影步驟中，ω=0.2，λ=0.5，γ=0.3，采用MDS 將軌跡投影至三維空間。遺傳算法中，每代內(nèi)包含的個體數(shù)量GN=50 ，最大迭代次數(shù)Gmax=150 ，交叉操作概率Pc=0.7 ，變異操作概率Pm=0.07。保障作業(yè)識別過程中，取時間間隔t=0.25秒。本文共定義38個MFrag，涉及飛機、物資轉(zhuǎn)運車、物資掛載車、調(diào)運車、調(diào)運員、物資、直升機等13 類實體（所有MFrag 見附件）。在各類保障作業(yè)中隨機選擇80%用于學(xué)習(xí)MFrag 概率分布，另外20%用于測試。MFrag的訓(xùn)練過程用時74.86 s，帶約束的軌跡自動聚類平均用時9 s，保障作業(yè)識別平均用時9.66 s。

圖10 數(shù)據(jù)集內(nèi)保障作業(yè)檢測的AP

5.3 時間間隔取值評估

為了評估時間間隔t對保障作業(yè)檢測效果與效率的影響，對比了t由0.04 s變化至5 s過程中保障作業(yè)檢測的mAP（圖11）及保障作業(yè)識別步驟的執(zhí)行時間（圖12）。由圖11可知，在小于0.25或大于3.1的情況下，時間間隔的變化對mAP幾乎無影響；而介于0.25與3.1之間時，mAP 會隨時間間隔的增大而下降。觀察圖12 可知，隨時間間隔增大，保障作業(yè)識別所需時間不斷降低，這是因為時間間隔越大大，截取的時間點越少，構(gòu)造的SSBN個數(shù)及其推斷次數(shù)更少。

圖11 不同時間間隔下艦面保障作業(yè)檢測mAP

5.4 基于MEBN的保障作業(yè)識別算法性能分析

為了分析基于MEBN的保障作業(yè)識別算法的性能，基于大型艦船艦面監(jiān)控視頻數(shù)據(jù)集，計算了保障作業(yè)類型識別的準(zhǔn)確率（圖13）與Averaged Precision-Reacll 曲線（圖14）。準(zhǔn)確率Accuracy=(TP+TN)N，其中TP、TN分別為判定預(yù)測正確的正樣本數(shù)與判定正確的負(fù)樣本數(shù)，N為樣本總數(shù)。Accuracy是衡量作業(yè)類型識別準(zhǔn)確性的指標(biāo)，值越大表明針對該類作業(yè)的識別性能越好。觀察圖13可知，對于較簡單的保障作業(yè)，如操作員調(diào)運（OM），保障作業(yè)識別的準(zhǔn)確率很高。對較復(fù)雜的保障作業(yè)，如調(diào)運員指揮調(diào)運車調(diào)運飛機（OTTP），保障作業(yè)參與者多，聚類內(nèi)軌跡條數(shù)較多，保障作業(yè)類型更加復(fù)雜，檢測的準(zhǔn)確率較低。

圖12 不同時間間隔下保障作業(yè)識別步驟運行時間

圖13 保障作業(yè)識別算法的Accruacy

圖14 保障作業(yè)識別算法的Averaged Precsion-Recall曲線

5.5 LCVEQ算法性能分析

LCVEQ 算法的目標(biāo)函數(shù)是傳統(tǒng)k-means 算法的目標(biāo)函數(shù)增加懲罰違反約束（ML約束與CL約束）的項，違反ML約束的能量耗費為（ML約束中）未歸入當(dāng)前聚類的點與當(dāng)前聚類中心間距，違反CL 約束的能量耗費為（CL 約束中）遠(yuǎn)離其聚類中心的點與當(dāng)前聚類中心間距。在該目標(biāo)函數(shù)的指導(dǎo)下，當(dāng)前聚類中心的更新方法為：若當(dāng)前聚類違反了ML約束（ML約束中僅一個點歸入當(dāng)前聚類），則將聚類中心移向未歸入當(dāng)前聚類的點（使得下次迭代時，將ML 約束的兩個點歸入同一聚類）；若當(dāng)前聚類違反了CL約束（CL約束的兩點歸入同一聚類且遠(yuǎn)離該聚類中心的點距離最近的聚類是當(dāng)前聚類），則將當(dāng)前聚類中心移向遠(yuǎn)離其聚類中心的點（使得下次迭代時，將該點歸入當(dāng)前聚類，以使CL約束的兩點歸入不同聚類）。LCVQE 的優(yōu)勢有兩方面：（1）約束對稱，即聚類中心基于構(gòu)成約束的兩個點做調(diào)整（而不是僅針對約束中一點）；（2）時間復(fù)雜度較低（針對聚類個數(shù)的線性時間）。為了評估LCVQE 尋找最佳聚類的準(zhǔn)確性，與傳統(tǒng)k-means，CVQE做了對比（見圖15）。準(zhǔn)確性指標(biāo)[43]為聚類個數(shù)，ni為第i個聚類中被正確聚類的樣本個數(shù)，N為樣本總數(shù)。觀察圖15 可知，相對傳統(tǒng)的k-means 聚類，LCVEQ 考慮到了CL約束，取得了更高的準(zhǔn)確率。如圖16的場景下，兩飛機的軌跡幾乎相同且間隔較短，k-means將兩飛機聚至同一類，但LCVQE 考慮到“兩飛機不可于同一聚類”的約束，從而得到正確的聚類。CVQE 也考慮到了約束，但其僅通過懲罰聚類中心來實現(xiàn)CL 約束，而未考慮到CL約束的對稱性，相對LCVQE獲得較低的準(zhǔn)確率。

圖15 不同聚類算法的聚類結(jié)果準(zhǔn)確率

圖16 某艦面保障作業(yè)場景的軌跡示意圖

5.6 遺傳算法框架有效性分析

本文采用的遺傳算法框架，根據(jù)進化群體聚類個數(shù)的一致性（具相同聚類個數(shù)的個體在群體中的占比）分成兩個階段：在第一階段，一致性較低，側(cè)重于比較不同聚類個數(shù)的優(yōu)劣，以搜索最佳聚類個數(shù)；在第二階段，一致性較高，聚焦于比較不同聚類方式的優(yōu)劣，以尋找最佳分割方式。相應(yīng)地，在兩個階段，采用不同的選擇、交叉與變異操作。對選擇操作，在第一階段，視具有相同聚類個數(shù)的個體為同一類，具有相同的選擇概率，隨著一致性上升，個數(shù)最多的同類個體選擇概率上升，在一致性達到極值時，個數(shù)最多的同類個體選擇概率會逐漸下降，使群體內(nèi)個體保持多樣性，避免過早收斂；在第二階段，具有更高適應(yīng)度的個體具更高選擇概率。交叉操作的第一階段用于搜索最佳聚類個數(shù)，所以只在具有相同聚類個數(shù)的個體間進行；第二階段，重在尋找最佳聚類方式，隨機取兩個體以固定概率進行單點交叉操作。對變異操作，在第一階段，只變異聚類個數(shù)，各個體的變異概率相同且變異概率隨一致性升高而降低；在第二階段，變異操作用于產(chǎn)生新的聚類中心，變異概率與個體適應(yīng)度呈反比。為了分析本文遺傳算法框架搜索最佳聚類個數(shù)與最佳分割方式的有效性，對比了四種聚類算法的聚類個數(shù)正確率與分割方式準(zhǔn)確性：（1）本文聚類算法（Ours）；（2）經(jīng)典遺傳算法和LCVQE混合聚類算法（GAL）；（3）粒子群和LCVQE 混合聚類算法（PSOL）；（4）人工蜂群和LCVQE 混合聚類算法（ABCL）。除了本文聚類算法，其他三類算法都是同步進化聚類個數(shù)與分割方式。聚類個數(shù)正確率RCN=NcorrectNtotal（Ncorrect為聚類個數(shù)正確的次數(shù)，Ntotal為算法運行總次數(shù)）。分割方式準(zhǔn)確性指標(biāo)為Rand Index（RI）[33]。RI值代表兩聚類結(jié)果的相似性，RI值為1 表明兩聚類結(jié)果完全相同，RI值為0 表明兩聚類結(jié)果完全不同。各算法在大型艦船艦面保障作業(yè)數(shù)據(jù)集上運行100次，取各次均值為RI 值。四種算法的聚類個數(shù)正確率如圖17，分割方式準(zhǔn)確性如圖18。

圖17 不同聚類算法聚類個數(shù)正確率

圖18 不同聚類算法聚類結(jié)果準(zhǔn)確率

5.7 與現(xiàn)有聚類算法對比

本文方法中，帶約束的軌跡自動聚類的結(jié)果直接影響保障作業(yè)檢測的效果。為此，將本文聚類算法（Ours）與如下四種聚類算法做對比。

（1）其他帶約束的自動聚類算法：本文的遺傳算法框架結(jié)合Constrained Vector Quantization Error（GACVQE）聚類算法[28]。

（2）不帶約束的自動聚類算法：TGCA聚類算法[23]。

（3）帶約束的非自動聚類算法：Constrained Vector Quantization Error（CVQE）[28]。

（4）不帶約束的非自動聚類算法：k-means聚類算法。

非自動聚類算法（CVQE與k-means）的聚類個數(shù)在區(qū)間[1,n]（n為視頻場景內(nèi)軌跡個數(shù)）內(nèi)隨機選擇。采用RI衡量聚類結(jié)果的準(zhǔn)確性（圖19），RCN衡量聚類結(jié)果的正確率（圖20）。在視頻數(shù)據(jù)集上運行算法100次，取各次RI的平均值。Ours與GACVQE聚類過程中考慮到了保障作業(yè)約束，取得了更高的RI值。相對GACVQE，Ours采用的LCVQE克服了約束對象間順序等對聚類影響的問題，取得最高RI值。四種聚類算法的事件檢測mAP如圖21所示。

圖19 不同聚類算法聚類結(jié)果的準(zhǔn)確率

圖20 不同聚類算法聚類個數(shù)的正確率

圖21 不同聚類算法的mAP

5.8 與現(xiàn)有事件檢測技術(shù)對比

為了評估本文事件檢測技術(shù)的性能，基于大型艦船艦面監(jiān)控視頻數(shù)據(jù)集，對比了如下五種事件檢測技術(shù)：

（1）本文提出的事件檢測技術(shù)（Ours）。

（2）基于多尺度時間卷積核，利用Timeception卷積層，檢測復(fù)雜事件[34]（Timeception）。

（3）提出一種迭代方法，在子事件的視頻特征描述與子事件的時間結(jié)構(gòu)間迭代。檢測由若干子事件構(gòu)成的復(fù)雜事件[35]（Unsupervised）。

（4）基于一種分層的時間卷積過濾器，分別定義了針對長時長（Encoder-Decoder TCN）與短時長（Dilated TCN）的事件檢測器[36]（TCN）。

（5）訓(xùn)練一個skip-gram語言模型，得到概念（例如，與過生日事件最相關(guān)的概念包括蠟燭、唱歌、很多人等）與各目標(biāo)事件的相關(guān)度。在事件檢測過程中，將在視頻中找到的概念及其相關(guān)度一起，采用譜元學(xué)習(xí)器（Spectral Meta-Learner）用于目標(biāo)事件檢測[37]（SES）。

各方法的mAP 如圖22 所示，Accuracy 對比結(jié)果如圖23所示。本文方法取得了最高mAP與Accuracy。艦面監(jiān)控視頻內(nèi)往往存在同一視頻場景內(nèi)保障作業(yè)并發(fā)且參與者位置交叉的情況，Ours 先對場景軌跡做聚類，然后識別各聚類內(nèi)的保障作業(yè)；而另外四種方法假設(shè)整個場景只發(fā)生一個保障作業(yè)，影響了檢測結(jié)果的mAP與Accuracy。

圖22 事件檢測技術(shù)的mAP對比結(jié)果

圖23 事件檢測技術(shù)的Accuracy對比結(jié)果

6 結(jié)束語

針對大型艦船艦面保障作業(yè)檢測問題中同一視頻場景內(nèi)保障作業(yè)并發(fā)且參與者位置交叉、重疊的難點，本文提出一種基于多實體貝葉斯網(wǎng)絡(luò)的大型艦船艦面保障作業(yè)檢測技術(shù)。在視頻數(shù)據(jù)預(yù)處理階段，輸入艦面監(jiān)控視頻，采用多目標(biāo)跟蹤算法提取目標(biāo)物軌跡并人工后處理，獲得清晰連貫的軌跡。在保障作業(yè)檢測階段，輸入目標(biāo)物運動軌跡，先基于帶約束的軌跡自動聚類算法，將場景內(nèi)參與同一保障作業(yè)的軌跡聚至同一類；再采用基于多實體貝葉斯網(wǎng)絡(luò)的保障作業(yè)識別算法，識別各聚類內(nèi)保障作業(yè)類型，最終檢測得到整個視頻場景內(nèi)保障作業(yè)。

6.1 應(yīng)用

本文方法可用于檢測保障作業(yè)規(guī)范性，保障作業(yè)規(guī)范性指保障作業(yè)的實際操作與規(guī)定操作的符合程度。例如，按規(guī)定，飛機滑跑時，任何操作員、車輛、飛機不得位于該飛機前部區(qū)域。本文方法檢測到飛機滑跑時，則按滑跑方向檢測飛機前部區(qū)域是否存在操作員、車輛及飛機，若存在，則提出警告。

6.2 局限及未來的工作

本文的軌跡修剪技術(shù)不夠魯棒，在軌跡較多且密集的情況下得不到滿意的結(jié)果，開發(fā)更魯棒的軌跡修剪技術(shù)是下一步的研究工作。本文的MEBN 僅針對十幾種保障作業(yè)設(shè)計，大型艦船艦面保障作業(yè)上百種，需進一步完善使可檢測更多保障作業(yè)。本文的參數(shù)選擇方法比較初步，今后打算研究更完善的參數(shù)選擇方法。初始種群的質(zhì)量會影響遺傳算法的收斂速度與解質(zhì)量。初始種群隨機采樣法的原理是生成均勻分布于解空間的種子點，從而覆蓋到全局最優(yōu)解所在區(qū)域[38]。然而本文方法初始種群數(shù)量有限，涵蓋到最優(yōu)解所在區(qū)域的概率會相應(yīng)降低，實際運行中會以一定概率收斂至局部最優(yōu)。混沌映射確保了隨機性與遍歷性，可更好地對解空間采樣，下一步打算采用混沌映射手段[39]或自動確定聚類中心及數(shù)目技術(shù)[40-41]替代隨機采樣，以提高收斂速度與聚類質(zhì)量。此外，基于宋飛豹等[42]提出的精英遺傳k-medoids聚類技術(shù)解決大型艦船艦面保障作業(yè)檢測問題，也是未來的工作之一。