大型追蹤系統(tǒng)的多攝像頭協(xié)同

曹凱悅 阮秋琦

(1. 北京交通大學(xué)信息科學(xué)研究所，北京 100044; 2. 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京100044)

1 引言

無重疊視域的多攝像頭目標(biāo)追蹤是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，在刑偵工作等公共安全領(lǐng)域有著廣泛的應(yīng)用。目前該項(xiàng)研究分為很多方向，如行人檢測[1]，目標(biāo)跟蹤[2- 4]，行人再識(shí)別[5]，以及實(shí)時(shí)高效的多攝像頭協(xié)同。而實(shí)時(shí)高效的多攝像頭協(xié)同是保障一系列行人檢測等算法可以高效運(yùn)行的基礎(chǔ)。

多攝像頭協(xié)同，即通過多個(gè)攝像頭間信息的交互，融合多攝像頭端信息，為每個(gè)攝像頭分配最適合當(dāng)前環(huán)境的任務(wù)，協(xié)同完成系統(tǒng)總目標(biāo)。多攝像頭結(jié)構(gòu)主要分為集中，分布，混合，多層次結(jié)構(gòu)。傳統(tǒng)多攝像頭結(jié)構(gòu)多為集中式結(jié)構(gòu)，利用C/S的軟件架構(gòu)方式，通過Socket進(jìn)行數(shù)據(jù)上行下行傳輸，服務(wù)器端作為決策層對攝像頭集中控制，實(shí)現(xiàn)攝像頭端的協(xié)同[6]，但該方法系統(tǒng)擴(kuò)展性差，部署難度高，造成服務(wù)器端的大量運(yùn)算，不能很好的滿足監(jiān)控系統(tǒng)實(shí)時(shí)性要求。在此基礎(chǔ)上，業(yè)界發(fā)展出很多的多攝像頭協(xié)同策略，通過分布式計(jì)算技術(shù)，將一個(gè)問題分解為許多小的部分，在不同部分間互享信息，協(xié)同解決問題。文獻(xiàn)[7]提出一個(gè)基于MPC(Model Predictive Controller，模型預(yù)測控制器)的多傳感器控制框架，結(jié)合特征的合作和競爭以得到最優(yōu)的傳感器協(xié)同。但是其面對復(fù)雜的監(jiān)控任務(wù)，很難有普遍適用的轉(zhuǎn)移函數(shù)，同時(shí)系統(tǒng)不能達(dá)到很好的穩(wěn)定性。文獻(xiàn)[8]提出了一種基于MDP(Markov Decision Process，馬爾科夫決策過程)框架的決策理論方法來控制和協(xié)調(diào)多個(gè)主動(dòng)攝像機(jī)以實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的觀察，但是隨著傳感器的增多，狀態(tài)空間成倍增加，很難計(jì)算最佳的決策。文獻(xiàn)[9]分析了在多攝像頭協(xié)同中所需的攝像頭選擇以及攝像頭間的目標(biāo)交接技術(shù)，考慮幾何，統(tǒng)計(jì)及博弈論的方法，并使用集中式和分布式的計(jì)算模型提供理論和實(shí)驗(yàn)的比較，總結(jié)出基于效用的博弈論更加魯棒，計(jì)算量也更小，然而該方法是集中式的，當(dāng)系統(tǒng)復(fù)雜時(shí)，擴(kuò)展性較差。文獻(xiàn)[10]研究了一類網(wǎng)絡(luò)化多智能體的主從式預(yù)測編隊(duì)控制問題，提出了一種主從式預(yù)測編隊(duì)控制架構(gòu)，主動(dòng)補(bǔ)償各通訊通道中的定常時(shí)滯，但不是所有智能體都可以進(jìn)行數(shù)據(jù)交互，不能保證系統(tǒng)的實(shí)時(shí)交互。

多Agent是一種分布式人工智能技術(shù)。在文獻(xiàn)[11]中，Agent技術(shù)被引入VSAM(Video Surveillance and Monitoring)，將系統(tǒng)分為中央處理Agent和幾個(gè)傳感器Agent，圖形界面Agent等，傳感器Agent利用背景減除法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，中央處理Agent進(jìn)行數(shù)據(jù)融合，作為決策層。但其主要操作均在中央處理Agent完成，沒有很好的發(fā)揮多Agent的分布式計(jì)算優(yōu)勢。文獻(xiàn)[12]從智能體驅(qū)動(dòng)層，感知層，控制層和通信系統(tǒng)出發(fā)設(shè)計(jì)智能體，實(shí)現(xiàn)復(fù)雜系統(tǒng)的信息共享，協(xié)同合作，但仍為主從結(jié)構(gòu)的協(xié)同控制模式。

本文針對多攝像頭協(xié)同的實(shí)時(shí)高效性需求，利用多Agent系統(tǒng)實(shí)現(xiàn)分布式人工智能，提出并設(shè)計(jì)了一種基于多Agent的多攝像頭目標(biāo)軌跡追蹤方法。提出了一種多Agent代理多攝像頭系統(tǒng)的BDI模型，使每個(gè)攝像頭都成為可根據(jù)外界及自身信息自主決策當(dāng)前狀態(tài)改變的智能體，構(gòu)造了完全分布式的多Agent通信形式以及狀態(tài)控制過程。利用JADE(Java Agent Development Framework)[13]進(jìn)行本文的基于多Agent的多攝像頭系統(tǒng)的搭建，有效的實(shí)現(xiàn)了多個(gè)攝像頭的協(xié)同合作，克服了多個(gè)攝像頭之間信息無法進(jìn)行及時(shí)交互，狀態(tài)無法及時(shí)準(zhǔn)確更新的困難，為系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)追蹤提供了條件。

2 多Agent系統(tǒng)

2.1 多Agent系統(tǒng)

Agent即智能體，可以作為某一環(huán)境下的實(shí)體，在感知外界環(huán)境以及接收外界消息的同時(shí)，可以依據(jù)自身知識(shí)做出判斷，從而對環(huán)境做出最合適的反應(yīng)，或者向外界發(fā)送消息。多個(gè)Agent可以通過特定的通信機(jī)制形成一個(gè)多Agent系統(tǒng)。

多Agent系統(tǒng)起源于分布式人工智能，是由多個(gè)Agent組成的以求解問題為目的的分布式智能系統(tǒng)。系統(tǒng)中的每個(gè)Agent都是具有自治性、社會(huì)性、反應(yīng)性、能動(dòng)性等性質(zhì)的獨(dú)立的智能個(gè)體，同時(shí)具備一些人類的特性，如知識(shí)、信念、意圖等[13]。Agent的知識(shí)模型用BDI(Belief、Desire、Intention)模型進(jìn)行表示。

關(guān)于BDI模型詳細(xì)介紹的文獻(xiàn)有很多[14-16]。簡單概括為，信念是對自身以及外界環(huán)境的知識(shí)。愿望代表Agent期望達(dá)到的或者期望保持的狀態(tài)[16]。意圖是當(dāng)前最需要或者最適合完成的一個(gè)愿望，是當(dāng)前Agent將要實(shí)現(xiàn)的目標(biāo)。通過對BDI模型的設(shè)置，可以使得Agent更加智能化，目的性更加明確，進(jìn)而更好的選擇最合適的狀態(tài)來匹配當(dāng)前系統(tǒng)的狀況。

多Agent系統(tǒng)在多攝像頭監(jiān)控中的應(yīng)用，21世紀(jì)初就有學(xué)者進(jìn)行相關(guān)研究，但對于其具體設(shè)計(jì)各有不同。例如，文獻(xiàn)[17]中將目標(biāo)跟蹤的算法封裝在追蹤Agent中，自主決定什么時(shí)候轉(zhuǎn)到下一個(gè)智能攝像頭進(jìn)行追蹤等。

2.2 多Agent系統(tǒng)通信

FIPA(The Foundation for Intelligent Physical Agents)[13]對Agent平臺(tái)應(yīng)為系統(tǒng)提供的若干服務(wù)進(jìn)行了定義，如圖1為基于FIPA規(guī)范下Agent的管理參考模型。圖1所示的消息傳輸服務(wù)，為不同Agent之間的通信提供了ACL(Agent Communication Language)[13]消息交互機(jī)制。

圖1 Agent管理參考模型

在Agent通信中，每一條通訊消息都是繼承自JADE下ACLMessage類的一個(gè)對象，包含一系列消息屬性(FIPA定義)，本文主要包含消息發(fā)送者、消息接收者、消息原語(如REQUEST表示發(fā)送方請求接收方執(zhí)行某種操作)、消息的具體內(nèi)容等。圖2為兩個(gè)本文用到的ACL消息示例。(a)為QUERY-IF類，用于查詢目標(biāo)，(b)為INFORM類，用于通知目標(biāo)狀態(tài)。

圖2 ACL Message示例

一般利用一個(gè)Behaviour類處理發(fā)送給Agent的所有消息。但是大量的消息會(huì)影響Agent間的實(shí)時(shí)通信。因此，為了更好的對消息進(jìn)行有效過濾，本文使用JADE提供的消息模板MessageTemplate類和接收方法，該接收方法將消息模板作為參數(shù)，并且只返回與消息模板匹配的消息。MessageTemplate類利用消息模板(MessageTemplate)可針對ACLMessage的每個(gè)屬性設(shè)置過濾條件，從而進(jìn)行消息過濾，屬性模式包括通信行為、發(fā)送者等。

例如，建立一個(gè)模板MessageTemplate類，消息匹配規(guī)則為：消息原語是INFORM并且消息的發(fā)送者是coor，代碼如圖3所示。

圖3 MessageTemplate模板消息示例

3 基于多Agent的多攝像頭目標(biāo)追蹤系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)分析

多攝像頭目標(biāo)追蹤系統(tǒng)，其目的是實(shí)現(xiàn)對某一感興趣目標(biāo)的持續(xù)追蹤。在該過程中，難免會(huì)面臨目標(biāo)從當(dāng)前攝像頭消失并出現(xiàn)在其他攝像頭的情況。因此，如何保證在目標(biāo)交接過程中攝像頭快速調(diào)整狀態(tài)并完成目標(biāo)的追蹤是本文的重點(diǎn)。

本文利用Agent代理攝像頭(camera-agent)，自主感應(yīng)外界環(huán)境變化、接收外界信息，通過結(jié)合自身的先驗(yàn)知識(shí)來調(diào)整成為適應(yīng)當(dāng)前目標(biāo)狀況的最佳狀態(tài)，從而更好地完成對目標(biāo)持續(xù)追蹤任務(wù)。基于多Agent的多攝像頭協(xié)同框架設(shè)計(jì)如圖4，攝像頭端作為獨(dú)立的智能個(gè)體，借助多Agent技術(shù)的分布式計(jì)算，可以實(shí)現(xiàn)攝像頭端的分布式處理。通過攝像頭之間快速地信息交互，無需第三方主Agent媒介，及時(shí)得到目標(biāo)狀態(tài)變化，從而迅速調(diào)整狀態(tài)，完成目標(biāo)交接過程，從而實(shí)現(xiàn)持續(xù)追蹤的目的。

圖4 基于多Agent系統(tǒng)的多攝像頭追蹤系統(tǒng)結(jié)構(gòu)

本文的多Agent系統(tǒng)在結(jié)構(gòu)上主要利用了其自主性與協(xié)作性[13，18]，包括單Agent層的自主反應(yīng)以及多Agent層的信息交互等。在單Agent層：單個(gè)camera-agent可以對該區(qū)域目標(biāo)進(jìn)行獨(dú)立的檢測跟蹤，根據(jù)目標(biāo)狀態(tài)可自主決策當(dāng)前camera-agent所需進(jìn)入的行為狀態(tài)；多Agent層：多個(gè)camera-agent之間通過信息交互，融合外界環(huán)境信息，并結(jié)合自身知識(shí)，及時(shí)更新每個(gè)攝像頭端的內(nèi)部狀態(tài)，對從當(dāng)前camera-agent視域消失的目標(biāo)聯(lián)合搜尋，達(dá)到全局的目標(biāo)追蹤目的。

camera-agent為了適應(yīng)目標(biāo)狀態(tài)的改變，須通過自身知識(shí)調(diào)節(jié)其內(nèi)部狀態(tài)，從而更好地完成目標(biāo)追蹤任務(wù)。其知識(shí)結(jié)構(gòu)即BDI模型設(shè)計(jì)如下：

1)Belief:分為兩個(gè)模塊，第一個(gè)是關(guān)于camera的Belief，,即關(guān)于camera標(biāo)識(shí)號(hào)，camera的位置，鄰域，以及當(dāng)前camera內(nèi)的目標(biāo)編號(hào)。第二個(gè)是關(guān)于目標(biāo)的Belief，,即目標(biāo)編號(hào)，目標(biāo)特征，目標(biāo)當(dāng)前狀態(tài)。目標(biāo)特征可以是用來識(shí)別目標(biāo)的特征，可以是多個(gè)特征的融合，比如HSV顏色直方圖特征，ORB特征點(diǎn)等。目標(biāo)狀態(tài)主要為兩種狀態(tài)，即正在搜索中，以及正在camera-n中被跟蹤。

2)Desire:由多Agent代理的多攝像頭系統(tǒng)的最終目標(biāo)是對目標(biāo)進(jìn)行持續(xù)追蹤，即保持目標(biāo)狀態(tài)為在該系統(tǒng)中被跟蹤。

Objectwithisinthestateof

3)Intention:camera-agent有兩個(gè)基本的意向，即通知鄰域camera-agent協(xié)作實(shí)現(xiàn)對指定目標(biāo)的搜尋，以及對目標(biāo)進(jìn)行持續(xù)跟蹤。該系統(tǒng)中Agent的Intention為該camera-agent當(dāng)前的運(yùn)行計(jì)劃。對目標(biāo)進(jìn)行追蹤，首先需要向鄰域發(fā)送搜尋信號(hào)，然后執(zhí)行搜尋計(jì)劃，最后將搜尋結(jié)果發(fā)回camera-agent及coor-agent，具體設(shè)計(jì)如圖5。

[track, [[send-to-neighbor],[search-object, [detect]], [send-to-neighbor]]]

圖5 系統(tǒng)意圖計(jì)劃圖

3.2 Agent內(nèi)部狀態(tài)

單Agent層視頻采集部分采用?？低曄盗邪蹇?，獲取原始的YUV422格式數(shù)據(jù)。預(yù)處理部分將采集到的YUV格式數(shù)據(jù)轉(zhuǎn)化為RGB格式，并調(diào)整其尺寸，便于后續(xù)處理。Agent狀態(tài)主要分為目標(biāo)檢測，目標(biāo)跟蹤，目標(biāo)搜尋三種狀態(tài)。三種狀態(tài)下對應(yīng)的算法具體設(shè)計(jì)如圖6。

圖6 單攝像頭端的算法實(shí)現(xiàn)

目標(biāo)檢測部分，由于本文研究目的為針對行人的追蹤，因此該部分動(dòng)作為基于ViBe運(yùn)動(dòng)目標(biāo)檢測的DPM行人檢測方法。利用ViBe運(yùn)動(dòng)目標(biāo)檢測部分分割出前景區(qū)域，并通過DPM特征進(jìn)行行人識(shí)別，判斷該前景區(qū)域是否為行人。

目標(biāo)識(shí)別部分，即多攝像頭在目標(biāo)交接過程中涉及的跨攝像頭行人關(guān)聯(lián)，融合了基于HSV直方圖以及感知哈希特征作為特征粗匹配階段，而ORB特征點(diǎn)匹配作為精確匹配階段，該部分作為目標(biāo)搜尋狀態(tài)下的動(dòng)作行為。

目標(biāo)跟蹤部分，嵌入結(jié)合了卡爾曼濾波模塊的CamShift算法實(shí)現(xiàn)對目標(biāo)更好的跟蹤。

由這些算法構(gòu)成的Agent內(nèi)部的目標(biāo)檢測、目標(biāo)跟蹤、目標(biāo)搜尋三個(gè)模塊，其狀態(tài)轉(zhuǎn)移如圖7所示。在本文BDI模型的基礎(chǔ)上，Agent通過結(jié)合外界環(huán)境信息與自身知識(shí)自主決策在當(dāng)前的追蹤過程中，自身需要達(dá)到的狀態(tài)。將視頻算法嵌入到接收消息的CyclicBehaviour中，可以實(shí)現(xiàn)視頻處理和信息的實(shí)時(shí)交互。

圖7 Agent內(nèi)部狀態(tài)轉(zhuǎn)移圖

Step1camera-agent進(jìn)行正常監(jiān)控，開啟檢測功能，若收到來自其他camera-agent的目標(biāo)查詢請求，轉(zhuǎn)為目標(biāo)搜尋狀態(tài)；

Step2搜尋到目標(biāo)，轉(zhuǎn)為目標(biāo)跟蹤狀態(tài)，并通知其他camera-agent；

Step3目標(biāo)從當(dāng)前攝像頭的視域消失，當(dāng)前camera-agent轉(zhuǎn)為目標(biāo)搜尋狀態(tài)，并向其他camera-agent發(fā)送目標(biāo)查詢請求；

Step4目標(biāo)在該camera-agent中搜尋成功，開啟目標(biāo)跟蹤模式，轉(zhuǎn)至Step2；若收到其他camera-agent的搜尋成功通知，則恢復(fù)目標(biāo)檢測狀態(tài)，轉(zhuǎn)至Step1。

3.3 多Agent協(xié)同過程

本系統(tǒng)通信過程中主要運(yùn)用了兩種消息原語形式，QUERY-IF和INFORM形式。如圖8所示。

圖8 追蹤目標(biāo)過程中Agent之間的通信過程

1. 目標(biāo)在當(dāng)前攝像頭丟失，向鄰域camera-agent發(fā)送QUERY-IF查詢消息；向信息管理Agent(coor)發(fā)送目標(biāo)狀態(tài)更新通知；同時(shí)將自身的狀態(tài)轉(zhuǎn)為目標(biāo)搜尋狀態(tài)。

2. 目標(biāo)在當(dāng)前攝像頭搜尋成功，向其他camera-agent發(fā)送INFORM消息，通知其停止目標(biāo)搜尋，恢復(fù)正常監(jiān)控狀態(tài)；向信息管理Agent(coor)發(fā)送目標(biāo)狀態(tài)更新通知；將自身狀態(tài)轉(zhuǎn)為目標(biāo)跟蹤狀態(tài)。

4 JADE平臺(tái)系統(tǒng)搭建

4.1 系統(tǒng)實(shí)現(xiàn)

圖9為該系統(tǒng)實(shí)驗(yàn)環(huán)境的搭建，安裝三個(gè)無重疊視域的攝像頭。用三個(gè)Agent分別代理三個(gè)攝像頭，每個(gè)Agent均繼承了JADE下的Agent類， setup()方法啟動(dòng)Agent并對其進(jìn)行初始化。在Behaviour類中對Agent的具體行為進(jìn)行實(shí)現(xiàn)，并將事件處理添加在該類下的action()方法中。如圖10，為JADE運(yùn)行的圖形界面，camera1，camera2，camera3分別為三個(gè)攝像頭，coor為信息管理Main Agent，sniffer為監(jiān)視器，可以在Agent傳遞消息時(shí)實(shí)時(shí)地捕獲消息，從而獲得整個(gè)追蹤過程中的詳細(xì)通信情況。

圖10 本實(shí)驗(yàn)多Agent界面

針對上一節(jié)中的系統(tǒng)細(xì)節(jié)設(shè)計(jì)，本文利用Java語言結(jié)合JADE開源框架實(shí)現(xiàn)多Agent系統(tǒng)框架的開發(fā)，同時(shí)，利用C語言結(jié)合OpenCV開源視覺庫實(shí)現(xiàn)該系統(tǒng)的底層視頻算法，并通過JNI技術(shù)嵌入單Agent模塊作為其Agent的行為動(dòng)作。圖11列列舉了Agent接收消息部分主要代碼。

圖11 接收消息部分代碼

4.2 實(shí)驗(yàn)結(jié)果

如圖12為實(shí)驗(yàn)環(huán)境下待追蹤目標(biāo)的行走軌跡。當(dāng)待追蹤目標(biāo)首先出現(xiàn)在Camera3視域時(shí)，Camera3開啟對該目標(biāo)的實(shí)時(shí)跟蹤，通知其他camera-agent停止對該目標(biāo)的搜尋，同時(shí)將目標(biāo)狀態(tài)以INFORM消息的形式上傳到信息管理 Agent(coor-agent)，在Main端創(chuàng)建目標(biāo)軌跡。當(dāng)目標(biāo)走出Camera3視域，Camera3會(huì)向鄰域發(fā)送QUERY-IF消息對其進(jìn)行搜尋，同時(shí)將目標(biāo)狀態(tài)以INFORM消息的形式上傳到管理Agent(coor-agent)，管理端更新目標(biāo)軌跡。同理，進(jìn)入Camera2，Camera1，Camera2，Camera3。圖13為實(shí)驗(yàn)過程中部分截圖?？梢钥吹剑诙鄠€(gè)攝像頭可以實(shí)現(xiàn)對系統(tǒng)感興趣目標(biāo)的持續(xù)追蹤，同時(shí)不會(huì)受到外來目標(biāo)的干擾。

圖12 實(shí)驗(yàn)環(huán)境中目標(biāo)行走路徑

實(shí)驗(yàn)過程中Sniffer-Agent捕捉的多個(gè)Agent間詳細(xì)的通信過程如圖14，可以看到整個(gè)目標(biāo)追蹤過程中信息的交互情況。

圖13 實(shí)驗(yàn)室搭建的三個(gè)攝像頭系統(tǒng)追蹤過程圖片

最終的目標(biāo)追蹤結(jié)果以表格形式進(jìn)行表達(dá)，time表示幀數(shù)，camera為目標(biāo)經(jīng)過的攝像頭，in/out為進(jìn)入或者離開當(dāng)前攝像頭，值為1時(shí)對應(yīng)進(jìn)入攝像頭狀態(tài)，如圖15?？梢?，多個(gè)攝像頭通過多Agent可以實(shí)現(xiàn)很好的信息交互，協(xié)同追蹤。

4.3 結(jié)果分析

本文的基于多Agent的多攝像頭協(xié)同系統(tǒng)，旨在為目標(biāo)追蹤提供一個(gè)實(shí)時(shí)高效的多攝像頭協(xié)同。表1比較了該系統(tǒng)與文獻(xiàn)[18]中的多Agent系統(tǒng)的結(jié)構(gòu)，以及通信等方面的不同之處。本文為完全分布式的通信結(jié)構(gòu)，多Agent間的通信無需通過主Agent端的處理進(jìn)行傳遞。camera-agent作為視頻處理層，決策層，可以直接通信。本方法縮短了多個(gè)攝像頭端通信所需的時(shí)間消耗，同時(shí)將視頻處理以及決策的任務(wù)下發(fā)到攝像頭端，可以更好的發(fā)揮基于多Agent系統(tǒng)的分布式計(jì)算的優(yōu)勢。

圖14 Sniffer Agent捕獲的消息傳遞過程

圖15 目標(biāo)追蹤路徑

MAS結(jié)構(gòu)視頻處理層決策層通信方式MAS[18]集中式Camera CoorCoor間接通信本文分布式CameraCamera直接通信

針對本實(shí)驗(yàn)室采集的視頻進(jìn)行測試，實(shí)驗(yàn)結(jié)果如上節(jié)所示。將本文系統(tǒng)與文獻(xiàn)[18]中的多Agent系統(tǒng)的攝像頭端的通信延遲以及對目標(biāo)的追蹤率進(jìn)行比較，如表2?？梢钥闯?，本文系統(tǒng)的多個(gè)攝像頭交互可以縮短上一個(gè)攝像頭消失到攝像頭開啟搜尋模式過程所需的時(shí)間，縮小通信的延遲。因此，本文可以實(shí)現(xiàn)更加快速的通信，保證攝像頭狀態(tài)的及時(shí)更新，有效提高了目標(biāo)追蹤的準(zhǔn)確率。

表2 算法準(zhǔn)確率對比

5 結(jié)論

在本文中，我們設(shè)計(jì)了一種基于多Agent的多攝像頭的目標(biāo)軌跡追蹤框架，針對該系統(tǒng)提出其適應(yīng)目標(biāo)追蹤任務(wù)的BDI模型，使其成為可根據(jù)外界環(huán)境及自身知識(shí)進(jìn)行自主決策的智能體，構(gòu)造了完全分布式的多Agent通信形式，以及自主決策控制過程。通過構(gòu)造多Agent的系統(tǒng)框架及每個(gè)Agent內(nèi)部結(jié)構(gòu)，多個(gè)攝像頭之間可以實(shí)現(xiàn)快速高效的信息交互及協(xié)同控制。利用JADE平臺(tái)，開發(fā)了一套三個(gè)攝像頭的簡單追蹤系統(tǒng)，可以對單目標(biāo)進(jìn)行持續(xù)的跟蹤。該方法縮短了系統(tǒng)通信的延遲，使得攝像頭狀態(tài)及時(shí)更新，提高了目標(biāo)追蹤率。因此，本文的將多Agent系統(tǒng)應(yīng)用在多攝像頭目標(biāo)追蹤中的方法是可行且高效的。

本文的優(yōu)化方向包括目標(biāo)檢測、目標(biāo)跟蹤、跨攝像頭行人關(guān)聯(lián)等計(jì)算機(jī)視覺類算法的優(yōu)化以及多攝像頭協(xié)同方向的改進(jìn)。計(jì)算機(jī)視覺算法方向，包括對算法實(shí)時(shí)性及準(zhǔn)確率的不斷提升，如識(shí)別模塊添加更有辨識(shí)度的人臉特征、跟蹤模塊添加角點(diǎn)特征等。多攝像頭協(xié)同方向，考慮在本文研究基礎(chǔ)上添加對攝像頭時(shí)空模型的自動(dòng)學(xué)習(xí)模塊，包括進(jìn)出口分布模型、路徑關(guān)系、轉(zhuǎn)移時(shí)間概率等，通過實(shí)際環(huán)境下采集的數(shù)據(jù)無監(jiān)督學(xué)習(xí)到攝像頭的知識(shí)模型，以便更好地進(jìn)行目標(biāo)搜尋。

[1] 湯義, 黃建軍, 賴勉力. 模板自適應(yīng)的積分通道特征行人檢測算法[J].信號(hào)處理, 2016, 32(9):1009-1014.

Tang Yi, Huang Jianjun, Lai Mianli. Template Adaptively Integral Channel Feature Algorithm for Pedestrian Detection[J]. Journal of Signal Processing, 2016, 32(9):1009-1014. (in Chinese)

[2] Valmadre J, Bertinetto L, Henriques J, et al. End-to-End Representation Learning for Correlation Filter Based Tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2017:5000-5008.

[3] 封萬里, 岑翼剛, 王艷紅,等. 特征在線更新與加權(quán)的壓縮跟蹤算法[J]. 信號(hào)處理, 2017, 33(4):533-539.

Feng Wanli, Cen Yigang, Wang Yanhong, et al. Compressive Tracking Based on Online Feature Updating and Weighting[J]. Journal of Signal Processing, 2017,33(4):533-539. (in Chinese)

[4] 馮星辰, 阮秋琦. 行人跟蹤的多特征融合算法研究[J]. 信號(hào)處理, 2016, 32(11):1308-1317.

Feng Xingchen, Ruan Qiuqi. The Research for Pedestrian Tracking Algorithm with Multi-feature Fusion[J]. Journal of Signal Processing, 2016,32(11):1308-1317. (in Chinese)

[5] Rahbi M S A, Edirisinghe E, Fatima S. Multi-agent based framework for person re-identification in video surveillance[C]∥Future Technologies Conference. IEEE, 2017:1349-1352.

[6] 熊江江, 朱民耀. 多攝像頭協(xié)同跟蹤機(jī)制的研究與實(shí)現(xiàn)[J]. 電視技術(shù), 2011, 35(7):98-100.

Xiong Jiangjiang，Zhu Minyao. Research and Realization of Collaborative Tracking Mechanism with Multi-Camera[J]. Video Application&Project, 2011, 35(7):98-100. (in Chinese)

[7] Singh V K, Atrey P K, Kankanhalli M S. Coopetitive multi-camera surveillance using model predictive control[J]. Machine Vision & Applications, 2008, 19(5- 6):375-393.

[8] Natarajan P, Low K H, Kankanhalli M. Decision-theoretic approach to maximizing fairness in multi-target observation in multi-camera surveillance[C]∥International Conference on Autonomous Agents and Multi-Agent Systems. International Foundation for Autonomous Agents and Multiagent Systems, 2014:1521-1522.

[9] Li Y, Bhanu B. A Comparison of Techniques for Camera Selection and Hand-Off in a Video Network[C]∥ACM/IEEE International Conference on Distributed Smart Cameras. IEEE, 2009:1- 8.

[10] 張?zhí)煊? 劉國平. 網(wǎng)絡(luò)化多智能體主從式預(yù)測編隊(duì)控制[J]. 控制與決策, 2017, 32(10):1864-1870.

Zhang Tianyong, Liu Guoping. Slave Predictive Formation Control of Networked Multi-agents[J]. Control and Decision,2017,32(10) :1864-1870. (in Chinese)

[11] Abreu B, Botelho L, Cavallaro A, et al. Video-based multi-agent traffic surveillance system[C]∥Intelligent Vehicles Symposium. IEEE, 2000:457- 462.

[12] 陳善星. 實(shí)時(shí)視覺伺服跟蹤及多智能體協(xié)同控制[D]. 廣州：華南理工大學(xué), 2016.

Chen Shanxing. Real-time Visual Servo Tracking and Multi-agent Coordination Control[D]. Guangzhou: South China University of Technology, 2016.(in Chinese)

[13] 王嬋. 多攝像機(jī)無重疊視野域的目標(biāo)跟蹤[D]. 北京：北京交通大學(xué), 2014.

Wang Chan. object Tracking with Multiple Non-overlapping Cameras[D]. Beijing: Beijing Jiaotong University, 2014. (in Chinese)

[14] 康小強(qiáng), 石純一. 基于BDI的多Agent交互[J]. 計(jì)算機(jī)學(xué)報(bào), 1999, 22(11):1166-1171.

Kang Xiaoqiang, Shi Chunyi. Multi-agent Interaction Based on BDI[J]. Chinese Journal of Computers, 1999, 22(11):1166-1171. (in Chinese)

[15] 趙國榮. Agent的信念、愿望、意圖模型[J]. 科技信息, 2008(35):186-187.

Zhao Guorong. Belief-desire-intention Model of Agent[J]. Science & Technology Information, 2008(35):186-187. (in Chinese)

[16] 張哲. 基于BDI模型的多Agent交互[D]. 廣州：中山大學(xué), 2010.

Zhang Zhe. The communication of MultipIe Agents based on BDl modeI[D]. Guangzhou: Sun Yat-sen University, 2010. (in Chinese)

[17] Bramberger M, Quaritsch M, Winkler T, et al. Integrating multi-camera tracking into a dynamic task allocation system for smart cameras[J]. Int’l Conf.advanced Video & Signal Based Surveillance.Italy:IEEE,2005:474- 479.

[18] 張丹. 基于Agent和最優(yōu)搜索理論的多攝像機(jī)協(xié)同跟蹤[D]. 北京：北京交通大學(xué), 2016.

Zhang Dan. Cooperative Tracking with Multiple Cameras Based on Agent and Optimal Search Theory[D]. Beijing:Beijing Jiaotong University, 2016. (in Chinese)

[19] Chalmers S, Gray P M D. Bdi agents and constraint logic[J]. AISB Journal, 2001, 1(1):21- 40.

[20] Somhorst M. Multi-camera video surveillance system[D]. Netherlands: The University of Technology Delft, 2012.

[21] Marcenaro L, Oberti F, Foresti G L, et al. Distributed architectures and logical-task decomposition in multimedia surveillance systems[J]. Proceedings of the IEEE, 2001, 89(10):1419-1440.

[22] Matsuyama T, Ukita N. Real-time multitarget tracking by a cooperative distributed vision system[J]. Proceedings of the IEEE, 2002, 90(7):1136-1150.

[23] Hwang C L, Shih C Y. A Distributed Active-Vision Network-Space Approach for the Navigation of a Car-Like Wheeled Robot[J]. IEEE Transactions on Industrial Electronics, 2009, 56(3):846- 855.

[24] Bustamante A L, Molina J M, Patricio M A. A practical approach for active camera coordination based on a fusion-driven multi-agent system[J]. International Journal of Systems Science, 2014, 45(4):741-755.