馬爾科夫理論在無人系統(tǒng)中的研究現(xiàn)狀

嚴(yán)浙平，楊澤文，王璐，岳立冬，潘曉麗

哈爾濱工程大學(xué) 自動(dòng)化學(xué)院，黑龍江 哈爾濱 150001

0 引 言

隨著人工智能技術(shù)的快速發(fā)展，智能系統(tǒng)已經(jīng)滲透到日常生活的各個(gè)方面，并逐漸發(fā)揮著重要作用。智能體理論為智能系統(tǒng)的建模、設(shè)計(jì)和實(shí)現(xiàn)提供了統(tǒng)一的框架。智能體必須能夠自主地綜合各種傳感器提供的感知信息，做出實(shí)時(shí)決策，并與環(huán)境進(jìn)行交互。傳感器收集到的信息是不全面的，并夾雜各種噪聲，同時(shí)無人平臺(tái)的輸出效果也具有不可預(yù)知性，存在誤差。這種不確定性為智能體的規(guī)劃和感知任務(wù)帶來了很大的挑戰(zhàn)。基于馬爾科夫過程的決策理論為這類問題提供了基本的理論框架。

1870年，俄國數(shù)學(xué)家馬爾科夫建立了馬爾科夫模型，又于1906年發(fā)表了《大數(shù)定律關(guān)于相依變量的擴(kuò)展》一文，為1907年提出的馬爾科夫過程奠定了理論基礎(chǔ)，給出了研究離散事件動(dòng)態(tài)系統(tǒng)狀態(tài)空間的重要方法。由此，馬爾科夫理論也成為隨機(jī)過程中概率論的重要組成部分，被廣泛應(yīng)用于科學(xué)技術(shù)領(lǐng)域。隨后，又形成了了馬爾科夫鏈理論，經(jīng)過進(jìn)一步發(fā)展，建立了隱馬爾科夫模型。由于馬爾科夫鏈和隱馬爾科夫模型具有良好的數(shù)學(xué)基礎(chǔ)支撐，至今仍是各國學(xué)者研究的熱點(diǎn)；其在語音語義識(shí)別［1-2］、機(jī)器學(xué)習(xí)［3］、無人系統(tǒng)［4］、經(jīng)濟(jì)學(xué)［5］、物理學(xué)、化學(xué)、生物學(xué)、氣象學(xué)、通信等學(xué)科領(lǐng)域都產(chǎn)生了連鎖性的反應(yīng)，涌現(xiàn)出一系列新的課題、新的理論和新的學(xué)科。例如，在經(jīng)濟(jì)學(xué)方面，預(yù)測產(chǎn)品銷售和利率的變化，分析和預(yù)測股市的走勢等；在物理學(xué)方面，將泊松過程、弗瑞過程作為實(shí)際級(jí)聯(lián)的近似，以及更新過程的應(yīng)用等；在化學(xué)方面，對(duì)化學(xué)反應(yīng)的動(dòng)力學(xué)模型和生滅過程的描述等；在生物數(shù)學(xué)方面，可以構(gòu)造生物現(xiàn)象模型，包括種群遷移模型、生滅型隨機(jī)模型、性別變化模型等，且應(yīng)用于傳染病流行問題、生物遺傳問題等方面；在通信、探測等領(lǐng)域，應(yīng)用于傳遞信號(hào)與接收信號(hào)過程中的噪聲消除；在空間科學(xué)和工業(yè)生產(chǎn)的自動(dòng)化技術(shù)中，需要用到信息論和控制理論，且在研究帶隨機(jī)干擾的控制問題時(shí)也要應(yīng)用馬爾科夫隨機(jī)過程［6-7］。

無人系統(tǒng)領(lǐng)域的研究經(jīng)常會(huì)用到馬爾科夫理論，如自主決策和調(diào)度、任務(wù)規(guī)劃、路徑跟蹤、感知與避碰、導(dǎo)航制導(dǎo)、計(jì)算機(jī)視覺等。以馬爾科夫決策過程和部分可觀察的馬爾科夫決策過程為代表的馬爾科夫決策理論，可以解決滿足馬爾科夫性質(zhì)的不確定性環(huán)境下的感知、規(guī)劃和學(xué)習(xí)問題，并能提供統(tǒng)一的理論框架和豐富的數(shù)學(xué)模型。在預(yù)測方面，可利用經(jīng)驗(yàn)概率來創(chuàng)建初始概率分布和狀態(tài)轉(zhuǎn)移矩陣以構(gòu)造馬爾科夫模型，進(jìn)而進(jìn)行具體問題的預(yù)測研究。無人系統(tǒng)中，馬爾科夫理論在不確定環(huán)境下的決策規(guī)劃、目標(biāo)識(shí)別以及預(yù)測算法等中起重要作用。本文擬針對(duì)馬爾科夫理論在無人系統(tǒng)中的應(yīng)用，分別從無人機(jī)（UAV）、無人車（UGV）以及自主式水下機(jī)器人（AUV）等無人平臺(tái)的角度進(jìn)行研究，歸納總結(jié)國內(nèi)外無人系統(tǒng)中應(yīng)用對(duì)象的發(fā)展現(xiàn)狀。

1 馬爾科夫理論

在概率學(xué)中，隨機(jī)過程是描述不確定系統(tǒng)的基礎(chǔ)。在狀態(tài)空間S中，設(shè)定隨機(jī)過程，是關(guān)于時(shí)間的序列，其中

當(dāng)時(shí)間和狀態(tài)都是離散量時(shí)，馬爾科夫過程（Markov process）又被稱為馬爾科夫鏈（Markov chain），是具有無后效性的時(shí)間序列。所謂無后效性，是指序列的將來狀態(tài)只與其當(dāng)前所處狀態(tài)有關(guān)，而與其過去狀態(tài)無關(guān)。圖1所示為馬爾科夫鏈，假設(shè)當(dāng)前系統(tǒng)處于A狀態(tài)，那么在下一時(shí)刻，系統(tǒng)有60%的概率轉(zhuǎn)移到B狀態(tài)，且有40%的概率依舊處于A狀態(tài)；同理，如果當(dāng)前系統(tǒng)處于B狀態(tài)，那么在下一時(shí)刻，系統(tǒng)有80%的概率轉(zhuǎn)移到A狀態(tài)，有20%的概率處于B狀態(tài)。X∈S，T={0，1，2，…，n}，馬爾科夫的一般表達(dá)形式為［8］：

根據(jù)狀態(tài)和時(shí)間的連續(xù)型和離散型分類，可以將馬爾科夫過程分為如表1所示的4類。

表1 馬爾科夫過程Table 1 Markov process

如果一個(gè)馬爾科夫鏈的狀態(tài)是部分可觀察的，則稱這個(gè)馬爾科夫鏈為隱馬爾科夫模型（Hidden Markov Model，HMM）。HMM觀察雖然跟系統(tǒng)狀態(tài)直接相關(guān)，但觀察一般具有不確定性，不足以推斷系統(tǒng)的真實(shí)狀態(tài)，即給定狀態(tài)下只能按照一定的概率獲得不同的觀察。與馬爾科夫鏈相比，HMM是雙重隨機(jī)過程，即狀態(tài)轉(zhuǎn)移之間是個(gè)隨機(jī)事件，狀態(tài)和輸出之間也是一個(gè)隨機(jī)過程。為了更好地理解HMM，采用2個(gè)系統(tǒng)狀態(tài)量和3個(gè)系統(tǒng)觀察值舉例說明，如圖2所示。圖中：X1，X2為系統(tǒng)狀態(tài)；Y1，Y2，Y3為系統(tǒng)觀察值；a為狀態(tài)轉(zhuǎn)移概率；b為觀察值概率。當(dāng)引入智能體和智能體行動(dòng)時(shí)，一個(gè)受控的馬爾科夫過程就轉(zhuǎn)化為一個(gè)馬爾科夫決策過程（Markov Decision Process，MDP）。狀態(tài)轉(zhuǎn)移概率不僅依賴于當(dāng)前的狀態(tài)，還依賴于作用于當(dāng)前狀態(tài)的動(dòng)作，具有行動(dòng)不確定性。類似地，一個(gè)受控的HMM構(gòu)成一個(gè)部分可觀察馬爾科夫決策過程（Particularly-Observable MDP，POMDP）。表2簡明總結(jié)了以上4種馬爾科夫模型。

表2 馬爾科夫模型Table 2 Markov model

2 UAV

隨著UAV的飛速發(fā)展，其已被廣泛應(yīng)用于監(jiān)視、巡邏、目標(biāo)跟蹤和緊急救援等自主任務(wù)。此外，在民用領(lǐng)域也出現(xiàn)了成熟的UAV產(chǎn)品。近年來，UAV快遞運(yùn)輸逐漸興起，尤其在處理自然災(zāi)害、事故災(zāi)難以及社會(huì)安全事件等方面發(fā)揮了重要作用。圖3和圖4展示的分別為軍用UAV和民用固定翼UAV。

2.1 決策規(guī)劃

在復(fù)雜環(huán)境中進(jìn)行任務(wù)規(guī)劃是UAV應(yīng)用的重要組成部分之一。單/多UAV偵察監(jiān)視問題的決策和規(guī)劃，是人工智能與機(jī)器人領(lǐng)域的研究熱點(diǎn)。如圖5所示，針對(duì)具體問題，首先通過規(guī)劃器規(guī)劃得到智能體的行為策略，然后通過控制器執(zhí)行智能體的行動(dòng)并與環(huán)境進(jìn)行交互。然而，在對(duì)問題進(jìn)行建模時(shí)，傳統(tǒng)規(guī)劃方法往往假設(shè)任務(wù)及環(huán)境具有完全可觀和靜態(tài)的特征。馬爾科夫決策理論為不確定性規(guī)劃提供了具有理論支撐的形式化描述手段。而對(duì)于多智能體規(guī)劃，可以將馬爾科夫過程細(xì)分為多智能體部分可觀察馬爾科夫決策過程（Multi-agent POMDP，MPOMDP）和分散式部分可觀察的馬爾科夫決策過程（Decentralized POMDP）。

在單UAV的應(yīng)用研究方面，主要針對(duì)不確定環(huán)境或環(huán)境信息不完整的情況，完成了行動(dòng)規(guī)劃、導(dǎo)航規(guī)劃和路徑規(guī)劃等。在進(jìn)行UAV運(yùn)動(dòng)規(guī)劃時(shí)，傳感器產(chǎn)生的噪聲、機(jī)器人的狀態(tài)感知以及因不可預(yù)測的外力導(dǎo)致的機(jī)器人運(yùn)動(dòng)，都會(huì)引起運(yùn)動(dòng)狀態(tài)的不確定性。Ji等［9］提出了一種基于POMDP的固定翼UAV在感知和運(yùn)動(dòng)不確定性條件下的規(guī)劃框架，通過地圖和噪聲傳感器進(jìn)行導(dǎo)航，避開障礙物到達(dá)目標(biāo)位置。但上述方法不能執(zhí)行大規(guī)模的復(fù)雜任務(wù)。通過建立基于MDP的規(guī)劃，學(xué)習(xí)重點(diǎn)自適應(yīng)控制器之間的密切反饋，可以搭建一個(gè)適用于長期、復(fù)雜任務(wù)的感知規(guī)劃框架［10］。在任務(wù)管理系統(tǒng)層面，可以采用基于分層任務(wù)網(wǎng)絡(luò)的符號(hào)規(guī)劃器的混合體系結(jié)構(gòu)，與基于MDP的策略生成器協(xié)同工作，以減少數(shù)字路徑規(guī)劃器的搜索空間［11］。

在UAV集群的應(yīng)用研究方面，UAV集群在執(zhí)行決策時(shí)需要對(duì)單體進(jìn)行任務(wù)分配，陳少飛［12］將部分可觀察馬爾科夫決策過程與一種近似最優(yōu)的在線規(guī)劃算法相結(jié)合，以解決多智能體合理依次分配任務(wù)策略的問題。UAV在執(zhí)行作戰(zhàn)任務(wù)時(shí)不確定程度較高，需要解決動(dòng)態(tài)任務(wù)問題，李月娟等［13］將動(dòng)態(tài)任務(wù)分配模型等效為多智能體的馬爾科夫決策過程，結(jié)合遺傳算法確定最優(yōu)任務(wù)分配策略，提高了任務(wù)分配的效率。針對(duì)多個(gè)UAV執(zhí)行監(jiān)視任務(wù)的流程，Jeong等［14］提出了一種減小決策空間而不損失問題關(guān)鍵特征的方法，可以將監(jiān)視區(qū)域的不確定性維持在較低水平。

2.2 目標(biāo)跟蹤

隨著硬件研發(fā)條件的成熟，UAV開始向智能自主化方向發(fā)展，其應(yīng)具備的基本能力之一就是對(duì)地面多機(jī)動(dòng)目標(biāo)的自主檢測和跟蹤。由于目標(biāo)的運(yùn)動(dòng)具有不確定性，可以利用馬爾科夫模型對(duì)目標(biāo)進(jìn)行預(yù)測。

利用HMM可以對(duì)目標(biāo)區(qū)域內(nèi)多地面目標(biāo)的全局態(tài)勢進(jìn)行估計(jì)，利用Baum-Welch算法訓(xùn)練隱馬爾科夫模型參數(shù)，得到相應(yīng)的預(yù)測模型，并預(yù)測多目標(biāo)的全局態(tài)勢，進(jìn)而提供UAV搜尋和跟蹤目標(biāo)的決策依據(jù)［15］。在考慮UAV跟蹤移動(dòng)目標(biāo)的最佳路徑時(shí)，局限性之一是當(dāng)目標(biāo)移動(dòng)速度比UAV的最小速度慢得多時(shí)缺乏懸停能力，這就要求UAV保持著圍繞目標(biāo)的軌道。Baek等［16］提出了一種尋找UAV的最優(yōu)策略，使移動(dòng)目標(biāo)的位置不確定性最小化，但此方法僅針對(duì)單一目標(biāo)。Ragi等［17］提出了一種UAV跟蹤多個(gè)地面目標(biāo)的路徑規(guī)劃算法。Vanegas等［18-20］利用部分可觀察馬爾科夫決策過程解決UAV導(dǎo)航和目標(biāo)發(fā)現(xiàn)問題，每次迭代后重新規(guī)劃路徑，以減少在有障礙環(huán)境中運(yùn)動(dòng)的不確定性和GPS信號(hào)干擾等。由于單UAV視野的局限性，難以勝任對(duì)大范圍移動(dòng)目標(biāo)的搜索，而UAV集群協(xié)同搜索目標(biāo)則可明顯提高攔截概率［21］，搜索用時(shí)也較短，因此UAV集群協(xié)同任務(wù)逐漸成為該領(lǐng)域的研究重點(diǎn)。

2.3 其他應(yīng)用

UAV感知與避碰、動(dòng)態(tài)巡邏以及作戰(zhàn)、UAV攻擊決策等，都需要將馬爾科夫過程作為模型基礎(chǔ)來設(shè)計(jì)算法。基于馬爾科夫決策過程可以完成UAV避碰決策機(jī)制及避碰策略［22］，確保UAV自主避碰多個(gè)入侵者［23］。Krishnamoorthy等［24］開發(fā)了一種降階的動(dòng)態(tài)規(guī)劃方法，有效計(jì)算了一類受控馬爾科夫鏈的最優(yōu)策略和價(jià)值函數(shù)，較好地解決了UAV集群巡視隨機(jī)最優(yōu)控制問題。由于數(shù)據(jù)傳輸存在延遲，因此不能及時(shí)對(duì)當(dāng)前作戰(zhàn)情況做出準(zhǔn)確決策，而采用狀態(tài)外推算法和馬爾科夫加速模型則可對(duì)UAV與機(jī)動(dòng)目標(biāo)狀態(tài)進(jìn)行預(yù)測，彌補(bǔ)因數(shù)據(jù)滯后所引起的戰(zhàn)場形勢預(yù)測不準(zhǔn)確問題［25］。

3 UGV

UGV主要通過智能駕駛儀來實(shí)現(xiàn)無人駕駛。其一般利用車載傳感器來感知車輛周圍環(huán)境，然后根據(jù)感知獲取的道路、車輛位置和障礙物信息控制車輛的方向和速度，從而保證車輛安全行駛。圖6所示為谷歌公司于2017年研發(fā)的“螢火蟲”UGV。

馬爾科夫理論在UGV研究領(lǐng)域的的應(yīng)用十分廣泛。UGV在完成路況識(shí)別、網(wǎng)絡(luò)通信、道路檢測和跟蹤以及車輛避碰等各項(xiàng)任務(wù)時(shí)，都需要利用馬爾科夫模型進(jìn)行輔助設(shè)計(jì)。

3.1 路況識(shí)別

無人車需要識(shí)別和解讀路面車輛情況、交通標(biāo)志以及信號(hào)。在車輛隨機(jī)換道意圖識(shí)別的模型估計(jì)、交通標(biāo)志牌的圖像分析和交通信號(hào)識(shí)別的模型研究中，可以結(jié)合馬爾科夫模型進(jìn)行研究。

根據(jù)美國國家公路交通安全管理局（NHTSA）的定義，可以將無人駕駛分為5個(gè)級(jí)別（0～4級(jí)）［26］。0級(jí)：無自動(dòng)化，沒有任何自動(dòng)駕駛功能、技術(shù)，司機(jī)對(duì)汽車的所有功能擁有絕對(duì)控制權(quán)；1級(jí)：駕駛支援，向司機(jī)提供基本的技術(shù)性幫助；2級(jí)：部分自動(dòng)化，實(shí)現(xiàn)數(shù)種功能的自動(dòng)控制；3級(jí)：有條件自動(dòng)化，在有限情況下實(shí)現(xiàn)自動(dòng)控制；4級(jí)：完全自動(dòng)化（無人駕駛）。目前的UGV多集中在第3級(jí)，并不能完全實(shí)現(xiàn)真正的自動(dòng)駕駛。第3級(jí)無人駕駛多應(yīng)用在高速公路中。在高速公路中，最基礎(chǔ)的2類駕駛模式是車輛換道和車輛保持。在車輛換道識(shí)別時(shí)，利用支持向量機(jī)和高斯混合HMM，可以建立高速公路中汽車換道意圖的識(shí)別模型［27］。車道保持要求自主駕駛的汽車不能偏離原有的車道，對(duì)其他車輛車道偏離行為進(jìn)行預(yù)測并向駕駛員發(fā)出警報(bào)。高振海等［28］基于高斯混合馬爾科夫模型，提出了一人一車特性的無意識(shí)車道偏離的識(shí)別模型，提高了識(shí)別的效率與準(zhǔn)確性。

除了對(duì)車道保持和車輛換道的識(shí)別，UGV在行駛過程中對(duì)交通標(biāo)志牌、交通信號(hào)燈狀態(tài)的識(shí)別也具有重要的現(xiàn)實(shí)意義。密集深度圖像恢復(fù)技術(shù)在UGV領(lǐng)域的應(yīng)用受到越來越多的關(guān)注。Zeng等［29］提出利用雙邊濾波框架生成密集深度圖像，然后采用馬爾科夫隨機(jī)場對(duì)其進(jìn)行細(xì)化，在復(fù)雜場景下，可以獲得密集的深度圖像，簡化了圖像分割以及目標(biāo)跟蹤、分類和識(shí)別。利用HMM算法可以進(jìn)行交通信號(hào)燈狀態(tài)的信息預(yù)測，有利于設(shè)計(jì)和實(shí)現(xiàn)交通信號(hào)燈識(shí)別與交通標(biāo)志識(shí)別系統(tǒng)［30］。UGV高效地識(shí)別信號(hào)可以保障其信號(hào)燈通過性，更好地完成自動(dòng)駕駛?cè)蝿?wù)。

3.2 網(wǎng)絡(luò)通信

UGV完成安全自主駕駛和復(fù)雜任務(wù)的重要基礎(chǔ)是暢通的網(wǎng)絡(luò)通信，但實(shí)際的通信環(huán)境不一定滿足要求，因此在網(wǎng)絡(luò)延時(shí)、間斷連接、數(shù)據(jù)包丟失等惡劣環(huán)境下的通信研究尤為重要。

為了應(yīng)對(duì)網(wǎng)絡(luò)延時(shí)，并避免數(shù)據(jù)包無序的情況，Cuenca等［31］考慮了馬爾科夫鏈驅(qū)動(dòng)的網(wǎng)絡(luò)控制系統(tǒng)場景，設(shè)計(jì)了保證網(wǎng)絡(luò)控制系統(tǒng)穩(wěn)定性的控制策略。與在無線通信網(wǎng)絡(luò)中使用資源預(yù)留協(xié)議相比，集成馬爾科夫鏈和資源預(yù)留協(xié)議算法可以保證更高的帶寬和更好的服務(wù)質(zhì)量［32］。而針對(duì)通信中斷這一情況，可以將高斯—馬爾科夫狀態(tài)空間模型用于節(jié)點(diǎn)動(dòng)力學(xué)，結(jié)合擴(kuò)展卡爾曼濾波器，在網(wǎng)絡(luò)連接間歇性中斷的條件下完成實(shí)時(shí)路徑規(guī)劃［33］。

3.3 其他應(yīng)用

在智能交通、無人駕駛和駕駛員安全輔助等系統(tǒng)中，馬爾科夫模型在道路檢測和跟蹤、車輛避碰等方面具有重要作用。為了讓UGV更好地完成自主駕駛?cè)蝿?wù)，首先需要對(duì)車道進(jìn)行檢測，利用齊次馬爾科夫鏈建立車道場景序列模型，并預(yù)測模型參數(shù)［34］。車輛避碰是保障UGV安全行駛的重要技術(shù)。針對(duì)匝道入口的避碰問題，王詩源［35］通過V2V通信技術(shù)獲得其他汽車的行駛狀態(tài)，利用多維HMM預(yù)估其他車輛的駕駛意圖，解決了具體場景中的安全避碰問題。

UGV利用導(dǎo)航技術(shù)到達(dá)設(shè)定的目標(biāo)地點(diǎn)，其中定位技術(shù)是關(guān)鍵。針對(duì)地圖構(gòu)建和同時(shí)定位的問題，可以利用馬爾科夫鏈蒙特卡羅法進(jìn)行采樣，并用序貫蒙特卡羅算法構(gòu)建分布策略解決［36］。

4 AUV

AUV應(yīng)用范圍廣，是實(shí)現(xiàn)海洋科學(xué)調(diào)查、海下煤油勘探、深水探查和海洋目標(biāo)探查等的重要工具。

在開展路徑規(guī)劃、目標(biāo)識(shí)別、聲吶通信、海洋數(shù)據(jù)采集、故障檢測、位置估計(jì)等任務(wù)時(shí)，AUV可利用馬爾科夫原理建立決策過程和不確定性因素的估計(jì)。其在水聲通信建模中的應(yīng)用也具有不可替代的優(yōu)勢。圖7所示為“藍(lán)鰭金槍魚”號(hào)AUV。

4.1 路徑規(guī)劃

路徑規(guī)劃首先要使無人系統(tǒng)能夠從設(shè)定的出發(fā)點(diǎn)到達(dá)預(yù)定的目標(biāo)點(diǎn)，然后在運(yùn)動(dòng)過程中能經(jīng)過指定點(diǎn)并且躲避障礙物。

由于海洋環(huán)境情況大多未知，在路徑規(guī)劃的同時(shí)應(yīng)考慮未知環(huán)境與障礙物的避碰情況，因此需要利用離線馬爾科夫決策過程的運(yùn)動(dòng)規(guī)劃結(jié)果進(jìn)行目標(biāo)路徑跟蹤和避碰，完成實(shí)時(shí)避碰的目標(biāo)路徑跟蹤［37］。

馬爾科夫理論也被應(yīng)用于多AUV路徑規(guī)劃。由于沒有GPS信號(hào)，水下導(dǎo)航具有挑戰(zhàn)性。定位誤差會(huì)隨著時(shí)間的推移而增加，一種減少誤差的方式是在其中一個(gè)AUV上配備高精度導(dǎo)航傳感器，將其位置以聲學(xué)方式傳送給其他AUV。在位置誤差不斷積累的情況下，基于馬爾科夫決策過程框架，通過交叉熵方法學(xué)習(xí)路徑規(guī)劃策略，可以使AUV在有限的位置誤差內(nèi)航行［38］。另一種方式是多AUV合作完成路徑規(guī)劃，用動(dòng)態(tài)規(guī)劃和馬爾科夫決策過程算法最小化來減少AUV的累積定位誤差，并通過聲學(xué)距離測量的輔助使AUV間距保持最小誤差［39］。在水下航行時(shí)，路徑規(guī)劃和避碰是AUV的基本功能。洪曄等［40］討論了一種基于部分可觀察馬爾科夫決策過程的全局路徑規(guī)劃方式，利用短期預(yù)測和長期預(yù)測這2種方法，預(yù)測了障礙物的運(yùn)動(dòng)軌跡，并通過仿真驗(yàn)證了該方法的有效性。

4.2 目標(biāo)識(shí)別

在水中，主要依靠聲吶傳感器來對(duì)物體進(jìn)行探測和識(shí)別。為了解決單個(gè)聲吶探測范圍的局限性，最直接的方法是增加聲吶數(shù)量。傳統(tǒng)的信息融合方法大多忽略了聲吶各個(gè)節(jié)點(diǎn)的相關(guān)性，其搜索效果并不理想。溫濤等［41］提出了利用連續(xù)HMM進(jìn)行多基地水下目標(biāo)識(shí)別的方法，其對(duì)4類目標(biāo)進(jìn)行了識(shí)別，和多基地聲吶單節(jié)點(diǎn)的最高識(shí)別率相比，提高了30%。在反潛武器裝備體系中，搜索并發(fā)現(xiàn)目標(biāo)的能力尤為重要，這是無人系統(tǒng)自身防御和對(duì)敵攻擊等決策的前提，基于HMM的聯(lián)合搜索方法，可以提高反潛系統(tǒng)優(yōu)化搜索以及搜索行為決策的效率，更好地輔助作戰(zhàn)系統(tǒng)對(duì)戰(zhàn)況進(jìn)行在線分析［42］。為進(jìn)一步提高識(shí)別效率，Myers等［43-44］解決了從多視角的聲吶圖像中分類目標(biāo)的問題，將其模擬為部分可觀察的馬爾科夫決策過程，充分利用聲吶獲得的多視圖信息，給出了準(zhǔn)確性優(yōu)于采用多個(gè)預(yù)定視角的方法，并對(duì)圖像中的目標(biāo)進(jìn)行了分類。

環(huán)境噪聲干擾對(duì)聲吶識(shí)別有嚴(yán)重影響，因此需要對(duì)聲吶信息進(jìn)行處理。將卡爾曼濾波與馬爾科夫過程相結(jié)合可以更好地識(shí)別目標(biāo)。詹艷梅等［45］針對(duì)環(huán)境噪聲大、傳輸距離遠(yuǎn)、識(shí)別目標(biāo)小等問題，將自適應(yīng)加權(quán)的卡爾曼濾波器與Lainiotis算法結(jié)合，提高了聲吶對(duì)目標(biāo)運(yùn)動(dòng)的分析與估計(jì)的性能。王彪等［46］提出了一種基于改進(jìn)粒子濾波算法的目標(biāo)運(yùn)動(dòng)分析方法，分析了粒子濾波算法（EKF-PF）的優(yōu)勢，并充分考慮粒子的退化現(xiàn)象，將馬爾科夫鏈蒙特卡羅方法與EKF-PF算法相結(jié)合，提高了聲吶對(duì)水中物體的識(shí)別精度。另一種提高識(shí)別精度的方式是增加識(shí)別頻率，但是增加采樣頻率會(huì)增加帶寬和計(jì)算量。貝葉斯高分辨率方位估計(jì)方法采用可逆跳變馬爾科夫鏈蒙特卡羅方法執(zhí)行貝葉斯計(jì)算，可以實(shí)現(xiàn)利用較少的采樣拍數(shù)獲得更好的目標(biāo)估計(jì)［47］。

4.3 聲吶通信

水下通信是AUV之間、AUV與水上操控平臺(tái)之間進(jìn)行信息交流和信息傳達(dá)的保障，復(fù)雜環(huán)境中的聲吶通信研究也依賴馬爾科夫理論。隨著水下通信和傳感器技術(shù)的發(fā)展，水下移動(dòng)通信網(wǎng)絡(luò)的應(yīng)用越來越廣泛，其可靠性研究是信息傳輸效率和質(zhì)量的重要保證。水下移動(dòng)通信可靠性可以利用馬爾科夫模型進(jìn)行建模，通過計(jì)算網(wǎng)絡(luò)穩(wěn)定狀態(tài)的概率，并與通信網(wǎng)絡(luò)指標(biāo)可靠性概率矩陣相乘，從而給出量化的可靠性。該方法可以簡化運(yùn)算，降低建模的復(fù)雜性［48］。然而，由于水聲通信鏈路的開放性特征，使得水聲信息很容易被敵方截獲或施加人為干擾。因此，在保證通信速率的同時(shí)，如何提高通信的隱蔽性、可靠性、保密性和時(shí)效性是水聲軍事通信中面臨的重要問題。劉友永［49］利用卷積碼和馬爾科夫鏈對(duì)差分跳頻系統(tǒng)頻率轉(zhuǎn)移函數(shù)的性能進(jìn)行了深入分析，結(jié)合水聲信道特點(diǎn)提出了一種具有良好時(shí)效性的頻率轉(zhuǎn)移函數(shù)，從而保證了通信的隱蔽性和保密性。在此基礎(chǔ)上，為了提高通信的可靠性和時(shí)效性，徐君鋒［50］提出了一種在水下傳感器網(wǎng)絡(luò)中利用漢明編碼提高通信可靠性和能量有效性的多路徑基于向前糾錯(cuò)的編碼機(jī)制（MS-FEC）。該編碼機(jī)制使用決策反饋算法，減少了多路徑的跳數(shù)，以減少網(wǎng)絡(luò)流量，實(shí)現(xiàn)提高能量有效性并滿足通信可靠性的要求。針對(duì)水下傳感器網(wǎng)絡(luò)通信過程存在能量效率低、誤碼率高等問題，鐘貞魁［51］提出了一種基于優(yōu)先級(jí)服務(wù)質(zhì)量選擇策略的水下網(wǎng)絡(luò)中繼算法，提高了能量效率和網(wǎng)絡(luò)平均生命周期。

為了解決水下無線傳感器網(wǎng)絡(luò)的空間公平問題，有效實(shí)現(xiàn)多信道通信，通過馬爾科夫鏈構(gòu)建了控制信道的預(yù)約模型。在考慮預(yù)約碰撞的條件下，分析計(jì)算了多信道MAC協(xié)議（SFM-MAC）的理論吞吐量，結(jié)果表明，SFM-MAC可以有效提高網(wǎng)絡(luò)吞吐量和網(wǎng)絡(luò)公平性［52］。與無頻譜預(yù)測和隨機(jī)接入相比，基于馬爾科夫鏈的水下頻譜預(yù)測方法能有效降低數(shù)據(jù)碰撞概率，從而提高節(jié)點(diǎn)接入頻道的準(zhǔn)確率和頻道利用率［53］。

4.4 導(dǎo)航與定位

AUV具有良好的隱蔽性和較強(qiáng)的機(jī)動(dòng)性，在水下隱蔽作業(yè)時(shí)要求其自主導(dǎo)航并能修正誤差。因此，精確的導(dǎo)航與定位能力是保證AUV完成水下作業(yè)任務(wù)的關(guān)鍵技術(shù)之一。遲鳳陽［54］提出了一種基于馬爾科夫鏈蒙特卡羅方法和正則化方法的粒子濾波重采樣算法，該算法增加了粒子的多樣性，通過仿真試驗(yàn)，可以驗(yàn)證該算法在慣導(dǎo)/重力異常組合導(dǎo)航系統(tǒng)中的準(zhǔn)確性。對(duì)于高精度水下定位要求，陳鵬云［55］提出了一種基于馬爾科夫隨機(jī)場（MRF）的海底地形精確定位方法，并通過仿真試驗(yàn)證明，當(dāng)初始定位誤差比較小時(shí)，基于MRF的海底地形精確定位可以實(shí)現(xiàn)小于0.5個(gè)網(wǎng)格分辨率的地形匹配精確定位。

4.5 其他應(yīng)用

馬爾科夫理論在海洋數(shù)據(jù)采集分析、AUV故障檢測等方面也有應(yīng)用［56］。李利紅等［57］利用馬爾科夫模型預(yù)測了西門島海洋灘涂濕地各景觀類型的面積比例。李勝朋等［58］運(yùn)用Copula方法處理轉(zhuǎn)移概率矩陣，得到了多穩(wěn)態(tài)轉(zhuǎn)換的海洋生態(tài)系統(tǒng)的平穩(wěn)概率，使控制參數(shù)最大化。De Lucas等［59］應(yīng)用HMM，在模擬AUV推進(jìn)器系統(tǒng)的試驗(yàn)臺(tái)上進(jìn)行故障檢測和診斷，降低了系統(tǒng)的故障風(fēng)險(xiǎn)。ZHANG等［60］針對(duì)部分可觀測環(huán)境下的AUV軟件故障修復(fù)問題，提出了一種基于POMDP模型和微重啟機(jī)制來修復(fù)AUV故障的方法?；贏UV層次結(jié)構(gòu)的特點(diǎn)，建立了AUV軟件自修復(fù)POMDP模型，并設(shè)計(jì)了多級(jí)微重啟修復(fù)方法。采用點(diǎn)值迭代算法（PBVI）得到修復(fù)策略，在部分可觀測環(huán)境下以較低的維修成本修復(fù)系統(tǒng)，并通過仿真實(shí)驗(yàn)結(jié)果證明了該算法的有效性和模型的適用性。由HMM定義的分布決策函數(shù)是異常值檢測的基礎(chǔ)，其不同于普通數(shù)據(jù)。利用一種基于微波HMM的離群值檢測的慣性算法對(duì)前離群值進(jìn)行重新檢測；該算法可以處理傳感器收集的不準(zhǔn)確原始數(shù)據(jù)，以提高檢測結(jié)果的準(zhǔn)確性［61］。

5 展 望

隨著人工智能的發(fā)展，給無人系統(tǒng)在未知環(huán)境中做出智能規(guī)劃、決策以及識(shí)別提出了更高的要求，這也成為國內(nèi)外學(xué)者研究的熱點(diǎn)問題。針對(duì)馬爾科夫理論在無人系統(tǒng)中的應(yīng)用，對(duì)未來的研究重點(diǎn)展望如下：

1）復(fù)雜任務(wù)的智能決策。馬爾科夫決策過程可以很好地處理不確定因素，但不能處理高復(fù)雜度的任務(wù)，因此可以將馬爾科夫理論與人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等技術(shù)相結(jié)合，實(shí)現(xiàn)復(fù)雜任務(wù)中的智能決策。

2）集群運(yùn)動(dòng)規(guī)劃。無人系統(tǒng)在單體平臺(tái)的研究已很成熟，但是在集群中的發(fā)展還處于起步階段。無人機(jī)集群可以完成單無人機(jī)不能完成的任務(wù)，如農(nóng)業(yè)灌溉、地圖測繪、救援等，需要無人機(jī)集群協(xié)同完成；再比如AUV應(yīng)用于軍事領(lǐng)域中執(zhí)行反潛任務(wù)、水下圍捕任務(wù)及護(hù)航任務(wù)等。因此，交互式的任務(wù)規(guī)劃是實(shí)現(xiàn)上述應(yīng)用的有效方法。集群任務(wù)形式復(fù)雜，且需要在線實(shí)時(shí)更新調(diào)整，基于馬爾科夫的運(yùn)動(dòng)規(guī)劃框架，可以實(shí)現(xiàn)在線任務(wù)的自動(dòng)處理和重新規(guī)劃，保證任務(wù)規(guī)劃的可執(zhí)行性。

3）意圖識(shí)別。無人系統(tǒng)對(duì)外界物體的識(shí)別可以簡單地理解成物體的運(yùn)動(dòng)意圖。目前，無人系統(tǒng)對(duì)目標(biāo)的識(shí)別還停留在判斷識(shí)別物體的位置，意圖識(shí)別是目標(biāo)識(shí)別的下一步研究方向。意圖識(shí)別可以準(zhǔn)確識(shí)別出移動(dòng)物體的運(yùn)動(dòng)狀態(tài)，無人系統(tǒng)可以根據(jù)此信息進(jìn)行避碰或交互，利用馬爾科夫模型，可以針對(duì)不同意圖獲得物體的運(yùn)動(dòng)模型，提高避碰、跟蹤、追捕等任務(wù)的精度。

4）引入信念狀態(tài)解決感知問題。無人系統(tǒng)做出決策的關(guān)鍵在于對(duì)當(dāng)前狀態(tài)的感知，因此引入信念狀態(tài)可以更好地解決感知問題。信念狀態(tài)可以利用粒子濾波描述，結(jié)合蒙特卡羅法在信念空間中解決感知問題，最后，利用啟發(fā)式搜索等方法實(shí)現(xiàn)計(jì)算。引入信念狀態(tài)可以提高無人系統(tǒng)對(duì)當(dāng)前狀態(tài)的感知，從而保障無人系統(tǒng)在線規(guī)劃和決策等任務(wù)的準(zhǔn)確性。

5）基于卡爾曼濾波的信息處理。在利用馬爾科夫建立通信模型時(shí)，可以結(jié)合卡爾曼濾波器處理環(huán)境干擾，減小環(huán)境噪聲，提高通信信息的準(zhǔn)確度。

6 結(jié) 語

本文首先闡述了馬爾科夫理論及其相關(guān)概念，然后詳細(xì)歸納了馬爾科夫理論在UAV，UGV，AUV等平臺(tái)的應(yīng)用情況，最后針對(duì)無人系統(tǒng)未來的研究重點(diǎn)進(jìn)行了展望。國內(nèi)針對(duì)無人系統(tǒng)的研究才剛剛起步，對(duì)于無人系統(tǒng)在不確定性環(huán)境下的感知、規(guī)劃和學(xué)習(xí)問題，還有很大的進(jìn)步空間，這也說明馬爾科夫理論有著廣泛的研究空間。隨著人工智能和機(jī)器人技術(shù)的興起，馬爾科夫理論的發(fā)展與應(yīng)用前景是無限的。