基于P O M D P的機(jī)載網(wǎng)絡(luò)信道接入策略研究

卓 琨，張衡陽，徐丁海，鄭 博，3，黃國策（.空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西　西安70077；.人民解放軍93995部隊，陜西　西安70306；3.中國航空無線電電子65所，上海0033）

基于P O M D P的機(jī)載網(wǎng)絡(luò)信道接入策略研究

卓 琨1，張衡陽1，徐丁海2，鄭 博1，3，黃國策1
（1.空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西西安710077；2.人民解放軍93995部隊，陜西西安710306；3.中國航空無線電電子615所，上海200233）

針對機(jī)載網(wǎng)絡(luò)隨機(jī)競爭類媒介接入控制（mediu m access control，M A C）協(xié)議在網(wǎng)絡(luò)負(fù)載較重時性能下降嚴(yán)重、接入門限值設(shè)置缺乏理論依據(jù)和多優(yōu)先級業(yè)務(wù)服務(wù)質(zhì)量無法有效支持等問題，提出一種基于部分可觀測馬爾可夫決策過程的信道接入策略。在以不同優(yōu)先級分組占用信道代價作為目標(biāo)函數(shù)的基礎(chǔ)上建立動態(tài)規(guī)劃方程，采用狀態(tài)空間壓縮方法對問題求解進(jìn)行簡化，得到各優(yōu)先級分組間理論近似最優(yōu)接入門限值的數(shù)學(xué)表達(dá)式，可為不同優(yōu)先級分組的接入決策過程提供理論依據(jù)并實現(xiàn)接入沖突的有效控制。仿真結(jié)果表明，該算法能夠有效提高數(shù)據(jù)傳輸?shù)臅r延、成功概率等性能，滿足軍事航空通信中數(shù)據(jù)傳輸?shù)膶崟r性和可靠性需求。

機(jī)載網(wǎng)絡(luò)；自組織網(wǎng)絡(luò)；媒介接入控制協(xié)議；馬爾可夫決策過程；接入門限

網(wǎng)址：w w w.sys-ele.co m

0 引 言

機(jī)載網(wǎng)絡(luò)（airborne network，A N）［1］是美軍依據(jù)網(wǎng)絡(luò)中心戰(zhàn)需求而提出的新型作戰(zhàn)飛機(jī)無線網(wǎng)絡(luò)互聯(lián)技術(shù)，所采用的自組織（ad hoc）網(wǎng)絡(luò)結(jié)構(gòu)具有無需基礎(chǔ)設(shè)施、動態(tài)組網(wǎng)形式靈活、自愈性和抗毀性強(qiáng)等優(yōu)勢，可大幅提高各類飛行器之間的網(wǎng)絡(luò)化協(xié)同作戰(zhàn)能力，已成為未來航空戰(zhàn)術(shù)移動互聯(lián)網(wǎng)絡(luò)的重要發(fā)展方向之一［2 3］。但機(jī)載網(wǎng)絡(luò)不僅具有傳統(tǒng)ad hoc網(wǎng)絡(luò)帶寬受限、鏈路易受影響的特點，同時還具有自身的獨(dú)特性［4 5］，如網(wǎng)絡(luò)節(jié)點大尺度稀疏分布、節(jié)點高移動性帶來的網(wǎng)絡(luò)拓?fù)涓邉討B(tài)變化等，從而使得地面ad hoc網(wǎng)絡(luò)的現(xiàn)有成熟協(xié)議難以直接應(yīng)用；同時在軍事航空通信中還具有對作戰(zhàn)指令、武器控制、目標(biāo)情報等時延敏感性信息的高可靠性、低時延傳輸需求。這都對影響網(wǎng)絡(luò)信息時效性關(guān)鍵因素——媒介接入控制（mediu m access control，M A C）協(xié)議的設(shè)計提出了更高的要求。

當(dāng)前機(jī)載網(wǎng)絡(luò)應(yīng)用的M A C協(xié)議主要可分為3類。

（1）基于調(diào)度類M A C協(xié)議，以T D M A［6］和令牌環(huán)［7 8］為代表。這類協(xié)議的主要思想是將無線資源以預(yù)規(guī)劃的形式分配給不同的節(jié)點來保證其傳輸需求，優(yōu)勢在于網(wǎng)絡(luò)負(fù)載較重時可有效降低沖突概率，獲得較高信道利用率和吞吐量；但缺點也是明顯的，無法保障節(jié)點突發(fā)類業(yè)務(wù)的實時性傳輸需求，而預(yù)規(guī)劃機(jī)制會造成輕負(fù)載時的網(wǎng)絡(luò)資源浪費(fèi)、平均傳輸時延較大、網(wǎng)絡(luò)成員數(shù)量限制、靈活性和可擴(kuò)展性不足等問題。

（2）基于預(yù)約競爭類M A C協(xié)議，以802.11 D CF［9］為代表，也是絕大部分機(jī)載網(wǎng)絡(luò)路由協(xié)議研究中所采用的默認(rèn)M A C協(xié)議。其本質(zhì)是通過控制幀分組交互實現(xiàn)無線資源分配，但航空環(huán)境中不可忽視的傳播時延將會對協(xié)議性能產(chǎn)生嚴(yán)重影響，在高動態(tài)航空環(huán)境中無法直接應(yīng)用。

（3）A L O H A和CS M A等隨機(jī)競爭類M A C協(xié)議未能有效解決隱藏終端問題，在網(wǎng)絡(luò)負(fù)載較重時會使得傳輸沖突概率急劇增長，從而造成信道接入困難和信道利用率下降。美軍戰(zhàn)術(shù)瞄準(zhǔn)網(wǎng)絡(luò)技術(shù)（tactical targeting network technology，T T N T）所采用的SP M A［10-11］（statistical priority-based m ultiple access）協(xié)議實現(xiàn)了數(shù)據(jù)分組的高速低時延傳輸能力，該協(xié)議基于多信道認(rèn)知和跳頻跳時機(jī)制，不需要為節(jié)點預(yù)先分配或預(yù)約時隙，只需通過統(tǒng)計信道占用情況實現(xiàn)不同優(yōu)先級數(shù)據(jù)分組的接入控制。但由于技術(shù)保密的原因，對不同優(yōu)先級網(wǎng)絡(luò)忙閑程度門限接入值的設(shè)置并沒有給出明確方法，而網(wǎng)絡(luò)忙閑程度閾值的設(shè)定會直接影響到此類協(xié)議的性能，決定了不同優(yōu)先級分組服務(wù)質(zhì)量（quality of serive，QoS）、網(wǎng)絡(luò)整體性能的優(yōu)劣。

文獻(xiàn)［12］針對機(jī)載網(wǎng)絡(luò)業(yè)務(wù)負(fù)載和系統(tǒng)吞吐量之間的拋物線關(guān)系，通過業(yè)務(wù)負(fù)載門限值接入權(quán)限來最大化系統(tǒng)吞吐量，自適應(yīng)機(jī)制可為網(wǎng)絡(luò)實時性業(yè)務(wù)提供低時延傳輸能力；文獻(xiàn)［13］中提出了一種帶有差分服務(wù)的航空ad hoc網(wǎng)絡(luò)M A C協(xié)議，通過為高、低兩種優(yōu)先級分組提供不同的排隊策略和網(wǎng)絡(luò)接入權(quán)限（滿足高優(yōu)先級業(yè)務(wù)的一次成功傳輸概率需求）來實現(xiàn)差分服務(wù)的能力。文獻(xiàn)［12-13］雖然從理論和仿真上證明了通過設(shè)置業(yè)務(wù)負(fù)載門限值可有效提升網(wǎng)絡(luò)性能，但是衡量不同優(yōu)先級網(wǎng)絡(luò)接入權(quán)限的參數(shù)——網(wǎng)絡(luò)忙閑程度閾值的設(shè)置是由特定網(wǎng)絡(luò)參數(shù)仿真求出，不具有一般性；同時僅設(shè)置兩類優(yōu)先級難以對多優(yōu)先級業(yè)務(wù)的不同QoS傳輸需求進(jìn)行有效支撐。

針對上述問題，提出一種基于部分可觀測馬爾可夫決策過程（partial observable Markov decission processes，P O M DP）的機(jī)載網(wǎng)絡(luò)信道接入策略。P O M D P在認(rèn)知無線網(wǎng)絡(luò)頻譜接入中得到了廣泛應(yīng)用［14-15］，主要用于解決次用戶如何確定最優(yōu)接入策略來快速接入頻譜空洞。而本文的區(qū)別在于網(wǎng)絡(luò)節(jié)點利用已接收到的廣播信息和歷史決策信息，通過將不同優(yōu)先級分組占用信道的代價作為目標(biāo)函數(shù)，利用P O M D P理論建立了動態(tài)規(guī)劃方程，采用壓縮狀態(tài)空間的方法求解得到近似最優(yōu)的不同優(yōu)先級之間的理論接入門限值A(chǔ)T H。當(dāng)網(wǎng)絡(luò)占用信道數(shù)超過該優(yōu)先級分組由P O M D P所確定的門限值A(chǔ)T H時，選擇不接入信道的行動（延遲發(fā)送或丟棄）。從而將不同優(yōu)先級分組對整個網(wǎng)絡(luò)信道的占用控制在一個合理程度，避免了不同優(yōu)先級分組之間的碰撞，降低了分組發(fā)送的沖突概率和網(wǎng)絡(luò)的端到端時延性能，提高了數(shù)據(jù)傳輸?shù)臅r效性和可靠性，能夠為多優(yōu)先級業(yè)務(wù)的區(qū)分QoS提供良好支撐?？煽闯鲎铌P(guān)鍵性的問題在于如何合理確定不同優(yōu)先級間的接入門限值A(chǔ)TH。

1 POMDP建模

一個典型的機(jī)載網(wǎng)絡(luò)多信道機(jī)制的信道狀態(tài)模型如圖1所示，其中包括了N條獨(dú)立可用子信道，稱之為子信道f1，f2，…，fN，豎線所分隔的子信道部分代表某一時刻的信道狀態(tài)。其中陰影表示當(dāng)前時刻某子信道被突發(fā)分組所占用；而空白則表示未被突發(fā)分組所占用，即信道狀態(tài)空閑。

圖1 機(jī)載網(wǎng)絡(luò)多信道狀態(tài)模型圖

1.1 M D P建模

狀態(tài)空間S：系統(tǒng)所有狀態(tài)所組成的有限集，由N條子信道的可能取值狀態(tài)構(gòu)成，其中每條子信道都由狀態(tài)0（空閑）和1（占用）所組成，故系統(tǒng)的狀態(tài)空間可表示為

由于任意子狀態(tài)的二元性，可將狀態(tài)空間簡化為決策時刻n處的信道占用數(shù)N′（n），其中N′≤N。

行動決策集A：對于在特定時刻上的某狀態(tài)i∈S，可將行動接入某信道定義為a（i）=1；不采取接入行動定義為a（i）=0。

轉(zhuǎn)移概率pij（a）：表示在決策時刻n時系統(tǒng)處于狀態(tài)i，當(dāng)采取行動a（i）∈A后系統(tǒng)在下一時刻n+1處轉(zhuǎn)移到狀態(tài)j的概率。對于。

費(fèi)用函數(shù)c（i，a）：表示在決策時刻n系統(tǒng)處于狀態(tài)i時，采取行動a（i）∈A時后系統(tǒng)在本階段所產(chǎn)生的費(fèi)用記為c（i，a）。

收益函數(shù)V：采用策略π折扣期望函數(shù)。

1.2 動態(tài)規(guī)劃方程建立

由于網(wǎng)絡(luò)節(jié)點僅能獲得時刻n-k的全網(wǎng)絡(luò)信道狀態(tài)信息和自身決策歷史信息，無法確定決策時刻n的全網(wǎng)絡(luò)信道狀態(tài)信息，因此是一個不完全信息條件下的M D P，由此可利用P O M D P來進(jìn)行求解，其目標(biāo)是：節(jié)點采用什么樣的接入策略使得折扣期望函數(shù)達(dá)到最小?？啥x節(jié)點在決策時刻n處所面臨的狀態(tài)S（n）為

可定義決策序列向量ak為

故狀態(tài)S（n）可表示為

對整個網(wǎng)絡(luò)而言，分組接入某子信道意味著獲得了該信道上突發(fā)分組接入所帶來的即時吞吐量。這里假定全網(wǎng)絡(luò)的多個獨(dú)立子信道上帶寬間隔相等，采用相同的發(fā)射功率、調(diào)制方式和糾錯方案，具有相同的信噪比，由此可看出分組接入某條子信道將會帶來定值吞吐量T的收益。

突發(fā)分組在接入信道獲得即時吞吐量的同時也占用了信道資源，造成了其他分組無法接入。因而可用服務(wù)花費(fèi)的平均時間μ進(jìn)行度量，相應(yīng)地N′個子信道同時被占用所花費(fèi)的代價為N′μ。

同時可定義優(yōu)先級權(quán)重來對不同優(yōu)先級分組的接入、占用過程進(jìn)行度量：節(jié)點在n-k時刻通過廣播信息獲取網(wǎng)絡(luò)中當(dāng)前時刻m個不同優(yōu)先級分組的數(shù)量分別為pi（1≤為不同的優(yōu)先級基準(zhǔn)權(quán)重值，并按照大小依次排列。

為了確保高優(yōu)先級業(yè)務(wù)的高可靠性、實時性傳輸，以門限接入權(quán)值θp（0＜…＜θp＜…＜θ1＜1）來對不同優(yōu)先級分組間的接入過程進(jìn)行度量，將優(yōu)先級從高到低按照qi權(quán)值減小的順序依次對應(yīng)，兩優(yōu)先級之間的門限接入權(quán)值θp設(shè)為所對應(yīng)的兩權(quán)值qi、qi+1的均值，則高優(yōu)先級間θp取值將會越大。同時可定義代價權(quán)值τp（0＜τ1＜…＜τp＜…＜1）對不同優(yōu)先級分組的信道占用過程進(jìn)行度量，將優(yōu)先級從高到低按照qi權(quán)值增大的順序依次對應(yīng)，兩優(yōu)先級之間的門限占用權(quán)值τp設(shè)為對應(yīng)的兩權(quán)值qi、qi-1的均值，則高優(yōu)先級間對應(yīng)的權(quán)值τp值越小。

定義在N′（n）條件下，節(jié)點執(zhí)行行動a（n）的代價C（S（n），a（n））為

表示在決策時刻n全網(wǎng)絡(luò)占用信道所花費(fèi)的代價期望值和執(zhí)行行動接入（a（n）=1）所帶來的收益。

則Pak（x）表示Pak的第x行，對應(yīng)于全網(wǎng)絡(luò)在n-k時刻信道占用數(shù)N′經(jīng)后續(xù)狀態(tài)不斷變化后，全網(wǎng)絡(luò)在決策時刻n處信道占用數(shù)的概率分布。由此代價C（S（n），a（n））可改寫為

式中，（PakD）（x）的含義是在決策序列向量ak=（ak，ak-1，…，a1）條件下，決策時刻n處信道占用花費(fèi)代價的期望值。因此使用策略π折扣期望函數(shù)為

則信道接入狀態(tài)k步延時問題的最優(yōu)策略滿足

由此可確定P O M D P動態(tài)規(guī)劃方程為

式中，min部分的0表示節(jié)點采取a（i）=0，后一個表達(dá)式表示節(jié)點采取a（i）=1。

對任意信道占用數(shù)N′（n-k）（0≤N′（n-k）≤N）和決策序列向量ak有

2 P O M D P求解

由于信道占用數(shù)的最大值為N，上述問題的全狀態(tài)P O M D P動態(tài)規(guī)劃方程組將會包含2k×（N+1）個方程需要求解。隨著k和N的增大，方程數(shù)將會呈指數(shù)增長，求解難度非常大，甚至不存在最優(yōu)策略的精確解。因此必須要通過對問題進(jìn)行轉(zhuǎn)化來實現(xiàn)求解方程維數(shù)的降低，在此利用狀態(tài)空間壓縮方法來簡化問題求解。

2.1 動態(tài)規(guī)劃方程降維

這里引入輔助行動決策集E，定義

其中某條信道上ei=1表示在時刻n-i末期退出了信道，而ei=0則表示繼續(xù)占用。當(dāng)在觀測時刻n-k觀測到信道占用數(shù)N′（n-k）≥k時，則決策時刻n的信道占用數(shù)N′（n）可簡化寫為

用n（ak）表示ak中ai=1（0≤i≤k-1）的個數(shù)，由此式（16）可等價為

因此有

在N′（n-k）≥k條件下，令x=N′（n-k）+n（ak），則動態(tài)規(guī)劃方程可表示為

2.2 接入門限值A(chǔ)TH確定

可進(jìn)一步得到

將式（22）代入可等價于證明

利用（P0kD）（x）的非減凸函數(shù)性質(zhì)，可采用數(shù)學(xué)歸納法來證明式（24）。

（1）當(dāng)x=0時有

（2）假定當(dāng)x=n時式（24）成立，即

則當(dāng)x=n+1時

證明

依據(jù)式（23）可得N B（x）為非減凸函數(shù)，則

由此動態(tài)規(guī)劃方程的min部分可改寫為

因為N B（x）的非減凸函數(shù)性質(zhì)，所以式（29）的右側(cè)部分為x的遞增函數(shù)，如果式（30）成立

那么一定存在著一個臨界值xT H使得當(dāng)x＞xT H時有式（31）成立

當(dāng)x＞max（k，xT H）時節(jié)點的最佳行動a（i）=0，即表示不采取接入信道。

根據(jù)分組的不同優(yōu)先級權(quán)重，可得到不同分組間的接入門限值A(chǔ)T H。當(dāng)x＞AT H時節(jié)點的最佳行動就是不接入該優(yōu)先級分組，可等價于限制節(jié)點在該時刻對此類優(yōu)先級分組的接入；而在后續(xù)時刻中可依據(jù)不同優(yōu)先級接入門限值的理論推導(dǎo)結(jié)果進(jìn)行選擇，AT H即為不同優(yōu)先級分組間的理論接入門限值。

3 仿真分析

將基于PO M DP接入門限的跳頻M A C協(xié)議稱為（accessthreshold frequency hopping M A C protocol，AT-F H_M A C），利用NS-2網(wǎng)絡(luò)仿真平臺對兩方面實驗內(nèi)容進(jìn)行對比驗證。

（1）不同參數(shù)設(shè)置條件下，AT-F H_M A C協(xié)議與T D M A協(xié)議、802.11 D CF協(xié)議在網(wǎng)絡(luò)性能上對比。

（2）相同參數(shù)設(shè)置條件下，AT-F H_M A C協(xié)議與F H-M A C協(xié)議在網(wǎng)絡(luò)性能上對比。

網(wǎng)絡(luò)參數(shù)：仿真場景大小設(shè)置為600 k m×600 k m；假設(shè)機(jī)載網(wǎng)絡(luò)中有n個對等節(jié)點且初始位置服從均勻分布，移動速度為500 k m/h，移動模型采用R W P移動模型；通過對發(fā)射功率、接收門限值進(jìn)行設(shè)定使得節(jié)點通信距離達(dá)到250 k m。各節(jié)點的分組到達(dá)過程服從泊松分布，且分組長度固定、信道無誤碼；F H_M A C類協(xié)議依據(jù)優(yōu)先級高低順序采用搶占式排隊規(guī)則，其他類M A C協(xié)議則使用先入先出規(guī)則排隊。不同協(xié)議類型的相同仿真參數(shù)如表1所示。

表1 仿真參數(shù)設(shè)置

3.1 不同類型協(xié)議網(wǎng)絡(luò)性能比較

A T-F H_M A C協(xié)議和T D M A協(xié)議、802.11 D CF協(xié)議等3類不同類型協(xié)議的不同設(shè)置如下。

AT-F H_M A C協(xié)議在分組發(fā)送前將分組先拆分為25個突發(fā)分組，并結(jié)合信道忙閑情況進(jìn)行傳輸，傳輸過程中采用了效率為1/3的Turbo編碼，因此接收端只需正確接收13個突發(fā)分組就能夠恢復(fù)，雖然增加了發(fā)送冗余，但在非同步機(jī)制中獲得了較好的信息傳輸實時性、可靠性；且不同優(yōu)先級之間的接入門限值依據(jù)理論推導(dǎo)的相關(guān)表達(dá)式進(jìn)行設(shè)置。為了便于比較，T D M A和802.11 D CF也采用了相同的編碼傳輸機(jī)制。

為了確保信息傳輸?shù)臅r效性，在802.11 DCF中選用2次握手的基本接入方式。其中，分組最大重傳次數(shù)設(shè)置為4，初始競爭窗口大小設(shè)置為15，最大競爭窗口大小設(shè)置為255。

T D M A協(xié)議采用基本類型，依據(jù)不同節(jié)點數(shù)均勻分配所有時隙。僅考慮最大傳播時延和分組傳輸時延的情況下，時隙大小設(shè)置為1.68 ms。

在網(wǎng)絡(luò)不同節(jié)點數(shù)量情況下，3類不同類型協(xié)議的網(wǎng)絡(luò)性能（分組傳輸成功概率、系統(tǒng)吞吐量、端到端時延均值）對比曲線如圖2～圖4所示。

圖2 分組傳輸成功概率對比圖

圖3 系統(tǒng)吞吐量對比圖

圖4 端到端時延均值對比圖

從網(wǎng)絡(luò)性能曲線對比可以看出，在節(jié)點大尺度分布的條件下，D CF協(xié)議在分組傳輸成功概率、系統(tǒng)吞吐量、端到端時延均值等網(wǎng)絡(luò)性能較差，這是因為不可忽視的傳播時延會對D CF控制幀交互機(jī)制產(chǎn)生較大影響，延遲退避過程較多會導(dǎo)致緩沖區(qū)分組大量溢出，因此802.11 D CF協(xié)議在航空環(huán)境中無法直接適應(yīng)。

T D M A類協(xié)議因為采用了無沖突的時隙分配機(jī)制，從而有效避免了分組的碰撞重傳問題，獲得了相對最高的分組傳輸成功概率、系統(tǒng)吞吐量性能；但是隨節(jié)點數(shù)逐漸增大，分組傳輸時隙間隔會逐漸增多，端到端時延均值增幅較大。

A T-F H_M A C通過對不同優(yōu)先級的接入門限進(jìn)行劃分，確保了業(yè)務(wù)類型的低時延傳輸，其本質(zhì)是在犧牲少許分組傳輸成功概率、系統(tǒng)吞吐量性能的代價下獲得了優(yōu)良的時延性能，比較適合于軍事航空通信中對突發(fā)信息時效性需求較高的場合。

3.2 同類型協(xié)議網(wǎng)絡(luò)性能比較

同類型協(xié)議對比主要是在F H_M A C和A T-F H_M A C這兩類相同類型協(xié)議的不同優(yōu)先級分組間進(jìn)行網(wǎng)絡(luò)性能比對，以此來驗證A T-F H_M A C協(xié)議在加入P O M D P接入門限機(jī)制對網(wǎng)絡(luò)性能的影響。在其他仿真條件相同基礎(chǔ)上，根據(jù)機(jī)載網(wǎng)絡(luò)的業(yè)務(wù)流特點，假設(shè)各節(jié)點依據(jù)泊松分布過程接收上層的優(yōu)先級分組，為了便于對比，設(shè)定共有高、中、低3種業(yè)務(wù)優(yōu)先級分組。其中，高優(yōu)先級分組的達(dá)到率固定為10 packets/s，中優(yōu)先級分組的到達(dá)率從0～1 000 packets/s逐漸增加，低優(yōu)先級分組的到達(dá)率從1 000～3 000 packets/s逐漸增加。定義業(yè)務(wù)負(fù)載為源端節(jié)點所產(chǎn)生的高、中、低優(yōu)先級分組到達(dá)率之和，則不同業(yè)務(wù)負(fù)載條件下，同類型協(xié)議不同優(yōu)先級分組的網(wǎng)絡(luò)性能對比情況如圖5～圖7所示。

圖5 不同優(yōu)先級分組傳輸成功概率對比圖

圖6 不同優(yōu)先級分組端到端時延均值對比圖

圖7 系統(tǒng)吞吐量對比圖

從以上仿真結(jié)果可以看出，高、中兩類優(yōu)先級分組的理論理論接入門限值大約在1 600 packet/s（門限值1），中、低兩類分組的理論接入門限值大約在2 500 packet/s（門限值2）。相比于F H_M A C，在門限值1之前，A T-F H_M A C、F H_ M A C協(xié)議性能差別不大；當(dāng)進(jìn)入門限值1之后，A T-F H_ M A C的高優(yōu)先級分組后續(xù)一直獲得了優(yōu)良的分組傳輸成功概率、端到端時延均值性能；與此同時中、低優(yōu)先級分組的傳輸成功概率、端到端時延均值性能和系統(tǒng)吞吐量均明顯下降，在進(jìn)入門限值2之后，與F H_M A C協(xié)議各項網(wǎng)絡(luò)性能的差距進(jìn)一步拉大。

因此A T-F H_M A C協(xié)議通過引入P O M D P接入門限機(jī)制，確保了高優(yōu)先級分組的時效性和可靠性，獲得了較高的分組成功傳輸概率、端到端時延均值性能，但這是以犧牲中、低優(yōu)先級分組的網(wǎng)絡(luò)性能和系統(tǒng)吞吐量為代價獲取的。

4 結(jié) 論

當(dāng)前機(jī)載網(wǎng)絡(luò)中隨機(jī)競爭類M A C協(xié)議還存在著隨業(yè)務(wù)量增大帶來網(wǎng)絡(luò)性能下降嚴(yán)重、無法保證多優(yōu)先級業(yè)務(wù)QoS需求、接入門限值設(shè)置簡單不具一般性的問題，為此提出了一種基于P O M D P的機(jī)載網(wǎng)絡(luò)信道接入策略。網(wǎng)絡(luò)節(jié)點依據(jù)廣播、歷史決策信息，通過P O M D P理論確定了不同優(yōu)先級分組間的接入門限，當(dāng)網(wǎng)絡(luò)內(nèi)信道占用數(shù)量超過了該優(yōu)先級的接入門限值A(chǔ)T H，便選擇不接入的行動。從而有效地控制了傳輸信道上不同優(yōu)先級的接入過程，降低了低優(yōu)先級業(yè)務(wù)在網(wǎng)絡(luò)負(fù)載較高的情況下與高優(yōu)先級的碰撞概率、端到端時延性能，確保了高優(yōu)先級分組數(shù)據(jù)傳輸?shù)膶崟r性和可靠性，下一步值得研究的問題將是在此基礎(chǔ)上進(jìn)一步探尋合理的機(jī)制來提升中低優(yōu)先級分組的網(wǎng)絡(luò)性能。

［1］K yung J K，Yalin S，Justin Y，et al.Airborne network evaluation：challenges and high fidelity emulation solution［J］.IE E E Communications Magazine，2014，52（17）：30-36.

［2］Ilker B，Ozgur K S，Sami l T.Flying ad hoc networks（F A N E Ts）：a survey［J］.Ad H oc Networks，2013，11（3）：1254-1270.

［3］Ozgur K S.Networking models in flying ad hoc networks：concepts and chal lenges［J］.Journalof Intelligent&Robotic Systems，2014，74（2）：513-527.

［4］Zheng B，Zhang H Y，H uang G C.Link dynamicsin M A N E T based on 3D SGM mobility model［J］.Journal of Jilin University（Engineering and Technology Edition），2012，42（5）：1315-1320.（鄭博，張衡陽，黃國策.基于3D SG M移動模型的M A NET鏈路動態(tài)性［J］.吉林大學(xué)學(xué)報（工學(xué)版），2012，42（5）：1315-1320.）

［5］Zheng B，Zhang H Y，H uang G C.Analysis oflink dyna micsinaeronautical ad hoc networks［J］.Systems Engineering and Electronics，2013，35（2）：420-424.（鄭博，張衡陽，黃國策.航空自組網(wǎng)鏈路動態(tài)性分析［J］.系統(tǒng)工程與電子技術(shù)，2013，35（2）：420-424.）

［6］Li J，Gong E L，Sun Z Q，et al.Design and implementation of ST D M A slot allocation algorith m for aeronautical ad hoc networks［J］.Acta Aeronautical et Astronautica Sinica，2014，35（12）：3371-3383.（李杰，宮二玲，孫志強(qiáng)，等.航空自組網(wǎng)ST D M A時隙分配算法的設(shè)計與實現(xiàn)［J］.航空學(xué)報，2014，35（12）：3371-3383.）

［7］Cai Y G，Y u F R，Li J，et al.Mediu m access control for unmanned aerial vehicle（U A V）ad hoc networks with full-duplex radios and m ultipacket reception capability［J］.IE E E Trans.on Vehicular Technology，2013，62（1）：390-394.

［8］LiJ，Zhou Y F，La mont L，et al.Packet delay in U A V wireless networks under non-saturated traffic and channel fading conditions［J］.Wireless Personal Communications，2013，72（2）：1105-1123.

［9］Li J，Zhou Y F，Lamont L，et al.A token circulation scheme for code assignment and cooperative transmission schedul ing in CD M A-based U A V ad hoc network［J］.Journal Wireless Networks，2013，19（6）：1469-1484.

［10］Stephen M C，Kelli AH，Scott J F Z.Statistical priority-based multiple access system and method［P］.U nited States’7680077 B1，2010.

［11］John CH.M ethod and apparatus for wireless data using doppler informtion［P］.U nited States’8614997 B1，2013.

［12］Wang Y Q，Ye X Y，Qi Y J，et al.A daptive mechanism for the frequency hopping M A C［J］.Journal of Xidian University，2013，40（5）：78-85.（王葉群，葉向陽，戚云軍，等.一種跳頻M A C協(xié)議的自適應(yīng)機(jī)制［J］.西安電子科技大學(xué)學(xué)報，2013，40（5）：78-85.）

［13］W ang Y Q，Yang F，H uang G C，et al.M edia access control protocol with differential service in aeronautical frequencyhopping ad hoc networks［J］.Journal of Software，2013，24 （9）：2214-2225.（王葉群，楊鋒，黃國策，等.一種航空自組網(wǎng)中帶差分服務(wù)的跳頻M A C協(xié)議建模［J］.軟件學(xué)報，2013，24（9）：2214-2225.）

［14］H ou G T，H an H，H u J.Spectru m access method based on P O M D P［J］.Chinese Journal of Radio Science，2013，28（3）：553-558.（侯國濤，韓慧，胡俊.基于部分可觀察馬氏決策過程的頻譜接入方法［J］.電波科學(xué)學(xué)報，2013，28（3）：553-558.）

［15］Xu R C，Jiang T.Cognitive radio auto-adaptive sensing algorith m based on P O M D P［J］.Journal on Com m unications，2013，34（6）：49-56.（許瑞琛，蔣挺.基于P O M D P的認(rèn)知無線電自適應(yīng)頻譜感知算法［J］.通信學(xué)報，2013，34（6）：49-56.）

Research on channel access strategy in airborne network based on P O M D P

Z H U O K un1，Z H A N G H eng-yang1，X U Ding-hai2，Z H E N G Bo1，3，H U A N G G uo-ce1
（1.School of Information and Navigation，Air Force Engineering University，Xi’an 710077，China；
2.Unit 93995 of P L A，Xi’an 710306，China；3.615 Research Institute，China Aviation Industry Corporation，Shanghai200233，China）

A channel access strategy based on partial observable Markov decision processes（P O M D P）is presented in allusion to the problem of performance degrades seriously w hen load beco mes heavy，the access threshold value settings is lacked in the theoretical basis and unable to effectively support the quality of serive requirement of multi-priority service of the rando m co m petition mediu m access control protocolin airborne network.The dynamic program ming function is established by which based on channel occupation cost of different priority burst as the objective function，the co m pact state-space method is adopted to simplify the solution-finding，the expression for the theory approximately optimal access threshold value within the different priority burst is worked out.The value can provide theoreticalfoundation for access decision processes of different priority burst and can effectively control the access collision within different priority burst.The simulation results show that transmission performance of delay and success probability can be improved obviously，the real-time and reliability demands of data transmission in military aeronautical communications are satisfied.

airborne network；ad hoc network；mediu m access control（M A C）protocol；partial observable Markov decission processes（P O M D P）theory；access threshold

T P 393

A

10.3969/j.issn.1001-506 X.2016.03.28

1001-506 X（2016）03-0658-07

2015-06-09；

2015-10-08；網(wǎng)絡(luò)優(yōu)先出版日期：2015-10-20。

網(wǎng)絡(luò)優(yōu)先出版地址：http：//w w w.cnki.net/kcms/detail/11.2422.T N.20151020.1334.010.html

國家自然科學(xué)基金（60972042）；航空科學(xué)基金（2013ZC15008）資助課題

卓 琨（1987-），男，博士研究生，主要研究方向為軍事航空通信。

E-mail：zhuokun_TG@126.com

張衡陽（1978-），男，副教授，博士，主要研究方向為無線自組織網(wǎng)絡(luò)關(guān)鍵技術(shù)。

E-mail：hareed@163.com

徐丁海（1971-），男，研究員，博士，主要研究方向為航空電子技術(shù)。

E-mail：297963301@qq.com

鄭 博（1982-），男，工程師，博士，主要研究方向為無線自組織網(wǎng)絡(luò)關(guān)鍵技術(shù)。

E-mail：zbkgd@163..com

黃國策（1962-），男，教授，博士研究生導(dǎo)師，主要研究方向為軍事通信組網(wǎng)關(guān)鍵技術(shù)。

E-mail：huangguoce@163.co m