5G環(huán)境下系統(tǒng)級仿真建模與關(guān)鍵技術(shù)評估

摘要：根據(jù)5G關(guān)鍵技術(shù)特征給出了5G系統(tǒng)仿真場景，并提出了一種基于5G系統(tǒng)仿真平臺的仿真建模及實現(xiàn)方法。運用動態(tài)仿真建模、計算資源虛擬化管理、多核并行仿真以及硬件加速仿真技術(shù)建設(shè)系統(tǒng)仿真平臺，對5G候選關(guān)鍵技術(shù)進行評估，可以解決由于5G高復(fù)雜度及多變的仿真環(huán)境帶來的部分問題，并能夠提高仿真效率，增強5G系統(tǒng)仿真平臺的擴展性。

關(guān)鍵詞： 5G候選關(guān)鍵技術(shù)；仿真建模；評估指標(biāo)；系統(tǒng)仿真平臺

Abstract： In this paper， 5G system simulation scenarios based on the features of 5G key technology is introduced， and a simulation modeling and realization method of 5G system simulation platform is presented. By using dynamic simulation modeling， computing resources virtualization management， multi-core parallel simulation and hardware accelerated simulation technology in the system simulation platform construction and 5G key technology evaluation， part of problems bringing by 5G high complex and changeable simulation environment can be solved， and the simulation efficiency can be improved， meanwhile， the scalability of 5G system simulation platform can be enhanced.

5G candidate key technology； simulation modeling； evaluation index； system simulation platform

計算機仿真在移動通信系統(tǒng)的技術(shù)研究和標(biāo)準(zhǔn)開發(fā)中是評估系統(tǒng)性能的一個非常強大的工具?，F(xiàn)代無線通信系統(tǒng)是一個異常復(fù)雜的系統(tǒng)，其復(fù)雜性體現(xiàn)在應(yīng)用場景、網(wǎng)絡(luò)結(jié)構(gòu)等多個方面。第5代移動通信（5G）的候選技術(shù)更豐富，應(yīng)用場景更復(fù)雜。

5G軟件仿真測試系統(tǒng)的設(shè)計和開發(fā)是在早期技術(shù)的基礎(chǔ)上繼承和發(fā)展的，早期仿真平臺對5G軟件仿真的搭建有重要的參考價值。同時，由于5G系統(tǒng)將引入更多新功能和新技術(shù)，需要深入分析各種候選技術(shù)的特征和實現(xiàn)方案，才能高效設(shè)計和實現(xiàn)5G軟件仿真系統(tǒng)。一個完整的仿真系統(tǒng)組成，如圖1所示。

1 5G系統(tǒng)仿真場景

1.1 5G系統(tǒng)仿真假定

5G移動通信系統(tǒng)需要滿足更加多樣化的場景和極致的性能挑戰(zhàn)。面對多樣化的應(yīng)用場景，5G的幀結(jié)構(gòu)參數(shù)可靈活配置，以服務(wù)不同類型的業(yè)務(wù)。針對不同頻段、場景和信道環(huán)境，可以選擇不同的參數(shù)配置，具體包括帶寬、載波頻率等，參考信號和控制信道也可靈活配置以支持大規(guī)模天線、新型多址等新技術(shù)的應(yīng)用，按需選取最優(yōu)技術(shù)組合及參數(shù)配置。下面我們將分別介紹大規(guī)模技術(shù)和超密集網(wǎng)絡(luò)（UDN）技術(shù)條件下的系統(tǒng)仿真基線參數(shù)配置。

（1）大規(guī)模天線部署

在大規(guī)模天線部署條件下仿真場景集中表示于表1中。針對大規(guī)模多輸入多輸出（MIMO）下的3種仿真場景我們給出了系統(tǒng)仿真相關(guān)基線參數(shù)，如表2所示[1]。

（2）超密集網(wǎng)絡(luò)部署

超密集網(wǎng)絡(luò)（UDN）是5G核心技術(shù)之一。我們對UDN的仿真評估也給出了仿真場景及相關(guān)基線參數(shù)，如表3所示。

1.2 5G系統(tǒng)性能評估指標(biāo)

5G網(wǎng)絡(luò)相對于4G網(wǎng)絡(luò)不僅僅是“量”的變化，比如容量、速率的變化，還包括其“質(zhì)”的變化，包括虛擬化、可定義等網(wǎng)絡(luò)基本特征的變化。原有業(yè)務(wù)模型下的平均用戶吞吐率、邊緣用戶頻譜效率等之外，連接數(shù)密度、流量密度等是5G網(wǎng)絡(luò)新引入的關(guān)鍵業(yè)績指標(biāo)（KPI）指標(biāo)。隨著5G技術(shù)研究的不斷深入，可以預(yù)見還會出現(xiàn)新的評估指標(biāo)。對這些可直接度量的指標(biāo)的設(shè)計一方面需要結(jié)合新業(yè)務(wù)的特點，另一方面需要充分借鑒以往KPI指標(biāo)經(jīng)驗。我們將從以下幾個方面介紹無線性能評估指標(biāo)：

（1）無線覆蓋性能KPI指標(biāo)

無線覆蓋性能的KPI指標(biāo)主要有參考信號接收功率（RSRP）、信干噪比（RS-SINR）、Geometry（G）以及累積分布函數(shù)（CDF）統(tǒng)計。

RSRP是代表無線信號強度的關(guān)鍵參數(shù)，是在某個符號內(nèi)承載參考信號的所有資源元素（RE）上接收到的信號功率的線性平均值[4]；RS-SINR定義為[RS_SINR=RSRPRS_RSSI-RSRP]， RS_RSSI代表所有基站的總接收信號強度；Geometry（G）定義為[G=Ior1Ioc=Ior1j=2NBIorj+N]，[Iorj]為第j個基站的平均接收功率（[Ior1]為服務(wù)小區(qū)），N為噪聲功率，NB為干擾基站的數(shù)量。

（2）容量性能KPI指標(biāo)

容量性能主要從整網(wǎng)和用戶兩方面評估：整網(wǎng)容量KPI考慮連接數(shù)密度和流量密度，而用戶容量KPI則考慮單終端業(yè)務(wù)量。連接數(shù)密度是指單位面積的平均終端數(shù)，單位為終端數(shù)/km2；流量密度是指單位面積的平均業(yè)務(wù)量，單位為bps/km2；單終端業(yè)務(wù)量是指每終端每月的平均業(yè)務(wù)量，單位為byte/month/device。

（3）速率性能KPI指標(biāo)

用戶體驗最直接的KPI指標(biāo)是用戶速率，我們需要區(qū)分下載速率（DL）和上傳速率（UL），用戶速率評估KPI主要采用：平均、5%、50%、95%用戶吞吐率，以及CDF統(tǒng)計[2-4]。

（4）移動性能指標(biāo)

對于移動狀態(tài)的用戶，在移動過程中業(yè)務(wù)連續(xù)、穩(wěn)定是基本要求，移動性能評估KPI一般采用無線鏈路失敗率、切換失敗率、乒乓切換率等，可以參考文獻[5]。

（5）時延性能指標(biāo)

時延性能指標(biāo)主要有往返時間（RTT）時延（用TRTT表示）和單程時間（OTT）時延（用TOTT表示）[6]。RTT時延定義為TRTT=TA1- TS1，OTT時延定義為TOTT=TA2- TS1，其中TS1為設(shè)備1發(fā)送數(shù)據(jù)包的起始時間，TA2為設(shè)備2收到設(shè)備1數(shù)據(jù)包的時間，設(shè)備2收到數(shù)據(jù)包后將會發(fā)送反饋消息，TA1則為設(shè)備1收到設(shè)備2發(fā)送的反饋消息的時間。

（6）能耗性能指標(biāo)

能耗是衡量網(wǎng)絡(luò)能量效應(yīng)的KPI，能效有兩種定義方式，如公式（1）[6]所示：

[λI=EI=PR inJ/bitorW/bps λA=PA in [W/m2]] （1）

其中，E為給定評估時間內(nèi)對應(yīng)功率P消耗的能量，I為對應(yīng)傳輸速率R的消息容量，A為覆蓋面積。

2 5G關(guān)鍵仿真技術(shù)

本節(jié)重點闡述了5G系統(tǒng)仿真軟件在平臺架構(gòu)設(shè)計及系統(tǒng)仿真過程中運用的關(guān)鍵技術(shù)，利用這些關(guān)鍵技術(shù)有效提高仿真效率，滿足5G仿真需求。

2.1 動態(tài)仿真建模技術(shù)

5G技術(shù)帶來了更加復(fù)雜的組網(wǎng)場景和業(yè)務(wù)類型，也增加了各類新技術(shù)。傳統(tǒng)的采用針對特定場景編碼實現(xiàn)的仿真設(shè)計模式效率很低，遠遠不能滿足日益增長的仿真需求，必須采用高復(fù)用的建模技術(shù)，因此提出了動態(tài)仿真建模技術(shù)。

動態(tài)仿真建模技術(shù)的核心思想是對網(wǎng)絡(luò)分層和建模，將各層次的仿真對象模型進行組件化設(shè)計[7]，同時基于仿真場景、業(yè)務(wù)模型映射得到仿真模型組件和仿真參數(shù)，再通過動態(tài)配置的方法組合成為具體的仿真流程。由于仿真對象模型設(shè)計實現(xiàn)了組件化，主要的仿真設(shè)計實現(xiàn)能夠得到充分復(fù)用，一方面提升了仿真設(shè)計和開發(fā)效率，另一方面也提升了仿真平臺的可擴展能力。

動態(tài)仿真建模技術(shù)包含兩項關(guān)鍵技術(shù)：功能庫和參數(shù)庫的生成；動態(tài)分析和配置機制。

（1）功能庫和參數(shù)庫的生成

輸出仿真平臺的基本功能模塊，根據(jù)仿真需求進行建模，抽象分解出公共庫和特性庫兩類，通過智能接口實現(xiàn)功能的配合實用，同時滿足功能的可擴展性。將功能庫和參數(shù)庫分開設(shè)計的目的也是為了保證模型適應(yīng)于不同的仿真場景和仿真需求，做到充分的解耦。

（2）動態(tài)分析和配置機制

在仿真運行過程中提供分析和配置機制，參與仿真的全過程。包括對仿真需求進行分解，并映射到不同的功能庫和參數(shù)庫，再根據(jù)仿真的具體要求配置生成仿真流程。

根據(jù)仿真需求分解出對應(yīng)的仿真模型，例如，軟件定義網(wǎng)絡(luò)（SDN）技術(shù)要求控制面和用戶面分離，網(wǎng)絡(luò)功能虛擬化（NFV）要求網(wǎng)絡(luò)功能從專用硬件設(shè)備中解耦出來，UDN中提出的虛擬小區(qū)概念等。

根據(jù)模型生成仿真參數(shù)庫，包括系統(tǒng)規(guī)格、場景參數(shù)、各項技術(shù)的配置參數(shù)等。以仿真模型為中心，基于仿真模型建立組網(wǎng)場景、網(wǎng)絡(luò)功能的參數(shù)化模板，通過合理組合這些參數(shù)化模板減少參數(shù)庫的復(fù)雜度。

根據(jù)模型映射到對應(yīng)的功能庫。功能庫可以通過靈活的接口設(shè)計實現(xiàn)解耦和可擴展，根據(jù)仿真需求將映射的功能庫和參數(shù)庫有機的組織成為一個完整的仿真流程。將參數(shù)庫、功能庫、仿真流程進行動態(tài)配置形成具體的仿真任務(wù)，仿真任務(wù)直接面向用戶，需要提供友好的配置管理界面。

由以上分析可以看出：實現(xiàn)動態(tài)仿真建模的關(guān)鍵點在于模型、庫組件和參數(shù)的設(shè)計，通過運用分層、封裝、接口解耦等方面的設(shè)計解決概念模型和實現(xiàn)模型之間的耦合，才能達到技術(shù)變化對實現(xiàn)影響最小的目的。

2.2 計算資源虛擬化管理技術(shù)

當(dāng)前提升仿真計算效率的主要手段是計算并行化，由于計算資源可以分布在不同的物理設(shè)備上，如何合理配置管理資源就成為核心問題。因此，我們提出了計算資源虛擬化管理技術(shù)。

資源虛擬化管理首先將仿真需求映射為可單獨部署的計算任務(wù)，基于這些計算任務(wù)再分解為可單獨部署的并行子任務(wù)，根據(jù)其特點配置相應(yīng)的虛擬資源，部署在本地的并行計算任務(wù)需要分配計算資源、存儲資源，部署在從節(jié)點上的計算任務(wù)還需分配足夠的通信資源，以避免數(shù)據(jù)無法及時傳輸造成延時。

將各類硬件資源虛擬化為計算、存儲和通信3類虛擬資源，并將虛擬資源動態(tài)綁定給計算任務(wù)，仿真子任務(wù)所需要的虛擬資源需要提前評估，不同仿真子任務(wù)有不同需求，可通過仿真代碼靜態(tài)分析以及運行時統(tǒng)計等手段分析得到，并根據(jù)仿真目標(biāo)確定各個仿真子任務(wù)的資源需求。

隨著底層軟件以及硬件平臺的不斷發(fā)展，可用的并行虛擬化技術(shù)較為豐富[8]，比如MATLAB提供的parfor、單程序多任務(wù)（SPMD）、MATLAB 分布式計算引擎（MDCE）等并行工具，以及適用于多種開發(fā)語言的消息傳遞接口（MPI）、OpenMP等并行編程機制。對于具體的仿真實現(xiàn)來說，不但需要底層的并行技術(shù)手段，還需要仿真應(yīng)用程序也實現(xiàn)并行化設(shè)計。仿真應(yīng)用程序的并行化設(shè)計很難給出通用方法，需結(jié)合業(yè)務(wù)特點專門設(shè)計并行算法，也是實現(xiàn)仿真系統(tǒng)并行虛擬化的關(guān)鍵路徑。

2.3 多核并行仿真技術(shù)

仿真軟件的并行化是仿真平臺多核并行設(shè)計的關(guān)鍵，能利用現(xiàn)有硬件資源達到最優(yōu)效果。根據(jù)需求先從功能、算法、操作對象等角度將仿真軟件并行化分解；其次通過對仿真功能模塊的合理劃分設(shè)計，減少并行子任務(wù)的通信數(shù)據(jù)量，保證各個并行子任務(wù)之間的運算量相當(dāng)，減少因任務(wù)同步處理所需的等待時間。

中央處理器（CPU）+圖形處理器（GPU）的異構(gòu)方案作為多核CPU并行處理的演變方案，也為提升仿真計算的速度提供了可能[9]。CPU擅長復(fù)雜邏輯運算，而GPU往往擁有上百個流處理器核心，其設(shè)計目標(biāo)是以大量線程實現(xiàn)面向大吞吐量的數(shù)據(jù)并行計算，其單精度浮點計算能力可達同期CPU的10倍以上，適合處理大規(guī)模數(shù)據(jù)并行計算。因此，采用CPU+GPU的異構(gòu)并行架構(gòu)，利用多核CPU并行執(zhí)行復(fù)雜的邏輯計算，利用GPU處理數(shù)據(jù)并行任務(wù)，兩者協(xié)同工作，發(fā)揮計算機并行處理能力。

圖2（a）中給出了一個典型的異構(gòu)多核架構(gòu)，可以看出在多核CPU端使用OpenMP，而在GPU使用計算統(tǒng)一設(shè)備結(jié)構(gòu)（CUDA）進行處理，任務(wù)的劃分則由程序和操作系統(tǒng)層面指定。兩部分均采用外設(shè)部件互連標(biāo)準(zhǔn)（PCI-E）總線進行互聯(lián)。

多核CPU-GPU異構(gòu)平臺具有任務(wù)級和數(shù)據(jù)級多個層次的并行執(zhí)行能力，在進行負載分配時要將這些計算能力充分利用起來，可以考慮如圖2（b）所示的仿真模型結(jié)構(gòu)。

2.4 硬件加速仿真技術(shù)

硬件加速仿真技術(shù)使用硬件模塊來替代軟件模塊以充分利用硬件所固有的快速特性。通常采用計算能力和邏輯處理能力都非常強的高性能現(xiàn)場可編程門陣列（FPGA）板卡。硬件加速仿真技術(shù)的主要分為3個方面：

（1）基于FPGA的高性能硬件加速關(guān)鍵技術(shù)研究，包括：高速并行處理、軟硬件仿真任務(wù)分塊及映射、高精度信號處理；

（2）硬件加速和軟仿真平臺相結(jié)合的接口及中間件設(shè)計，包括基于C仿真代碼的適配、接口層的中間件設(shè)計、可重配置計算的設(shè)計；

（3）可重配置的FPGA硬件加速卡設(shè)計，包括高速PCI-E接口設(shè)計、高速USB 3.0接口與主機的數(shù)據(jù)交互。

如圖3所示，在系統(tǒng)仿真平臺中部分鏈路采用了硬件實現(xiàn)的鏈路。這種軟硬件聯(lián)合仿真方法能夠充分硬件的高速處理能力，使得部分鏈路的系統(tǒng)仿真性能接近實時級別，結(jié)合系統(tǒng)仿真平臺較為完善的系統(tǒng)功能，就能夠更為真實地仿真對系統(tǒng)傳輸時延等一系列指標(biāo)要求很高的系統(tǒng)應(yīng)用場景。

3 5G候選關(guān)鍵技術(shù)評估

本節(jié)以5G關(guān)鍵技術(shù)大規(guī)模MIMO（MU-MIMO）為例，說明如何應(yīng)用前述的各項關(guān)鍵技術(shù)完成MU-MIMO技術(shù)在仿真系統(tǒng)中的設(shè)計和實現(xiàn)，以達到減少仿真計算復(fù)雜度、加速仿真計算速度的目的。

（1）仿真參數(shù)說明

采用MU-MIMO模式，仿真長期演進（LTE）下行系統(tǒng)工作性能。基站發(fā)射天線數(shù)為128根，單小區(qū)內(nèi)同時調(diào)度15個用戶，構(gòu)成MU-MIMO的信道矩陣。

（2）仿真計算環(huán)境說明

硬件：GPU服務(wù)器XR-4802GK4，其中CPU配置為2顆Intel Xeon Ivy Bridg E5（3.0 G，單顆10核，20線程），GPU配置為8片TESLA K20；

軟件：MATLAB R2014a。

（3）計算量分析

根據(jù)MU-MIMO特性可知，計算量主要分布在信道計算、預(yù)編碼計算、接收SINR計算。設(shè)子載波數(shù)為Nc，OFDM符號數(shù)為M，基站天線數(shù)為Nt，用戶數(shù)（單天線）為Nr，接收天線數(shù)為Nr，系統(tǒng)內(nèi)小區(qū)數(shù)為C。

（a）3D信道

僅以時域信道轉(zhuǎn)為頻域信道的快速傅里葉變換（FFT）變換計算次數(shù)來分析，一個小區(qū)的3D信道FFT變換的數(shù)量約為M×Nt×Nr，則在天線規(guī)模為下行128×15的情況下，相比4G天線規(guī)模為2×1的場景，計算量之比為960倍。

（b）發(fā)射端預(yù)編碼

根據(jù)仿真參數(shù)設(shè)置，發(fā)送端預(yù)編碼方案為迫零算法，預(yù)編碼矩陣計算如公式（2）所示：

[WZF=H（HHH）-1，H∈CNtxNr] （2）

預(yù)編碼的計算復(fù)雜度主要體現(xiàn)在矩陣的乘積和求逆兩部分：在迫零算法條件下，第1部分是C×Nc次Nr×Nr維矩陣求逆；第2部分是C×Nc次Nt×Nr維矩陣和Nr×Nr維矩陣的乘法。一般各類矩陣計算的算法復(fù)雜度為O（n^3），計算量隨天線數(shù)的3次冪增加。

（c）信干噪比計算

根據(jù)MIMO信號模型，可以分析得到計算量的大致規(guī)模，如公式（3）所示：

計算一個小區(qū)的信號功率需要兩次Nt維向量乘法，乘法次數(shù)為2Nt+1，計算干擾功率（含小區(qū)內(nèi)和小區(qū)間干擾）需要C×（2Nt+1）次乘法，總乘法次數(shù)為（C+1）×（2Nt+1）。

從以上分析可知：MU-MIMO特性的計算量主要集中在信道計算、發(fā)射端預(yù)編碼和接收信干噪比計算模塊中，其中發(fā)射端預(yù)編碼計算量隨天線數(shù)的3次冪增長，是計算開銷最大的模塊，其次是信道計算，根據(jù)阿姆達爾定律，這兩個模塊也是計算加速最為關(guān)鍵的優(yōu)化目標(biāo)。

（4）優(yōu)化方案

根據(jù)不同的模塊的特點，我們可以結(jié)合前面的關(guān)鍵技術(shù)制定加速優(yōu)化方案。

（a）信道計算

在給定仿真參數(shù)的條件下，無線鏈路信道系數(shù)和系統(tǒng)調(diào)度等行為無關(guān)，因此可以預(yù)先完成信道計算，并將計算結(jié)果保存在硬盤中，仿真系統(tǒng)初始化時可以直接讀取信道矩陣，使用預(yù)先計算好的結(jié)果，省去信道計算時間，實際時間開銷僅僅取決于讀取內(nèi)存的時間。

（b）發(fā)射端預(yù)編碼

發(fā)射端預(yù)編碼主要涉及大矩陣的乘法和求逆計算，這部分計算可以充分利用CPU以及GPU的多核計算能力，在子載波層次進行并行計算。由每個GPU完成矩陣求逆和乘法計算，并行最大可以并行C×Nc路，在本測試樣例中，可以并行57×300=17 100路，在GPU核足夠多的情況下，綜合考慮傳輸帶寬的影響，基本可以滿足對發(fā)射端預(yù)編碼的加速優(yōu)化需求。在本測試樣例中，由于僅采用了一臺GPU服務(wù)器，計算資源有限，因此實際加速效果受限于硬件資源，在多機組網(wǎng)、超算環(huán)境中可以進一步大幅提升加速效果。

（c）信干噪比計算

此部分的計算主要是向量乘法運算，計算量相對信道計算、發(fā)射端預(yù)編碼模塊小得多，因此采用CPU加速即能夠獲得較好的效果。

（5）仿真實測結(jié)果和分析

仿真實測結(jié)果如表4、表5所示。根據(jù)不同模塊的計算特點，采用的加速方案不同，其最終加速效果也不同。

信干噪比計算模塊、消息處理模塊采用了CPU并行計算方案，預(yù)編碼模塊采用了CPU+GPU的聯(lián)合加速方案。從加速比來看，干擾模塊的加速比要小于消息處理模塊，其原因是干擾模塊需要在并行計算任務(wù)之間傳遞大量數(shù)據(jù)，包括信號功率、信道配置、調(diào)度信息等數(shù)據(jù)，在數(shù)據(jù)傳輸上的時間開銷要大于消息處理模塊，對信干噪比計算模塊進一步優(yōu)化的手段，包括增加并行CPU核數(shù)、傳輸數(shù)據(jù)壓縮、增加傳輸帶寬（高速光纖傳輸、反射內(nèi)存技術(shù)等）等方案。預(yù)編碼模塊采用了CPU+GPU的聯(lián)合加速方案，加速比可以達到127倍，由于受硬件資源的限制，這部分的加速效果遠未達到上限。

4 結(jié)束語

由于5G技術(shù)的快速發(fā)展，仿真對象、場景和技術(shù)也在不斷變化，仿真架構(gòu)設(shè)計和評估方法也需要同步發(fā)展。文章從系統(tǒng)仿真場景、關(guān)鍵仿真技術(shù)及5G候選關(guān)鍵技術(shù)評估方面介紹5G系統(tǒng)仿真評估，為5G候選關(guān)鍵技術(shù)的評估提供了參考解決方案，進而為5G網(wǎng)絡(luò)架構(gòu)設(shè)計和關(guān)鍵技術(shù)研發(fā)提供有效的支撐。

參考文獻

[1] 3GPP. 3D channel model for LTE： 3GPP TR36.873 [S]

[2] 3GPP. Further advancements for E-UTRA physical layer aspects： 3GPP TR36.814 [S]

[3] 3GPP. Small Cell Enhancements for E-UTRAN-Physical Layer Aspects： 3GPP TR36.872 [S]

[4] 3GPP. Physical layer Measurements： 3GPP TS36.214 [S]

[5] 3GPP. Mobility Enhancements in

Heterogeneous Networks： 3GPP TR36.839[S]

[6] Updated Scenarios， Requirements and KPIs for 5G Mobile and Wireless System with Recommendations for Future Investigations： METIS_D1.5_v1 [S]

[7] PIRO G， GRIECO L A， BOGGIA G， et al. Simulating LTE Cellular Systems： an Open Source Framework [J]. IEEE Transactions on Vehicular Technology， 2010， 60（2）： 498-513. DOI： 10.1109/TVT.2010.2091660

[8] DONGARRA J， FOSTER I， FOX G， et al. Sourcebook of Parallel Computing [M]. USA： Elsevier Science and Technology， 2003

[9] BILELB R， NAVID N， BOUKSIAA M S M. Hybrid CPU-GPU Distributed Framework for Large Scale Mobile Networks Simulation[C]// 2012 IEEE/ACM 16th International Symposium on Distributed Simulation and Real Time Applications， 2012. USA： IEEE： 44-53， 2012. DOI： 10.1109/DS-RT.2012.15