VECSim:改進(jìn)iFogSim2的面向車載邊緣計(jì)算的建模與仿真模擬器

劉子源 胡永慶 楊含 秦廣軍 戴慶龍

摘 要：目前，研究人員著眼于車載邊緣計(jì)算（vehicular edge computing，VEC）環(huán)境下高效應(yīng)用和資源調(diào)度策略的研究，然而，這些應(yīng)用和策略的實(shí)機(jī)驗(yàn)證往往受限于成本和時(shí)間，無法快速有效地進(jìn)行。邊緣/霧計(jì)算仿真器如iFogSim2的出現(xiàn)降低了實(shí)驗(yàn)成本，然而，高速移動(dòng)車輛的連接切換和資源分配需求對(duì)邊緣/霧計(jì)算仿真器在VEC下應(yīng)用提出了挑戰(zhàn)。因此，改進(jìn)了iFogSim2，設(shè)計(jì)了支持高速移動(dòng)的VEC環(huán)境仿真器VECSim。集成開源基站數(shù)據(jù)并構(gòu)建車輛軌跡數(shù)據(jù)集，以便研究人員專注于資源分配策略。首先，為了簡(jiǎn)化實(shí)驗(yàn)步驟，改進(jìn)了移動(dòng)軌跡數(shù)據(jù)解析模塊并適配了微觀交通仿真軟件Simulation of Urban Mobility （SUMO）生成的車輛軌跡數(shù)據(jù)。其次，基于分布式數(shù)據(jù)流模型對(duì)VEC下的分布式應(yīng)用進(jìn)行建模，并提供了服務(wù)遷移基準(zhǔn)策略算法。此外，VECSim還引入了時(shí)間性能優(yōu)化方法，通過并行化操作，加速仿真事件處理，從而提高了仿真工具的時(shí)間性能。實(shí)驗(yàn)表明，相比于iFogSim2中同類的服務(wù)遷移算法，提出的服務(wù)遷移算法在大規(guī)模機(jī)動(dòng)車軌跡數(shù)據(jù)集驗(yàn)證下表現(xiàn)出良好的穩(wěn)定性，時(shí)間性能優(yōu)化方法在執(zhí)行時(shí)間上取得了5.3%的性能提升。代碼開源地址：https：//github.com/LiuZi-yuan-CS/VECSim。

關(guān)鍵詞：車載邊緣計(jì)算；邊緣計(jì)算仿真；服務(wù)遷移；車聯(lián)網(wǎng)；SUMO

中圖分類號(hào)：P315.69?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號(hào)：1001-3695（2024）05-028-1480-09

doi： 10.19734/j.issn.1001-3695.2023.09.0429

VECSim： improved iFogSim2 modeling and simulation simulator for vehicular edge computing

Abstract：Currently， researchers are focusing on efficient applications and resource scheduling strategies in vehicular edge computing （VEC） environments， however， the real-world validation of these applications and strategies is often limited by cost and time and cannot be performed quickly and efficiently. The emergence of edge/fog computing simulators such as iFogSim2 reduces the cost of experiments. However， the connection switching and resource allocation requirements of high-speed moving vehicles pose challenges to the application of edge/fog computing simulators under VEC. Therefore， this paper improved iFogSim2 by designing VECSim， a VEC environment simulator that supported high-speed mobility. It integrated open-source base station data and constructed vehicle trajectory datasets so that researchers can focus on resource allocation strategies. Firstly， to simplify the experimental steps， this paper improved the mobile trajectory data parsing module and adapted the vehicle trajectory data generated by Simulation of Urban Mobility （SUMO）， a microscopic transportation simulation software. Secondly， this paper modeled distributed applications under VEC based on the distributed data flow model and provided a ser-vice migration benchmark policy algorithm. In addition， VECSim introduced a time-performance optimization method to accele-rate the simulation event processing by parallelizing the operation， which improved the time performance of the simulation tool. Experiments show that compared with similar service migration algorithms in iFogSim2， the proposed service migration algorithm exhibits good stability under the validation of large-scale motor vehicle trajectory dataset， and the time-performance optimization method achieves a 5.3% performance improvement in execution time. Code is available： https：//github.com/LiuZi-yuan-CS/VECSim.

Key words：VEC; edge computing simulation; service migration; IoV; SUMO

0 引言

近年來，車聯(lián)網(wǎng)（Internet of Vehicles， IoV）和多接入邊緣計(jì)算（multi-access edge computing， MEC）緊密融合，催生了一種新的計(jì)算范式——車載邊緣計(jì)算（vehicular edge computing， VEC）。VEC通過促進(jìn)車輛之間的協(xié)作以及車輛與智能交通基礎(chǔ)設(shè)施的交互，如在擁堵的交通環(huán)境中車輛間共享交通信息以共同規(guī)劃最佳路徑以減輕交通堵塞，智能交通基礎(chǔ)設(shè)施可與車輛實(shí)時(shí)通信，向車輛提供路況信息、信號(hào)燈狀態(tài)等數(shù)據(jù)，并同時(shí)從車輛收集信息以改進(jìn)城市交通管理。因此，VEC能夠有效應(yīng)對(duì)因車輛高度機(jī)動(dòng)性所引發(fā)的復(fù)雜實(shí)時(shí)計(jì)算問題［1］。目前，廣泛的研究［2～5］聚焦于VEC環(huán)境中的高效應(yīng)用和資源調(diào)度策略。可擴(kuò)展的邊緣計(jì)算設(shè)備在驗(yàn)證這些策略方面起著關(guān)鍵作用，但高昂的部署成本和復(fù)雜的部署流程給研究人員帶來了一系列挑戰(zhàn)和限制［6］。

隨著邊緣/霧計(jì)算仿真器的出現(xiàn)，降低了研究人員的實(shí)驗(yàn)測(cè)試成本。表1對(duì)近期聚焦于邊緣/霧計(jì)算仿真器的工作進(jìn)行了總結(jié)。YAFS［7］是一個(gè)用于邊緣/霧計(jì)算下的仿真工具，其專注于模擬分布式計(jì)算環(huán)境中的資源分配、任務(wù)調(diào)度和網(wǎng)絡(luò)通信等方面的問題。ECSNeT++［8］是基于OMNeT++［9］/INET［10］的邊緣/霧計(jì)算仿真工具，模擬了分布式流處理（distributed stream processing， DSP）應(yīng)用程序在邊緣/霧計(jì)算環(huán)境中的執(zhí)行過程，并為DSP應(yīng)用程序提供了多種配置。上述兩種仿真工具均不支持終端移動(dòng)。STEP-ONE［11］是對(duì)ONE（Opportuni-stic Networking Environment）仿真器［12］的擴(kuò)展，STEP-ONE繼承了ONE對(duì)移動(dòng)自組織網(wǎng)絡(luò)（mobile Ad hoc network， MANET）和機(jī)會(huì)式網(wǎng)絡(luò)仿真的支持，在此基礎(chǔ)上構(gòu)建了支持移動(dòng)性的邊緣/霧計(jì)算仿真環(huán)境，并對(duì)真實(shí)世界的移動(dòng)軌跡和基站數(shù)據(jù)集進(jìn)行了支持。然而，缺乏移動(dòng)性管理的默認(rèn)策略和模塊化架構(gòu)的系統(tǒng)建模，使得STEP-ONE仍然存在缺陷。此外，上述三種邊緣/霧計(jì)算仿真工具以非CloudSim框架作為核心框架開發(fā)，其存在兼容性和擴(kuò)展性不佳、研究人員的認(rèn)可度不廣的問題［13］。

CloudSim［14］是由墨爾本大學(xué)云計(jì)算與分布式（The Cloud Computing and Distributed Systems， CLOUDS）實(shí)驗(yàn)室開發(fā)面向云計(jì)算環(huán)境流行仿真框架，它基于SimJava［15］離散事件仿真框架編寫。CloudSim雖然是一款常用的云計(jì)算環(huán)境仿真框架，但由于邊緣/霧計(jì)算環(huán)境與云計(jì)算環(huán)境的相似性，在早期沒有邊緣/霧計(jì)算環(huán)境仿真工具時(shí)，CloudSim憑借其良好的擴(kuò)展性和較低的二次開發(fā)成本，成為了邊緣/霧計(jì)算研究人員主要使用的仿真工具。隨著霧計(jì)算興起，CLOUDS實(shí)驗(yàn)室基于CloudSim的核心，提出了用于霧計(jì)算中資源分配、任務(wù)調(diào)度和網(wǎng)絡(luò)通信問題的iFogSim1［16］。iFogSim1引入了多層級(jí)模型，可以模擬多個(gè)層次的計(jì)算節(jié)點(diǎn)，支持虛擬機(jī)和容器的建模，使用戶可以模擬不同級(jí)別的資源虛擬化。iFogSim1還允許模擬固定終端設(shè)備和邊緣節(jié)點(diǎn)之間的實(shí)時(shí)通信和數(shù)據(jù)傳輸，以評(píng)估通信延遲和網(wǎng)絡(luò)擁塞。然而，缺乏移動(dòng)性支持給研究人員在進(jìn)行移動(dòng)場(chǎng)景下的霧計(jì)算仿真評(píng)估帶來了困難。同時(shí)期基于CloudSim提出的EdgeCloudSim［17］，也因?yàn)槿狈σ苿?dòng)性的支持和較簡(jiǎn)單的通信環(huán)境建模而表現(xiàn)不佳。此外，在工作流調(diào)度和霧計(jì)算結(jié)合領(lǐng)域，F(xiàn)ogWorkflowSim［18］利用了WorkflowSim［19］（基于CloudSim專注于云計(jì)算工作流調(diào)度的仿真工具）和iFogSim1對(duì)工作流調(diào)度和霧計(jì)算的計(jì)算優(yōu)勢(shì)，實(shí)現(xiàn)了邊緣/霧計(jì)算環(huán)境下的工作流調(diào)度和優(yōu)化仿真，雖然上述工作推動(dòng)了霧計(jì)算仿真領(lǐng)域的領(lǐng)域，但仍然沒有解決移動(dòng)性支持問題。

盡管iFogSim1等霧計(jì)算仿真工具可以完成邊緣計(jì)算環(huán)境下的仿真需求，但是，移動(dòng)性作為MEC最重要的特性亟待仿真工具的支持。Qayyum等人［20］開發(fā)了FogNetSim++，它基于CloudSim和iFogSim1開發(fā)，提供了開發(fā)定制移動(dòng)模型的終端。但FogNetSim++的移動(dòng)性支持系統(tǒng)與核心仿真引擎耦合過高，因此使用時(shí)需要對(duì)工具進(jìn)行過多的修改。Jha等人［21］提出的基于CloudSim的IoTSim-Edge，設(shè)計(jì)了支持移動(dòng)場(chǎng)景的邊緣/霧計(jì)算仿真工具，針對(duì)交通場(chǎng)景，IoTSim-Edge還提供了一個(gè)在一條高速公路上車輛使用路側(cè)單元節(jié)點(diǎn)（roadside unit，RSU）協(xié)同通信完成自動(dòng)駕駛的示例。然而，缺乏城市場(chǎng)景下的移動(dòng)軌跡數(shù)據(jù)集和模塊化應(yīng)用建模能力，IoTSim-Edge無法大面積構(gòu)建多車移動(dòng)對(duì)VEC環(huán)境的影響?；趇FogSim的MobFogSim［22］擴(kuò)展iFogSim組件的基本功能，以支持霧/邊緣計(jì)算中的車輛終端移動(dòng)。然而，MobFogSim的移動(dòng)支持只停留在處理網(wǎng)關(guān)和云數(shù)據(jù)中心層面，而不是分層的邊緣/霧基礎(chǔ)設(shè)施。IoTNetSim［23］對(duì)iFogSim進(jìn)行了移動(dòng)性擴(kuò)展，可以對(duì)不同的物聯(lián)網(wǎng)設(shè)備及其細(xì)粒度細(xì)節(jié)進(jìn)行建模，還支持物聯(lián)網(wǎng)設(shè)備在三維空間中的移動(dòng)性。然而，它缺乏移動(dòng)服務(wù)遷移的基準(zhǔn)策略。SatEdgeSim［24］則基于iFogSim開發(fā)了面向衛(wèi)星移動(dòng)的邊緣計(jì)算環(huán)境，由于衛(wèi)星場(chǎng)景下衛(wèi)星軌道相對(duì)固定，缺乏自定義的移動(dòng)支持。為了彌補(bǔ)上述工作的不足，iFogSim2在iFogSim和MobFogSim的基礎(chǔ)上，設(shè)計(jì)了分層的MEC計(jì)算的架構(gòu)［25］，引入了自定義的移動(dòng)支持、基于分布式應(yīng)用的服務(wù)遷移基準(zhǔn)算法以及將微服務(wù)概念應(yīng)用于邊緣節(jié)點(diǎn)。此外，數(shù)據(jù)集的稀缺也構(gòu)成了目前VEC仿真中面臨的挑戰(zhàn)，其主要體現(xiàn)在基站數(shù)據(jù)集和微觀交通數(shù)據(jù)的稀疏性。在基站數(shù)據(jù)集方面，目前，存在一些常見的數(shù)據(jù)集，如EUA數(shù)據(jù)集［26］、上海電信數(shù)據(jù)集［27，28］等。它們?cè)谝欢ǔ潭壬咸钛a(bǔ)了基站數(shù)據(jù)集的稀疏性。在微觀交通數(shù)據(jù)集方面，主要的解決方案是利用微觀仿真交通軟件Simulation of Urban Mobility （SUMO）［29］來獲取微觀交通數(shù)據(jù)。SUMO是一款開源、微觀、空間連續(xù)和時(shí)間離散的微觀交通流仿真平臺(tái)。它可以用來模擬大規(guī)模道路網(wǎng)絡(luò)上的微觀交通流，支持對(duì)不同路網(wǎng)數(shù)據(jù)源文件的解析、不同輸入方式下的車輛路由生成，以及對(duì)整個(gè)城市交通流量的高性能模擬。

目前，VEC環(huán)境下仿真仍然面臨如下問題：

a）高速移動(dòng)車輛引起的連接切換和資源分配的模擬需求。

b）由于數(shù)據(jù)隱私性，車輛軌跡數(shù)據(jù)和基站部署數(shù)據(jù)的缺乏限制了仿真實(shí)驗(yàn)。

c）缺乏適用于大規(guī)模移動(dòng)軌跡數(shù)據(jù)下的服務(wù)遷移算法。

本工作以iFogSim系列仿真工具的流行度和擴(kuò)展性為考量，針對(duì)iFogSim2［30］在VEC場(chǎng)景下的仿真存在節(jié)點(diǎn)資源分配方案不合理，移動(dòng)數(shù)據(jù)解析加載支持不完善，分布式服務(wù)遷移算法不適用。因此，本文工作對(duì)iFogSim2仿真器進(jìn)行了改進(jìn)，設(shè)計(jì)了面向車載邊緣計(jì)算的建模與仿真模擬工具VECSim。VECSim通過模塊的擴(kuò)展、修改和引入，實(shí)現(xiàn)了高速移動(dòng)車輛引起的連接切換和資源分配的響應(yīng)。VEC在繼承了iFogSim2對(duì)開源基站部署數(shù)據(jù)集成的基礎(chǔ)上，還對(duì)現(xiàn)實(shí)世界微觀交通數(shù)據(jù)的收集和采樣，并使用微觀交通仿真軟件SUMO［29］構(gòu)建了車輛軌跡數(shù)據(jù)集。這些數(shù)據(jù)集的整合有助于減輕VEC仿真實(shí)驗(yàn)的限制，使研究人員能夠更專注于VEC下的資源分配和調(diào)度策略研究。此外，為了更方便地接收由SUMO仿真輸出的浮動(dòng)車數(shù)據(jù)（floating car data，F(xiàn)CD），VECSim中的數(shù)據(jù)解析模塊提供了對(duì)SUMO生成的浮動(dòng)車軌跡數(shù)據(jù)的適配和解析支持，進(jìn)一步簡(jiǎn)化了研究人員的實(shí)驗(yàn)流程。VECSim采用了基于分布式數(shù)據(jù)流（distributed data flow， DDF）模型［31］對(duì)VEC環(huán)境下常見的分布式應(yīng)用進(jìn)行建模。針對(duì)VEC場(chǎng)景中分布式應(yīng)用的服務(wù)遷移問題，VECSim提供了相應(yīng)的基準(zhǔn)策略算法。通過使用集成的基站數(shù)據(jù)和車輛軌跡數(shù)據(jù)，將該算法與iFogSim2中提供的同類型的基準(zhǔn)算法進(jìn)行了比較。研究結(jié)果顯示，VECSim中提供的服務(wù)遷移基準(zhǔn)算法在大規(guī)模車輛軌跡數(shù)據(jù)集的驗(yàn)證下表現(xiàn)出了良好的穩(wěn)定性。此外，對(duì)于CloudSim核心框架在處理仿真事件時(shí)的效率問題，VECSim引入了一種時(shí)間性能優(yōu)化方法，通過設(shè)計(jì)FutureManager類實(shí)現(xiàn)了對(duì)Future隊(duì)列的并行化操作，加速了仿真事件的處理，從而提高了仿真工具的時(shí)間性能。實(shí)驗(yàn)證明，時(shí)間性能優(yōu)化方案使得VECSim仿真執(zhí)行時(shí)間減少了5.3%。

1 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

針對(duì)目前iFogSim2不適合VEC環(huán)境下仿真的問題（即資源分配問題、數(shù)據(jù)解析問題和服務(wù)遷移問題），接下來將對(duì)引言中提到的iFogSim2在VEC環(huán)境下仿真的功能問題進(jìn)行詳細(xì)解釋并給出解決方案。VECSim的整體架構(gòu)如圖1所示。彩色部分表示對(duì)iFogSim2中的組件的擴(kuò)展與修改。

a）資源分配問題：iFogSim2仿真下的計(jì)算節(jié)點(diǎn)的資源分配策略是在仿真初始化階段，將所有車輛在仿真期間所需要占據(jù)的計(jì)算節(jié)點(diǎn)資源全部進(jìn)行分配，這導(dǎo)致了實(shí)際上還未開始仿真的車輛擠占了正在仿真車輛所需的計(jì)算節(jié)點(diǎn)資源，這一情況的出現(xiàn)導(dǎo)致了仿真與現(xiàn)實(shí)世界的事件發(fā)生流程，其次，這會(huì)導(dǎo)致用戶錯(cuò)誤地認(rèn)為在仿真過程中節(jié)點(diǎn)的資源已被耗盡，他們會(huì)修改節(jié)點(diǎn)的資源初始化參數(shù)，以確保這些節(jié)點(diǎn)在遷移模塊時(shí)有足夠的資源使用，而不考慮策略本身的問題。解決方案：（a）需要對(duì)齊CloudSim底層的時(shí)間片與數(shù)據(jù)集中的軌跡時(shí)間戳；（b）按照數(shù)據(jù)集中每臺(tái)車輛開始仿真的時(shí)間為其分配計(jì)算節(jié)點(diǎn)資源。

b）數(shù)據(jù)解析問題：iFogSim2中的移動(dòng)數(shù)據(jù)加載實(shí)現(xiàn)為一次性加載，數(shù)據(jù)載入后，會(huì)將這些數(shù)據(jù)交由核心模塊處理。然而，在初始化階段將移動(dòng)數(shù)據(jù)一次性加載會(huì)出現(xiàn)數(shù)據(jù)量過大導(dǎo)致底層的事件隊(duì)列排序時(shí)間過長(zhǎng)，這是因?yàn)橐淮涡约虞d的移動(dòng)數(shù)據(jù)需要按照時(shí)間戳進(jìn)行排序，以確保事件按正確的時(shí)間順序被處理。隨著數(shù)據(jù)量的增加，排序所需的時(shí)間也會(huì)相應(yīng)增加，從而影響了系統(tǒng)的初始化速度。其次，在硬件配置較低的設(shè)備上，一次性加載大量數(shù)據(jù)可能會(huì)導(dǎo)致內(nèi)存溢出問題。這是因?yàn)樵O(shè)備的內(nèi)存資源有限，無法容納所有的移動(dòng)數(shù)據(jù)。當(dāng)內(nèi)存不足時(shí)，系統(tǒng)會(huì)崩潰或性能嚴(yán)重下降，從而影響用戶的使用體驗(yàn)。此外，缺乏對(duì)SUMO輸出的FCD適配，使用SUMO仿真的車輛軌跡數(shù)據(jù)需要二次處理。解決方案：（a）實(shí)現(xiàn)移動(dòng)數(shù)據(jù)解析的懶加載；（b）構(gòu)建適配SUMO仿真輸出數(shù)據(jù)格式的組件。

c）服務(wù)遷移問題：iFogSim2中的服務(wù)遷移算法實(shí)現(xiàn)不適用VEC環(huán)境仿真，具體表現(xiàn)在服務(wù)遷移過程中，其并未區(qū)分服務(wù)實(shí)例與車輛的從屬關(guān)系，這導(dǎo)致在服務(wù)遷移過程中對(duì)車輛所屬的服務(wù)實(shí)例操作混亂，最終導(dǎo)致了仿真的計(jì)算結(jié)果錯(cuò)誤。此外車輛仿真生命周期結(jié)束后，CloudSim核心沒有及時(shí)停止對(duì)仿真結(jié)束車輛的仿真事件輪詢，導(dǎo)致不必要的運(yùn)行開銷。解決方案：（a）明確服務(wù)實(shí)例和車載應(yīng)用的對(duì)應(yīng)關(guān)系；（b）及時(shí)分配和回收服務(wù)實(shí)例所占據(jù)的計(jì)算節(jié)點(diǎn)資源；（c）每臺(tái)車輛仿真結(jié)束后，CloudSim核心及時(shí)停止對(duì)結(jié)束仿真車輛的仿真事件輪詢，降低仿真開銷。

本章還將介紹和使用EUA數(shù)據(jù)集［26］和墨爾本市政府提供的2014—2017年的墨爾本市主干道車流統(tǒng)計(jì)數(shù)據(jù)（https：//data.melbourne.vic.gov.au/explore/dataset/traffic-count-vehicle-classification-2014-2017/information/）在通過數(shù)據(jù)處理后構(gòu)建的車輛軌跡數(shù)據(jù)為例構(gòu)建了墨爾本市中心商務(wù)區(qū)的VEC場(chǎng)景，以補(bǔ)充VECSim的設(shè)計(jì)實(shí)現(xiàn)。

1.1 數(shù)據(jù)集介紹

1.1.1 EUA數(shù)據(jù)集

EUA數(shù)據(jù)集收集了來自澳大利亞墨爾本市和悉尼市CBD區(qū)域的基站信息，包含了基站標(biāo)識(shí)、緯度、經(jīng)度、許可區(qū)域、郵政編碼。該數(shù)據(jù)集來源于澳大利亞通信及傳媒管理局?；究梢暬瘮?shù)據(jù)如圖2（a）所示（見電子版）。

1.1.2 車輛軌跡數(shù)據(jù)集

車輛軌跡數(shù)據(jù)集是從墨爾本市政府提供的一組真實(shí)世界的交通數(shù)據(jù)中提取的。這組真實(shí)世界的交通數(shù)據(jù)記錄了2014—2017年墨爾本市道路每小時(shí)通行的汽車數(shù)量，并根據(jù)車輛類別分為13類。

基于墨爾本市政府的統(tǒng)計(jì)數(shù)據(jù)，本文以來自墨爾本市CBD區(qū)域主干道的數(shù)據(jù)為基準(zhǔn)，配合采集來自O(shè)penStreetMap［32］的路網(wǎng)地圖，使用SUMO仿真收集了時(shí)長(zhǎng)為7天的墨爾本市CBD區(qū)域的私家車軌跡數(shù)據(jù)，圖2（b）是隨機(jī)選取車輛軌跡數(shù)據(jù)集中的5條軌跡切片的可視化，數(shù)據(jù)處理流程如圖3所示。

1.2 場(chǎng)景構(gòu)建

基于上述兩個(gè)數(shù)據(jù)集，本文構(gòu)建一個(gè)常見的VEC場(chǎng)景來闡述VECSim的設(shè)計(jì)與實(shí)現(xiàn)。使用三層式架構(gòu)將區(qū)域內(nèi)部的基礎(chǔ)設(shè)施分為“控制器層（云層）-固定層（邊緣層）-車輛層”［33］，其中EUA數(shù)據(jù)集用于標(biāo)注邊緣層基站位置并根據(jù)基站的地理分布劃分為12個(gè)區(qū)域，其中每個(gè)區(qū)域內(nèi)部有一個(gè)代理節(jié)點(diǎn)作為區(qū)域內(nèi)的通信節(jié)點(diǎn)負(fù)責(zé)與上層的云中心節(jié)點(diǎn)進(jìn)行通信，區(qū)域內(nèi)部的網(wǎng)關(guān)節(jié)點(diǎn)與代理節(jié)點(diǎn)直連，同時(shí)，網(wǎng)關(guān)節(jié)點(diǎn)也會(huì)與通信范圍內(nèi)行駛的車輛（由車輛軌跡數(shù)據(jù)集驅(qū)動(dòng)）進(jìn)行連接，以保證車載任務(wù)和通信能夠在區(qū)域內(nèi)不間斷執(zhí)行?；镜膭澐秩鐖D2（c）所示，其中藍(lán)色節(jié)點(diǎn)表示區(qū)域內(nèi)代理節(jié)點(diǎn)，網(wǎng)關(guān)節(jié)點(diǎn)用紅色表示（見電子版）。

1.3 核心模塊

VECSim繼承了CloudSim的核心模塊，核心模塊的物理邏輯來自于SimJava框架對(duì)于離散事件仿真的建模，其包括以下三個(gè)方面：

a）事件定義：描述系統(tǒng)中發(fā)生的事件類型，包括事件的觸發(fā)條件和處理行為。

b）模擬實(shí)體：表示仿真系統(tǒng)中的各種實(shí)體或代理，這些實(shí)體會(huì)根據(jù)特定的規(guī)則參與事件和過程。

c）交互過程：描述實(shí)體之間的相互作用、消息傳遞、狀態(tài)變化等，通常通過事件來觸發(fā)。

在核心模塊中，使用了三個(gè)執(zhí)行單元類（即SimEntity、SimEvent和VM）以及兩個(gè)事件隊(duì)列類（即Future和Deferred）來對(duì)上述物理邏輯進(jìn)行業(yè)務(wù)邏輯的表達(dá)。SimEntity類是所有物理設(shè)備的父類，它作為執(zhí)行單元的主體元素，在每個(gè)時(shí)間片下執(zhí)行其相關(guān)的SimEvent所表示的仿真事件。在執(zhí)行SimEvent所對(duì)應(yīng)的事件時(shí)，來自SimEvent對(duì)象派生的任務(wù)或資源分配單元的VM類將占用相應(yīng)SimEntity對(duì)象所擁有的資源，同時(shí)SimEvent對(duì)象可能在這次事件執(zhí)行過程中派生新的SimEvent對(duì)象。因此，核心還存在兩個(gè)SimEvent隊(duì)列（為了保證操作效率，其本質(zhì)是基于紅黑樹的有序集合）：Future和Deferred，用于確保事件的執(zhí)行時(shí)間順序正確。圖4展示了一次時(shí)間片下SimEntity執(zhí)行事件的過程。

其主要流程如下：

a）Future隊(duì)列將隊(duì)列中執(zhí)行時(shí)間為當(dāng)前時(shí)間片的事件（SimEvent實(shí)例）發(fā)送給Deferred隊(duì)列管理，并將這些已發(fā)送的事件在隊(duì)列中刪除。

b）Deferred隊(duì)列在接收到來自Future隊(duì)列分發(fā)的事件后，將這些事件依次發(fā)送給所屬執(zhí)行SimEntity實(shí)例。

c）SimEntity收到來在Deferred隊(duì)列分發(fā)事件后，CloudSim依照SimEntity的編號(hào)順序依次驅(qū)動(dòng)所有的SimEntity實(shí)例執(zhí)行屬于其自身的待執(zhí)行事件。

d）SimEntity在執(zhí)行事件時(shí)，首先會(huì)判斷該事件是否與其他SimEntity實(shí)例發(fā)生了交互，若發(fā)生交互，則先執(zhí)行交互事件，反之，判斷是否發(fā)生了任務(wù)派生。

e）SimEntity將判斷執(zhí)行的SimEvent事件是否觸發(fā)任務(wù)派生（任務(wù)派生是一種特殊的交互事件，該事件在SimEntity之間發(fā)生，任務(wù)的承載單元為VM實(shí)例），若觸發(fā)，接收任務(wù)的SimEntity則執(zhí)行相應(yīng)任務(wù)資源分配請(qǐng)求。

f）SimEntity將判斷執(zhí)行的SimEvent事件是否會(huì)派生新的SimEvent事件。如果派生新的事件，則依據(jù)派生事件的執(zhí)行時(shí)間選擇交由Future隊(duì)列或Deferred隊(duì)列管理，并最終完成一次時(shí)間片下的事件仿真。

VECSim的核心模塊中除了基于CloudSim框架的iFog-Sim2的核心外，本工作擴(kuò)展設(shè)計(jì)了Subject和Observer接口。這兩個(gè)接口可以實(shí)現(xiàn)時(shí)間片監(jiān)控邏輯，對(duì)現(xiàn)實(shí)世界事件的發(fā)生進(jìn)行補(bǔ)充建模。由于在現(xiàn)實(shí)世界中，絕大多數(shù)車輛只會(huì)在駕駛階段或需要服務(wù)時(shí)請(qǐng)求訪問在線服務(wù)，在車輛熄火后或者駕駛員和乘員不需要服務(wù)支持時(shí)，保持車載服務(wù)在線是不合理的。然而，在iFogSim2仿真流程中，其分布式應(yīng)用的模塊分配策略在仿真初始化階段就執(zhí)行了所有的任務(wù)派生事件，這使得本該在其他時(shí)間片下執(zhí)行的VM對(duì)象（資源或任務(wù)）在初始化階段就已經(jīng)被分配給了對(duì)應(yīng)的SimEntity，這顯然是不合理的。為了實(shí)現(xiàn)上述邏輯，就需要監(jiān)控CloudSim中的時(shí)間片變量，通過將當(dāng)前時(shí)間片與車輛運(yùn)動(dòng)軌跡數(shù)據(jù)集中的時(shí)間戳進(jìn)行比較以確認(rèn)車載服務(wù)是否需要離線或確定車輛是否已駛離區(qū)域服務(wù)區(qū)（圖2（c）中灰色遮罩區(qū)域）。然而，經(jīng)過多次迭代后的CloudSim核心功能的耦合度較高。直接修改CloudSim核心代碼不符合開放-封閉原則［34］。此外，考慮到VECSim的可擴(kuò)展性，VECSim引入觀察者模式，設(shè)計(jì)了Subject和Observer接口。實(shí)現(xiàn)了對(duì)時(shí)間片變量的監(jiān)控，通過這種方式從底層以較少的侵入內(nèi)容實(shí)現(xiàn)了資源分配問題中的解決方案。如果想要更細(xì)的細(xì)粒度變量監(jiān)控或捕獲某些變量的狀態(tài)，只需實(shí)現(xiàn)上述接口，而不會(huì)破壞CloudSim的核心功能。

1.4 物理設(shè)備

物理設(shè)備模塊用于模擬真實(shí)世界的物理設(shè)備以及分布式數(shù)據(jù)流的傳輸。在VEC的三層式架構(gòu)中，包括“控制器層（云層）-固定層（邊緣層）-車輛層”，不同類型的節(jié)點(diǎn)都被FogDevice所統(tǒng)一表示。對(duì)于車輛層，VECSim進(jìn)行了高度的抽象，使用FogDevice來表征車輛在VEC環(huán)境中的特性，并將移動(dòng)控制規(guī)劃交由移動(dòng)管理模塊和控制器模塊來控制。而終端上的傳感器和執(zhí)行器則分別通過Sensor和Actuator類進(jìn)行表示。Tuple類則用于表示傳感器-設(shè)備、設(shè)備-設(shè)備和執(zhí)行器-設(shè)備之間的數(shù)據(jù)包傳輸。

此外，VECSim擴(kuò)展了原始的物理設(shè)備類方法。對(duì)于FogDevice、Sensor和Actuator類，重寫了shutdownEntity方法，結(jié)合2.3節(jié)中CloudSim核心的時(shí)間片監(jiān)控方案，以確保當(dāng)設(shè)備不再需要進(jìn)行仿真時(shí)底層核心會(huì)將其置為未激活狀態(tài)。在輪詢每一個(gè)實(shí)體時(shí)，底層會(huì)跳過未激活狀態(tài)的實(shí)體，這一方法與原有的在仿真結(jié)束時(shí)一次性停止所有實(shí)體設(shè)備模擬的邏輯相比，不僅更符合實(shí)際運(yùn)行邏輯，還減少了每個(gè)時(shí)間片下不必要的仿真開銷。此外，還對(duì)這三個(gè)類中的VM對(duì)象的分配和回收方法進(jìn)行了相應(yīng)的補(bǔ)充和校正，以確保在仿真過程中的流程正確性。

1.5 分布式應(yīng)用

隨著邊緣/霧計(jì)算的興起，分布式應(yīng)用程序已經(jīng)成為了一個(gè)關(guān)鍵組成部分。這些分布式應(yīng)用程序不僅能夠以有向圖的形式表示數(shù)據(jù)傳輸關(guān)系，還可以作為資源分配策略、服務(wù)遷移策略和任務(wù)卸載策略的載體［13］。由于VEC中的服務(wù)和計(jì)算任務(wù)具有較強(qiáng)的分布式特征，而車載智能應(yīng)用也以分布式應(yīng)用的形式不斷發(fā)展，所以，VECSim繼承了iFogSim2中的分布式應(yīng)用模型架構(gòu)，這使得它能夠輕松測(cè)試各種策略以評(píng)估性能。在分布式應(yīng)用模塊中，Application被視為分布式應(yīng)用，而AppModule則繼承自VM類，不僅表示應(yīng)用服務(wù)中不同功能的模塊，還表示了該模塊在物理設(shè)備上所需的資源占用情況。此外，AppEdge用于表示數(shù)據(jù)在AppModule之間的數(shù)據(jù)傳輸流向和數(shù)據(jù)大小，它包括了一個(gè)Tuple對(duì)象，并記錄了發(fā)送AppModule和接收AppModule的信息。分布式應(yīng)用模塊提供了相應(yīng)的接口和實(shí)現(xiàn)以輔助用戶設(shè)計(jì)和創(chuàng)建具體仿真的應(yīng)用，一旦創(chuàng)建成功，這些應(yīng)用將由Controller進(jìn)行統(tǒng)一管理，這種分布式應(yīng)用程序的建模方法為VE仿真提供了靈活性和可擴(kuò)展性。

1.6 移動(dòng)數(shù)據(jù)解析和管理

微觀交通中個(gè)體車輛軌跡的隱私性和敏感性導(dǎo)致車輛移動(dòng)軌跡數(shù)據(jù)在VEC環(huán)境仿真中的稀缺性。因此，VECSim利用SUMO構(gòu)建了符合真實(shí)交通場(chǎng)景的車輛移動(dòng)軌跡數(shù)據(jù)，以推動(dòng)VEC仿真的進(jìn)行。其輸出的FCD可以記錄每個(gè)時(shí)間戳下正在執(zhí)行交通仿真車輛的軌跡信息。為了在VECSim中有效使用FCD數(shù)據(jù)，VECSim構(gòu)建了數(shù)據(jù)解析模塊DataParser，它將SUMO仿真輸出的FCD數(shù)據(jù)按照車輛唯一編號(hào)解析成獨(dú)立的CSV格式文件。此外，為了與CloudSim框架核心仿真機(jī)制相適配，VECSim還設(shè)計(jì)了RealTimeLocation類，每個(gè)RealTime-Location實(shí)例代表某一臺(tái)車輛在某個(gè)時(shí)間步下的坐標(biāo)信息，并以隊(duì)列的形式存儲(chǔ)一組RealTimeLocation實(shí)例，以記錄單臺(tái)車輛的移動(dòng)數(shù)據(jù)。

然而，處理大規(guī)模高采樣頻率和高速度的車輛移動(dòng)軌跡數(shù)據(jù)時(shí)，采用全加載模式會(huì)導(dǎo)致底層事件隊(duì)列排序時(shí)間過長(zhǎng)和內(nèi)存溢出問題。因此，VECSim對(duì)DataParser組件進(jìn)行了擴(kuò)展，實(shí)現(xiàn)了移動(dòng)數(shù)據(jù)的懶加載，即只有在需要使用車輛的移動(dòng)軌跡數(shù)據(jù)時(shí)才執(zhí)行數(shù)據(jù)加載操作。DataParser通過讀取每臺(tái)車輛的開始仿真時(shí)間和結(jié)束仿真時(shí)間，并以哈希表的形式存儲(chǔ)車輛生命周期以進(jìn)行預(yù)處理操作。當(dāng)時(shí)間片輪轉(zhuǎn)到某臺(tái)車輛的生命周期時(shí)，通過懶加載形式完整讀取該車輛的移動(dòng)數(shù)據(jù)，將其轉(zhuǎn)換為一個(gè)RealTimeLocation實(shí)例隊(duì)列，并向CloudSim核心發(fā)送包含了RealTimeLocation實(shí)例隊(duì)列中第一個(gè)RealTimeLocation實(shí)例的移動(dòng)管理事件。然后將這一隊(duì)列打包交由Controller管理和控制，在移動(dòng)事件需要執(zhí)行時(shí)再向事件隊(duì)列進(jìn)行發(fā)送，以減少底層事件隊(duì)列的排序時(shí)間。

1.7 控制與策略

車輛的高移動(dòng)性會(huì)影響網(wǎng)關(guān)節(jié)點(diǎn)的計(jì)算效率，尤其是在頻繁切換接入節(jié)點(diǎn)時(shí)，導(dǎo)致網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)頻繁變化。這就要求應(yīng)用程序服務(wù)從一個(gè)計(jì)算節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)，以確保服務(wù)質(zhì)量。服務(wù)遷移操作取決于以下三個(gè)方面。

a）車輛的位置。

b）車輛移動(dòng)軌跡表或車輛移動(dòng)的速度和方向，用于計(jì)劃或預(yù)測(cè)下一個(gè)遷移節(jié)點(diǎn)。

c）更好的遷移算法來計(jì)算最佳遷移路徑，減少遷移時(shí)間和延遲。

為了解決VEC環(huán)境下常見的服務(wù)遷移問題，在控制與策略模塊中，設(shè)計(jì)了分布式應(yīng)用模塊部署策略，以及移動(dòng)性的服務(wù)遷移算法，Controller類實(shí)現(xiàn)了Observer接口來監(jiān)控模擬時(shí)間片，因此當(dāng)模擬時(shí)間片運(yùn)行到每臺(tái)車輛的模擬時(shí)間開始的前一個(gè)時(shí)間片時(shí)，Controller類將從CloudSim核心中收到通知，從DataParser提供的2個(gè)關(guān)于車輛的生命周期表中找到需要啟動(dòng)的車輛。同樣，當(dāng)模擬時(shí)間片運(yùn)行到每臺(tái)車輛的模擬時(shí)間結(jié)束的后一個(gè)時(shí)間片時(shí)，Controller也會(huì)停止需要仿真的車輛。由于這兩個(gè)表由哈希表組成，所以查找效率為O（1），這減少了在模擬中尋找等待啟動(dòng)或銷毀的車輛所需的時(shí)間。每次車輛啟動(dòng)后，Policy類將為車輛的分布式應(yīng)用模塊進(jìn)行部署，模塊部署策略在算法1中描述。

模塊部署策略確保了每個(gè)分布式應(yīng)用模塊的正確部署，并且每個(gè)車輛設(shè)備上的分布式應(yīng)用模塊記錄也將為后續(xù)由于車輛移動(dòng)而進(jìn)行的模塊遷移提供唯一記錄和上下文關(guān)系。模塊部署策略需要啟動(dòng)的模擬車輛名稱列表Vn作為輸入?yún)?shù)。分布式應(yīng)用模塊部署過程如下（為了方便表示，算法1使用Java中面向?qū)ο蟮乃枷脒M(jìn)行展示）：

算法1 分布式應(yīng)用模塊部署策略

初始化：在執(zhí)行開始，需要重置上一次運(yùn)行該流程時(shí)使用的中間參數(shù)（第1行）。然后，執(zhí)行g(shù)etLeafToRootPaths方法計(jì)算每輛車到云節(jié)點(diǎn)的多跳通信鏈路，并用P記錄（第2行）。

模塊預(yù)分配：在這個(gè)階段，它將遍歷P中的每個(gè)多跳通信鏈路p，然后，分布式應(yīng)用程序模塊將在p中的不同設(shè)備上進(jìn)行分配（第3～5行）。模塊部署規(guī)則是根據(jù)設(shè)備是否具有相應(yīng)的承載能力放在車輛、網(wǎng)關(guān)節(jié)點(diǎn)、代理節(jié)點(diǎn)和云節(jié)點(diǎn)上。

模塊部署：上一階段分配的模塊將在該階段生成模塊實(shí)例，并將其放置在相應(yīng)的物理設(shè)備上。遍歷P中的每一個(gè)多跳通信鏈路p，vid記錄每個(gè)多跳通信鏈路p中的車輛唯一標(biāo)識(shí)（第7行）。為了獲得模組和設(shè)備之間的對(duì)應(yīng)關(guān)系，還需要迭代p和在預(yù)分配階段分配給did（多跳通信鏈路p上迭代的節(jié)點(diǎn)標(biāo)識(shí)）的模組列表M（第9行）。接下來，為設(shè)備did部署模塊模組實(shí)例并記錄模組實(shí)例和部署設(shè)備的映射關(guān)系（第11、12行）。最后，記錄每個(gè)車輛的分布式應(yīng)用程序模塊的部署關(guān)系（第15行）。

算法分析：分布式應(yīng)用模塊部署策略的主要計(jì)算操作時(shí)間集中在第6～16行，因此三個(gè)循環(huán)嵌套帶來O（P×p×M）的時(shí)間代價(jià)，其中P與當(dāng)前時(shí)間片下需要啟動(dòng)仿真的車輛數(shù)相關(guān)，p與區(qū)域內(nèi)的節(jié)點(diǎn)層數(shù)相關(guān)，M與分布式應(yīng)用模組的數(shù)量相關(guān)，因此具有多項(xiàng)式復(fù)雜度。

當(dāng)車輛開始仿真，車輛移動(dòng)驅(qū)使車輛不斷切換與其連接的網(wǎng)關(guān)節(jié)點(diǎn)，產(chǎn)生了服務(wù)遷移需求，通過移動(dòng)管理和服務(wù)遷移算法選擇最佳的接入網(wǎng)關(guān)節(jié)點(diǎn)以獲得最佳延遲代價(jià)并保證服務(wù)質(zhì)量。在每次節(jié)點(diǎn)切換時(shí)，需要將分布式應(yīng)用模塊從原網(wǎng)關(guān)節(jié)點(diǎn)（遷出節(jié)點(diǎn)）遷移到新網(wǎng)關(guān)節(jié)點(diǎn)（遷入節(jié)點(diǎn)）這也意味著需要釋放遷移節(jié)點(diǎn)中分布式應(yīng)用模塊占用的資源，并將遷移節(jié)點(diǎn)的資源分配給即將到來的分布式應(yīng)用模塊。Controller類中的移動(dòng)管理和服務(wù)遷移算法實(shí)現(xiàn)了車輛在移動(dòng)過程中切換網(wǎng)關(guān)節(jié)點(diǎn)和遷移模塊的過程。該程序以車輛m和SimEvent觸發(fā)的時(shí)間戳t為輸入?yún)?shù)（第1行），其流程如下（為了方便表示，算法2使用Java中面向?qū)ο蟮乃枷脒M(jìn)行展示）。

初始化：在該階段，算法2執(zhí)行了移動(dòng)管理必要的初始化。LH和DP包含移動(dòng)管理所需的必要計(jì)算函數(shù)，并且存儲(chǔ)車輛移動(dòng)軌跡的數(shù)據(jù)（第1、2行）。RF是一個(gè)參考對(duì)象，包含用于數(shù)據(jù)讀取和移動(dòng)管理的靜態(tài)參數(shù)（第3行）。nextRTL是m的下一時(shí)間步下的軌跡數(shù)據(jù)，當(dāng)模擬時(shí)間片切換時(shí)，DP會(huì)自動(dòng)讀取該數(shù)據(jù)（第5行）。P是上文提到的分布式應(yīng)用模塊部署策略，它記錄模塊實(shí)例和部署設(shè)備之間的映射關(guān)系，以確保移動(dòng)管理前后的數(shù)據(jù)一致性，并避免模擬中出現(xiàn)異常（第5行）。pold和G記錄當(dāng)前m接入的網(wǎng)關(guān)節(jié)點(diǎn)（遷出節(jié)點(diǎn)）和所有網(wǎng)關(guān)節(jié)點(diǎn)的列表（第6、7行）。Dprev是上一次移動(dòng)時(shí)m與pold之間的距離，該距離用于幫助m找到新接入的網(wǎng)關(guān)節(jié)點(diǎn)（遷入節(jié)點(diǎn)）（第8行）。

尋找遷入節(jié)點(diǎn)：算法初始化后，由于m的本次移動(dòng)，需要開始尋找連接到m的遷入節(jié)點(diǎn)pnew。對(duì)G進(jìn)行迭代以計(jì)算連接到每個(gè)網(wǎng)關(guān)和車輛的距離d（第9、10行）。將d與Dprev和網(wǎng)關(guān)節(jié)點(diǎn)的通信范圍（為了簡(jiǎn)便計(jì)算，所有的網(wǎng)關(guān)節(jié)點(diǎn)的通信范圍是相等的）進(jìn)行比較，以尋找遷入節(jié)點(diǎn)pnew（第11～15行）。

模塊遷移：如果pold≠pnew，則意味著應(yīng)該執(zhí)行模塊遷移。首先，找到部署在pold上且屬于m的分布式應(yīng)用程序模塊列表Lmi（第17行）。然后，確定pold和pnew之間的傳輸路徑。它將找到一個(gè)直接或間接連接pold和pnew的公共節(jié)點(diǎn)a（第18行），從pold到a和a到pnew的多跳通信鏈路構(gòu)建了應(yīng)用模塊的遷移路徑。最后，迭代Lmi，pold發(fā)送需要遷移的應(yīng)用模塊并釋放占用的資源，pnew則接收pold發(fā)送的應(yīng)用模塊并為其分配計(jì)算資源。同時(shí)，內(nèi)置函數(shù)將計(jì)算并記錄此次遷移成本（第19～22行）。

更新狀態(tài)：應(yīng)用模塊遷移后，m接入到pnew（第23行）。

通知模擬引擎：經(jīng)過以上4個(gè)階段，這次m的移動(dòng)性管理已經(jīng)基本完成。如果車輛存在下一次的移動(dòng)，將nextRTL和事件類別Tag以事件形式發(fā)送給底層引擎，以建立m的下一次移動(dòng)管理和服務(wù)遷移（第26行）。

算法2 移動(dòng)管理和服務(wù)遷移算法

算法分析：算法2是VECSim中移動(dòng)管理和服務(wù)遷移算法。與iFogSim2中的同類算法相比，算法2解決了節(jié)點(diǎn)分配給遷出模塊的資源沒有釋放的問題，在iFogSim2中由于遷出模塊的資源沒有釋放，并且隨著模擬的進(jìn)行，來自其他車輛的分布式應(yīng)用模塊可能將繼續(xù)遷入到同一節(jié)點(diǎn)中并占用資源。然而，節(jié)點(diǎn)未能釋放遷出模塊占用的資源，最終會(huì)導(dǎo)致節(jié)點(diǎn)沒有可用資源分配的情況。通過完善服務(wù)實(shí)例和車載應(yīng)用的對(duì)應(yīng)關(guān)系，在車輛移動(dòng)而產(chǎn)生的服務(wù)遷移時(shí)及時(shí)分配和回收服務(wù)實(shí)例所占據(jù)的計(jì)算節(jié)點(diǎn)資源，算法2有效解決了上述問題。算法2的第9～15行，存在O（G）次迭代，其中G表示所有網(wǎng)關(guān)節(jié)點(diǎn)數(shù)量。對(duì)于尋找公共節(jié)點(diǎn)a的第18行，本質(zhì)是在查找兩個(gè)葉子節(jié)點(diǎn)的最近共同祖先，因此，時(shí)間代價(jià)為O（|Paold|+|Panew|），其含義是從Pold到a的多跳通信鏈路（表示為|Paold|）和從Pnew到a的多跳通信鏈路（表示為|Panew|）距離之和。對(duì)于第19行需要遷移的模塊迭代，其消耗是O（Lmi），Lmi是待遷移模塊列表。由此可以得出，算法2以多項(xiàng)式時(shí)間代價(jià)執(zhí)行移動(dòng)管理和服務(wù)遷移算法。

2 仿真時(shí)間性能優(yōu)化

2.1 仿真性能限制分析

在第1.3節(jié)中，已經(jīng)詳細(xì)闡述了CloudSim核心框架如何使用Future和Deferred隊(duì)列來確保仿真事件的順序執(zhí)行。然而，這種控制流程對(duì)于仿真的時(shí)間性能并不是十分友好。在執(zhí)行過程中，F(xiàn)uture隊(duì)列需要頻繁執(zhí)行刪除操作，即刪除已經(jīng)分發(fā)給Deferred隊(duì)列的SimEvent實(shí)例，并且需要插入執(zhí)行時(shí)間不在當(dāng)前時(shí)間片下的派生事件SimEvent實(shí)例。盡管，紅黑樹結(jié)構(gòu)已經(jīng)將對(duì)樹插入、刪除操作的時(shí)間復(fù)雜度控制在O（log n），然而，大量的插入和刪除操作所帶來的時(shí)間代價(jià)極為龐大。此外，CloudSim的仿真流程是串行的，這意味著必須等待大量的刪除和插入操作完成后，仿真才會(huì)繼續(xù)進(jìn)行。根據(jù)實(shí)際觀察和流程分析，在一次時(shí)間片下的仿真過程中，大約有80%的派生事件都需要被插入到Future隊(duì)列中。值得注意的是，派生事件插入Future隊(duì)列的這一過程并不會(huì)影響一次時(shí)間片下仿真的順序執(zhí)行。這在一定程度上對(duì)仿真執(zhí)行效率產(chǎn)生了一定的影響。

2.2 時(shí)間性能優(yōu)化設(shè)計(jì)

為了提高仿真的時(shí)間性能，VECSim設(shè)計(jì)了一種時(shí)間性能優(yōu)化方法，在核心模塊中引入了FutureManager。這一改進(jìn)使得新的派生事件插入Future隊(duì)列的操作可以并行進(jìn)行。Future-Manager是Future類的高級(jí)封裝，提供了Future類所有方法的高級(jí)形式，以確保在并發(fā)運(yùn)行期間的數(shù)據(jù)同步。在Future-Manager類中，有兩個(gè)緩沖區(qū)空間，用于記錄需要插入到Future類或從Future類中刪除的事件。此外，設(shè)計(jì)了兩個(gè)子線程，分別是AddThread和DeleteThread，它們負(fù)責(zé)監(jiān)視這兩個(gè)緩沖區(qū)空間，通過判斷緩存區(qū)是否已填滿。一旦緩沖區(qū)填滿，它們會(huì)執(zhí)行向Future類插入事件或從Future類刪除事件的操作。這一并行化的改進(jìn)有助于提高仿真的執(zhí)行效率，如圖5所示。

3 仿真實(shí)驗(yàn)與結(jié)果分析

在本章中將采用一個(gè)常見的VEC案例來驗(yàn)證VECSim對(duì)VEC環(huán)境的支持。車載智能語音助手是一種常見的車載功能，其允許駕駛員或乘員以自然語言的方式與車載智能系統(tǒng)溝通，實(shí)現(xiàn)操作車輛的功能設(shè)備或控制車載應(yīng)用［35］。本案例將使用1.1節(jié)提及的EUA數(shù)據(jù)集和車輛軌跡數(shù)據(jù)集以確保實(shí)驗(yàn)仿真的真實(shí)性和可靠性。案例實(shí)施后，本文對(duì)使用能耗和網(wǎng)絡(luò)使用量進(jìn)行了評(píng)估。能耗的計(jì)算是基于節(jié)點(diǎn)空閑和繁忙功率使用情況而確定的，網(wǎng)絡(luò)使用量是基于模擬期間內(nèi)數(shù)據(jù)在整體區(qū)域網(wǎng)絡(luò)內(nèi)傳播的數(shù)據(jù)量來計(jì)算的。該實(shí)驗(yàn)仿真以相同的參數(shù)在iFogSim2上運(yùn)行了這個(gè)案例，并將結(jié)果進(jìn)行了比較。結(jié)果表明，在大規(guī)模的機(jī)動(dòng)車軌跡數(shù)據(jù)集驗(yàn)證下VECSim具有良好的穩(wěn)定性表現(xiàn)。

3.1 車載智能語音助手應(yīng)用模型

車載智能語音助手通過理解自然語言形式的命令，而無須依賴預(yù)定義的關(guān)鍵詞進(jìn)行用戶培訓(xùn)。然而，這種形式需要更多的計(jì)算資源來處理語音命令，而且語音指令處理在VEC場(chǎng)景下是一種可卸載的終端任務(wù)［36］。因此，考慮網(wǎng)關(guān)節(jié)點(diǎn)上放置語音命令處理模塊來處理用戶的語音命令，使用代理節(jié)點(diǎn)作為服務(wù)遷移的中繼站是可行的方案。

車載智能語音助手被分為三個(gè)模塊，為了可視化符合分布式應(yīng)用程序的架構(gòu)形式，使用有向無環(huán)圖來表示車載智能語音助手的應(yīng)用程序模型，如圖6所示。其模塊的組成如下。

a）收發(fā)模塊：收發(fā)模塊部署在車輛上，用于接收來自麥克風(fēng)（傳感器）的數(shù)字聲音信號(hào)，該信號(hào)通過車輛的無線通信設(shè)備發(fā)送到位于RSU（網(wǎng)關(guān)節(jié)點(diǎn)）上的聲音命令處理模塊。同時(shí)，它還負(fù)責(zé)接收聲音命令處理模塊解析處理后的執(zhí)行指令，這些執(zhí)行指令由收發(fā)器模塊接收，然后傳輸?shù)杰囕v上的命令觸發(fā)器（執(zhí)行器），并執(zhí)行相應(yīng)的指令。

b）語音命令處理模塊：語音命令處理模塊部署在RSU上，語音命令處理模型是車載智能語音助手應(yīng)用模型中的主要計(jì)算模塊，它包括一個(gè)人工智能（AI）模型，該模型通過實(shí)現(xiàn)降噪、語音識(shí)別、自然語言處理和指令匹配，將語音命令轉(zhuǎn)換為機(jī)器可理解的執(zhí)行命令。此外，語音命令處理模塊在轉(zhuǎn)換過程中收集中間數(shù)據(jù)，中間數(shù)據(jù)經(jīng)過數(shù)據(jù)脫敏后將轉(zhuǎn)換為連續(xù)學(xué)習(xí)數(shù)據(jù)，使位于云節(jié)點(diǎn)上的語音識(shí)別優(yōu)化模塊能夠通過不斷優(yōu)化AI模型來提高服務(wù)質(zhì)量。

c）語音識(shí)別優(yōu)化模塊：語音識(shí)別優(yōu)化單元接收來自不同RSU中的語音命令處理模塊的數(shù)據(jù)。它通過持續(xù)學(xué)習(xí)技術(shù)對(duì)人工智能模型進(jìn)行了周期性優(yōu)化，以提高服務(wù)質(zhì)量。它由于延遲不敏感，可以放置在云節(jié)點(diǎn)上。

3.2 仿真環(huán)境和參數(shù)設(shè)置

仿真環(huán)境包括兩部分?jǐn)?shù)據(jù)集的導(dǎo)入。EUA數(shù)據(jù)集用于標(biāo)記網(wǎng)關(guān)節(jié)點(diǎn)和代理節(jié)點(diǎn)位置，依照第2.2節(jié)提到的基站劃分方式，在墨爾本中央商務(wù)區(qū)設(shè)置了118個(gè)RSU（網(wǎng)關(guān)節(jié)點(diǎn)）。這些RSU被劃分為12個(gè)區(qū)域，每個(gè)區(qū)域設(shè)置1個(gè)代理節(jié)點(diǎn)。

此外，代理節(jié)點(diǎn)負(fù)責(zé)云集群和所屬區(qū)域內(nèi)網(wǎng)關(guān)節(jié)點(diǎn)的通信與模塊轉(zhuǎn)發(fā)的中繼站功能，共12個(gè)代理節(jié)點(diǎn)。此外，在墨爾本中央商務(wù)區(qū)設(shè)置云集群。RSU可以通過其塊中的代理節(jié)點(diǎn)與云集群進(jìn)行交互。在車輛軌跡數(shù)據(jù)集中，選擇了100和340條車輛軌跡（仿真時(shí)長(zhǎng)為5 790 s和11 640 s）來測(cè)試移動(dòng)性對(duì)模塊和服務(wù)遷移的影響。同樣地，iFogSim2中使用了相同的參數(shù)設(shè)置，仿真的參數(shù)如表2和3所示。實(shí)驗(yàn)在一臺(tái)操作系統(tǒng)為Ubuntu 20.04，配備16 GB RAM，AMD 5900x@3.70 GHz CPU的計(jì)算機(jī)上進(jìn)行。

功率模型和能耗計(jì)算公式為

P=Idle+（Busy－Idle）×utilization（1）

E=P×（Tnow－Tlast）（2）

式（1）中：Idle表示為閑置功率，Busy表示為忙時(shí)功率，utilization為利用率；

式（2）中：P為（1）中的功率，（Tnow－Tlast）表示為以功率P持續(xù)的時(shí)間。

3.3 仿真結(jié)果分析

圖7展示了顯示兩種車輛規(guī)模仿真實(shí)驗(yàn)下代理節(jié)點(diǎn)和網(wǎng)關(guān)節(jié)點(diǎn)的能耗對(duì)比。表4展示兩種車輛規(guī)模實(shí)驗(yàn)下的網(wǎng)絡(luò)使用量對(duì)比。

在模型設(shè)計(jì)環(huán)節(jié)，代理節(jié)點(diǎn)的主要職責(zé)是維護(hù)通信功能，負(fù)責(zé)所在區(qū)域內(nèi)網(wǎng)關(guān)節(jié)點(diǎn)與云集群之間的通信，不涉及模組的部署任務(wù)和計(jì)算任務(wù)。代理節(jié)點(diǎn)在仿真期間以閑置功率運(yùn)行，其能耗計(jì)算基于代理節(jié)點(diǎn)的運(yùn)行時(shí)間和功耗。因此，代理節(jié)點(diǎn)的最低能耗可計(jì)算為333（W）×5790（s）=1928070（J）。這個(gè)值是每個(gè)代理節(jié)點(diǎn)的最低能耗。然而，在iFogSim2的模擬中，每個(gè)代理節(jié)點(diǎn)的能耗低于該值。這表明iFogSim2在代理節(jié)點(diǎn)方面的能耗模擬存在異常。同時(shí)，網(wǎng)關(guān)節(jié)點(diǎn)執(zhí)行了語音指令處理模塊的部署和計(jì)算任務(wù)以及模塊的收發(fā)任務(wù)。因此，網(wǎng)關(guān)節(jié)點(diǎn)的能耗應(yīng)該根據(jù)工作負(fù)載在忙時(shí)功率和閑置功率之間波動(dòng)進(jìn)行計(jì)算。然而，iFogSim2的統(tǒng)計(jì)結(jié)果表明，有30個(gè)網(wǎng)關(guān)節(jié)點(diǎn)的能耗為969 000（J），低于最低網(wǎng)關(guān)節(jié)點(diǎn)能耗的應(yīng)計(jì)算值（170（W）×5790（s）=984300（J））。在VECSim的仿真中，代理節(jié)點(diǎn)和網(wǎng)關(guān)節(jié)點(diǎn)的能耗數(shù)值統(tǒng)計(jì)正常。經(jīng)過檢查iFogSim2和VECSim的執(zhí)行日志，發(fā)現(xiàn)iFogSim2在仿真的4 551 s后不再執(zhí)行任何操作，包括分布式應(yīng)用模組部署、移動(dòng)管理和服務(wù)遷移等操作，而VECSim則一直保持正常執(zhí)行。這解釋了表3中iFogSim2網(wǎng)絡(luò)在100臺(tái)車輛情況下使用的數(shù)據(jù)量低于VECSim統(tǒng)計(jì)數(shù)據(jù)的原因。

隨著車輛數(shù)量的增加，在引入了340輛車輛的更大規(guī)模仿真中，筆者依然觀察到了iFogSim2仿真結(jié)果中的能耗異常。在圖7（c）中，iFogSim2模擬的代理節(jié)點(diǎn)的能耗為3 862 800（J），低于代理節(jié)點(diǎn)的最低能耗（333（W）×11640（s）=3876120（J））。同樣，圖7（d）中出現(xiàn)了異常現(xiàn)象，有109個(gè)網(wǎng)關(guān)節(jié)點(diǎn)的能耗為1 972 000.0（J），低于網(wǎng)關(guān)節(jié)點(diǎn)的最低能耗（170（W）×11640（s）=1977800（J））。值得注意的是，隨著車輛規(guī)模的增加，仿真的持續(xù)時(shí)間和模塊遷移次數(shù)也增加，導(dǎo)致網(wǎng)絡(luò)使用量上升。然而，在車輛規(guī)模增大的情況下，iFogSim2的網(wǎng)絡(luò)使用量統(tǒng)計(jì)出現(xiàn)下降的異常現(xiàn)象。此外，iFogSim2在運(yùn)行日志文件中顯示，仿真在經(jīng)過6 511 s后不再執(zhí)行任何操作，包括模組部署、移動(dòng)管理和服務(wù)遷移等。相反，VECSim的實(shí)驗(yàn)結(jié)果仍然保持了原有設(shè)計(jì)的連續(xù)性和穩(wěn)定性。在不同車輛規(guī)模的實(shí)驗(yàn)中，VECSim通過其分布式應(yīng)用模塊部署策略、移動(dòng)管理和服務(wù)遷移表現(xiàn)出了良好的穩(wěn)定性。

總的來說，VECSim相對(duì)于iFogSim2具有以下優(yōu)勢(shì)：VECSim提供了更準(zhǔn)確的代理節(jié)點(diǎn)和網(wǎng)關(guān)節(jié)點(diǎn)的能耗模擬，可以更好地反映實(shí)際情況。VECSim在仿真中保持了模擬的連續(xù)性，不會(huì)在仿真的中途停止操作，確保了數(shù)據(jù)的準(zhǔn)確性和完整性。其次，VECSim相對(duì)于iFogSim2在穩(wěn)定性方面具有明顯的優(yōu)勢(shì)，尤其在處理大規(guī)模車輛移動(dòng)場(chǎng)景下，VECSim的仿真結(jié)果保持了一致性，未出現(xiàn)異?，F(xiàn)象。這些優(yōu)勢(shì)使VECSim成為更可靠的仿真工具，用于研究移動(dòng)邊緣車聯(lián)網(wǎng)環(huán)境中的能耗和性能表現(xiàn)，使其成為研究車載邊緣計(jì)算網(wǎng)絡(luò)性能和能耗的可信賴工具。

4 仿真時(shí)間性能優(yōu)化實(shí)驗(yàn)和結(jié)果分析

在第3章中，為了提高仿真時(shí)間性能，VECSim對(duì)CloudSim核心進(jìn)行了性能優(yōu)化，實(shí)現(xiàn)了仿真過程中對(duì)Future隊(duì)列插入和刪除的并行操作。為了驗(yàn)證優(yōu)化設(shè)計(jì)的有效性，本章設(shè)計(jì)了一個(gè)實(shí)驗(yàn)來對(duì)其進(jìn)行驗(yàn)證。

4.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

在驗(yàn)證實(shí)驗(yàn)中，VECSim使用了第3.2節(jié)中仿真參數(shù)設(shè)置，車輛數(shù)為100臺(tái)，實(shí)驗(yàn)在一臺(tái)操作系統(tǒng)為Ubuntu 20.04，配備16 GB RAM，AMD 5900x@3.70 GHz CPU的計(jì)算機(jī)上進(jìn)行。

4.2 結(jié)果分析

表5呈現(xiàn)了在使用FutureManager進(jìn)行并行操作時(shí)，在相同仿真實(shí)驗(yàn)設(shè)置下的仿真執(zhí)行時(shí)間對(duì)比。與串行操作相比，采用并行處理Future隊(duì)列中事件的插入和刪除操作，使得仿真事件的執(zhí)行時(shí)間減少了5.3%。然而，需要指出的是，由于引入了多線程技術(shù)，F(xiàn)utureManager中的兩個(gè)緩存區(qū)被視為臨界資源。當(dāng)緩存區(qū)已滿，F(xiàn)utureManager需要執(zhí)行插入和刪除操作時(shí)，主線程上的核心模塊無法同時(shí)訪問緩存區(qū)，這仍然帶來一定的時(shí)間開銷。盡管存在一定的時(shí)間開銷，這一結(jié)果證明了采用并行操作來處理Future隊(duì)列中的事件插入和刪除操作，依然可以有效地提升仿真工具的時(shí)間性能。這一改進(jìn)對(duì)于減小仿真執(zhí)行時(shí)間和提高工具的效率具有積極的影響，特別是在處理大規(guī)模仿真任務(wù)和復(fù)雜仿真場(chǎng)景時(shí)，將會(huì)更加顯著地體現(xiàn)其優(yōu)勢(shì)。

5 結(jié)束語

本文基于iFogSim2改進(jìn)并提出了VECSim仿真器，用于車載邊緣計(jì)算的建模與仿真模擬。VECSim集成了來自真實(shí)世界的采樣得到的車輛移動(dòng)軌跡數(shù)據(jù)集并支持解析SUMO輸出的FCD，與EUA數(shù)據(jù)集可以快速構(gòu)建VEC實(shí)驗(yàn)場(chǎng)景。提出了適用于VEC特征的分布式應(yīng)用模塊部署策略與移動(dòng)管理和服務(wù)遷移策略。對(duì)于CloudSim核心框架在處理仿真事件時(shí)的效率問題，VECSim引入了一種時(shí)間性能優(yōu)化方法，對(duì)Future隊(duì)列采取并行操作。實(shí)驗(yàn)仿真結(jié)果表明，與iFogSim2中同類策略相比，VECSim所提供的服務(wù)遷移策略在大規(guī)模高采樣頻率高速的車輛移動(dòng)場(chǎng)景下具有良好的穩(wěn)定性表現(xiàn)。時(shí)間性能優(yōu)化方案使得VECSim仿真執(zhí)行時(shí)間減少了5.3%。未來，VECSim將移植到Python平臺(tái)上以實(shí)現(xiàn)VEC仿真與機(jī)器學(xué)習(xí)領(lǐng)域的結(jié)合與應(yīng)用。

參考文獻(xiàn)：

［1］李智勇，王琦，陳一凡，等. 車輛邊緣計(jì)算環(huán)境下任務(wù)卸載研究綜述 ［J］. 計(jì)算機(jī)學(xué)報(bào)，2021，44（5）： 963-982. （Li Zhiyong，Wang Qi，Chen Yifan，et al. A survey on task off-loading research in vehicular edge computing ［J］. Chinese Journal of Computers，2021，44（5）： 963-982.）

［2］Subbaraj S，Thiyagarajan R. Performance oriented task-resource mapping and scheduling in fog computing environment ［J］. Cognitive Systems Research，2021，70： 40-50.

［3］Fellir F，El Attar A，Nafil K，et al. A multi-agent based model for task scheduling in cloud-fog computing platform ［C］// Proc of IEEE International Conference on Informatics，IoT，and Enabling Technologies.Piscataway，NJ：IEEE Press，2020.

［4］韋睿，祝長(zhǎng)鴻，王怡，等. 基于軟件定義網(wǎng)絡(luò)和移動(dòng)邊緣計(jì)算的車聯(lián)網(wǎng)高效任務(wù)卸載方案 ［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（6）： 1817-1824. （Wei Rui，Zhu Changhong，Wang Yi，et al. Efficient task offloading scheme of Internet of Vehicles based on software defined network and mobile edge computing ［J］. Application Research of Computers，2023，40（6）： 1817-1824.）

［5］邸劍，薛林，蔡震. 基于網(wǎng)聯(lián)車多跳傳輸?shù)囊苿?dòng)邊緣計(jì)算卸載 ［J］. 計(jì)算機(jī)應(yīng)用研究，2021，38（4）： 1145-1148，1157. （Di Jian，Xue Lin，Cai Zhen. Mobile edge computing offloading based on multi-hop transmission of connected vehicles ［J］. Application Research of Computers，2021，38（4）： 1145-1148，1157.）

［6］Meneguette R，De Grande R，Ueyama J，et al. Vehicular edge computing： architecture，resource management，security，and challenges ［J］. ACM Computing Surveys，2023，55（1）： 1-46.

［7］Lera I，Guerrero C，Juiz C. YAFS： a simulator for IoT scenarios in fog computing ［J］. IEEE Access，2019，7： 91745-91758.

［8］Amarasinghe G，De Assuno M D，Harwood A，et al. ECSNeT++： a simulator for distributed stream processing on edge and cloud environments ［J］. Future Generation Computer Systems，2020，111： 401-418.

［9］Varga A，Wehrle K，Güne瘙塂 M，et al. OMNeT+ ［M］// Modeling and Tools for Network Simulation. Berlin： Springer，2010： 35-59.

［10］Mészáros L，Varga A，Kirsche M. INET framework ［M］// Recent Advances in Network Simulation，EAI/Springer Innovations in Communication and Computing. 2019： 55-106.

［11］Mass J，Srirama S N，Chang C. STEP-ONE： simulated testbed for edge-fog processes based on the opportunistic network environment simulator ［J］. Journal of Systems and Software，2020，166： 110587.

［12］Kernen A，Ott J，Krkkinen T. The ONE simulator for DTN protocol evaluation ［C］// Proc of the 2nd International ICST Conference on Simulation Tools and Techniques. 2009.

［13］Jalali K A Z，Mansouri N，Khalouie M. Task scheduling in fog environment—challenges，tools & methodologies： a review ［J］. Compu-ter Science Review，2023，48： 100550.

［14］Calheiros R N，Ranjan R，Beloglazov A，et al. CloudSim： a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms ［M］// Software： Practice and Experience.2011： 23-50.

［15］Kreutzer W，Hopkins J，Van Mierlo M. SimJava—a framework for modeling queueing networks in Java ［C］// Proc of the 29th Confe-rence on Winter Simulation. 1997.

［16］Gupta H，Dastjerdi A V，Ghosh S K，et al. iFogSim： a toolkit for mo-deling and simulation of resource management techniques in the Internet of Things，edge and fog computing environments ［M］// Software： Practice and Experience. ［S.l.］： Wiley，2017： 1275-1296.

［17］Sonmez C，Ozgovde A，Ersoy C. EdgeCloudSim： an environment for performance evaluation of edge computing systems ［C］// Proc of the 2nd International Conference on Fog and Mobile Edge Computing. 2017.

［18］Liu Xiao，F(xiàn)an Lingmin，Xu Jia，et al. FogWorkflowSim： an automated simulation toolkit for workflow performance evaluation in fog computing ［C］// Proc of the 34th IEEE/ACM International Conference on Automated Software Engineering. 2019.

［19］Chen Weiwei，Deelman E. WorkflowSim： a toolkit for simulating scientific workflows in distributed environments ［C］// Proc of the 8th IEEE International Conference on E-Science. Piscataway，NJ：IEEE Press，2012.

［20］Qayyum T，Malik A W，Khan K M A，et al. FogNetSim+： a toolkit for modeling and simulation of distributed fog environment ［J］. IEEE Access，2018，6： 63570-63583.

［21］Jha D，Alwasel K，Alshoshan A，et al. IoTSim-Edge： a simulation framework for modeling the behaviour of IoT and edge computing environments ［EB/OL］. （2019）. https：//arxiv.org/abs/1910.03026.

［22］Puliafito C，Gonalves D M，Lopes M M，et al. MobFogSim： simulation of mobility and migration for fog computing ［J］. Simulation Modelling Practice and Theory，2020，101： 102062.

［23］Salama M，Elkhatib Y，Blair G. IoTNetSim： a modelling and simulation platform for end-to-end IoT services and networking ［C］// Proc of the 12th IEEE/ACM International Conference on Utility and Cloud Computing. 2019.

［24］Wei Junyong，Cao Suzhi，Pan Siyan，et al. SatEdgeSim： a toolkit for modeling and simulation of performance evaluation in satellite edge computing environments ［C］// Proc of the 12th International Confe-rence on Communication Software and Networks. 2020.

［25］Luo Quyuan，Hu Shihong，Li Changle，et al. Resource scheduling in edge computing： a survey ［J］. IEEE Communications Surveys & Tutorials，2021，23（4）： 2131-2165.

［26］Lai P，He Qiang，Abdelrazek M，et al. Optimal edge user allocation in edge computing with variable sized vector bin packing ［M］// Service-Oriented Computing，Lecture Notes in Computer Science. 2018： 230-245.

［27］Li Yuanzhe，Zhou Ao，Ma Xiao，et al. Profit-aware edge server placement ［J］. IEEE Internet of Things Journal，2022，9（1）： 55-67.

［28］Wang Shangguang，Guo Yan，Zhang Ning，et al. Delay-aware microservice coordination in mobile edge computing： a reinforcement learning approach ［J］. IEEE Trans on Mobile Computing，2021，20（3）： 939-951.

［29］Lopez P A，Wiessner E，Behrisch M，et al. Microscopic traffic simulation using SUMO ［C］// Proc of the 21st International Conference on Intelligent Transportation Systems. 2018.

［30］Mahmud R，Pallewatta S，Goudarzi M，et al. IFogSim2： an extended iFogSim simulator for mobility，clustering，and microservice management in edge and fog computing environments ［J］. Journal of Systems and Software，2022，190： 111351.

［31］Dean J，Ghemawat S. MapReduce： simplified data processing on large clusters ［J］. Communications of the ACM，2008，51（1）： 107-113.

［32］Yair G A，Lu Pengyuan，Li Hao，et al. OpenStreetMap，beyond just data： the academic track at state of the map 2022 ［C］//Proc of Map. 2022.

［33］Liu Lei，Chen Chen，Pei Qingqi，et al. Vehicular edge computing and networking： a survey ［J］. Mobile Networks and Applications，2021，26（3）： 1145-1168.

［34］Martin R C. The open-closed principle ［J］. More C+Gems，1996，19（96）： 9.

［35］Murali P K，Kaboli M，Dahiya R. Intelligent in-vehicle interaction technologies ［M］// Advanced Intelligent Systems. ［S.l.］： Wiley，2022： 2100122.

［36］張依琳，梁玉珠，尹沐君，等. 移動(dòng)邊緣計(jì)算中計(jì)算卸載方案研究綜述 ［J］. 計(jì)算機(jī)學(xué)報(bào)，2021，44（12）： 2406-2430. （Zhang Yilin，Liang Yuzhu，Yin Mujun，et al. Survey on the methods of computation offloading in mobile edge computing ［J］. Chinese Journal of Computers，2021，44（12）： 2406-2430.）