面向嵌入式系統(tǒng)的高可靠資源管理平臺設計

摘 要：針對嵌入式領域多功能、多任務，以及復雜多變環(huán)境下系統(tǒng)的可重構性、面向較長裝備生命周期的可擴展性與可維護性等應用需求，為實現(xiàn)嵌入式系統(tǒng)下計算、存儲、網(wǎng)絡等資源的統(tǒng)一管理，設計了一種面向嵌入式系統(tǒng)的高可靠資源管理平臺。平臺采用XML可擴展標記語言、Redis數(shù)據(jù)庫、選舉策略設計與故障恢復機制等關鍵技術，重點實現(xiàn)了資源管理平臺與平臺內(nèi)應用軟件的高可靠設計，并結合嵌入式應用軟件實例充分驗證了資源管理平臺的功能、指標性能與高可靠特性。

關鍵詞：嵌入式系統(tǒng)；資源管理平臺；高可靠設計

中圖分類號：TP311 文獻標識碼：A 文章編號：2096-4706（2024）17-0115-05

0 引 言

嵌入式系統(tǒng)是以應用為中心，以現(xiàn)代計算機技術為基礎，能夠根據(jù)用戶需求（功能、可靠性、成本、體積、功耗、環(huán)境等）靈活裁剪軟硬件模塊的專用計算機系統(tǒng)。嵌入式系統(tǒng)的應用十分廣泛，涉及工業(yè)生產(chǎn)、日常生活、工業(yè)控制、航空航天等多個領域[1-2]。

隨著電子技術、計算機軟件技術、人工智能、大數(shù)據(jù)以及云計算等信息技術飛速發(fā)展，嵌入式系統(tǒng)領域逐漸向著需求可定制、硬件可重組、軟件可重構等特征發(fā)展，相關的嵌入式應用面臨著巨大的挑戰(zhàn)，針對嵌入式系統(tǒng)的計算、存儲、網(wǎng)絡等資源的管理平臺設計需求也愈來愈多，如何高效實現(xiàn)嵌入式資源的統(tǒng)一管理成為領域內(nèi)的熱門研究方向。

較早期時，大部分小規(guī)模的嵌入式資源管理平臺是一種基于中心節(jié)點的中心式管理架構，雖然這種中心式架構具有資源占用率低、更加輕量、實時性較高等優(yōu)勢，但過分依賴中心節(jié)點，壓力集中，使得此類架構在可靠性、靈活性等方面有所欠缺，因此適用性較低。目前在商用領域資源管理的主流方式大都為使用商用服務器搭建的一種分布式資源管理系統(tǒng)，具有可靠性高、靈活性高、支持更大集群系統(tǒng)等優(yōu)勢，但這類系統(tǒng)一般為批處理系統(tǒng)，資源占用率較高，需要占用更多的資源來滿足系統(tǒng)運行需求，通常難以滿足嵌入式系統(tǒng)高帶寬、低時延等實時性要求。

現(xiàn)階段，在常見的通用計算平臺上已經(jīng)有很多資源管理軟件和框架，像Map Reduce、Hadoop、Spark、Storm等[3-5]。文獻[6]設計了一種面向DRE系統(tǒng)的自適應資源管理架構，實現(xiàn)動態(tài)任務管理、實時資源分配和自適應控制；文獻[7]提出一個面向嵌入式實時系統(tǒng)的自適應圖形處理器（GPU）資源管理框架。

基于上述研究，本文設計了一種面向嵌入式系統(tǒng)的高可靠資源管理平臺，解決傳統(tǒng)嵌入式應用與硬件綁定，資源無法重用的問題，實現(xiàn)計算、存儲、網(wǎng)絡等資源的統(tǒng)一管理與調(diào)度，支持平臺資源池化管理、統(tǒng)一調(diào)度與按需分配，支持資源的分時復用，提升軟件資源利用率。

1 系統(tǒng)架構分析

目前主流的系統(tǒng)架構主要有中心式與分布式兩種。

1.1 中心式架構

中心式架構是一種常見的架構設計模式，如圖1所示，是以一個中央控制節(jié)點為中心，其他普通節(jié)點圍繞該中心進行組織和交互。中央控制節(jié)點和每一個普通節(jié)點進行通信，而普通節(jié)點之間不需要通信，因此中心式架構所產(chǎn)生的額外通信開銷為N×T（其中N代表普通節(jié)點個數(shù)，T代表單次通信耗時）。

中心式的管理方式具有可集中控制與管理、簡潔和易于理解與維護、系統(tǒng)具備強一致性和規(guī)范性等優(yōu)點。但是也存在一系列的潛在缺點，一是單點故障風險，即中央控制器的故障會導致整個系統(tǒng)的癱瘓；二是性能瓶頸問題，即整個系統(tǒng)的性能優(yōu)劣過分依賴于中央控制器的負載情況；三是靈活性和受限，即整個系統(tǒng)的擴展、調(diào)整、重組等都比較困難。

1.2 分布式架構

分布式架構是一種無中央控制節(jié)點的架構設計模式，如圖2所示，每一個節(jié)點之間是對等的關系，他們之間互相進行數(shù)據(jù)的組織和交互。由于每一個節(jié)點之間均需要進行通信，因此分布式架構所產(chǎn)生的額外通信開銷為N×（N-1）×T（其中N代表普通節(jié)點個數(shù)，T代表單次通信耗時）。

、

通過分布式架構搭建的資源管理系統(tǒng)，一般適用于大流量網(wǎng)站（處理高并發(fā)訪問）、云服務平臺（提供靈活的資源分配）、大數(shù)據(jù)處理（處理海量數(shù)據(jù)）、人工智能系統(tǒng)（支持大規(guī)模模型訓練）等，具有可擴展性、高可靠性、安全性強等優(yōu)點。

可擴展性，能夠方便地增加或減少系統(tǒng)節(jié)點數(shù)量，以滿足系統(tǒng)能力需求的動態(tài)變化。

可靠性高，部分節(jié)點發(fā)生故障時，系統(tǒng)仍然能夠正常運行。

安全性強，系統(tǒng)數(shù)據(jù)信息分布在各個節(jié)點上，進一步降低了數(shù)據(jù)丟失的風險。

同時由于分布式架構的復雜程度，使其也面臨著一系列的挑戰(zhàn)，一是在復雜的協(xié)調(diào)與同步下，需時刻確保各節(jié)點的協(xié)同工作，在分布式環(huán)境下保證各節(jié)點的數(shù)據(jù)一致性；二是潛在的網(wǎng)絡延遲或故障，大量的數(shù)據(jù)交互壓力可能會影響系統(tǒng)的整體性能與可靠性，反而降低整體的資源利用率；三是龐大的節(jié)點數(shù)量，跨區(qū)域的部署與管理等[8]，需要有效的管理和監(jiān)控眾多節(jié)點。

2 資源管理平臺設計

結合中心式與分布式架構的優(yōu)缺點，針對嵌入式應用軟件的高帶寬、低時延、強實時性等要求，本文設計了一種面向嵌入式系統(tǒng)的高可靠資源管理平臺，其軟件框架示意圖如圖3所示。

資源管理平臺位于嵌入式應用軟件與操作系統(tǒng)之間，由節(jié)點管理器NM（Node Manager）、資源管理器RM（Resource Manager）、從屬資源管理器RM_S（Resource Manager Slave）三部分組成。由于RM與NM、RM與RM_S之間需要進行通信交互，因此當前架構下的額外通信開銷是（N+M）×T（其中N代表NM節(jié)點個數(shù)，M代表RM_S節(jié)點個數(shù)，T代表單次通信耗時）。

2.1 節(jié)點管理器NM

節(jié)點管理器NM主要由資源采集與信息上報組成。資源采集模塊通過調(diào)用操作系統(tǒng)相關接口實時獲取硬件節(jié)點的計算、存儲、網(wǎng)絡等信息，并按照鍵值對（key-value）的形式統(tǒng)一存儲，形成節(jié)點資源池，采集節(jié)拍可配置，支持對節(jié)點資源池的增、刪、改、查操作；信息上報模塊負責將實時查詢節(jié)點資源池中的資源信息，并通過TCP形式統(tǒng)一打包發(fā)送給RM。

2.2 資源管理器RM

資源管理器RM主要由信息接收與資源分配組成。信息接收模塊負責接收所有NM上報的資源信息，形成系統(tǒng)資源池，由RM統(tǒng)一管控，支持對系統(tǒng)資源池的增、刪、改、查操作；資源分配模塊負責實時響應嵌入式應用的資源請求（核、內(nèi)存、帶寬等），依據(jù)資源類型、資源需求量、資源剩余量、資源負載、應用關聯(lián)性五個因素從資源池中分配當前應用所需資源，支持對系統(tǒng)資源池的改、查操作，可分時工作的嵌入式應用，分配過程中資源可復用。為實現(xiàn)RM的高可靠設計，RM需通過UDP組播的形式按可配置的節(jié)拍定期發(fā)送心跳信息給各個RM_S。

2.3 從屬資源管理器RM_S

從屬資源管理器RM_S，NM的一種，同時還負責實時接收RM的心跳信息，在RM正常工作時，RM_S處于未激活狀態(tài)，只執(zhí)行NM的功能，當RM的心跳信息連續(xù)丟失三次時，認定RM異常，此時多個RM_S之間通過選舉打分的方式，選擇最優(yōu)的RM_S主動激活成為新的RM，當原先故障的RM又恢復正常并成功上線后，該RM只會發(fā)揮RM_S的功能。

3 關鍵技術分析

本文所設計的資源管理平臺，所采用的關鍵技術包括XML（Extensible Markup Language）可擴展標記語言、Redis數(shù)據(jù)庫、選舉策略設計、故障恢復機制等。

3.1 XML可擴展標記語言

XML是一種用于存儲和交換數(shù)據(jù)的標記語言，常被選用為應用程序的配置文件，以樹狀結構組織數(shù)據(jù)，具有良好的可讀性與規(guī)范性[9]。

資源管理平臺采用XML配置文件的方式設計系統(tǒng)配置文件，描述了各個節(jié)點的角色信息（NM、RM、RM_S）以及計算、存儲、網(wǎng)絡等資源信息。同時要求應用軟件通過應用XML配置文件來描述實際的資源需求。

通常角色信息配置中RM_S的占比情況與系統(tǒng)的節(jié)點規(guī)模有關，為充分保障資源管理平臺的高可靠運行，當系統(tǒng)節(jié)點規(guī)模在10個以內(nèi)時，要求RM_S個數(shù)至少為2個，系統(tǒng)節(jié)點規(guī)模每增加10個，至少需要增加一個RM_S。

3.2 Redis數(shù)據(jù)庫

Redis是一個開源的、高性能的鍵值對數(shù)據(jù)庫，支持多種數(shù)據(jù)類型，讀寫速度快，設有哨兵機制，可以將數(shù)據(jù)存儲到磁盤，以防止數(shù)據(jù)丟失等優(yōu)點[10]。

NM采集的資源信息、嵌入式應用的資源請求、系統(tǒng)的狀態(tài)信息等，通過鍵值對的方式存儲在Redis數(shù)據(jù)庫中，RM_S通過Redis數(shù)據(jù)庫實現(xiàn)與RM的實時同步，利用Redis的哨兵機制，每當鍵值對信息發(fā)送改變時，RM_S自動同步更新該信息，同時每隔一定周期，RM_S主動同步所有的鍵值對信息，保證RM與RM_S之間的信息強一致性，使得RM_S在RM發(fā)生故障時，能夠無縫接手RM功能，保障整個系統(tǒng)的高可靠運行。

3.3 選舉策略設計

當RM發(fā)生故障時，系統(tǒng)中多個RM_S之間通過選舉的方式，選出一個最優(yōu)的RM_S來充當RM的功能。采用打分制的選舉策略，對RM_S節(jié)點的物理鏈路遠近（有無跨硬件、跨插箱、跨機柜等）、資源總量、余量、負載、網(wǎng)絡、存儲帶寬等進行綜合打分，并設置權重占比，打分項與權重占比情況可通過系統(tǒng)XML配置文件進行具體配置，計算并選擇分數(shù)最高的RM_S節(jié)點激活成為新的RM。

當RM_S發(fā)生故障時，RM會采用相同的打分策略從所有的NM中選擇分數(shù)最高的激活成為新的RM_S。

3.4 故障恢復機制

嵌入式應用軟件通過RM的資源分配模塊部署在綜合分數(shù)最優(yōu)的NM上。應用軟件運行起來后，NM實時監(jiān)測該應用軟件的運行狀態(tài)，并實現(xiàn)兩種場景下的故障重構設計。

場景一，應用故障。當NM內(nèi)應用發(fā)生故障時，NM會在當前節(jié)點重構該應用，若多次嘗試后，依然無法恢復，NM會反饋給RM，再重新部署運行到其他NM上；

場景二，NM故障。當NM自身發(fā)生故障時，RM會依據(jù)該NM上的資源占用情況，將NM內(nèi)所有應用重新部署運行到其他NM上；

場景三，RM故障。當RM發(fā)生故障后，多個RM_S之間會迅速決策出綜合評分最高的RM_S，激活RM相關任務，迅速接手RM功能；

場景四，RM_S故障。當RM_S發(fā)生故障后，RM會從多個NM之間選出綜合評分最高的NM，激活RM_S相關任務，迅速接手RM_S功能。

4 使用流程

以某嵌入式應用軟件為例，資源管理平臺的使用步驟如圖4所示。

第一步，資源管理平臺依據(jù)系統(tǒng)XML配置文件啟動RM、NM、RM_S等節(jié)點的相關任務，該配置文件中主要描述了各節(jié)點的角色信息、系統(tǒng)資源信息、資源采集節(jié)拍、打分權重等。

第二步，嵌入式應用軟件準備好可執(zhí)行程序與應用XML配置文件，該文件主要描述了當前應用的資源需求、平臺與操作系統(tǒng)要求、應用交互拓撲結構、運行時長等。

第三步，應用軟件向資源管理平臺RM發(fā)送部署運行請求，由RM依據(jù)資源請求和系統(tǒng)資源余量為嵌入式應用分配合適的NM或RM_S部署運行。

第四步，應用部署運行起來后，資源管理平臺負責實時監(jiān)測各節(jié)點與各應用的狀態(tài)。

5 測試驗證

基于上述四步具體使用流程，本文搭建了1個RM、3個RM_S、10個NM規(guī)模的資源管理平臺，并設計了Dpc.out/Mti.out/Detect.out三個應用實例。其中RM的運行過程如圖5所示，IP地址為192.9.200.210，主要負責接收應用部署任務、發(fā)送心跳信息給RM_S并實時監(jiān)聽各RM_S與NM的心跳信息。

RM接收到應用部署任務后，將其分別部署在其中兩個NM（IP地址為192.9.200.211與192.9.200.212）上，其中一個NM部署了Dpc與Mti兩個應用，一個NM部署了Detect一個應用，NM的運行過程如圖6所示，除了負責啟動并監(jiān)聽所部署的應用外，還需周期性地發(fā)送心跳信息給RM。

每個RM_S其實也屬于一個NM，只是會額外監(jiān)聽RM的心跳信息，隨時準備激活成為新的RM，以某個RM_S（192.9.200.213）為例，其運行過程如圖7所示。

針對資源管理平臺的高可靠特性，本文在測試驗證過程分別模擬了應用故障、NM故障、RM故障、RM_S故障場景下資源管理平臺的工作情況，測試故障恢復時間，其中故障判斷周期設置為50 ms，連續(xù)丟失3次則認為發(fā)生故障，具體恢復時間結果（測100次取平均）如表1所示。

結果顯示四種場景下都能夠?qū)崿F(xiàn)ms級左右的故障恢復，基本上不影響整個系統(tǒng)的正常運行。其中NM、RM、RM_S的恢復時間包括從診斷故障開始到NM、RM、RM_S啟動成功后的時間，應用故障的恢復時間不包括應用自身的啟動時間（與具體應用相關）。

6 結 論

本文設計了一種以RM、NM、RM_S為核心的資源管理平臺軟件，采用了XML可擴展標記語言、Redis數(shù)據(jù)庫、選舉策略設計、故障重構設計等關鍵技術，重點描述了該平臺自身以及平臺上應用的故障后的快速恢復機制，進一步體現(xiàn)了該資源管理平臺的高可靠設計，并結合嵌入式應用軟件實例充分驗證了資源管理平臺的功能、指標性能指標與高可靠特性。

參考文獻：

[1] 張志慧.嵌入式系統(tǒng)的特點與發(fā)展趨勢分析 [J].電子技術，2023，52（7）：286-287.

[2] 馬志剛.嵌入式系統(tǒng)的現(xiàn)狀及發(fā)展趨勢 [J].中國設備工程，2020（21）：145-147.

[3] 鄭百衡.高實時要求的嵌入式智能計算云平臺設計 [J].單片機與嵌入式系統(tǒng)應用，2022，22（1）：48-50.

[4] 邵永杰，王志敏.基于嵌入式云計算平臺的分布式實時計算框架研究 [J].通信技術，2019，52（7）：1708-1712.

[5] 尚葳蕤，黨紀紅，張錦江.空間站大規(guī)模復雜控制軟件基于數(shù)據(jù)池的軟件框架設計 [J].載人航天，2024，30（1）：89-93.

[6] 吳曉，劉文祥，張凱龍.嵌入式分布實時系統(tǒng)自適應資源管理架構 [J].計算機測量與控制，2012，20（2）：457-459.

[7] KIM J，RAJKUMAR R，KATO S. Towards Adaptive GPU Resource Management for Embedded Real-Time Systems [J].ACM SIGBED Review，2013，10（1）：14-17.

[8]王姝，溫曉玲.基于資源共享的分布式機載軟件測試系統(tǒng)設計 [J].飛機設計，2024，44（1）：76-80.

[9] 張嵩，許蕾，吳永亮.基于XML的標準結構化架構設計 [J].航天標準化，2023（2）：47-51+33.

[10] 鄧秀輝，李民，方惠.基于分布式集群高可用管理信息系統(tǒng)設計 [J].制造業(yè)自動化，2022，44（7）：43-45+122.

作者簡介：程杭林（1993—），男，漢族，安徽六安人，工程師，碩士，研究方向：信息處理軟件工程實現(xiàn)與軟件總體設計；李路野（1986—），男，漢族，湖北漢川人，高級工程師，博士，研究方向：信息處理軟件架構設計和軟件化雷達；王鵬（1990—），男，漢族，河北石家莊人，工程師，博士，研究方向：智能化信息處理與軟件總體設計。

DOI：10.19850/j.cnki.2096-4706.2024.17.022

收稿日期：2024-04-29

Design of Highly Reliable Resource Management Platform for Embedded System

CHENG Hanglin， LI Luye， WANG Peng

（Nanjing Research Institute of Electronics Technology， Nanjing 210039， China）

Abstract： In view of the application requirements of the multi-function and multi-task of embedded domain， the reconstruction of system in complex and ever-changing environment， and scalability and maintainability for long equipment life cycles and so on， in order to achieve unified management of computing， storage， network and other resources in embedded systems， a highly reliable resource management platform for embedded systems is designed. The platform uses key technologies such as XML， Redis database， election policy design， and fault recovery mechanisms， then it focuses on achieving a highly reliable design for the resource management platform and the application software within the platform.

The functions， metric performance and highly reliable characteristics of the resource management platform are fully verified using examples from embedded application software.

Keywords： embedded system; resource management platform; highly reliable design