開放式大規(guī)模陣列處理系統(tǒng)多核DSP矩陣設(shè)計(jì)

劉 可

(中國西南電子技術(shù)研究所，四川 成都 610036)

開放式大規(guī)模陣列處理系統(tǒng)多核DSP矩陣設(shè)計(jì)

劉 可

(中國西南電子技術(shù)研究所，四川 成都 610036)

為了滿足大規(guī)模陣列處理系統(tǒng)對運(yùn)算處理速度和總線帶寬日益增長的需求，基于VPX(VITA46)架構(gòu)構(gòu)建了一種多核DSP矩陣，其中若干個基本處理單元模塊經(jīng)由高速串行總線開關(guān)聯(lián)結(jié)形成所需的系統(tǒng)拓?fù)浣Y(jié)構(gòu)，并結(jié)合通信中間件技術(shù)和DSP自定義自舉加載技術(shù)來實(shí)現(xiàn)高性能的松耦合并行處理系統(tǒng)。這種處理陣列具有開放式體系結(jié)構(gòu)，支持新任務(wù)、新技術(shù)的插入，可在系統(tǒng)全壽命周期內(nèi)響應(yīng)不斷擴(kuò)展的外部需求。目前多核DSP矩陣已在航空電子領(lǐng)域多個工程項(xiàng)目中得到應(yīng)用，為系統(tǒng)的滾動迭代發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

VPX架構(gòu)；多核DSP矩陣；陣列處理；開放系統(tǒng)

0 引言

大規(guī)模陣列處理系統(tǒng)(雷達(dá)、聲納和圖像處理等方向)都是信號處理密集型應(yīng)用，嚴(yán)重依賴數(shù)字信號處理算法的高效實(shí)現(xiàn)，對系統(tǒng)的運(yùn)算處理速度、總線帶寬和工作環(huán)境等需求日益增長。傳統(tǒng)的嵌入式信息處理系統(tǒng)多基于分時共享總線和單核處理器陣列來構(gòu)建[1]。分時共享總線受限于固定的總傳輸帶寬，無法滿足快速增加的處理器陣列通信單元之間的高速信息傳輸需求。單核處理器受到芯片尺寸、功耗和成本等因素限制，運(yùn)算處理能力已達(dá)極限。因此，傳統(tǒng)的嵌入式平臺已不適用于當(dāng)今的大規(guī)模陣列處理系統(tǒng)。

隨著總線技術(shù)的發(fā)展，嵌入式系統(tǒng)總線現(xiàn)今已進(jìn)入到采用差分電平、點(diǎn)對點(diǎn)傳輸方式和交換開關(guān)的高速串行總線時代，其集大成者非VPX(VITA46)架構(gòu)莫屬[2]。VPX架構(gòu)可支持多種總線協(xié)議，如PCIE、SRIO和以太網(wǎng)等，散熱好，結(jié)構(gòu)靈活堅(jiān)固。而受益于半導(dǎo)體制造工藝的進(jìn)步，集成電路芯片尺寸越來越小，容納的晶體管越來越多，工作速度越來越高，這些都促使處理器從單核向多核進(jìn)化。典型如TI公司多核DSP芯片TMS320C6678，其處理能力較單核器件有數(shù)倍的提升。TMS320C6678支持二級自舉加載，并允許任意層級的用戶自定義自舉方式[3]。

本文介紹了一種基于VPX架構(gòu)和通信中間件技術(shù)的多核DSP矩陣設(shè)計(jì)和應(yīng)用，并在國內(nèi)大規(guī)模陣列處理工程應(yīng)用領(lǐng)域創(chuàng)新性地引入了“硬總線”和“軟總線”概念。多核DSP矩陣支持放式體系結(jié)構(gòu)，理論上使系統(tǒng)具備了不受限的功能升級和擴(kuò)展能力。

1 基本處理單元總體設(shè)計(jì)方案

多核DSP矩陣基本處理單元模塊按照聯(lián)合標(biāo)準(zhǔn)航空電子系統(tǒng)結(jié)構(gòu)委員會(ASAAC)發(fā)布的模塊化綜合航空電子(IMA)系統(tǒng)通用功能模塊(CFM)技術(shù)標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)[4]。模塊通用化設(shè)計(jì)是系統(tǒng)實(shí)現(xiàn)資源開放、軟件重構(gòu)的基礎(chǔ)。系統(tǒng)中眾多模塊通過開放式、可擴(kuò)展的交換網(wǎng)絡(luò)“硬總線”任意互聯(lián)，為軟件重構(gòu)部署提供基礎(chǔ)硬件設(shè)施。硬件模塊作為交換網(wǎng)絡(luò)的節(jié)點(diǎn)，其內(nèi)部的故障、升級和更改僅限于模塊內(nèi)部，不對系統(tǒng)其他部分造成影響。交換網(wǎng)絡(luò)支持任意數(shù)目的模塊節(jié)點(diǎn)和分布式網(wǎng)絡(luò)，可以方便地插入新的可擴(kuò)展模塊，新增加的模塊不對系統(tǒng)的其他部件造成影響。通用功能模塊標(biāo)準(zhǔn)結(jié)構(gòu)如圖1所示。

圖1 通用功能模塊標(biāo)準(zhǔn)結(jié)構(gòu)

在通用功能模塊中，處理單元PU負(fù)責(zé)信號/數(shù)據(jù)的運(yùn)算、交換和存儲，并可承擔(dān)部分系統(tǒng)控制任務(wù)[5]。模塊支持單元MSU主要負(fù)責(zé)控制和監(jiān)視模的運(yùn)行，提供模塊的系統(tǒng)管理、內(nèi)/外部通信和模塊板級管理。MSU可由處理單元底層軟件實(shí)現(xiàn)，也可由獨(dú)立的微控制器或可編程邏輯實(shí)現(xiàn)[6]。網(wǎng)絡(luò)接口單元NIU為模塊內(nèi)部網(wǎng)絡(luò)和模塊外部網(wǎng)絡(luò)提供通信連接。路由單元RU提供模塊內(nèi)部的網(wǎng)絡(luò)接口單元、處理單元和模塊支持單元之間的通信路由功能。電源支持單元PSE提供外部統(tǒng)一電壓轉(zhuǎn)換至模塊內(nèi)部電壓的功能。模塊物理接口MPI定義模塊的插座和結(jié)構(gòu)件規(guī)范。

1.1 基本處理單元硬件設(shè)計(jì)

多核DSP矩陣基本處理單元模塊遵循VPX架構(gòu)模塊通用設(shè)計(jì)要求，在滿足基本功能要求的前提下為算法及軟件的設(shè)計(jì)提供最大的靈活性及便利，其電路框圖如圖2所示。

圖2 基本處理單元模塊組成

基本處理單元模塊的PU即是多核DSP芯片TMS320C6678。TMS320C6678是基于Key Stone多核結(jié)構(gòu)的高性能定點(diǎn)和浮點(diǎn)數(shù)字信號處理器，內(nèi)部集成8個C66x內(nèi)核。在1.25 GHz工作頻率時每個C66x內(nèi)核的定點(diǎn)運(yùn)算能力為40 GMAC，浮點(diǎn)運(yùn)算能力為20 GFLOP。按照目前的集成設(shè)計(jì)能力，1個6U構(gòu)型的模塊可集成4片多核DSP，每片DSP可通過DDR3、EMIF、I2C等集成外設(shè)接口掛接DRAM、FLASH、NVRAM等類型存儲器，用于保存通信協(xié)議棧、應(yīng)用代碼以及固件信息。TMS320C6678內(nèi)部集成了NIU，可提供4路1X SRIO高速串行接口或1路4X SRIO接口?；咎幚韱卧K的RU選用的是IDT公司的SRIO總線交換芯片80HCPS1848。80HCPS1848交換芯片是18端口、48通道、低延遲的第二代SRIO總線交換芯片，支持240 Gbps持續(xù)峰值吞吐能力[7]。在基于FR4印制板并跨越2個連接器的傳輸系統(tǒng)中，80HCPS1848交換芯片的SRIO信號傳輸距離可達(dá)1 m。該款交換芯片接收和路由的數(shù)據(jù)包都符合SRIO 2.1規(guī)范，且數(shù)據(jù)包基于優(yōu)先級方式來設(shè)定[8]?；咎幚韱卧K中所有多核DSP皆通過1路4XSRIO總線連接到交換芯片80HCPS1848從而形成單星形拓?fù)浣Y(jié)構(gòu)，交換芯片自身也以1路4X SRIO總線經(jīng)由MPI和機(jī)箱背板接入系統(tǒng)高速串行交換網(wǎng)絡(luò)，如此可實(shí)現(xiàn)系統(tǒng)級的多核DSP并行運(yùn)算?；咎幚韱卧K的MSU可選擇TI公司的TMS320F28235。TMS320F28235操作簡單，接口豐富，適宜于實(shí)現(xiàn)模塊監(jiān)控和管理。

1.2 基本處理單元軟件設(shè)計(jì)

多核DSP矩陣軟件架構(gòu)分為3層，從下往上分別是平臺驅(qū)動層、通信中間件層和應(yīng)用層(功能軟件和系統(tǒng)軟件)，如圖3所示。

圖3 多核DSP矩陣軟件架構(gòu)

平臺驅(qū)動層是系統(tǒng)的基礎(chǔ)操作環(huán)境，包括操作系統(tǒng)(BIOS)、板級支持軟件包(BSP)以及硬件接口的軟件驅(qū)動(SW)。

通信中間件層位于操作系統(tǒng)之上，應(yīng)用軟件之下。向上通過中間件服務(wù)接口為應(yīng)用軟件提供通信和平臺資源管理服務(wù)，并在系統(tǒng)維護(hù)模式下提供可視化的系統(tǒng)監(jiān)控服務(wù)；向下通過硬件抽象適配層，與平臺硬件操縱與控制驅(qū)動層軟件接口，便于系統(tǒng)底層硬件的插入，實(shí)現(xiàn)系統(tǒng)軟件與系統(tǒng)硬件之間的松耦合設(shè)計(jì)。公共對象請求代理體系架構(gòu)(CORBA)是一種標(biāo)準(zhǔn)的面向?qū)ο蟮膽?yīng)用程序體系規(guī)范，解決了分布式處理環(huán)境中硬件和軟件系統(tǒng)的互連問題[9]。

在應(yīng)用層中，功能軟件實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)功能項(xiàng)的算法以及相應(yīng)功能線程的控制接口，主要功能在基本單元模塊DSP處理器中完成。系統(tǒng)軟件的核心任務(wù)則是工作模式和工作狀態(tài)管理：前者根據(jù)外部指令形成系統(tǒng)的功能需求，后者收集系統(tǒng)軟硬件運(yùn)行狀態(tài)及功能需求的滿足情況。此外，系統(tǒng)軟件還要負(fù)責(zé)接口管理，包括默認(rèn)端口間的直接轉(zhuǎn)換、數(shù)據(jù)包的接收解析以及拆分和組包發(fā)送。

多核DSP矩陣應(yīng)用層軟件采用構(gòu)件化設(shè)計(jì)方法，將功能及對外接口關(guān)系封裝在構(gòu)件內(nèi)部，構(gòu)件對外接口為“虛”通道[10]。各軟件構(gòu)件之間通過具有開放性、可擴(kuò)展特征的“軟總線”互聯(lián)，可部署在系統(tǒng)任意指定的硬件節(jié)點(diǎn)上。構(gòu)件內(nèi)部的故障、升級和更改不對系統(tǒng)其他部件造成影響?！败浛偩€”支持任意數(shù)目的軟件構(gòu)件節(jié)點(diǎn)數(shù)量，可以方便地插入新的擴(kuò)展模塊，新加的功能構(gòu)件不對系統(tǒng)的其他模塊造成影響。

2 基本處理單元關(guān)鍵技術(shù)

多核DSP矩陣基本處理單元模塊通過加載不同的應(yīng)用程序和配置參數(shù)來實(shí)現(xiàn)不同的信號處理功能。動態(tài)加載是指模塊按照系統(tǒng)指令為PU加載不同的應(yīng)用程序，代碼更新則是指模塊接收系統(tǒng)下發(fā)的應(yīng)用程序代碼并固化在本地非易失性存儲器中。DSP芯片是信號處理的核心器件，也是應(yīng)用程序動態(tài)加載和代碼更新的主控器。

2.1 多核DSP動態(tài)加載技術(shù)

TMS320C6678是8核數(shù)字信號處理器，內(nèi)核編號為0～7。在DSP自舉加載過程中，內(nèi)核0是主核，內(nèi)核1～7是從核，從核由主核負(fù)責(zé)加載。TMS320C6678片內(nèi)有一塊128 KB容量的ROM，芯片出廠時ROM中即駐留有一段軟件代碼ROM Boot Loader (RBL)。RBL的作用是將用戶程序搬移到DSP內(nèi)存中并執(zhí)行[11]。基本處理單元模塊的所有DSP均以硬件方式設(shè)置為從EMIF接口NOR FLASH自舉加載內(nèi)核0。為了支持模塊動態(tài)加載和代碼更新功能，DSP需引入二級自舉加載程序(即應(yīng)用管理程序)，加載流程如下：

① EMIF接口CS2空間掛接的NOR FLASH中保存應(yīng)用管理程序鏡像文件，鏡像文件保存格式為BOOT TABLE。在DSP每一次上電或全局復(fù)位后，RBL會從EMIF接口CS2空間基地址處執(zhí)行，即將應(yīng)用管理程序搬移到DSP內(nèi)存中并由內(nèi)核0執(zhí)行。在這一過程中，其他內(nèi)核處于IDLE(空閑)狀態(tài)。

② 內(nèi)核0執(zhí)行應(yīng)用管理程序，從FLASH中讀取需在內(nèi)核1上執(zhí)行的應(yīng)用程序代碼，分段加載到內(nèi)核1的L2 SRAM中，并將應(yīng)用程序入口地址寫入專用寄存器，最后向內(nèi)核1發(fā)送IPC中斷。內(nèi)核1被喚醒后自動執(zhí)行應(yīng)用程序代碼。內(nèi)核2～內(nèi)核7的加載過程與內(nèi)核1相同。

③ 內(nèi)核0上運(yùn)行的應(yīng)用管理程序最后的任務(wù)是加載自身，即將FLASH中保存的應(yīng)用程序代碼分段讀入內(nèi)核0的L2 SRAM中，最后跳轉(zhuǎn)執(zhí)行。至此，DSP自舉加載過程全部結(jié)束。

基本處理單元模塊DSP需要動態(tài)加載時，系統(tǒng)通過控制總線向模塊MCU發(fā)送動態(tài)加載指令。MCU收到指令后復(fù)位DSP，啟動DSP自舉加載流程。DSP立即停止運(yùn)行當(dāng)前應(yīng)用程序，經(jīng)由RBL跳轉(zhuǎn)到應(yīng)用管理程序開始執(zhí)行。應(yīng)用管理程序解析MCU中保存的動態(tài)加載指令信息，從FLASH中相應(yīng)存儲分區(qū)查找對應(yīng)的代碼并加載內(nèi)核，新加載的程序在DSP片內(nèi)程序存儲區(qū)覆蓋原來的用戶程序。加載和校驗(yàn)完成后，DSP通過MCU回復(fù)系統(tǒng)動態(tài)加載操作已完成，然后跳轉(zhuǎn)到新應(yīng)用程序入口地址處開始執(zhí)行。多核DSP動態(tài)加載流程如圖4所示。

圖4 多核DSP動態(tài)加載流程

2.2 多核DSP代碼更新技術(shù)

基本處理單元模塊中存儲的功能程序代碼可用2種方式來更新。調(diào)試狀態(tài)下DSP可掛接仿真器運(yùn)行FLASH燒寫程序，通過集成開發(fā)環(huán)境將保存在計(jì)算機(jī)上的程序代碼燒錄到FLASH中。在系統(tǒng)聯(lián)試和維護(hù)狀態(tài)下，模塊功能程序代碼需要更新時，系統(tǒng)通過控制總線向模塊MCU發(fā)送代碼更新指令。MCU接收指令后復(fù)位DSP，啟動DSP代碼更新流程。DSP立即停止當(dāng)前運(yùn)行的功能程序，經(jīng)由RBL跳轉(zhuǎn)到應(yīng)用管理程序并執(zhí)行。應(yīng)用管理程序解析MCU中保存的代碼更新指令，通過Rapid IO總線接收主機(jī)傳來的新程序代碼，然后將新版程序燒錄到FLASH中相應(yīng)存儲分區(qū)覆蓋原有程序。燒寫和校驗(yàn)完畢后，DSP過MCU回復(fù)系統(tǒng)代碼更新操作已完成，然后跳轉(zhuǎn)到新功能程序入口地址處開始執(zhí)行，或者駐留在應(yīng)用管理程序等待系統(tǒng)后續(xù)指令。多核DSP代碼更新流程如圖5所示。

圖5 多核DSP代碼更新流程

3 應(yīng)用分析

某型機(jī)載雷達(dá)主動探測系統(tǒng)通用信號處理平臺采用了VPX架構(gòu)+網(wǎng)絡(luò)化高速信號分配+通用信號處理模塊池的硬件架構(gòu)，其中通用信號處理模塊池由8～10塊多核DSP矩陣基本處理單元構(gòu)成。基本處理單元單模塊集成4片8核DSP，每片DSP內(nèi)核主頻為1 GHz，單核定點(diǎn)和浮點(diǎn)處理能力分別達(dá)到32 GMACs和16 GFLOPs，所以通用信號處理模塊池總的定點(diǎn)運(yùn)算能力不低于

32 GMACs*8*4*8=8 192 GMACs，總的浮點(diǎn)運(yùn)算能力不低于16 GFLOPs*8*4*8=4 096 GFLOPs?；咎幚韱卧總€模塊對外提供一路4x模式2.5 Gbps串行RapidIO鏈路接入系統(tǒng)高速信號分配網(wǎng)絡(luò)，故通用信號處理平臺網(wǎng)絡(luò)化高速交換總能力不小于2.5 Gbps*4*8=80 Gbps。

這種硬件架構(gòu)支持多任務(wù)、多功能線程并發(fā)工作，可根據(jù)系統(tǒng)任務(wù)需要，采用本地加載或遠(yuǎn)程加載方式，靈活調(diào)度平臺信號處理、I/O及存儲資源，動態(tài)部署相應(yīng)的功能軟件，在基本處理單元模塊上實(shí)現(xiàn)各種數(shù)字信號處理算法，任務(wù)切換響應(yīng)時間不大于5 s。

傳統(tǒng)的“聯(lián)合式”系統(tǒng)以各個獨(dú)立設(shè)備為基本單元來構(gòu)建系統(tǒng)，一旦建成很難加入新的功能，系統(tǒng)不具備擴(kuò)展、升級和成長能力[12]。而多核DSP矩陣采用開放式體系結(jié)構(gòu)，以“硬總線”和“軟總線”連接各個硬件和軟件模塊，通過軟件或硬件模塊的擴(kuò)展來實(shí)現(xiàn)系統(tǒng)的升級和重構(gòu)。多核DSP矩陣可任意擴(kuò)展物理硬件模塊和軟件功能模塊，且對系統(tǒng)已有部件不造成影響，系統(tǒng)內(nèi)部運(yùn)行的各功能線程之間無競爭關(guān)系。受益于通信中間件技術(shù)，系統(tǒng)具備軟硬件隔離能力，即硬件升級時功能軟件不受影響，軟件升級時底層硬件不受影響。當(dāng)模塊出現(xiàn)故障時，故障僅限于模塊內(nèi)部，而不影響系統(tǒng)其他部分。系統(tǒng)能快速實(shí)現(xiàn)新功能部署，新功能插入時無需對系統(tǒng)整體重新測試，只需對新增模塊進(jìn)行功能測試。

4 結(jié)束語

多核DSP矩陣支持開放性和可擴(kuò)展性設(shè)計(jì)，其核心思想是當(dāng)新功能、新模塊插入時與先前的功能線程無關(guān)，不對已有的功能線程造成任何影響?；诙嗪薉SP矩陣的大規(guī)模陣列處理系統(tǒng)目前已在航空電子領(lǐng)域多個工程項(xiàng)目中得到應(yīng)用，為系統(tǒng)的滾動迭代發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。

[1] 宋玉霞,李貴,甘峰,等.基于TMS320C667x和VPX的雷達(dá)處理系統(tǒng)設(shè)計(jì)及應(yīng)用[J].無線電工程,2016,46(11):71-74.

[2] 張峰.嵌入式高速串行總線技術(shù)[M].北京:電子工業(yè)出版社,2017:23-25.

[3] TexasInstruments.TMS320C6678 Datasheet[S],2011.

[4] 陳穎,苑仁亮,曾利.航空電子模塊化綜合系統(tǒng)集成技術(shù)[M].北京:國防工業(yè)出版社,2013:102-105.

[5] 陳穎,陳德志.航空傳感器綜合處理機(jī)的開放式體系架構(gòu)[J].電訊技術(shù),2005,42(2):107-110.

[6] 李典,陳穎,鄒傳云.下一代交換機(jī)總線技術(shù)的研究與設(shè)計(jì)[J].電視技術(shù),2007,31(2):52-54.

[7] IDT.CPS-1848 Datasheet[S],2011.

[8] 呂鵬.基于SRIO總線的全交換路由設(shè)計(jì)與實(shí)現(xiàn)[J].無線電通信技術(shù),2017,43(2):87-89.

[9] 孫學(xué).基于Fabric網(wǎng)絡(luò)平臺的中間件設(shè)計(jì)[J].電訊技術(shù),2011,51(11):79-83.

[10] JOHN H,FRANCIS B.SCA Deployment Management:Bridging the Gap in SCA Deployment[M].Zeligsoft Inc,2006.

[11] TexasInstruments.KeyStone Architecture DSP Bootloader User Guide[S],2013.

[12] 杰夫-凱爾斯.分布式網(wǎng)絡(luò)化作戰(zhàn)：網(wǎng)絡(luò)中心戰(zhàn)基礎(chǔ)[M].北京:北京郵電大學(xué)出版社,2006.

Design on a Multicore DSPs Matrix in Open System of Large-scale Array Signal Processing

LIU Ke

(SouthwestChinaResearchInstituteofElectronicTechnology,ChengduSichuan610036,China)

To meet the increasing requirements for high processing speed and I/O bandwidth of large-scale array signal processing systems,a multicore DSP matrix can be built based on VPX (VITA46) architectures.In this matrix,several basic processing element modules are connected through high-speed serial RapidIO switches to construct a required system topology structure.Combined with RapidIO communication middleware and customized DSP bootloading techniques,a multicore DSP matrix becomes into high performance and a loosely coupled parallel processing system with high performance is realized.This processing array has open architecture,supports the insertion of new tasks and up-to-date techniques,and can satisfy upgrading system requirements during the whole product life cycle.The multicore DSP matrix has been used in several avionics projects and provided strong support for system iterations and evolvements.

VPX architecture;multicore DSP matrix;array signal processing;open system

10.3969/j.issn.1003-3106.2017.07.23

劉可.開放式大規(guī)模陣列處理系統(tǒng)多核DSP矩陣設(shè)計(jì)[J].無線電工程,2017,47(7):94-98.[LIU Ke.Design on a Multicore DSPs Matrix in Open System of Large-scale Array Signal Processing[J].Radio Engineering,2017,47(7):94-98.]

2017-03-29

TN911

A

1003-3106(2017)07-0094-05

劉 可 男，(1978—)，碩士，工程師。主要研究方向：航空電子設(shè)備高性能通用數(shù)字信號處理平臺的開發(fā)和應(yīng)用。