基于Storm的數(shù)字信號流式處理平臺的研究與實(shí)現(xiàn)

張 保，劉世穎，張華沖，顧 旭，于浩洋

(中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

近年來，現(xiàn)代無線通信和頻譜偵察監(jiān)視領(lǐng)域中電磁環(huán)境日益復(fù)雜，新體制信號不斷涌現(xiàn)，對電子信息裝備平臺的高效集成、靈活擴(kuò)展等方面提出了更高的要求；另一方面，為提升電子信息裝備的全空域、全時域和全頻域的多維快速感知能力，要求在線實(shí)時或離線處理的數(shù)據(jù)量越來越大。因此，把硬件作為無線通信的基本平臺，而把數(shù)據(jù)處理盡可能多地用軟件實(shí)現(xiàn)的基于軟件無線電技術(shù)的分布式并發(fā)處理的新型數(shù)字信號處理平臺[1-2]成為了研究熱點(diǎn)。

傳統(tǒng)的數(shù)字信號處理平臺中，通過配置大容量存儲，將數(shù)據(jù)采集存儲于磁盤之中，在處理時，采用將數(shù)據(jù)批量導(dǎo)出的方式進(jìn)行離線處理。此種數(shù)字信號處理平臺的缺陷在于：① 隨著設(shè)備采集能力的提升，數(shù)據(jù)產(chǎn)生的速度遠(yuǎn)高于數(shù)據(jù)處理的速度，對磁盤存儲能力的要求越來越高，系統(tǒng)設(shè)計(jì)的硬成本也隨之提升；② 數(shù)據(jù)離線處理的方式擁有較大的信息情報獲取延遲，而數(shù)據(jù)本身的價值也隨信息獲取時間的增長而逐步降低。為解決該問題，需建立一套流水線式的數(shù)字信號處理平臺[3-5]，能夠以較低的時延處理流式數(shù)據(jù)，在快速獲取信息情報的同時，減少非必要數(shù)據(jù)的存儲需求。

Storm[6-7]中間件是一個并行分布式數(shù)據(jù)流處理框架，適用于處理無邊界的數(shù)據(jù)流，被廣泛應(yīng)用于各類數(shù)據(jù)流處理場景中，具備可擴(kuò)展、高容錯、與編程語言無關(guān)等特性，可以與Kafka[8]、Zookeeper[9]等技術(shù)協(xié)同工作，構(gòu)建一套完善的并行分布式數(shù)據(jù)流處理系統(tǒng)。本文在簡要介紹Storm原理的基礎(chǔ)上，提出了一種基于Storm的數(shù)字信號流式處理平臺：基于數(shù)字信號處理模塊的功能特性設(shè)計(jì)獨(dú)立的虛擬設(shè)備，基于不同體制信號的業(yè)務(wù)特性設(shè)計(jì)數(shù)字信號處理有向無環(huán)圖(DSP-DAG)，將DSP-DAG映射至Storm集群，實(shí)現(xiàn)采集數(shù)據(jù)的流式并行處理。實(shí)驗(yàn)表明，該平臺具有集成效率高、運(yùn)算速度快、可靠性高和擴(kuò)展能力強(qiáng)等優(yōu)點(diǎn)，優(yōu)于傳統(tǒng)的數(shù)字信號處理平臺。

1 Storm分布式流處理框架

大數(shù)據(jù)具有4個公認(rèn)的特性：體量(Volume)、速度(Velocity)、多樣性(Variety)和真實(shí)性(Veracity)。針對該特性，多種大數(shù)據(jù)處理工具應(yīng)運(yùn)而生，主要包括數(shù)據(jù)處理、數(shù)據(jù)傳輸和數(shù)據(jù)存儲3類。其中，數(shù)據(jù)處理存在批(Batch)處理和流(Stream)處理2種形式[10]，其模型對比如圖1所示。

圖1 批處理和流處理模型對比Fig.1 Comparison of batch processing and stream processing model

其中，批處理模式下，采集的數(shù)據(jù)需緩存入固定的數(shù)據(jù)池中，然后對數(shù)據(jù)進(jìn)行分批，數(shù)據(jù)按既定批次進(jìn)行處理；批處理的特性在于，所有數(shù)據(jù)處理流程全部完成之前，無法獲得最終結(jié)果。而流處理模式下[2]，數(shù)據(jù)在流入系統(tǒng)的同時執(zhí)行處理，分別處理每個事件，該特性適合于持續(xù)地處理數(shù)據(jù)，同時要求這些數(shù)據(jù)能夠快速產(chǎn)生有效結(jié)論的應(yīng)用場景。

現(xiàn)代無線電磁波通信偵察領(lǐng)域要求對采集數(shù)據(jù)的處理和感知提出了越來越高的要求，從數(shù)據(jù)采集、信號處理、變化感知到最終的結(jié)果存儲與展示，整個過程要求以盡可能低地延遲完成，為電子信息裝備的情報整編及時提供分析素材。這就要求以實(shí)時的流處理技術(shù)構(gòu)建新型的數(shù)字信號處理平臺。

Storm集群架構(gòu)如圖2所示，一個Storm集群包含2種類型的節(jié)點(diǎn)：主控結(jié)點(diǎn)(Master Node)和工作(Worker Node)結(jié)點(diǎn)。其中，主控結(jié)點(diǎn)只有一個，而工作結(jié)點(diǎn)可以有多個；一個主控結(jié)點(diǎn)運(yùn)行一個守護(hù)進(jìn)程N(yùn)imbus，而每個工作結(jié)點(diǎn)都分別運(yùn)行一個守護(hù)進(jìn)程Supervisor；每個工作結(jié)點(diǎn)可以運(yùn)行一到多個工作進(jìn)程，每個工作進(jìn)程(Worker)可以擁有一個或多個執(zhí)行器(Executor)。Nimbus圍繞集群發(fā)布代碼，將任務(wù)指派給工作節(jié)點(diǎn)，并同時監(jiān)控異常狀態(tài)；每個Supervisor通過監(jiān)聽Nimbus分配到工作結(jié)點(diǎn)上的任務(wù)去啟動或結(jié)束工作進(jìn)程；每個執(zhí)行器上運(yùn)行一個或者多個所分配的計(jì)算任務(wù)(Task)。

圖2 Storm集群架構(gòu)Fig.2 Storm cluster architecture

Storm拓?fù)浣Y(jié)構(gòu)如圖3所示，在Storm集群中運(yùn)行的每個作業(yè)被表示為一個有向無環(huán)的拓?fù)鋱D(Topology)。其中，每個結(jié)點(diǎn)是一個組件，組件有2種類型：Spout組件是數(shù)據(jù)源，負(fù)責(zé)生產(chǎn)數(shù)據(jù)；Bolt組件封裝了數(shù)據(jù)處理邏輯，可以完成過濾、業(yè)務(wù)處理、連接運(yùn)算、連接與訪問數(shù)據(jù)庫等任何操作。每個組件都含有一個或多個任務(wù)(Task)，任務(wù)是最小的處理單元。任務(wù)之間傳遞的消息由元組(Tuple)構(gòu)成，是消息傳遞的基本單元；一個無界的元組序列構(gòu)成流(Stream)。流分組(Stream Grouping)定義消息分發(fā)策略，決定了流/元組如何在Spout到Bolt或Bolt之間的任務(wù)間進(jìn)行分發(fā)。

圖3 Storm拓?fù)浣Y(jié)構(gòu)Fig.3 Storm topology structure

Storm具備高度的容錯機(jī)制，提交拓?fù)涞郊汉?，Storm會一直運(yùn)行拓?fù)渲敝疗浔蝗藶闅⑺馈Ｈ绻\(yùn)行過程中某個工作進(jìn)程發(fā)生故障，Supervisor檢測到故障后會嘗試在本機(jī)對其進(jìn)行重啟；如果Nimbus或Supervisor守護(hù)進(jìn)程故障，因其狀態(tài)可以保存，在將其重啟后不會對系統(tǒng)任務(wù)的運(yùn)行產(chǎn)生任何影響；如果整個工作結(jié)點(diǎn)發(fā)生故障，Nimbus監(jiān)測到錯誤后會以進(jìn)程調(diào)度的方式將該結(jié)點(diǎn)上所有的任務(wù)轉(zhuǎn)移至其他可用的工作結(jié)點(diǎn)上重新運(yùn)行。同時，Storm具備高可靠性機(jī)制，通過設(shè)計(jì)一組特殊的Acker任務(wù)，對于每個Spout消息元組，跟蹤其在拓?fù)鋬?nèi)的有向無環(huán)圖，確保每個來自Spout的消息元組將被完全處理。

2 數(shù)字信號流式處理平臺設(shè)計(jì)

為實(shí)現(xiàn)電子信息裝備所采集的流式數(shù)據(jù)的快速處理，提出了一種基于Storm的數(shù)字信號流式處理平臺，與天線、射頻前端和數(shù)據(jù)采集設(shè)備共同構(gòu)成高速數(shù)字信號處理系統(tǒng)，其整體架構(gòu)如圖4所示。

圖4 高速數(shù)字信號處理系統(tǒng)架構(gòu)Fig.4 Architecture of high speed digital signal processing system

其中，天線、射頻前端和數(shù)據(jù)采集設(shè)備作為采集數(shù)據(jù)流的生產(chǎn)者，產(chǎn)生的數(shù)據(jù)以流的形式流入數(shù)字信號流式處理平臺；而數(shù)字信號流式處理平臺作為采集數(shù)據(jù)流的消費(fèi)者，基于虛擬設(shè)備技術(shù)和數(shù)字信號處理有向無環(huán)圖(DSP-DAG)構(gòu)建Storm拓?fù)渥鳂I(yè)，由Nimbus和Supervisor守護(hù)進(jìn)程進(jìn)行調(diào)度，在Storm集群上運(yùn)行；同時，Storm集群可為負(fù)載均衡、拓?fù)渥鳂I(yè)監(jiān)控(UI)和數(shù)據(jù)持久化(DB)等技術(shù)提供支撐。

2.1 虛擬設(shè)備責(zé)任矩陣

廣義的虛擬設(shè)備(Virtual Device)是指利用數(shù)字計(jì)算機(jī)技術(shù)模擬實(shí)現(xiàn)示波器、溫控儀表、數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)信號處理系統(tǒng)等各種傳統(tǒng)設(shè)備的計(jì)算機(jī)系統(tǒng)都可稱為虛擬設(shè)備[11]，而本文所討論的虛擬設(shè)備是指利用通用計(jì)算機(jī)/服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信號處理[12-15]。

本文提出的基于Storm的數(shù)字信號流式處理平臺中所處理的基本單元是由采集數(shù)據(jù)流構(gòu)成的計(jì)算任務(wù)(Task)，而處理計(jì)算任務(wù)最小的執(zhí)行單元是最基本的Spout/Bolt組件，即為進(jìn)行封裝后的可完成獨(dú)立功能的軟式虛擬設(shè)備實(shí)例。

一個完整的數(shù)字信號處理流程囊括多種體制信號的處理方式以及各種體制信號的多個處理階段，本文提出的虛擬設(shè)備技術(shù)旨在依據(jù)數(shù)字信號處理流程中各功能模塊的獨(dú)立特性進(jìn)行切分，劃分為具有不同功能的虛擬設(shè)備，再對各虛擬設(shè)備的輸入、輸出接口進(jìn)行標(biāo)準(zhǔn)化設(shè)計(jì)與封裝，以構(gòu)建Spout/Bolt組件。

依據(jù)不同體制(常規(guī)、突發(fā)和擴(kuò)頻等)信號處理的業(yè)務(wù)特性可將數(shù)字信號處理流程在橫向上切分為常規(guī)信號處理、突發(fā)信號處理和擴(kuò)頻信號處理等；依據(jù)信號處理階段的功能特性可將數(shù)字信號處理流程在縱向上切分為預(yù)處理、檢測、信道化、分析、解調(diào)、解碼和協(xié)議分析等[16]。

Storm平臺中任務(wù)之間以元組(Tuple)的形式傳遞消息，元組是一個命名的值列表，其字段所支持的類型包括基本類型、字符串或字符數(shù)組，均為較為簡單的對象類數(shù)據(jù)形式。而數(shù)字信號處理虛擬設(shè)備間所交互的內(nèi)容除對象類數(shù)據(jù)外，還包括文件類數(shù)據(jù)和庫表類數(shù)據(jù)。為適應(yīng)Storm平臺中消息的傳輸要求，需對虛擬設(shè)備的輸入、輸出接口進(jìn)行標(biāo)準(zhǔn)化與封裝設(shè)計(jì)，如圖5所示，針對不同的數(shù)據(jù)采用如下3種不同的傳輸方法：

(1) 對象類數(shù)據(jù)：直接基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸；

(2) 文件類數(shù)據(jù)：將文件在磁盤上的存儲路徑組織為對象類數(shù)據(jù)再基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸；

(3) 庫表類數(shù)據(jù)：將庫表名稱及相應(yīng)字段組織為對象類數(shù)據(jù)再基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸。

2.2 DSP-DAG模型

一個流式計(jì)算作業(yè)及其所處理的一系列任務(wù)可以用有向無環(huán)圖(DAG)[17]表示，在Storm集群中稱之為拓?fù)?Topology)。為適應(yīng)該處理模式，在構(gòu)建數(shù)字信號處理責(zé)任矩陣的基礎(chǔ)上，提出了DSP-DAG模型，即可用于數(shù)字信號處理的有向無環(huán)圖。該模型采用如下構(gòu)建方法：

(1) 基于不同體制信號處理的業(yè)務(wù)特性將其信號處理流程中所需的虛擬設(shè)備進(jìn)行串接，構(gòu)成虛擬設(shè)備作業(yè)鏈；

(2) 基于負(fù)責(zé)不同功能模塊的虛擬設(shè)備的性能特性為作業(yè)鏈中每個作業(yè)節(jié)點(diǎn)配置虛擬設(shè)備實(shí)例數(shù)量。

基于上述方法完成DSP-DAG模型的構(gòu)建，某種體制信號DSP-DAG模型的示意如圖6所示。

圖6 某體制信號DSP-DAG模型示意Fig.6 Schematic diagram of DSP-DAG system signal model

流式數(shù)據(jù)在時間維度上可分解為連續(xù)的多個處理子任務(wù)，而DSP-DAG模型將各虛擬設(shè)備實(shí)例組織為流水線，各類虛擬設(shè)備并行地執(zhí)行其對應(yīng)階段的子任務(wù)，同類虛擬設(shè)備的不同實(shí)例并行地執(zhí)行其相應(yīng)階段的子任務(wù)，從而達(dá)到超標(biāo)量流水線并行。流水線并行是指將不同的階段任務(wù)分配到不同的處理單元(如集群節(jié)點(diǎn)以及節(jié)點(diǎn)內(nèi)多核等)上，各處理單元并行的執(zhí)行階段任務(wù)，實(shí)現(xiàn)時間上的并行；而超標(biāo)量流水線并行以空間換時間的方法實(shí)現(xiàn)多條流水線的并行[18-21]。

DSP-DAG模型可有效地對流式數(shù)據(jù)的處理進(jìn)行并行加速，以圖6中某體制信號的處理為例，定義各階段處理時間如下：

tp：單個信號的預(yù)處理時間；td：單個信號的檢測時間；tc：單個信號的信道化時間；ta：單個信號的分析時間；tm：單個信號的解調(diào)時間；te：單個信號的解碼時間；to：單個信號的協(xié)議分析時間。

為方便進(jìn)行性能對比，假設(shè)圖6為理想化配比模型，在信號處理各階段所產(chǎn)生的數(shù)據(jù)沒有堆積，即某處理階段在產(chǎn)生一批次數(shù)據(jù)時，其上一批次的數(shù)據(jù)已被下個處理階段消耗完畢。設(shè)Δt為耗時最長的虛擬設(shè)備處理每個子任務(wù)所需執(zhí)行時間，則：

此時，DSP-DAG模型可等同視為度為4的超標(biāo)量流水線，與度為1的常規(guī)單標(biāo)量流水線對比如圖7所示。

采用串行模型執(zhí)行時，n(設(shè)n=i×4，其中，i為正整數(shù))個計(jì)算子任務(wù)的總執(zhí)行時間為：

tSLE=tp+td+tc+ta+tm+te×n+to=11.5Δt,n=8。

采用DSP-DAG模型執(zhí)行時間，n個計(jì)算子任務(wù)的總執(zhí)行時間為：

而2種模型加速比為：

因此，DSP-DAG模型(度為4的超標(biāo)量流水線)相對于傳統(tǒng)流水線的模式極限加速比為4倍。

基于以上分析，采用DSP-DAG模型可有效對流式數(shù)據(jù)的處理進(jìn)行并行加速，且該模型與Storm拓?fù)淠軌驅(qū)崿F(xiàn)完美契合，發(fā)揮Storm平臺的優(yōu)勢。

(a) 常規(guī)單標(biāo)量流水線(度為1)

2.3 Storm平臺映射

依據(jù)Storm拓?fù)浣Y(jié)構(gòu)，在Storm集群中運(yùn)行的每個作業(yè)被表示為一個有向無環(huán)的拓?fù)鋱D(Topology)。而拓?fù)溆上⒃碨pout組件、處理邏輯Bolt組件，以及組件之間傳遞的消息由Stream/Tuple組成。

為實(shí)現(xiàn)DSP-DAG模型到Storm平臺的映射，本文將預(yù)處理虛擬設(shè)備定義為PreprocessSpout組件，將檢測、信道化、分析、解調(diào)、解碼和協(xié)議分析等虛擬設(shè)備分別定義為DetectBolt、ChannelBolt、AnalyzeBolt、DemodBolt、DecodeBolt、ProtocalBolt組件，將各虛擬設(shè)備的輸入、輸出封裝為標(biāo)準(zhǔn)的Stream/Tuple消息，并在構(gòu)建拓?fù)鋾r定義各組件并發(fā)的數(shù)量。DSP-DAG模型到Storm平臺的映射示意如圖8所示。

圖8 DSP-DAG與Storm平臺映射示意Fig.8 Diagram of DSP-DAG and Storm platform mapping

3 驗(yàn)證與測試

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境基于1臺曙光I620-G20服務(wù)器和2臺曙光W620-G20服務(wù)器，分別配置了2顆Intel Xeon 12核CPU(E5-2680 V3，2.5 GHz)，128 GB DDR3內(nèi)存；其中，2臺曙光W620-G20服務(wù)器各配置了1顆NVIDIA Tesla K20 m GPU(2 496個CUDA Core，4 800 MB顯存)，用于實(shí)現(xiàn)部分應(yīng)用性能的加速；服務(wù)器之間采用萬兆交換，數(shù)據(jù)存儲于1臺DS600磁盤陣列。

服務(wù)器安裝了中標(biāo)麒麟v6.5操作系統(tǒng)，內(nèi)置Storm應(yīng)用環(huán)境及本實(shí)驗(yàn)所需的其他依賴軟件庫，具體如下：

JDK版本：jdk.1.8.0_91

Maven版本：apache-maven-3.6.0

Storm版本：storm-1.2.3

Kafka版本：kafka-2.3.1-incubating-src

Zookeeper版本：zookeeper-3.5.6

Python版本：Python-2.7.3

CUDA版本：CUDA Toolkit V7.5

3.2 測試應(yīng)用

本實(shí)驗(yàn)選用常規(guī)體制衛(wèi)星信號的自動普查應(yīng)用進(jìn)行測試，實(shí)驗(yàn)進(jìn)行3輪，數(shù)字信號處理的對象分別為1 000，2 000和3 000組采樣數(shù)據(jù)文件，數(shù)據(jù)中含頻分多址和時分多址信號，數(shù)字信號處理的目的是獲得信號的詳細(xì)特征參數(shù)和調(diào)制方式。其中，為方便實(shí)驗(yàn)對比，每組數(shù)據(jù)文件采樣率fs為500 Ms/s，采樣深度為16 bit，采樣時長為8 ms，采集帶寬200 MHz；數(shù)據(jù)為仿真生成，每組數(shù)據(jù)中包含5個調(diào)制方式為BPSK的頻分多址信號(符號速率Rs均為10 Ms/s)和5個調(diào)制方式為QPSK的時分多址信號(符號速率Rs均為2 Ms/s)。

基于頻分和時分多址信號的處理的業(yè)務(wù)特性，將其處理過程設(shè)計(jì)為數(shù)據(jù)預(yù)處理、寬帶信號檢測、多信號分割、非均勻信道化、通信體制識別、FDMA信號特征參數(shù)估計(jì)和TDMA信號特征參數(shù)估計(jì)等7個虛擬設(shè)備，基于本文描述的DSP-DAG模型的構(gòu)建方法，搭建本測試應(yīng)用的數(shù)據(jù)信號處理拓?fù)鋱D，依據(jù)以下步驟，推算過程如表1所示，搭建本測試應(yīng)用的數(shù)據(jù)信號處理拓?fù)鋱D如圖9所示，等同于度為68的超標(biāo)量流水線。

圖9 常規(guī)體制衛(wèi)星信號的自動普查拓?fù)鋱DFig.9 Automatic general investigation topological graph of conventional system satellite signals

表1 常規(guī)體制衛(wèi)星信號的自動普查拓?fù)鋱D構(gòu)建過程表Tab.1 Automatic general investigation topological graph construction process table of conventional system satellite signals

注：3臺曙光服務(wù)器共計(jì)72核，可同時運(yùn)行144線程，為保證服務(wù)器系統(tǒng)運(yùn)行，分配每服務(wù)器2個線程用于系統(tǒng)的監(jiān)控運(yùn)行，即虛擬設(shè)備可用138線程，因此調(diào)整因子factor為：factor=∑vi/138；則每虛擬設(shè)備實(shí)例可用配置va為：va=vi/factor。

(1) 統(tǒng)計(jì)各虛擬設(shè)備單任務(wù)處理所需時長；均采用曙光W620-G20服務(wù)器進(jìn)行多次測量取平均值；

(2) 統(tǒng)計(jì)各虛擬設(shè)備所有任務(wù)處理所需總時長；

(3) 計(jì)算理想配比條件下，各虛擬設(shè)備所需配置實(shí)例個數(shù)；

(4) 依據(jù)當(dāng)前實(shí)際測試環(huán)境，基于可同時運(yùn)行總線程數(shù)計(jì)算調(diào)整因子，計(jì)算虛擬設(shè)備可配置實(shí)例個數(shù)；

(5) 各虛擬設(shè)備可配置實(shí)例進(jìn)行歸整計(jì)算。

3.3 測試結(jié)果與分析

測試結(jié)果如圖10所示。

圖10 常規(guī)體制衛(wèi)星信號的自動普查任務(wù)處理性能對比圖Fig.10 Comparison chart of automatic general investigation task processing performance of conventional system satellite signals

實(shí)驗(yàn)結(jié)果表明，采用DSP-DAG超標(biāo)量流水線進(jìn)行加速后，處理速度有了明顯提升，數(shù)據(jù)文件在1 000組以上時，相對常規(guī)單標(biāo)量流水線處理方式性能提高了31倍以上。且隨著處理總?cè)蝿?wù)量的提升加速比逐步提高，但加速比趨勢逐步降低，具體如圖11所示。

圖11 常規(guī)體制衛(wèi)星信號的自動普查任務(wù)加速比趨勢圖Fig.11 Trend chart of acceleration ratio of automatic general investigation task for conventional system satellite signals

實(shí)驗(yàn)結(jié)果表明，針對本應(yīng)用設(shè)計(jì)的數(shù)據(jù)信號處理拓?fù)鋱D，可有效提升處理性能。但該拓?fù)鋱D采用度為68的超標(biāo)量流水技術(shù)，理論加速比可達(dá)到68倍，鑒于測試結(jié)果加速比小于理論加速比的情況，分析原因包括兩方面內(nèi)容：① 總?cè)蝿?wù)量有限，隨著任務(wù)量的提升加速比會逐步提高，但會趨于一個平衡；② 處理線程的增加，增加了一定的通信開銷，在一定程度上阻礙了處理性能的提升，且大量線程對磁盤的并發(fā)讀寫也是影響性能的主要瓶頸。

4 結(jié)束語

在介紹流處理技術(shù)和Storm原理的基礎(chǔ)上，提出了一種基于Storm的數(shù)字信號流式處理平臺。結(jié)合不同體制信號處理的業(yè)務(wù)特性，及信號處理過程中各階段的功能特性，構(gòu)建虛擬設(shè)備責(zé)任矩陣；基于超標(biāo)量流水線并行原理，將各類虛擬設(shè)備串接處理某種體制信號的作業(yè)鏈，構(gòu)建DSP-DAG模型；將虛擬設(shè)備映射為Storm平臺的Spout/Bolt組件，將DSP-DAG映射為Storm平臺的Topology，最終實(shí)現(xiàn)基于Storm的數(shù)字信號流式處理平臺。實(shí)驗(yàn)結(jié)果表明，提出的DSP-DAG數(shù)字信號處理模型可有效提高應(yīng)用的整體性能。

同時，在基于集群進(jìn)行分布式計(jì)算時，集群中各節(jié)點(diǎn)間的互聯(lián)網(wǎng)絡(luò)以及磁盤等環(huán)境，均會對應(yīng)用性能產(chǎn)生影響，因此，后續(xù)研究集群環(huán)境布設(shè)、處理線程間的通信效率和對磁盤的讀寫速率等對應(yīng)用的并發(fā)改善仍具有重要的意義。