資源數(shù)據(jù)傳輸速率提升方法的研究*

徐思毅 夏 泳 陳孟奇 范月霞

(武漢船舶通信研究所 武漢 430200)

資源數(shù)據(jù)傳輸速率提升方法的研究*

徐思毅 夏 泳 陳孟奇 范月霞

(武漢船舶通信研究所 武漢 430200)

數(shù)據(jù)的傳輸處理速率對(duì)資源分發(fā)設(shè)備的工作效率影響極大,是其極為重要的性能指標(biāo)之一。論文在探討影響數(shù)據(jù)傳輸速率因素的基礎(chǔ)之上嘗試了對(duì)數(shù)據(jù)通道各環(huán)節(jié)及數(shù)據(jù)處理流程進(jìn)行優(yōu)化,并對(duì)優(yōu)化措施的有效性進(jìn)行了定量分析。

資源分發(fā); 數(shù)據(jù)通道; 數(shù)據(jù)傳輸

Class Number TP391

1 引言

資源分發(fā)是指從資源管理服務(wù)器獲取資源文件,對(duì)文件數(shù)據(jù)經(jīng)過處理后,再根據(jù)需要將處理后的數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送至目標(biāo)。資源分發(fā)設(shè)備需要支持同時(shí)向多個(gè)客戶端分發(fā)相同或不同類型的資源文件。分發(fā)的效率取決于數(shù)據(jù)傳輸處理的速率。因此,數(shù)據(jù)傳輸速率是分發(fā)設(shè)備最核心的技術(shù)指標(biāo)之一。根據(jù)需求,其數(shù)據(jù)傳輸速率應(yīng)不低于200Mbps,但是,當(dāng)前現(xiàn)有的分發(fā)平臺(tái)的數(shù)據(jù)傳輸速率僅為20Mbps,遠(yuǎn)低于實(shí)際應(yīng)用要求。因此,如何提高當(dāng)前分發(fā)設(shè)備的數(shù)據(jù)傳輸速率是本文研究的核心內(nèi)容。

2 問題分析

2.1 數(shù)據(jù)傳輸通道介紹

本文所測(cè)的數(shù)據(jù)傳輸速率指的是數(shù)據(jù)從加固計(jì)算機(jī)被送到數(shù)據(jù)處理平臺(tái)中完成處理后,再返回到加固計(jì)算機(jī)這個(gè)過程的傳輸速率,包含數(shù)據(jù)處理的時(shí)間。這個(gè)過程的數(shù)據(jù)通道主要分成四個(gè)單元,如圖1所示,主機(jī)平臺(tái)接口單元、PCI-E接口單元、主控單元和數(shù)據(jù)處理單元。

分析該通道的數(shù)據(jù)傳輸速率時(shí)需要考慮七個(gè)環(huán)節(jié)：除了上述四個(gè)單元外,還有連接這四個(gè)單元的三處總線A、B、C。

理論上,可以由這七個(gè)環(huán)節(jié)各自的速率估算出平臺(tái)數(shù)據(jù)分發(fā)的速率。

1) A總線和PCI-E接口單元

A為PCI-E總線,它與PCI-E接口單元組成密碼卡的PCI-E通道。

單路PCI-E通道速率理論值為2.5Gbps,分發(fā)設(shè)備密碼卡采用4路PCI-E總線,因此分發(fā)設(shè)備PCI-E通道速率的理論值為2.5Gbps×4 = 10Gbps。

2) 主控單元

該單元的速率主要由主控軟件及主控芯片決定,據(jù)經(jīng)驗(yàn)估算主控單元速率處于330M～550M之間。

3) 數(shù)據(jù)處理單元

經(jīng)過對(duì)當(dāng)前設(shè)備的測(cè)試經(jīng)驗(yàn),數(shù)據(jù)處理單元上的處理速率經(jīng)測(cè)量約為800Mbps。

4) B、C均為EMIF總線

總線100MHz時(shí)鐘頻率,總線位寬為64bit的情況下,B、C兩處回環(huán)速率理論值最大可達(dá)到64×100M/2=3.2Gbps。

綜合以上各環(huán)節(jié)的速率值可以計(jì)算出整個(gè)環(huán)節(jié)的加密速率大約為

2.2 數(shù)據(jù)傳輸測(cè)速方法的設(shè)計(jì)

在數(shù)據(jù)傳輸速率的測(cè)試中,對(duì)當(dāng)前設(shè)備平臺(tái)的數(shù)據(jù)處理及傳輸速率的測(cè)試方法如下：

1) 先對(duì)數(shù)據(jù)處理時(shí)間進(jìn)行計(jì)時(shí)：當(dāng)數(shù)據(jù)從主機(jī)平臺(tái)接口側(cè)驅(qū)動(dòng)送入數(shù)據(jù)處理平臺(tái)時(shí),開始計(jì)時(shí)。途徑PCI-E接口芯片進(jìn)行處理,在經(jīng)過主控芯片進(jìn)行處理,再送入數(shù)據(jù)處理芯片進(jìn)數(shù)據(jù)處理運(yùn)算后,原路經(jīng)過主控芯片、PCI-E接口芯片后回到主機(jī)側(cè)。至此,計(jì)時(shí)結(jié)束。所用時(shí)長(zhǎng)為數(shù)據(jù)傳輸處理時(shí)間。

2) 根據(jù)測(cè)試所用數(shù)據(jù)量或文件大小及整個(gè)流程數(shù)據(jù)傳輸時(shí)間計(jì)算得到傳輸速率。

3) 分別循環(huán)1000次、2000次、 3000次、5000次和10000次進(jìn)行計(jì)時(shí)測(cè)速。

實(shí)際測(cè)速結(jié)果記錄表設(shè)計(jì)表如表1所示。

表1 數(shù)據(jù)傳輸速率測(cè)試記錄表

由表1知,數(shù)據(jù)的傳輸速率較低,約25Mbps。該實(shí)際測(cè)試結(jié)果與前述2.1中理論值差距較大,實(shí)際值遠(yuǎn)低于理論值,不能達(dá)到研制要求的200Mbps。因此,需要對(duì)數(shù)據(jù)通道各環(huán)節(jié)進(jìn)行優(yōu)化,進(jìn)而達(dá)到提高數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)傳輸速率的目的。

3 解決措施

3.1 原因分析

上一節(jié)的分析中,數(shù)據(jù)傳輸通道的四個(gè)核心單元是主機(jī)平臺(tái)接口單元、PIC-E接口單元、主控單元和數(shù)據(jù)處理單元。分析影響數(shù)據(jù)傳輸速率的原因,可能有很多,例如：數(shù)據(jù)處理單元的處理效率低、Linux驅(qū)動(dòng)程序效率低、主控軟件效率較低、數(shù)據(jù)處理單元總線寬度過窄、主頻處理器平臺(tái)主頻較低等。

3.2 改進(jìn)措施

通過對(duì)數(shù)據(jù)處理流程進(jìn)行分析,可對(duì)以下幾部分進(jìn)行優(yōu)化：

1) 主頻處理器平臺(tái)單元

主頻處理器平臺(tái)CPU由原來(lái)的Intel Atom N2600更換為Intel Core i7-3517UE,主要技術(shù)參數(shù)改變?yōu)椋褐黝l由1.6G提高到1.7G,L2 cache由1MB提高到4MB,總線帶寬由2.5GT/s提高到5GT/s,分發(fā)設(shè)備PCI-E通道速率為5Gbps×4 = 20Gbps。由于平臺(tái)速率受到PCI-E總線和處理器局部總線影響較大,因此可以看到總線帶寬和cache的提高帶來(lái)的傳輸速度的大幅提高。

更換主頻處理器平臺(tái)后再次進(jìn)行測(cè)速,數(shù)據(jù)傳輸速率從約25Mbps提升到了約70Mbps,提升了80%,但距離預(yù)想要求的200Mbps仍有極大的差距。

2) PIC-E驅(qū)動(dòng)單元

對(duì)于對(duì)更換主頻處理器平臺(tái)后的驅(qū)動(dòng)代碼也進(jìn)行了優(yōu)化,數(shù)據(jù)讀取由之前查詢方式改為中斷方式,并對(duì)數(shù)據(jù)存取的操作采用匯編語(yǔ)言編寫。這時(shí)候?qū)Ρ?)再進(jìn)行速度提升,從約70Mbps提升至約為120Mbps,提升了約70%,距離目標(biāo)200Mbps仍有較大的差距。

3) 主控單元

在對(duì)主控單元內(nèi)數(shù)據(jù)處理流程進(jìn)行分析后,發(fā)現(xiàn)可以對(duì)其進(jìn)行優(yōu)化。如圖2,簡(jiǎn)單來(lái)說,就是將數(shù)據(jù)從片外SDRAM改為存儲(chǔ)到片內(nèi)RAM中。

設(shè)備模塊的主控芯片為DSP,由于協(xié)議處理復(fù)雜,數(shù)據(jù)開銷增大,需要片外的SDRAM進(jìn)行緩存,程序進(jìn)行數(shù)據(jù)處理的程序結(jié)構(gòu)大致如圖3所示。

首先,主機(jī)側(cè)以分包方式(每包大小為4kbytes,可增大至15kbytes)通過PCI-E通道將數(shù)據(jù)傳輸至DSP,DSP解析協(xié)議數(shù)據(jù)后回復(fù)應(yīng)答,并對(duì)每包數(shù)據(jù)緩存至片外的SDRAM(該SDRAM大小為32Mbytes)；

其次,待收齊所有待處理數(shù)據(jù)后,DSP以分包形式將緩存在SDRAM的數(shù)據(jù)傳輸至數(shù)據(jù)處理單元進(jìn)行處理工作,處理后的數(shù)據(jù)緩存于片外SDRAM；

最后,數(shù)據(jù)處理工作完成,DSP以分包形式將處理后的數(shù)據(jù)發(fā)送至主機(jī)側(cè)。

改進(jìn)的方案在現(xiàn)有的硬件平臺(tái)上,對(duì)平臺(tái)的應(yīng)用程序中數(shù)據(jù)處理流向進(jìn)行改變,如圖4所示。

首先,主機(jī)側(cè)通過PCIE通道發(fā)送數(shù)據(jù)(該數(shù)據(jù)包括第一包待處理數(shù)據(jù))給DSP,DSP根據(jù)協(xié)議解析獲取數(shù)據(jù)的相關(guān)信息后,發(fā)送給接口FPGA；

其次,接口FPGA接收來(lái)自DSP應(yīng)答后,如果是待處理的信息,則將該應(yīng)答中的相關(guān)信息(或全部信息)與第一包處理前數(shù)據(jù)發(fā)送給數(shù)據(jù)處理單元,待數(shù)據(jù)處理單元處理完成并回復(fù)后,接口FPGA將該處理后數(shù)據(jù)返還給主機(jī)側(cè)；否則接口FPGA將該數(shù)據(jù)直接發(fā)送至主機(jī)側(cè)；

最后,主機(jī)側(cè)以分包方式將余下的待處理數(shù)據(jù)經(jīng)接口FPGA直接發(fā)送至數(shù)據(jù)處理單元進(jìn)行處理,不再經(jīng)過DSP緩存轉(zhuǎn)發(fā)。

如此改進(jìn)后,再次進(jìn)行測(cè)試,數(shù)據(jù)處理傳輸速率得到了一定的提升,從120Mbps提升至約190Mbps,提升了約60%,距離目標(biāo)200Mbps仍有一定的差距。

4) 流水線設(shè)計(jì)

對(duì)于DSP這種單處理器來(lái)說,軟件過程處理是串行的,但由于數(shù)據(jù)處理單元均用硬件實(shí)現(xiàn),硬件優(yōu)于軟件的最明顯的地方就是其并行處理的功能結(jié)構(gòu)。其中最重要的優(yōu)點(diǎn)就是,在某個(gè)時(shí)鐘的控制下,硬件的每個(gè)模塊均可同時(shí)進(jìn)行,對(duì)于幾個(gè)沒有數(shù)據(jù)相互依賴性的模塊,可以在控制模塊的協(xié)調(diào)下完全相互獨(dú)立的執(zhí)行自己的工作。而對(duì)于有數(shù)據(jù)依賴的模塊,雖然前一個(gè)模塊的數(shù)據(jù)處理完之后才將數(shù)據(jù)交給下一級(jí)處理,但是,在下一個(gè)模塊執(zhí)行時(shí),上級(jí)模塊又可以進(jìn)行下一次操作。即使兩個(gè)模塊的執(zhí)行速度不一致,只要將執(zhí)行時(shí)間調(diào)整到兩者中的較大值即可。

流水線技術(shù)正是體現(xiàn)了這一設(shè)計(jì)思想,它是一種非常經(jīng)濟(jì)且對(duì)于提高硬件處理能力非常有效的技術(shù),采用流水線技術(shù)可以在不增加硬件或者僅僅需要增加少量硬件就可以將數(shù)據(jù)處理速度提高好幾倍。

在本研究中,數(shù)據(jù)處理單元建立兩個(gè)FIFO：輸入FIFO和輸出FIFO；主機(jī)側(cè)緩存兩個(gè)存儲(chǔ)空間：傳輸緩存區(qū)和接收緩存區(qū)。主機(jī)側(cè)中將傳輸緩存區(qū)分成幾個(gè)子模塊,每個(gè)子模塊就是一個(gè)專門的功能單元。在總線控制下,數(shù)據(jù)處理單元每次只要在輸入FIFO收到子模塊發(fā)過來(lái)的數(shù)據(jù),就進(jìn)行處理,并清空輸入FIFO后將處理之后的數(shù)據(jù)放入輸出FIFO,等待主機(jī)側(cè)進(jìn)行數(shù)據(jù)讀取,并緩存至接收緩存區(qū)。如此完成多數(shù)據(jù)流的數(shù)據(jù)處理,其流水設(shè)計(jì)流程圖如圖5所示。

增加流水線的段數(shù)可以提高流水線的吞吐率,但如果段數(shù)過多,總的處理時(shí)間也會(huì)增加,也會(huì)增加緩沖區(qū)的數(shù)據(jù)量,所以需要根據(jù)處理的需要,選擇性價(jià)比最高的方法來(lái)選擇流水線的最佳段數(shù)。本研究中,以15kbytes數(shù)據(jù)大小為例,4kbytes為最佳段數(shù),可達(dá)到數(shù)據(jù)傳輸?shù)淖畲笾怠?/p>

經(jīng)流水線設(shè)計(jì)后,再次進(jìn)行測(cè)試,此時(shí)數(shù)據(jù)處理傳輸速率得到了進(jìn)一步提升,從190Mbps提升到了約230Mbps,提升了約20%,達(dá)到了預(yù)期的性能指標(biāo),詳細(xì)的測(cè)試數(shù)據(jù)記錄在表2中。

3.3 效果驗(yàn)證

經(jīng)過改進(jìn)后,對(duì)設(shè)備的數(shù)據(jù)傳輸速率再次進(jìn)行測(cè)試,結(jié)果見表2,與改進(jìn)前的對(duì)比見表3。

表2 改進(jìn)后數(shù)據(jù)處理傳輸速率統(tǒng)計(jì)表

表3 改進(jìn)前后數(shù)據(jù)處理傳輸速率對(duì)比

與改進(jìn)前的測(cè)試結(jié)果對(duì)比,改進(jìn)后分發(fā)設(shè)備的數(shù)據(jù)處理傳輸速率有了極大的提升,從約24Mbps提升至約228Mbps,達(dá)到了性能指標(biāo)。

4 結(jié)語(yǔ)

通過對(duì)數(shù)據(jù)分發(fā)處理平臺(tái)的分析,不僅對(duì)數(shù)據(jù)通道各部分提出了優(yōu)化措施,還對(duì)數(shù)據(jù)傳輸處理的過程也進(jìn)行了優(yōu)化。經(jīng)過對(duì)優(yōu)化前后的傳輸速率的測(cè)試對(duì)比,證明了優(yōu)化措施的有效性。經(jīng)過一系列的改進(jìn),最終資源分發(fā)平臺(tái)的數(shù)據(jù)傳輸速率從20Mbps提升到了220Mbps以上,達(dá)到了性能指標(biāo)。

[1] 劉娟,田澤,黎小玉.PCI_E接口驅(qū)動(dòng)軟件設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2012(8):53-55.

[2] 楊志強(qiáng),王厚軍,李力.Linux系統(tǒng)下的 PCI串口設(shè)備驅(qū)動(dòng)[J].電子測(cè)量技術(shù),2011(9):58-60.

[3] 楊健.文件傳輸加密原則及處理方式研究[J].科技創(chuàng)新與應(yīng)用,2014(20):59.

[4] 馬雪英,章華,金勤.一個(gè)數(shù)據(jù)傳輸加密方案的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2005(5):173-175.

[5] 米根鎖,王瑞峰.基于PCI總線流水式高速數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J].自動(dòng)化儀表,2006(8):32-33.

[6] 崔俊杰,郭宏.基于FPGA的實(shí)時(shí)數(shù)據(jù)采集與遠(yuǎn)程傳輸系統(tǒng)設(shè)計(jì)[J].數(shù)據(jù)采集與處理,2005(3):366-370.

[7] X Pang, W Hu. The Design and Implementation of High Speed Data Acquisition System[J]. Chinese Journal os Scientific Instrument,2000:47-49.

[8] XY Wang, LU YingHua, LK Zhang. Design and Implementation of high-speed real-time Data Acquisition System based on FPGA[D].中國(guó)郵電高校學(xué)報(bào)(英文版),2006(4):61-66.

[9] XH Tian, K Zhang, Y Sun. The Design and Implementation of High-speed Data Acquisition System Based on FPGA[J]. Journal of Yangzhou Polytechnic College,2009:63-65.

[10] FU Xue, BU Xiongzhu, BY Shen. Design and Implementation of High Speed Acquisition and Storage System Based on FPGA[J]. Instrumentation Technology,2013:112-114.

Improvement of Data Transmission Rate of Data Distribution

XU Siyi XIA Yong CHEN Mengqi FAN Yuexia

(Wuhan Ship Communication Research Institute, Wuhan 430200)

The data distribution equipment is the mainstay of the data distribution system. The data transmission rate is one of the most important key performance indicators. Based on the analysis of factors which offect data transmission rate, this paper tries to improve various aspects of data channel and process of data and the efficiency of optimization measures is analyzed quantitatively in this paper.

data distribution, data channel, data transmission

2016年10月10日,

2016年11月11日

徐思毅,女,碩士研究生,研究方向：信息安全。夏泳,男,研究員,研究方向：信息安全。陳孟奇,男,工程師,研究方向：信息安全。范月霞,女,工程師,研究方向：信息安全。

TP391

10.3969/j.issn.1672-9730.2017.04.012