基于OCTEON多核處理器的高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)

摘 要：基于Cavium公司OCTEON Cn5650芯片設(shè)計(jì)與實(shí)現(xiàn)一種高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)。由OCTEON的硬件收發(fā)引擎Packet輸入和Packet輸出來(lái)保證線速收發(fā)報(bào)文性能，在simple executive環(huán)境下滿足TCP連接20萬(wàn)/秒和HTTP連接10萬(wàn)/秒的要求。實(shí)驗(yàn)結(jié)果表明，報(bào)文處理系統(tǒng)能夠接收網(wǎng)絡(luò)上的數(shù)據(jù)報(bào)文，并根據(jù)指定的內(nèi)容對(duì)網(wǎng)絡(luò)數(shù)據(jù)報(bào)文進(jìn)行分析和存儲(chǔ)；根據(jù)需要可以實(shí)現(xiàn)標(biāo)準(zhǔn)協(xié)議如HTTP、FTP、SMTP、POP3等網(wǎng)絡(luò)報(bào)文客戶端及服務(wù)器端模擬以及流量模擬；將自定義的網(wǎng)絡(luò)報(bào)文或接收到的網(wǎng)絡(luò)報(bào)文發(fā)回到網(wǎng)絡(luò)中。

關(guān)鍵詞：多核處理器；Cn5650；線速收發(fā)；嵌入式

中圖分類號(hào)：TP393.08

隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展，實(shí)現(xiàn)2～7層網(wǎng)絡(luò)數(shù)據(jù)報(bào)文的發(fā)生和接收，用于提供基礎(chǔ)的數(shù)據(jù)報(bào)文，以支撐測(cè)試系統(tǒng)實(shí)現(xiàn)多種形式的Gbps級(jí)別以上的網(wǎng)絡(luò)測(cè)試工具成為了必然。目前工業(yè)上常用的網(wǎng)絡(luò)報(bào)文高速發(fā)生器包括Ixia和Smartbits等，但由于其價(jià)格非常昂貴，且不能記錄網(wǎng)絡(luò)數(shù)據(jù)報(bào)文，難以模擬真實(shí)的網(wǎng)絡(luò)環(huán)境，應(yīng)用范圍經(jīng)常受到限制。針對(duì)網(wǎng)絡(luò)報(bào)文的高數(shù)據(jù)量、突發(fā)性和實(shí)時(shí)處理的特點(diǎn)，以通用處理器為核心的網(wǎng)絡(luò)報(bào)文處理系統(tǒng)雖然具有處理器主頻高、運(yùn)算簡(jiǎn)單、開(kāi)發(fā)門檻低等特點(diǎn)，但是沒(méi)有專門的網(wǎng)絡(luò)處理加速硬件使得網(wǎng)絡(luò)報(bào)文的實(shí)時(shí)性處理上沒(méi)有保證。以FPGA為核心的網(wǎng)絡(luò)報(bào)文處理系統(tǒng)具有網(wǎng)絡(luò)處理加速硬件，以及對(duì)簡(jiǎn)單任務(wù)的快速重復(fù)執(zhí)行的特點(diǎn)，但是FPGA系統(tǒng)存在開(kāi)發(fā)難度最大，且自定義網(wǎng)絡(luò)報(bào)文靈活性不足的缺點(diǎn)。因此，以O(shè)CTEON多核處理器為核心的系統(tǒng)存在開(kāi)發(fā)難度適中、基于網(wǎng)絡(luò)處理加速硬件易于實(shí)現(xiàn)網(wǎng)絡(luò)報(bào)文實(shí)時(shí)性處理等優(yōu)點(diǎn)成為當(dāng)前網(wǎng)絡(luò)協(xié)議處理系統(tǒng)研究和設(shè)計(jì)的熱點(diǎn)。

文獻(xiàn)[1]在Linux平臺(tái)下基于OCTEON多核處理器設(shè)計(jì)與實(shí)現(xiàn)了高精度流回放系統(tǒng)，以回放的時(shí)間戳為基礎(chǔ)，實(shí)現(xiàn)高度并行并且高精度的網(wǎng)絡(luò)報(bào)文處理系統(tǒng)。文獻(xiàn)[2]基于OCTEON多核的高速處理，并結(jié)合了IPV6網(wǎng)絡(luò)中入侵的新特點(diǎn)，將協(xié)議分析技術(shù)和基于流的檢測(cè)技術(shù)在OCTEON多核間分配執(zhí)行，實(shí)現(xiàn)了流處理及協(xié)議分析模塊與控制模塊的高速聯(lián)動(dòng)。文獻(xiàn)[3]基于OCTEON的硬件平臺(tái)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于專用多核的千兆入侵防御系統(tǒng)，該系統(tǒng)包含了入侵防御中的數(shù)據(jù)包預(yù)處理、檢測(cè)以及響應(yīng)全部組件。

本文以高性能OCTEON多核處理器芯片為核心，設(shè)計(jì)與實(shí)現(xiàn)了高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)。一方面，接收網(wǎng)絡(luò)上的數(shù)據(jù)報(bào)文，并根據(jù)指定的內(nèi)容（如固定IP地址、指定網(wǎng)段、協(xié)議類型等）對(duì)網(wǎng)絡(luò)數(shù)據(jù)報(bào)文進(jìn)行分析和存儲(chǔ)；另一方面，根據(jù)需要可以實(shí)現(xiàn)標(biāo)準(zhǔn)協(xié)議如HTTP、FTP、SMTP、POP3等網(wǎng)絡(luò)報(bào)文客戶端及服務(wù)器端模擬以及流量模擬；最后，可以將自定義的網(wǎng)絡(luò)報(bào)文或接收到的網(wǎng)絡(luò)報(bào)文在發(fā)送回網(wǎng)絡(luò)中去。

1 硬件系統(tǒng)總體設(shè)計(jì)

1.1 OCTEON多核處理器概述

OCTEON CN56XX芯片硬件結(jié)構(gòu)如圖1所示紅色框部分，有12個(gè)處理器核，集成了專門定制的MIPS64指令集[4]，具有高可編程性、可擴(kuò)展性，單核頻率達(dá)到800MHz，最高每秒可處理3千萬(wàn)個(gè)包。該處理器同時(shí)支持?jǐn)?shù)據(jù)面與控制面；支持自啟動(dòng)功能；提供加密、CRC校驗(yàn)以及包排序等高可靠性功能；具有硬件包處理加速功能；具有硬件單元處理任務(wù)的隊(duì)列、調(diào)度、排序和同步功能；具有硬件進(jìn)行TCP加速、校驗(yàn)功能；具有完全一致內(nèi)存系統(tǒng)。

OCTEON Cn5650處理器[5]對(duì)外接口包括PCIe，SGMII等高速串行總線，以及DDR2等高速內(nèi)存接口（具備2VLP Mini DIMM插槽，最高支持雙DDR2通道的16GB內(nèi)存，支持ECC特性，保證數(shù)據(jù)高可靠性。擁有高效的IO性能，640位的內(nèi)部帶寬，高達(dá)9GHz的總計(jì)算性能，以及多個(gè)有針對(duì)性的硬件加速部件。Cn5650有兩個(gè)網(wǎng)絡(luò)接口單元，實(shí)現(xiàn)了8個(gè)SGMII/1000BASE-X接口，使用其中的QLM3可以擴(kuò)展四個(gè)千兆以太網(wǎng)接口。

1.2 高精度網(wǎng)絡(luò)報(bào)文處理多功能卡設(shè)計(jì)

高精度網(wǎng)絡(luò)報(bào)文處理多功能卡的結(jié)構(gòu)如圖1所示，其核心是12核800MHz多核處理器Cn5650，負(fù)責(zé)發(fā)送報(bào)文調(diào)度，接收?qǐng)?bào)文分析處理，以及TCP/HTTP等上層協(xié)議的處理；內(nèi)嵌四口千兆以太網(wǎng)PHY 88E1145芯片，對(duì)外提供4個(gè)RJ45千兆以太網(wǎng)口；具備2VLP Mini DIMM插槽，采用2根DDR2的1GB內(nèi)存；配有16MB flash，實(shí)現(xiàn)固件程序的加電自啟動(dòng)；通過(guò)PCIex4總線，與主處理器板通訊，下發(fā)配置信息、文件內(nèi)容，上傳運(yùn)行結(jié)果；通過(guò)ATX 4針12V電源接頭和PCIe提供的3.3V實(shí)現(xiàn)電源輸入。

多功能卡以太網(wǎng)PHY芯片采用Marvell Alaska 88E1145四口PHY芯片。每一個(gè)PHY通道支持100BASE-TX、1000BASE-T以及10BASE-T的全雙工和半雙工的全部物理層功能。88E1145可以直接通過(guò)SGMII總線與MAC/Switch連接。通過(guò)處理器專用的SMI控制單元通過(guò)MDIO接口來(lái)管理PHY。

圖1 多功能卡結(jié)構(gòu)圖

2～3層需要提供線速收發(fā)報(bào)文，可以由OCTEON的硬件收發(fā)引擎Packet輸入和Packet輸出來(lái)保證。其中Packet輸入引擎可以實(shí)現(xiàn)線速收包，Packet輸出引擎性能可以達(dá)到25Mpps。

OCTEON 4～7層在simple executive環(huán)境下TCP新建連接數(shù)可以達(dá)到120萬(wàn)/秒?？紤]到其理想性能，實(shí)際應(yīng)該低于這個(gè)數(shù)值，但是滿足TCP連接20萬(wàn)/秒和HTTP連接10萬(wàn)/秒時(shí)可以保證的。而且，通過(guò)硬件預(yù)處理2～4層報(bào)文，可以由報(bào)文保序單元調(diào)度多個(gè)CPU核，來(lái)實(shí)對(duì)數(shù)據(jù)流做并發(fā)處理從而加速TCP性能。

2 系統(tǒng)嵌入式軟件設(shè)計(jì)

多功能卡上的2～3層嵌入式測(cè)試程序由控制模塊、發(fā)包調(diào)度模塊、收包分析統(tǒng)計(jì)三部分組成，實(shí)現(xiàn)對(duì)2～3層測(cè)試的報(bào)文線速收發(fā)、報(bào)文統(tǒng)計(jì)。Send Schedule利用PKO硬件單位做線速發(fā)包處理，同時(shí)根據(jù)GUI的配置，對(duì)發(fā)送報(bào)文作實(shí)時(shí)調(diào)度；Receive Analyze在PIP的處理結(jié)果基礎(chǔ)上，進(jìn)一步完成測(cè)試所需要的統(tǒng)計(jì)等處理結(jié)果；Control Core負(fù)責(zé)與主機(jī)通信，完成數(shù)據(jù)上報(bào)和命令執(zhí)行等工作。

多功能卡上的4～7層嵌入式測(cè)試程序主要是運(yùn)行于多核處理器上的Linux操作系統(tǒng)，針對(duì)OCTEON優(yōu)化的高性能TCP/IP協(xié)議棧，HTTP、FTP等業(yè)務(wù)協(xié)議軟件。負(fù)責(zé)完成TCP業(yè)務(wù)的客戶端、服務(wù)器端流量的產(chǎn)生、統(tǒng)計(jì)；HTTP業(yè)務(wù)的客戶端、服務(wù)器端流量的產(chǎn)生、統(tǒng)計(jì)等。

底層驅(qū)動(dòng)程序?yàn)橛脩籼峁┰L問(wèn)系統(tǒng)硬件支持，同時(shí)為上層軟件提供運(yùn)行平臺(tái)。提供協(xié)議發(fā)生卡初始化接口，可以分別控制每個(gè)通道發(fā)送和接收數(shù)據(jù)鏈路的打開(kāi)和關(guān)閉；提供四路2～3層通信功能；八路4～7層通信功能，其中四路發(fā)送和四路接收；2～3層每路通道可實(shí)現(xiàn)數(shù)據(jù)包1Gbps線速流量發(fā)生與接收，支持RFC2544測(cè)試；4～7層每路通道可實(shí)現(xiàn)TCP協(xié)議、HTTP協(xié)議報(bào)文發(fā)生與接收。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)功能測(cè)試

高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)由X86架構(gòu)的處理器主板和2個(gè)2～7層多功能卡組成，其中系統(tǒng)核心的多功能卡如圖2所示：

圖2 多功能板卡示意圖

系統(tǒng)實(shí)現(xiàn)了2～3層網(wǎng)絡(luò)的吞吐率、時(shí)延、丟包率和背靠背等基準(zhǔn)測(cè)試；4～7層網(wǎng)絡(luò)的最大并發(fā)連接數(shù)、每秒新建連接數(shù)等基準(zhǔn)測(cè)試。實(shí)現(xiàn)標(biāo)準(zhǔn)協(xié)議，如HTTP、FTP、SMTP、POP3等協(xié)議的客戶端及服務(wù)器端模擬以及流量模擬。該工作模式采用網(wǎng)絡(luò)協(xié)議發(fā)生設(shè)備4～7層測(cè)試板卡實(shí)現(xiàn)，可設(shè)置客戶端訪問(wèn)參數(shù)和服務(wù)器端響應(yīng)參數(shù)，模擬多用戶和多會(huì)話。可用于輔助訓(xùn)練中模擬實(shí)際業(yè)務(wù)環(huán)境下的通信，或者用于綜合分析。

3.2 線速收發(fā)包性能測(cè)試

為了驗(yàn)證本系統(tǒng)的64Bytes及以上報(bào)文大小線速收的能力，進(jìn)行了性能測(cè)試，測(cè)試拓?fù)淙鐖D3所示。

檢測(cè)規(guī)則測(cè)試設(shè)備采用IXIA 400T測(cè)試儀，配合協(xié)議分析軟件Wireshark 1.4.4。多功能卡的4個(gè)網(wǎng)口分別與IXIA四個(gè)網(wǎng)口對(duì)發(fā)報(bào)文，對(duì)報(bào)文大小64、128、256、512、1024、1280、1518字節(jié)做雙向線速收發(fā)包測(cè)試。

圖3 網(wǎng)絡(luò)拓?fù)涫疽鈭D

圖4 多功能卡測(cè)試結(jié)果

圖5 IXIA測(cè)試結(jié)果

參與測(cè)試的網(wǎng)口均達(dá)到線速收發(fā)包，測(cè)試停止后多功能卡的Send pkts等于IXIA的Valid Frames Received，IXIA的Frames Send等于功能卡的Recv Pkts。

3.3 最大新建連接速率測(cè)試

為了驗(yàn)證本系統(tǒng)的最大新建連接速率，測(cè)試拓?fù)淙鐖D6所示。

圖6 自環(huán)拓?fù)涫疽鈭D

實(shí)驗(yàn)結(jié)果如圖7所示，表明新建HTTP連接大大超過(guò)了每秒10萬(wàn)個(gè)連接數(shù)。實(shí)際結(jié)果表明可以達(dá)到TCP連接20萬(wàn)/秒和HTTP連接10萬(wàn)/秒。

圖7 最大新建連接速率結(jié)果示意圖

4 結(jié)束語(yǔ)

基于Cavium公司OCTEON Cn5650芯片設(shè)計(jì)與實(shí)現(xiàn)一種高精度網(wǎng)絡(luò)報(bào)文處理系統(tǒng)。接收網(wǎng)絡(luò)上的數(shù)據(jù)報(bào)文，并根據(jù)指定的內(nèi)容（如固定IP地址、指定網(wǎng)段、協(xié)議類型等）對(duì)網(wǎng)絡(luò)數(shù)據(jù)報(bào)文進(jìn)行分析和存儲(chǔ)；根據(jù)需要可以實(shí)現(xiàn)標(biāo)準(zhǔn)協(xié)議如HTTP、FTP、SMTP、POP3等網(wǎng)絡(luò)報(bào)文客戶端及服務(wù)器端模擬以及流量模擬；將自定義的網(wǎng)絡(luò)報(bào)文或接收到的網(wǎng)絡(luò)報(bào)文在發(fā)送回網(wǎng)絡(luò)中去。尤其是，具有和專業(yè)IXIA等測(cè)試儀相同的測(cè)試精度，以及較高的新建連接能力，可以很好模擬真實(shí)的網(wǎng)絡(luò)環(huán)境，用以支撐Gbps級(jí)別的高精度網(wǎng)絡(luò)測(cè)試分系統(tǒng)的實(shí)現(xiàn)。

參考文獻(xiàn)：

[1]陳江，陸建德.基于OCTEON芯片的高精度流回放系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與現(xiàn)代化，2010（06）：133-136.

[2]楊吉喆，王玲玲，陸建德.基于OCTEON多核網(wǎng)絡(luò)處理器的IPV6聯(lián)動(dòng)IPS研究與設(shè)計(jì)[J].微電子學(xué)與計(jì)算機(jī)，2011（12）：79-83.

[3]李清，馮瀚，林偉.基于OCTEON的千兆入侵防御系統(tǒng)[J].計(jì)算機(jī)安全，2010（04）：21-23.

[4]Cavium Networks.Packet Flow Chapter[M].America Mountain View：Cavium Networks，2009.

[5]Cavium Networks.CN56XX Hardware Reference Manual[M].America Mountain View：Cavium Networks，2009.

作者簡(jiǎn)介：黃海清，高級(jí)工程師，中國(guó)人民解放軍95899部隊(duì)，主要研究方向：網(wǎng)絡(luò)安全及嵌入式設(shè)計(jì)；孟慶磊，高級(jí)工程師，博士研究生，主要研究方向：計(jì)算機(jī)多媒體技術(shù)及其嵌入式實(shí)現(xiàn)。

作者單位：中國(guó)人民解放軍95899部隊(duì)，北京 100085；中國(guó)航天二院706所，北京 100854