多核平臺下網(wǎng)絡(luò)設(shè)備軟件接口的設(shè)計與實現(xiàn)

李希 劉宏

摘要：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，高性能的網(wǎng)絡(luò)設(shè)備在構(gòu)建復(fù)雜的應(yīng)用系統(tǒng)中發(fā)揮著至關(guān)重要的作用。該文基于OCETON MIPS64多核處理器，設(shè)計并實現(xiàn)了一套適合于多核處理器開發(fā)平臺的軟件接口，最大限度的發(fā)揮了多核處理器所帶來的性能優(yōu)勢，同時保證了對于系統(tǒng)的復(fù)雜應(yīng)用的支持，最大限度的減少了用戶對于原有系統(tǒng)的修改。

關(guān)鍵詞：多核；接口；linux kernel；Fast Path

中圖分類號：TP316文獻標識碼：A文章編號：1009-3044(2012)16-3808-03

Design and Implementation of Network Interface in Multi-core Framework

LI Xi，LIU Hong

（College of Mathematics and Computer Science,Hunan Normal University，Changsha 410081,China）

Abstract：With the rapid progress of networking technology, high performance network devices will play a dominant role in future net? work. Based on OCTEON MIPS64 multi-core processes, we introduce a general software development interfaces, which adapt to differ? ent kinds of multi-core platform. With this interface, developers are easy to working on multi-core platforms. The network device can get high performance and keep network complexity.

Key words: multi-core; interface; linux kernel; Fast Path

隨著計算機技術(shù)和網(wǎng)絡(luò)設(shè)備的迅速發(fā)展，通信網(wǎng)絡(luò)的應(yīng)用日趨復(fù)雜,大量新的業(yè)務(wù)不斷涌現(xiàn)。這種形勢下，人們對網(wǎng)絡(luò)系統(tǒng)中的業(yè)務(wù)流量控制能力和安全性提出了更高的要求，而作為網(wǎng)絡(luò)系統(tǒng)的核心單元——網(wǎng)絡(luò)處理器，則面臨著更嚴峻的挑戰(zhàn)。一方面，接入用戶數(shù)量的迅猛增長以及業(yè)務(wù)需求的多樣化使得各種網(wǎng)絡(luò)設(shè)備必須提供足夠的吞吐量；另一方面，由于網(wǎng)絡(luò)應(yīng)用不斷更新和變化，新業(yè)務(wù)不斷涌現(xiàn)，這就要求服務(wù)提供商能快速地滿足用戶的需求，增多盈利模式，從而鞏固和提高競爭力。多核處理器便是為解決這些問題而研發(fā)出來的產(chǎn)品，它能夠提供更強大的吞吐量。多核平臺為提高網(wǎng)絡(luò)設(shè)備的吞吐率提供了一種嶄新的模式，為網(wǎng)絡(luò)應(yīng)用的集成化、復(fù)雜化、簡易化和高性能化提供了新的技術(shù)支持。多核平臺的應(yīng)用也對網(wǎng)絡(luò)工程技術(shù)人員提出新的要求和挑戰(zhàn)。

目前市場上新推出的應(yīng)用與網(wǎng)絡(luò)設(shè)備的多核處理器，如Cavium公司和RMI公司的多核產(chǎn)品，更關(guān)注于如何提高應(yīng)用性能；通過廣泛的、根據(jù)條件的時鐘控制來降低功耗；處理器核心內(nèi)建硬件加速器；使用多核技術(shù),而不是簡單的提高CPU的頻率；一體化的針對不同應(yīng)用的專用協(xié)處理器；使用標準指令集的簡單軟件模型。（簡單概述這些系統(tǒng)的優(yōu)缺點，或者是研發(fā)目的的不同側(cè)重角度，從而說明本論文的研究是有意義的，有必要的）

該文將論述網(wǎng)絡(luò)軟件體系中多核接口部分。它負責管理控制平面（Control Plane）和數(shù)據(jù)平面（Data Plane）以及數(shù)據(jù)平面中多核處理與Linux之間的數(shù)據(jù)傳遞，是軟件平臺能夠工作的基礎(chǔ)。

平臺接口：慢速通道和快速通道的接口。接口的設(shè)計是在搭建此多核平臺中非常重要的一部分?？焖偻ǖ捞幚硭俣瓤欤阅芨呤俏覀兯粗氐?，但是正因為如此，其功能也必然簡單化。作為一個網(wǎng)絡(luò)設(shè)備，必須考慮到各種復(fù)雜的環(huán)境，因此接口就將決定對于快速通道不能處理的數(shù)據(jù)包的命運，接口設(shè)計的模式將決定整體框架的結(jié)構(gòu)。另外接口是Linux內(nèi)核與多核平臺交互的接口，

1)事件定義：定義所要處理的相關(guān)信息，此類事件應(yīng)該是Slow Path和Fast Path均能夠處理的。Linux已經(jīng)的netlink/pfkey等socket已經(jīng)為我們提供了大量的內(nèi)核消息，如需要我們可以自行擴展。

2)事件收集：收集慢速通道中信息的變化。此類有些是用戶行為，如用戶主動添加了路由；有些為狀態(tài)發(fā)生了改變，比如內(nèi)核存儲的某些緩存過期，需要刪除此類信息；還有如內(nèi)核出現(xiàn)了某些異常錯誤，需要通知快速通道等。

3)事件處理：將收集到的慢速通的信息按照消息類型傳遞給快速通道。即使用戶修改了一個簡單的配置，我們也應(yīng)該遵循先設(shè)置慢速通道，再由事件處理模塊傳遞給快速通道的模式，否則會導(dǎo)致慢速通道和快速通道不同步。

以下是一個對于接口路由的簡單例子，其余應(yīng)用可以按照這種模式類似的加如CSM，每個模塊的處理不同，體現(xiàn)了模塊化。

為了使得Linux當加入GMVI之后，Linux Kernel的改動最小，數(shù)據(jù)包處理與原有過程無大的區(qū)別，我們采用如下數(shù)據(jù)結(jié)構(gòu)來描述一個從多核向Linux發(fā)送的一個數(shù)據(jù)包，它的具體實現(xiàn)具體與多核體系相關(guān)，該文的測試是在Cavium的Simple Executive和RMI的RMIOS上進行。

當網(wǎng)卡接收到數(shù)據(jù)包，需要向Linux內(nèi)核發(fā)送轉(zhuǎn)發(fā)這個數(shù)據(jù)包的時候，可以通過Simple Executive的POW接口發(fā)向Linux。在Linux中我們通過虛擬網(wǎng)卡來接受來自多核處理器的異常包。

這樣帶來的優(yōu)點是對于Linux內(nèi)核而言，就如同只是增加了一個網(wǎng)卡，而整個框架并沒有因為在多核模式下而發(fā)生變化；同時又可以利用Linux所提供的強大的網(wǎng)絡(luò)功能進行與性能無關(guān)協(xié)議。

4實驗及性能分析

為了驗證此軟件接口為我們在多核平臺開發(fā)的便利性，我們以IPsec隧道模式下的吞吐率實驗來證明。因為Octeon的Simple Executive提供了IPsec對于數(shù)據(jù)包加密封裝的處理，而我們所設(shè)計的軟件接口則可以將Fast Path不能處理的IKE的協(xié)商問題交給Linux kernel和應(yīng)用程序完成，這些為許多Open source軟件已經(jīng)提供。這樣即體現(xiàn)了多核的性能優(yōu)勢，又可以利用原有系統(tǒng)已有的復(fù)雜功能。以下是用SMARTBITS 6000在不同核心數(shù)目及不同數(shù)據(jù)包大小的測試結(jié)果。我們可以從結(jié)果看到采用GMVI技術(shù)之后，我們可以充分利用多核技術(shù)帶來的性能優(yōu)勢，較快的開發(fā)高性能網(wǎng)絡(luò)設(shè)備，同時又能夠利用原有系統(tǒng)的復(fù)雜應(yīng)用。

該文描述了多核處理器和Linux之間的接口，為軟件開發(fā)提供了一個良好的框架。但是我們看到，多核硬件平臺還為我們提供了豐富的硬件加速接口，如何利用這些硬件加速功能，如加密功能，內(nèi)容過濾功能等是我們下一步的研究重點。

多核系統(tǒng)應(yīng)用與網(wǎng)絡(luò)設(shè)備平臺最近在美國和歐洲市場有迅猛發(fā)展，而國內(nèi)許多網(wǎng)絡(luò)設(shè)備廠家仍處于試驗和觀望的狀態(tài)。該文所描述的網(wǎng)絡(luò)平臺軟件介紹是在這種嶄新的網(wǎng)絡(luò)應(yīng)用平臺下的嘗試，對未來如何利用多核系統(tǒng)構(gòu)建高性能、應(yīng)用復(fù)雜的平臺有重要的借鑒作用。