Windows下大容量服務(wù)器軟件的開發(fā)與設(shè)計(jì)

任建華內(nèi)蒙古體育職業(yè)學(xué)院，內(nèi)蒙古呼和浩特 010051

Windows下大容量服務(wù)器軟件的開發(fā)與設(shè)計(jì)

任建華
內(nèi)蒙古體育職業(yè)學(xué)院，內(nèi)蒙古呼和浩特 010051

互聯(lián)網(wǎng)的普及使得同時(shí)訪問一個(gè)服務(wù)器的用戶越來越多，本文通過詳細(xì)對(duì)比幾種Winsock I/O方法的優(yōu)缺點(diǎn)，分析了在服務(wù)器開發(fā)中如何使用IOCP技術(shù)、重疊I/O技術(shù)、線程池技術(shù)、內(nèi)存池等技術(shù)，并通過性能測試表明此服務(wù)器能夠處理海量套接字連接請(qǐng)求，可以使服務(wù)器具有極佳的性能和強(qiáng)大的擴(kuò)展能力，為開發(fā)大容量、可伸縮性服務(wù)器打下了良好的基礎(chǔ)。

服務(wù)器軟件；完成端口；Winsock；多線程

0 引言

服務(wù)器是指網(wǎng)絡(luò)中能對(duì)其他機(jī)器提供某些服務(wù)的計(jì)算機(jī)系統(tǒng)軟件或者設(shè)備。服務(wù)器作為網(wǎng)絡(luò)節(jié)點(diǎn)，存儲(chǔ)、處理網(wǎng)絡(luò)上80%的數(shù)據(jù)、信息，因此也被稱為網(wǎng)絡(luò)的靈魂。對(duì)于用戶來說，一臺(tái)計(jì)算機(jī)所能承受的負(fù)荷是多多益善的。微軟公司winsock2中引入了內(nèi)核級(jí)的完成端口（IOCP）模型，IOCP(I/O Completion Ports，I/O完成端口)技術(shù)是應(yīng)用程序使用線程池處理異步I/O請(qǐng)求的一種機(jī)制，作為Windows服務(wù)平臺(tái)上一種比較成熟的I/O處理技術(shù)，完成端口模型可以利用為數(shù)不多的線程為成千上萬的套接字同時(shí)提供網(wǎng)絡(luò)服務(wù)，隨著UNIX操作系統(tǒng)的廣泛應(yīng)用，套接字成為當(dāng)前最流行的網(wǎng)絡(luò)通信應(yīng)用程序接口之一。

1 服務(wù)器總體設(shè)計(jì)

完成端口技術(shù)是伸縮性最好的一種I/O模型，能隨著系統(tǒng)內(nèi)安裝的CPU數(shù)量的增多而線性的提升服務(wù)器的性能。把完成端口模型封裝成一個(gè)比較普通的C++類，只要繼承這個(gè)類，改寫其中的兩個(gè)虛函數(shù)（HandleData和DataAction）就可以滿足各種服務(wù)器的需要。通過用AcceptEx代替accept和使用LOOKASIDE LIST來管理內(nèi)存，服務(wù)器的性能有了較大的提升。

1.1 本服務(wù)器的工作流程如下圖所示：

1.2 服務(wù)器各功能模塊的實(shí)現(xiàn)

服務(wù)器主要分為2個(gè)模塊：主窗口模塊、服務(wù)器模塊。主窗口模塊負(fù)責(zé)初始化和啟動(dòng)服務(wù)器模塊。服務(wù)器模塊為整個(gè)程序的核心，利用多個(gè)I/O工作線程在完成端口上處理來自眾多客戶端的異步I/O請(qǐng)求。

1.2.1 主窗口模塊

主窗口模塊主要用于初始化，同時(shí)負(fù)責(zé)啟動(dòng)、設(shè)置服務(wù)器并設(shè)置IP地址和端口號(hào)。

1.2.2 服務(wù)器模塊

此模塊中，CompletionPortModel類是這個(gè)服務(wù)器的核心。這個(gè)類使用了IOCP技術(shù)，它可以非常高效的為大量客戶提供服務(wù)。CompletionPortModel類有多個(gè)I/O工作線程在完成端口上處理異步I/O調(diào)用，當(dāng)網(wǎng)絡(luò)事件發(fā)生時(shí)，這些線程調(diào)用類中的虛函數(shù)（HandleData和DataAction）來為事件服務(wù)。CompletionPortModel類接收到啟動(dòng)命令后，首先創(chuàng)建監(jiān)聽線程，再由監(jiān)聽線程創(chuàng)建I/O工作線程。服務(wù)器啟動(dòng)期間，監(jiān)聽線程一直運(yùn)行，為I/O工作線程提供服務(wù)。

1 ）完成端口類的聲明

2 ）開始服務(wù)

成員函數(shù)Init用于初始化，創(chuàng)建完成端口、創(chuàng)建完成端口處理線程，首先調(diào)用類成員函數(shù)InitWinsock初始化Winsock、建立一個(gè)監(jiān)聽套接字m_ListenSocket，并將此套接字同完成端口關(guān)聯(lián)起來，獲取AcceptEx指針。其次再調(diào)用BindAndListenSocket()將監(jiān)聽套接字m_ListenSocket綁定到主窗口模塊輸入的本地IP地址和端口。并置于監(jiān)聽模式。

3 ）內(nèi)存管理

（1）使用旁視列表管理內(nèi)存

每當(dāng)有一個(gè)新連接到來的時(shí)候，服務(wù)器程序都要為該程序創(chuàng)建一個(gè)結(jié)構(gòu)體(單句柄數(shù)據(jù))用于存儲(chǔ)該客戶端的socket信息，而在每一次的WSASend和WSARecv中，工作線程也要向系統(tǒng)投遞一個(gè)重疊類型的結(jié)構(gòu)體(單IO數(shù)據(jù))用于數(shù)據(jù)的收發(fā)。為了高效的分配和釋放數(shù)據(jù)，采用Lookaside List(旁視列表)來管理內(nèi)存的分配與回收。

（2）內(nèi)存資源異常處理

應(yīng)用服務(wù)器管理眾多客戶端I/O請(qǐng)求時(shí)，數(shù)據(jù)緩沖區(qū)很可能會(huì)被鎖定。操作系統(tǒng)對(duì)鎖定內(nèi)存的數(shù)量有限制，達(dá)到這個(gè)限制時(shí)，重疊操作就會(huì)以WSAENOBUFS錯(cuò)誤失敗。實(shí)際設(shè)計(jì)中，當(dāng)服務(wù)器處理大量并發(fā)客戶端時(shí)，可以在每個(gè)連接上投遞一個(gè)0字節(jié)的接收操作，這樣就不會(huì)有內(nèi)存被鎖定。0字節(jié)的接收操作完成以后，服務(wù)器可以執(zhí)行一個(gè)非阻塞的接收來獲取緩沖區(qū)中的所有數(shù)據(jù)。

4 ）連接管理

（1）使用AcceptEx管理客戶端連接

服務(wù)器端程序在接受客戶端連接的時(shí)候通常調(diào)用Accept函數(shù)，該函數(shù)是一個(gè)阻塞函數(shù)，當(dāng)該Accept函數(shù)沒有返回時(shí)又有新客戶端連接請(qǐng)求已經(jīng)發(fā)過來時(shí)，新客戶端就要處于等待。在本程序中，把FD_ACCPET事件和一個(gè)Event關(guān)聯(lián)起來，然后用WaitForSingleObject等待這個(gè)Event，當(dāng)已經(jīng)發(fā)出的AcceptEx調(diào)用數(shù)目耗盡而又有新的客戶端需要連接時(shí)，F(xiàn)D_ACCEPT事件將被觸發(fā)，Event變?yōu)橐褌餍艩顟B(tài)，WaitForSingleObject返回，然后調(diào)用成員函數(shù)PostAccetpEx()重新發(fā)出10個(gè)AcceptEx調(diào)用。

（2）惡意客戶端連接問題

惡意的客戶連接是指客戶端出現(xiàn)壞鏈接，有的終端既不發(fā)送數(shù)據(jù)，也不關(guān)閉連接，就會(huì)造成AcceptEx投遞的大量重疊操作不能返回，為了滿足其他客戶端請(qǐng)求，服務(wù)器不得不再繼續(xù)投遞更多的接收I/O，占用了大量的系統(tǒng)資源，為了避免這個(gè)事件發(fā)生，應(yīng)用服務(wù)器記錄了所有AcceptEx投遞的未決I/O請(qǐng)求，在現(xiàn)場中定時(shí)遍歷它們，對(duì)每個(gè)客戶端套接字以SO_CONNECT_TIME為參數(shù)調(diào)用getsockop函數(shù)，檢查套接字建立的時(shí)間，如果某個(gè)連接沒有按時(shí)收發(fā)過數(shù)據(jù)，則通過使用PostQueuedCompletionStatus()函數(shù)強(qiáng)制關(guān)閉該套接字發(fā)送強(qiáng)制關(guān)閉。

5 ）數(shù)據(jù)處理

（1）基本的數(shù)據(jù)處理

為了測試服務(wù)器能否響應(yīng)大數(shù)量的客戶端連接，設(shè)計(jì)了回應(yīng)服務(wù)器，通過自定義枚舉型數(shù)據(jù)結(jié)構(gòu)，用來標(biāo)識(shí)套接字的I/O操作類型，對(duì)應(yīng)單IO數(shù)據(jù)結(jié)構(gòu)中的一個(gè)參數(shù)，這樣HandleData()和DataAction()即可根據(jù)詳細(xì)的操作類型來進(jìn)行下一步的IO操作。當(dāng)服務(wù)器端完成了用WSARecv數(shù)據(jù)接收完畢時(shí)，就調(diào)用WSASend把剛收到的數(shù)據(jù)重新發(fā)送給客戶端(即將IO操作標(biāo)志設(shè)為IoWrite)；如果上一次服務(wù)器端完成了WSASend將數(shù)據(jù)發(fā)送完成時(shí)，就將后續(xù)的操作標(biāo)志設(shè)為關(guān)閉(IoEnd)。

（2）包重新排序問題

使用I/O完成端口的操作會(huì)按照它們被提交的順序完成，但是線程調(diào)度可能會(huì)影響最終結(jié)果。本文采用向提交的緩沖區(qū)對(duì)象中添加序列號(hào)的方法來解決上面的問題，如果緩沖區(qū)序列號(hào)是連續(xù)的，就處理緩沖區(qū)中的數(shù)據(jù)，因此有錯(cuò)誤序列號(hào)的緩沖區(qū)要被保存下來，以便今后使用。

3 服務(wù)器的性能測試

在本機(jī)(Intel Core2 Duo CPU T7500 2.2GHz 2GB內(nèi)存)上同時(shí)運(yùn)行了服務(wù)器和虛擬客戶端。測試時(shí)，虛擬客戶端分別啟動(dòng)了100,、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000個(gè)線程，代表不同數(shù)量的客戶端同時(shí)訪問服務(wù)器。

圖2 服務(wù)器測試結(jié)果

從圖2可以看出，隨著連接客戶數(shù)量的增多，服務(wù)器對(duì)CPU的占用率并沒有急速增長。而是緩慢增長，這是服務(wù)器伸縮性好的一種表現(xiàn)。另外，服務(wù)器對(duì)內(nèi)存的消耗量也是穩(wěn)定的呈線性緩慢增長，說明服務(wù)器在內(nèi)存消耗上是高效的，穩(wěn)定的。本文給出的設(shè)計(jì)實(shí)例，已在上調(diào)試通過，該方法簡單實(shí)用，為分析提供了參考資料，有助于進(jìn)一步研究以為內(nèi)核的具有豐富硬件資源的操作系統(tǒng)的移植。

[1]Anthony Jones，Windows網(wǎng)絡(luò)編程技術(shù)[M].北京：機(jī)械工業(yè)出版社，2000，89-242.

[2]王艷平，張?jiān)?Windows網(wǎng)絡(luò)與通信程序設(shè)計(jì).北京：人民郵電出版社，2006：13-99.

[3]馬金鑫，袁丁.基于IOCP的高并發(fā)通信服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J].通信技術(shù)，2009(7)：248-250.

[4]吳星，黃愛萍.用完成端口實(shí)現(xiàn)可擴(kuò)展的服務(wù)器應(yīng)用[期刊論文].計(jì)算機(jī)科學(xué).2002，29(11)：144-164.

TP31

A

1674-6708（2012）59-0129-02