協(xié)議測(cè)試技術(shù)分析與研究

郭清菊　王磊

摘要：隨著網(wǎng)絡(luò)通訊技術(shù)的飛速發(fā)展，通訊協(xié)議的規(guī)范性嚴(yán)重制約著網(wǎng)絡(luò)交互和通訊服務(wù)的質(zhì)量。協(xié)議測(cè)試的地位也越發(fā)顯得重要。本文針對(duì)協(xié)議測(cè)試中的一致性測(cè)試和互操作性測(cè)試內(nèi)容進(jìn)行理論分析，對(duì)比兩種測(cè)試的差異，并明確兩者關(guān)系以及在協(xié)議測(cè)試中的重要作用，研究結(jié)果能夠?yàn)閷?shí)際的測(cè)試執(zhí)行提供選擇依據(jù)。

關(guān)鍵詞：協(xié)議規(guī)范；協(xié)議測(cè)試；一致性測(cè)試；互操作性測(cè)試；被測(cè)實(shí)現(xiàn)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.3969/j.issn.1003 6970.2016.05.028

本文著錄格式：郭清菊，王磊.協(xié)議測(cè)試技術(shù)分析與研究[J].軟件，2016，37（5）：115-118

0.引言

隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)通訊技術(shù)的快速發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)的復(fù)雜性和高質(zhì)量要求的不斷提高，網(wǎng)絡(luò)通訊協(xié)議從中起到了不可代替的作用。網(wǎng)絡(luò)通訊協(xié)議是指在計(jì)算機(jī)網(wǎng)絡(luò)與通訊網(wǎng)絡(luò)中各種實(shí)體相互交換信息時(shí)必須遵守的規(guī)范集合，其規(guī)范行性嚴(yán)重制約著網(wǎng)絡(luò)交互和通訊服務(wù)的質(zhì)量，這意味著協(xié)議軟件是否滿足協(xié)議的規(guī)范是保證通訊系統(tǒng)正常運(yùn)行和順利開展業(yè)務(wù)首要保證。雖然國(guó)際上各類機(jī)構(gòu)和學(xué)術(shù)組織也制定了各種各樣的網(wǎng)絡(luò)協(xié)議規(guī)范和標(biāo)準(zhǔn)，但是隨著近年來分布式計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜在協(xié)議方面表現(xiàn)出多種形態(tài)，如不穩(wěn)定性、多樣性等等，嚴(yán)重影響到網(wǎng)絡(luò)軟件的可靠性和可維護(hù)性，因此，協(xié)議工程產(chǎn)生，它是一個(gè)系統(tǒng)化的完整、規(guī)范和可靠的工程，其中，協(xié)議測(cè)試成為了這工程中的重要部分。

與軟件測(cè)試在軟件工程中的作用一樣，協(xié)議測(cè)試是協(xié)議工程中的一個(gè)重要組成部分，是保證協(xié)議工程質(zhì)量的重要技術(shù)和舉措。協(xié)議測(cè)試的目的就是為了保證一個(gè)標(biāo)準(zhǔn)化協(xié)議的不同實(shí)現(xiàn)之間能夠成功地進(jìn)行通信。協(xié)議測(cè)試屬于黑盒測(cè)試，它主要評(píng)估被測(cè)實(shí)現(xiàn)（IUT，Implementation Under Test）的外部行為是否符合協(xié)議的標(biāo)準(zhǔn)。協(xié)議測(cè)試包括四個(gè)方面：

●一致性測(cè)試：檢查被測(cè)實(shí)現(xiàn)與協(xié)議規(guī)范是否一致。

●性能測(cè)試：檢查系統(tǒng)的性能指標(biāo)，如：數(shù)據(jù)傳輸、連接時(shí)間、執(zhí)行速度以及吞吐量等，一般通過實(shí)驗(yàn)來觀測(cè)被測(cè)實(shí)現(xiàn)IUT的一些性能參數(shù)。

●互操作性測(cè)試：檢查被測(cè)實(shí)現(xiàn)在各個(gè)版本之間的互連操作性和互通能力。

●魯棒測(cè)試：檢查系統(tǒng)的健壯性，在各種嚴(yán)重環(huán)境下，如斷絕通道，切斷通信節(jié)點(diǎn)的電源或注入干擾消息等操作時(shí)的運(yùn)行能力的檢測(cè)。

本文接下來重點(diǎn)討論協(xié)議一致性測(cè)試和互操作性測(cè)試的方法和策略。

1.協(xié)議一致性測(cè)試

在協(xié)議測(cè)試的內(nèi)容中，一致性測(cè)試是目前唯一可以給出明確理論框架和方法的一種測(cè)試，協(xié)議一致性測(cè)試是其他測(cè)試的基礎(chǔ)和關(guān)鍵部分，它屬于功能性黑盒測(cè)試的范疇，只關(guān)注外部行為表現(xiàn)而非具體的通訊連接細(xì)節(jié)，即：依據(jù)協(xié)議，測(cè)試者對(duì)被測(cè)實(shí)現(xiàn)（IUT）發(fā)送一系列外部刺激，觀察并判定被測(cè)實(shí)現(xiàn)的外部響應(yīng)，其目的就是確認(rèn)被測(cè)實(shí)現(xiàn)是否與標(biāo)準(zhǔn)一致，以此來減少運(yùn)行時(shí)的錯(cuò)誤風(fēng)險(xiǎn)，屬于功能性測(cè)試范疇。

ISO/IEC9646提供了協(xié)議一致性測(cè)試的基本方法和框架，主要用于OSI協(xié)議測(cè)試，為測(cè)試集制定了設(shè)計(jì)步驟和描述方法，同時(shí)為測(cè)試系統(tǒng)的實(shí)現(xiàn)提高了指導(dǎo)。接下來，研究主要從測(cè)試方法的構(gòu)建和測(cè)試序列生成兩個(gè)方面進(jìn)行。

1.1構(gòu)建測(cè)試方法

協(xié)議一致性測(cè)試主要解決被測(cè)協(xié)議實(shí)體與協(xié)議規(guī)范一致性的問題。換句話說，協(xié)議一致性測(cè)試是根據(jù)協(xié)議的標(biāo)準(zhǔn)文本描述對(duì)被測(cè)實(shí)現(xiàn)IUT進(jìn)行外部行為觀測(cè)，以判定此實(shí)現(xiàn)與所對(duì)應(yīng)的協(xié)議標(biāo)準(zhǔn)是否一致。

一致性要求分為靜態(tài)一致性和動(dòng)態(tài)一致性，靜態(tài)一致性要求是指被測(cè)實(shí)現(xiàn)在運(yùn)行時(shí)與規(guī)范一致所具備的最小功能，而動(dòng)態(tài)一致性要求則是指被測(cè)實(shí)現(xiàn)在外部刺激下與規(guī)范一致性所必須表現(xiàn)出的行為，可以分為本地測(cè)試、分布式測(cè)試以及遠(yuǎn)程協(xié)同測(cè)試等多種方式。測(cè)試完成后給出判定測(cè)試報(bào)告，對(duì)其在測(cè)試執(zhí)行過程中產(chǎn)生的測(cè)試日志文件進(jìn)行分析、判定，生成符合規(guī)范的一致性測(cè)試報(bào)告，分為：通過（Pass）、失敗（fall）和不確定（Inconclusive）三種結(jié)果。

ISO/IEC9646提供了協(xié)議一致性測(cè)試的基本方法和框架，規(guī)定協(xié)議一致性測(cè)試標(biāo)準(zhǔn)包括：抽象測(cè)試集（ATS）、協(xié)議實(shí)現(xiàn)一致性說明（PICS）和協(xié)議實(shí)施附加信息（PIXIT）三部分，圖1說明了其測(cè)試的基本框架和過程。

1.2生成測(cè)試序列的方法

通過圖1可知，在一致性測(cè)試過程中，主要分為測(cè)試生成和測(cè)試執(zhí)行兩個(gè)主要的階段。測(cè)試生成的目的是生成測(cè)試執(zhí)行的測(cè)試序列（集）；測(cè)試執(zhí)行則是完成測(cè)試和生成測(cè)試判定報(bào)告。由此可以看出，測(cè)試序列的生成時(shí)一致性測(cè)試的關(guān)鍵環(huán)節(jié)。測(cè)試序列是在用形式化描述的協(xié)議抽象測(cè)試集（ATS）合中抽取的一組符合代表輸入事件的符號(hào)標(biāo)識(shí)序列，轉(zhuǎn)換成可執(zhí)行測(cè)試集（ETS），是協(xié)議一致性測(cè)試中的關(guān)鍵步驟和核心數(shù)據(jù)，一般通過協(xié)議模型，我們獲取測(cè)試序列，表述被測(cè)實(shí)現(xiàn)應(yīng)該具備的邏輯行為。通常通訊協(xié)議中的形式化規(guī)范模型有：FSM（Finite State Model）有限狀態(tài)機(jī)模型、Peter網(wǎng)模型、TL（Temporal Logic Model）時(shí)序邏輯模型和CCS（Calculus of Communication System Model）通訊進(jìn)程演算模型等四種模型，其中由于具備描述直觀、清晰的特點(diǎn)，F(xiàn)SM和peter網(wǎng)廣泛用于大型復(fù)雜的協(xié)議，而TL和CCS則經(jīng)常被用于驗(yàn)證并發(fā)系統(tǒng)的協(xié)議驗(yàn)證中。ISO提供2種形式化規(guī)范標(biāo)準(zhǔn)描述語(yǔ)言：Estelle和Lotos，分別基于擴(kuò)張的FSM和CCS，ITU2T組織也發(fā)布了一種基于擴(kuò)展的FSM的SDL語(yǔ)言。

在目前的協(xié)議一致性測(cè)試中，比較成熟的生成測(cè)試序列算法大都是基于FSM模型的，F(xiàn)SM模型被廣泛用在分布式系統(tǒng)中，用來描述有限機(jī)從一種狀態(tài)過渡到另一種狀態(tài)的數(shù)學(xué)模型。FSM可以抽象地描述獨(dú)立進(jìn)程的運(yùn)行狀態(tài)，但是必須具備四個(gè)條件：所有被測(cè)實(shí)現(xiàn)系統(tǒng)的狀態(tài)數(shù)、輸入，輸出事件數(shù)都必須是有限、確定的；所有被測(cè)實(shí)現(xiàn)系統(tǒng)必須是完整的；對(duì)于有限輸入的事件數(shù)必須能夠在給定的時(shí)間內(nèi)產(chǎn)生有限的輸出事件；被測(cè)實(shí)現(xiàn)系統(tǒng)的每個(gè)狀態(tài)必須是可達(dá)的連通圖?；贔SM的測(cè)試生成序列的方法有四種：

（1）T方法：是一種最簡(jiǎn)單的基于FSM模型的生成測(cè)試序列的方法。測(cè)試輸入序列隨機(jī)對(duì)應(yīng)的正式規(guī)范的狀態(tài)轉(zhuǎn)變，直到所有的狀態(tài)轉(zhuǎn)換都包括在內(nèi)。T法的目的是找到可以保證至少一次走訪所有轉(zhuǎn)換，這是類似中國(guó)郵遞員投遞問題，如何在最短的時(shí)間遍歷每個(gè)投遞點(diǎn)，但是T方法會(huì)產(chǎn)生冗余輸人，盡管T方法可以檢測(cè)所有輸出的錯(cuò)誤，但不保證所有的傳輸錯(cuò)誤可被檢測(cè)，由此錯(cuò)誤檢測(cè)能力較弱。

（2）D方法：是一種構(gòu)造可區(qū)分序列DS（Distinguishing Sequence）到FSM，然后生成若干測(cè)試輸入序列。相對(duì)于輸出序列，每一個(gè)DS都是獨(dú)一無二的。D方法的目的是找出故障點(diǎn)，并產(chǎn)生一個(gè)小數(shù)目的測(cè)試用輸入序列。然而，并非所有的FSM可以有一個(gè)DS中，同時(shí)難以優(yōu)化，而且每個(gè)序列長(zhǎng)度很長(zhǎng)。因此，限制使用D方法。

（3）w方法：w法生成的特征集的FSM，構(gòu)建基于所述特征集的輸入序列。該特征集可以識(shí)別FSM的每個(gè)狀態(tài)。w法包括兩個(gè)輸入序列設(shè)置：w和P，w是最小特征集。P包括所有檢測(cè)路徑。根節(jié)點(diǎn)是初始狀態(tài)，每個(gè)轉(zhuǎn)變只出現(xiàn)一次。但用這種方法產(chǎn)生的測(cè)試輸入序列的長(zhǎng)度很長(zhǎng)，使得檢測(cè)效率是在實(shí)際應(yīng)用中的偏低。

（4）u方法：u方法的前提是給定的FSM應(yīng)該是最小的、強(qiáng)連接的和完整的。u方法針對(duì)FSM的每一個(gè)狀態(tài)生成一個(gè)獨(dú)特唯一的序列，由此稱之為唯一輸人/輸出序列（UIO）。根據(jù)此UIO生成測(cè)試輸入序列。在該方法中，如果FSM不存在UIO，那么FSM就不能建立測(cè)試輸入序列。目前，針對(duì)u方法也有一些改進(jìn)的新方法，如SUIO、MUIO、OUIO、FUIO以及BUIO等等，各有優(yōu)勢(shì)和特點(diǎn)。

從測(cè)試序列的長(zhǎng)度的觀點(diǎn)出發(fā)來看，在上述方法中，T法生成的最短測(cè)試序列長(zhǎng)度，w方法生成的最長(zhǎng)。在相同條件下，D的方法和w方法要比u方法更長(zhǎng)；而從故障覆蓋率來看，T方法的覆蓋率最低，u方法、D方法和w方法幾乎相同，由于大多數(shù)情況的FSM有UIO，因此，u方法能檢測(cè)出所有的輸出缺陷，結(jié)合上述因素，u法是在廣泛使用在目前的實(shí)際測(cè)試中。

2.協(xié)議互操作性測(cè)試

協(xié)議互操作性測(cè)試是評(píng)價(jià)相同協(xié)議的不同實(shí)現(xiàn)或同類協(xié)議在不同被測(cè)實(shí)現(xiàn)之間能否正確的互通并完成協(xié)議規(guī)范所規(guī)定的功能。在協(xié)議測(cè)試中，協(xié)議一致性測(cè)試是基礎(chǔ)和保障，也是測(cè)試的關(guān)鍵過程，目的是檢測(cè)被測(cè)實(shí)現(xiàn)與協(xié)議規(guī)范是否一致，但是，協(xié)議一致性測(cè)試也不可能完全詳盡和覆蓋，面對(duì)這個(gè)困難和挑戰(zhàn)，互操作性測(cè)試可以對(duì)一致性測(cè)試做進(jìn)一步的補(bǔ)充，其主要作用就是保證通訊產(chǎn)品互通的性。

在協(xié)議互操作性測(cè)試中，測(cè)試的形式基本都是測(cè)試者分別對(duì)認(rèn)可設(shè)備和被測(cè)設(shè)備進(jìn)行操作，這些設(shè)備包括：?jiǎn)蝹€(gè)或若干個(gè)網(wǎng)絡(luò)設(shè)備、終端設(shè)備或者是一些應(yīng)用軟件之類的被測(cè)試單位選擇認(rèn)可的設(shè)備。在測(cè)試過程中，仍然屬于黑盒測(cè)試，測(cè)試者或用戶只關(guān)心設(shè)備是否符合協(xié)議規(guī)范中定義的功能，并不關(guān)心協(xié)議互通時(shí)的細(xì)節(jié)。

互操作性測(cè)試應(yīng)分為兩部分：制定協(xié)議互操作性測(cè)試規(guī)范和具體執(zhí)行協(xié)議互操作性測(cè)試。

（1）制定協(xié)議互操作性測(cè)試規(guī)范

為了更好的執(zhí)行測(cè)試，必須首先制定測(cè)試規(guī)范，該過程是互操作性測(cè)試的關(guān)鍵和核心，也是決定測(cè)試成功與否的標(biāo)準(zhǔn)。制定規(guī)范與協(xié)議一致性測(cè)試規(guī)范類似，但是側(cè)重點(diǎn)應(yīng)主要關(guān)注測(cè)試功能。流程如圖2所示。

（2）執(zhí)行協(xié)議互操作性測(cè)試

有了測(cè)試規(guī)范，具體測(cè)試過程就變得簡(jiǎn)單容易，準(zhǔn)備測(cè)試、測(cè)試執(zhí)行以及測(cè)試報(bào)告三個(gè)步驟，這個(gè)過程與協(xié)議一致性測(cè)試的過程基本類似，此處不再贅述。在執(zhí)行的過程中，如何自動(dòng)化生產(chǎn)測(cè)試集，如何保證測(cè)試集的完備性都是測(cè)試成功的主要因素，都是目前需要進(jìn)一步探究的問題。

在協(xié)議測(cè)試的發(fā)展過程中，國(guó)際相關(guān)的標(biāo)準(zhǔn)組織如ISO也制定了一系列的標(biāo)準(zhǔn)，ISO/IEC9646、ETSI ETS300 406規(guī)范等等，主要是針對(duì)協(xié)議一致性的測(cè)試方法框架。但是隨著通訊網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，新的協(xié)議也越來越復(fù)雜、多樣，協(xié)議一致性測(cè)試的相關(guān)研究面臨著困境和巨大的挑戰(zhàn)?；ゲ僮餍詼y(cè)試在協(xié)議測(cè)試的過程能夠提供重要的互通信息，因此關(guān)于互操作性測(cè)試的研究也越來越受到關(guān)注和重視。但目前也停留在理論化的階段，其深入性和標(biāo)準(zhǔn)化還需要逐步的深入探究。

3.協(xié)議一致性測(cè)試與互操作性測(cè)試的比較

在協(xié)議測(cè)試中，協(xié)議一致性測(cè)試與互操作性測(cè)試都是測(cè)試協(xié)議是否實(shí)現(xiàn)的重要而關(guān)鍵的有效驗(yàn)證方法，但是在測(cè)試的對(duì)象、范圍和所扮演的角色中又所不同，一致性測(cè)試可以判定被測(cè)實(shí)現(xiàn)是否符合協(xié)議規(guī)范，但不能保證被測(cè)協(xié)議實(shí)現(xiàn)間的互連互通，反過來，互操作性測(cè)試可以判定協(xié)議見的互操作性，也無法完全保證協(xié)議是否符合規(guī)范。因此，一致性測(cè)試不能覆蓋和詳盡的地方，互操作性測(cè)試又可以進(jìn)行補(bǔ)充，兩者在具體測(cè)試實(shí)施過程中可以互相借鑒和參考，前者是基礎(chǔ)和前提，是后者進(jìn)行實(shí)施的必要條件，后者是具體實(shí)現(xiàn)，更能貼近真實(shí)的網(wǎng)絡(luò)環(huán)境中，具有廣泛的意義。表1對(duì)比了兩者的異同點(diǎn)。

4.結(jié)束語(yǔ)

協(xié)議測(cè)試是一種功能性的黑盒測(cè)試，是目前計(jì)算機(jī)網(wǎng)絡(luò)與通訊發(fā)展中協(xié)議驗(yàn)證過程不可缺的環(huán)節(jié)之一，在協(xié)議工程中的占有不可缺的重要地位。其中，協(xié)議一致性測(cè)試和協(xié)議互操作性測(cè)試又是其中最重要的保障，相輔相成，不可分割。而在實(shí)際測(cè)試的應(yīng)用過程中，測(cè)試序列的產(chǎn)生與選擇又直接關(guān)系到測(cè)試的成效，以上所述內(nèi)容僅是對(duì)測(cè)試的方法進(jìn)行了理論的探究，具體的實(shí)施并非文章描述的這么簡(jiǎn)單，必須結(jié)合實(shí)際的案例具體分析，給出盡可能詳盡、完備的策略和高效算法，但可以對(duì)于我們了解協(xié)議測(cè)試的流程和在具體進(jìn)行實(shí)施測(cè)試提供課參考的理論基礎(chǔ)和評(píng)價(jià)標(biāo)準(zhǔn)。