中文非功能需求描述的識(shí)別與分類方法研究*

賈一荻, 劉 璘

(清華大學(xué) 軟件學(xué)院,北京 100084)

在軟件開(kāi)發(fā)過(guò)程中,軟件需求分析工作占有重要地位.軟件需求工程的一個(gè)主要任務(wù)就是將系統(tǒng)的功能需求和非功能需求盡可能完整、準(zhǔn)確地表示出來(lái).與描述系統(tǒng)能力的功能需求相比,用于約束系統(tǒng)質(zhì)量屬性的非功能需求更容易被忽視,卻也造成了許多項(xiàng)目的最終失敗[1].Bajpai 等人[2]更是在實(shí)際調(diào)研后,得出了如下結(jié)論:相較于具備明確非功能需求描述的項(xiàng)目,缺少非功能需求分析的項(xiàng)目會(huì)在失敗率上高出60%.李鳳麟等人[3]提出了一種從質(zhì)量屬性的角度分析非功能需求的方法.Boehm 等人[4]的研究則指出,質(zhì)量需求之間同樣存在沖突,需要進(jìn)行權(quán)衡和優(yōu)化取舍.由此可見(jiàn),在軟件開(kāi)發(fā)的各個(gè)階段關(guān)注非功能需求,尤其是在軟件開(kāi)發(fā)的前期明確相應(yīng)的質(zhì)量屬性,會(huì)對(duì)項(xiàng)目的最終結(jié)果產(chǎn)生積極的影響.

相較于被集中撰寫的功能需求,軟件的非功能需求描述通常分散甚至隱含在不同語(yǔ)句、段落、文檔之中,因此極容易被忽視.而面對(duì)復(fù)雜的系統(tǒng)和巨大的文本量,人工分析、提取非功能需求意味著大量的時(shí)間成本,且難以避免疏漏之處.所以,將上述過(guò)程在一定程度上自動(dòng)化,即通過(guò)軟件輔助完成非功能需求的識(shí)別、分類工作,對(duì)保障需求分析過(guò)程的效率和質(zhì)量具有重要意義.

非功能需求相關(guān)的概念本體和分類模型研究在國(guó)內(nèi)外有一定的基礎(chǔ),但在軟件工程實(shí)踐中,用戶在表達(dá)非功能需求時(shí)沒(méi)有明確的規(guī)范[5].本文重點(diǎn)圍繞性能、可靠性、可用性、安全性、可維護(hù)性這5 類典型、常見(jiàn)的非功能需求展開(kāi)研究.在識(shí)別非功能需求描述的基礎(chǔ)上,將其劃分到最為近似的分類.具體來(lái)說(shuō),本文的主要貢獻(xiàn)包括:

(1)針對(duì)性能、可靠性、可用性、安全性、可維護(hù)性這5 類非功能需求,整理了其通用描述詞匯,并針對(duì)中文需求文本,整理了功能需求和非功能需求數(shù)據(jù)集.

(2)針對(duì)中文需求文本,提出了一種自動(dòng)化的非功能需求識(shí)別方法,并對(duì)其效果進(jìn)行了實(shí)際測(cè)試.

(3)針對(duì)中文非功能需求描述,提出了一種自動(dòng)化的分類方法,并對(duì)其效果進(jìn)行了實(shí)際測(cè)試.

值得一提的是,上述方法主要適用于功能需求和非功能需求界限不清晰的中文需求描述,如非結(jié)構(gòu)化的需求文檔、用戶評(píng)論、專家意見(jiàn)等.而結(jié)構(gòu)化很強(qiáng)的需求文本,通常已經(jīng)區(qū)分了功能需求和非功能需求,甚至區(qū)分了非功能需求的種類.在這樣的情況下,一般可以直接依據(jù)需求模板的格式提取相應(yīng)內(nèi)容,無(wú)需采用本文的方法.

此外,本文提出的識(shí)別方法主要針對(duì)非結(jié)構(gòu)化的中文需求文本.例如,可以將需求文檔作為輸入,然后采用本文的識(shí)別方法標(biāo)識(shí)出其中可能包含非功能需求的語(yǔ)句,從而縮小人工檢查的范圍.而本文提出的分類方法則用于進(jìn)一步確定非功能需求的分類.例如,針對(duì)人工確認(rèn)包含非功能需求的語(yǔ)句,或是已區(qū)分功能需求和非功能需求的結(jié)構(gòu)化文檔,可以使用此方法完成非功能需求語(yǔ)句的類別劃分.本文將識(shí)別和分類的過(guò)程分開(kāi)完成,一方面,可以使上述方法在不同的應(yīng)用場(chǎng)景下更為靈活;另一方面,如果在識(shí)別和分類過(guò)程之間加入人工確認(rèn)的步驟,則能夠以較低的人力成本有效地提升分類效果,具體的討論和相關(guān)實(shí)驗(yàn)結(jié)果將在后文中進(jìn)行闡述.

本文第1 節(jié)概述國(guó)內(nèi)外現(xiàn)有的研究成果.第2 節(jié)對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行描述.第3 節(jié)介紹中文文本中的非功能需求識(shí)別方法.第4 節(jié)闡釋非功能需求分類的具體過(guò)程.第5 節(jié)總結(jié)全文,并對(duì)后續(xù)可進(jìn)行的研究工作進(jìn)行初步探討.

1 研究背景

為了高質(zhì)量、高效地完成需求分析階段的各項(xiàng)工作,自動(dòng)化的需求文本分析工具曾一度是需求工程領(lǐng)域的研究熱點(diǎn).而隨著軟件系統(tǒng)的不斷復(fù)雜化,非功能需求的重要性也逐漸顯現(xiàn)出來(lái).

針對(duì)英文需求文本,已有不少研究圍繞非功能需求的提取和分類展開(kāi).Cleland-Huang 等人[6]提出了一種基于特征詞的非功能需求識(shí)別方法,從人工標(biāo)注的訓(xùn)練數(shù)據(jù)中提取各類非功能需求的特征詞,并根據(jù)特征詞的出現(xiàn)頻率對(duì)文本進(jìn)行分類.在面對(duì)新的領(lǐng)域文本時(shí),上述方法可以達(dá)到79.9%的召回率,能夠有效縮小人工識(shí)別的范圍.但是,其精確率只有20.7%,并且需要人工標(biāo)注部分?jǐn)?shù)據(jù)才能完成迭代訓(xùn)練,因此仍然需要較多的人工參與.為了降低人力成本,Casamayor 等人[7]提出了一種半監(jiān)督學(xué)習(xí)方法,并且達(dá)到了70%的準(zhǔn)確率.Hindle 等人[8]采用了不同的思路,直接基于話題模型獲得詞匯列表,進(jìn)而將其對(duì)應(yīng)到各類非功能需求.近年來(lái),Sunner 等人[9]使用基于遺傳算法的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了非功能需求和功能需求的分類.Ramnani 等人[10]基于文本模式,實(shí)現(xiàn)了非功能需求識(shí)別.基于模糊規(guī)則的問(wèn)題本方法也在非功能需求分類中得到了有效應(yīng)用[11].

整體來(lái)看,針對(duì)英文需求文本自動(dòng)檢測(cè)的研究已頗有進(jìn)展.但是,由于語(yǔ)言之間的巨大差異性,這些研究成果無(wú)法直接對(duì)中文需求文本提供支持.中文詞語(yǔ)間無(wú)空格分隔、歧義現(xiàn)象普遍、實(shí)詞運(yùn)用靈活等特點(diǎn),更是形成了其特有的復(fù)雜性和難度.劉婷婷等人[12]以情感分析和主題分類兩種任務(wù)為背景,基于IMDB、RCV1 這兩個(gè)英文數(shù)據(jù)集和豆瓣影評(píng)、搜狐新聞這兩個(gè)中文數(shù)據(jù)集,分別應(yīng)用傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法進(jìn)行實(shí)驗(yàn).使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行情感分類,英文的分類準(zhǔn)確率達(dá)到了90.70%,而中文的分類準(zhǔn)確率僅達(dá)84.00%.引入深度學(xué)習(xí)方法后,雖然部分實(shí)驗(yàn)結(jié)果表明中文可能獲得更高的準(zhǔn)確率,但是英文分類的整體效果依舊好于中文.考慮到本文所使用的訓(xùn)練數(shù)據(jù)量難以滿足深度學(xué)習(xí)模型所需,我們將重點(diǎn)關(guān)注傳統(tǒng)的機(jī)器學(xué)習(xí)方法.雖然對(duì)軟件非功能需求代價(jià)權(quán)衡方法[13]和對(duì)非功能性元需求集[14]的研究已經(jīng)體現(xiàn)出了國(guó)內(nèi)對(duì)非功能需求的逐漸重視,但是與國(guó)外相比,針對(duì)中文非功能需求的自動(dòng)化分析方法,研究程度尚顯不足.倪瑜澤等人[15]提出了一種基于用戶評(píng)論的演化需求發(fā)現(xiàn)方法,達(dá)到了93.32%的平均精確率和78.42%的平均召回率.由于我們基本上沒(méi)有找到對(duì)中文非功能需求進(jìn)行自動(dòng)分類的相關(guān)工作,因此我們的實(shí)驗(yàn)結(jié)果將主要對(duì)比上述國(guó)外相關(guān)工作和國(guó)內(nèi)的中文文本分類工作.考慮到我們的訓(xùn)練數(shù)據(jù)量以及前文提及的中文文本處理上的難度,我們認(rèn)為,近似或略低于上述實(shí)驗(yàn)效果的結(jié)果均是可接受的.

本文的研究聚焦于兩個(gè)方面.第一,識(shí)別中文需求文本中的非功能需求.前文已經(jīng)提到,針對(duì)非功能需求的描述往往較為分散,且很有可能隱含于系統(tǒng)的功能描述之中.例如,“系統(tǒng)在用戶登錄過(guò)程中,驗(yàn)證其身份和權(quán)限”這句話,就隱含了安全性這一非功能需求.諸如此類識(shí)別工作如果均由人工完成,則需要大量的時(shí)間成本.因此,本文將首先探討非功能需求的自動(dòng)化識(shí)別方法,并在這一階段重點(diǎn)考慮非功能需求的召回率,以期縮小人工檢查的范圍.第二,針對(duì)包含非功能需求的語(yǔ)句,確定相應(yīng)非功能需求的具體分類,即判定語(yǔ)句是否包含性能、可靠性、可用性、安全性、可維護(hù)性這5 類非功能需求中的某一類或某幾類,并通過(guò)準(zhǔn)確率對(duì)分類結(jié)果進(jìn)行評(píng)價(jià).

2 實(shí)驗(yàn)數(shù)據(jù)集

本文所使用的實(shí)驗(yàn)數(shù)據(jù)可大致分為3 個(gè)部分.

第1 部分是需求文本數(shù)據(jù),主要來(lái)源于清華大學(xué)軟件需求工程課程的學(xué)生作業(yè),也有部分來(lái)源于互聯(lián)網(wǎng)上的博客和文檔.我們對(duì)上述數(shù)據(jù)進(jìn)行了篩選和整理,數(shù)據(jù)所屬的系統(tǒng)包括信息管理系統(tǒng)、網(wǎng)絡(luò)通信軟件、車載導(dǎo)航軟件、在線教育軟件、游戲軟件、微信小程序、手機(jī)應(yīng)用軟件等多種類型,盡可能地保證文本覆蓋較多的項(xiàng)目領(lǐng)域.上述系統(tǒng)的規(guī)模相對(duì)較小,復(fù)雜度相對(duì)較低,但其需求描述較為全面.我們將包含非功能需求或純粹描述某一功能模塊的幾句或幾段話作為用于實(shí)驗(yàn)的1 條數(shù)據(jù).最終,我們獲得訓(xùn)練數(shù)據(jù)400 條,其中,功能需求描述和非功能需求各占200 條,不同類別非功能需求的數(shù)據(jù)量見(jiàn)表1.考慮到識(shí)別非功能需求可以將各類別數(shù)據(jù)整合使用,本質(zhì)上屬于二分類問(wèn)題;而非功能需求分類則基于初始特征詞和語(yǔ)句中的關(guān)鍵詞.因此,這一數(shù)據(jù)量基本上能夠滿足實(shí)驗(yàn)和測(cè)試要求.

Table 1 Amount of data for various NFRs表1 各類非功能需求的數(shù)據(jù)量

第2 部分是用于非功能需求分類的初始特征詞.本文以需求工程領(lǐng)域?qū)Ψ枪δ苄枨蟮某Ｓ妹枋鲈~匯為基礎(chǔ),實(shí)現(xiàn)基于文本相似度的分類方法.上述描述詞匯主要整理、提取自相關(guān)研究文獻(xiàn)[16-18].同時(shí),考慮到同一英文詞匯可能對(duì)應(yīng)多種中文表達(dá),因此,我們適當(dāng)進(jìn)行了同義詞擴(kuò)充,其結(jié)果見(jiàn)表2.

第3 部分是在實(shí)際測(cè)試中使用的數(shù)據(jù).這一部分的測(cè)試數(shù)據(jù)及結(jié)果來(lái)自工業(yè)界實(shí)際項(xiàng)目,項(xiàng)目規(guī)模大,復(fù)雜度較高,需求描述也比較規(guī)范和準(zhǔn)確.

Table 2 NFRs and descriptive words表2 非功能需求及其描述詞匯

3 基于中文文本的非功能需求識(shí)別方法

中文需求文本中,非功能需求描述可能分散、隱含在各個(gè)語(yǔ)句中,但也有部分語(yǔ)句與非功能需求無(wú)關(guān).例如,“用戶可以對(duì)文本進(jìn)行查看,增加,刪除,編輯等操作.”就是純粹的功能描述.因此,需要首先識(shí)別出與非功能需求相關(guān)的語(yǔ)句,即對(duì)語(yǔ)句是否包含非功能需求進(jìn)行判斷,本質(zhì)上是一個(gè)二分類問(wèn)題.本節(jié)將重點(diǎn)介紹中文非功能需求識(shí)別的具體流程,并對(duì)實(shí)現(xiàn)效果和測(cè)試結(jié)果進(jìn)行總結(jié)和說(shuō)明.為了盡可能地縮小人工檢查的范圍,這一部分工作將重點(diǎn)關(guān)注非功能需求的召回率.

3.1 非功能需求識(shí)別的流程

中文非功能需求識(shí)別包含分詞和提取關(guān)鍵詞、選擇文本特征、訓(xùn)練分類模型、測(cè)試文本分類這4 個(gè)主要步驟,其流程如圖1 所示.接下來(lái),我們將對(duì)每一步驟的實(shí)現(xiàn)方法進(jìn)行具體介紹.

Fig.1 Chinese non-functional requirements identification process圖1 中文非功能需求識(shí)別流程

(1)分詞和提取關(guān)鍵詞

本文采用的非功能需求識(shí)別方法基于文本關(guān)鍵詞,因此,首先需要對(duì)需求文本進(jìn)行分詞和詞性標(biāo)注處理,并提取其中的關(guān)鍵詞.ICTCLAS[19]、HanLP[20]等近年來(lái)廣泛應(yīng)用的中文文本分析工具均提供了上述功能,因此,本文將直接使用HanLP 工具完成上述工作.

(2)選擇文本特征

在獲得需求文本中的關(guān)鍵詞后,需要確定文本特征的表達(dá)方式.常用的文本特征模型包括BoW(bag-ofwords)和TF-IDF 模型.BoW 模型統(tǒng)計(jì)文檔中各詞匯的出現(xiàn)次數(shù),并使用無(wú)序詞集合表示整個(gè)文檔.TF-IDF 模型的主要思路是:如果一個(gè)詞語(yǔ)在某一文檔中出現(xiàn)次數(shù)較多,且出現(xiàn)該詞語(yǔ)的文檔數(shù)量較少,則該詞語(yǔ)對(duì)文檔的區(qū)分能力較強(qiáng).我們分別嘗試使用上述兩種特征進(jìn)行后續(xù)實(shí)驗(yàn),并對(duì)其結(jié)果進(jìn)行了比較,具體實(shí)驗(yàn)結(jié)果將在第3.2節(jié)給出.

(3)訓(xùn)練分類模型

將文本以特征形式表示后,即可基于此訓(xùn)練分類模型.我們分別嘗試了邏輯斯蒂回歸(LR)、樸素貝葉斯(NB)、NBSVM(Na?ve Bayes-support vector machine)[21]等分類模型,并在參數(shù)調(diào)整后選取了最優(yōu)模型用于后續(xù)的測(cè)試文本分類,具體的實(shí)驗(yàn)結(jié)果同樣在第3.2 節(jié)給出.

(4)測(cè)試文本分類

使用步驟(1)中的分詞和關(guān)鍵詞提取方法及步驟(2)中的文本特征選擇方法,將測(cè)試文本以特征的形式進(jìn)行表述.之后,將特征作為分類模型的輸入,模型會(huì)給出“包含非功能需求”和“不包含非功能需求”兩類標(biāo)簽.

3.2 實(shí)驗(yàn)結(jié)果及總結(jié)

我們組合使用不同的文本特征和分類模型,實(shí)現(xiàn)非功能需求識(shí)別,并采用五折交叉驗(yàn)證的方法進(jìn)行測(cè)試,即將全部數(shù)據(jù)平均劃分為5 份,每次取其中的4 份用于訓(xùn)練,1 份用于測(cè)試.實(shí)驗(yàn)和測(cè)試均采用第2 節(jié)中所描述的數(shù)據(jù)集.5 次實(shí)驗(yàn)的精確率、召回率及其均值見(jiàn)表3.

Table 3 Results of non-functional requirements identification表3 非功能需求識(shí)別的實(shí)驗(yàn)結(jié)果

為了對(duì)實(shí)驗(yàn)結(jié)果形成直觀認(rèn)識(shí),將不同模型的平均精確率和平均召回率以簇狀柱形圖的方式加以呈現(xiàn),其結(jié)果如圖2 所示.可以看到,結(jié)合使用BoW 和NBSVM 模型取得了最高的精確率;使用BoW 或TF-IDF 表示文本特征,使用LR 進(jìn)行模型訓(xùn)練均得到了91.00%的召回率.

由于我們的實(shí)驗(yàn)文本已經(jīng)覆蓋了較多的項(xiàng)目領(lǐng)域,并且劃分?jǐn)?shù)據(jù)的過(guò)程中采用了隨機(jī)抽取的方法,因此,實(shí)驗(yàn)結(jié)果具有一定的普適性.而表3 中列出的單次實(shí)驗(yàn)結(jié)果,也能夠在一定程度上幫助我們判斷模型在不同數(shù)據(jù)集上的穩(wěn)定性.

Fig.2 Average precision and average recall rate for different models圖2 不同模型的平均精確率和平均召回率

這一部分工作的主要目的是提取可能包含非功能需求的語(yǔ)句,從而縮小人工檢查的范圍,所以我們將重點(diǎn)關(guān)注非功能需求的召回率,并在此基礎(chǔ)上盡可能地保證精確率以及模型效果的穩(wěn)定性.因此,最終選用TF-IDF表示文本特征,并使用邏輯斯蒂回歸實(shí)現(xiàn)分類.我們使用上述模型,在普通配置(Intel(R)Core(TM)i5-4200U CPU@ 1.60GHz,8.00GB RAM)的筆記本電腦上進(jìn)行實(shí)驗(yàn),針對(duì)包含5 萬(wàn)字左右的需求文本,可以在20s 內(nèi)完成非功能需求的識(shí)別和導(dǎo)出,其時(shí)間成本遠(yuǎn)低于人工檢查所需時(shí)間,可以滿足實(shí)用要求.

最后,由領(lǐng)域?qū)＜覍?duì)上述分類方法進(jìn)行生產(chǎn)環(huán)境中的測(cè)試.測(cè)試數(shù)據(jù)來(lái)源于實(shí)際項(xiàng)目,項(xiàng)目規(guī)模大,復(fù)雜度較高,需求描述也比較規(guī)范和準(zhǔn)確.使用的訓(xùn)練數(shù)據(jù)共計(jì)200 條,其中非功能需求100 條,功能需求100 條;測(cè)試數(shù)據(jù)共計(jì)200 條.非功能需求識(shí)別的召回率達(dá)到88%,精確率約為73%.因此,上述方法的召回率基本上滿足實(shí)用要求,可以有效縮小人工檢查的范圍.

整體來(lái)看,針對(duì)不同系統(tǒng)的需求描述,上述模型均取得了較好的測(cè)試結(jié)果,比較適用于對(duì)召回率要求較高的應(yīng)用場(chǎng)景.例如,可將需求文檔作為輸入,然后采用本文的識(shí)別方法標(biāo)識(shí)或?qū)С隹赡馨枪δ苄枨蟮恼Z(yǔ)句,從而縮小人工檢查的范圍.在其他應(yīng)用場(chǎng)景下,若需要重點(diǎn)關(guān)注精確率,則應(yīng)選取其他特征表示方法或分類模型,本文的實(shí)驗(yàn)結(jié)果也可以提供一定的參考.

4 基于中文文本的非功能需求分類方法

識(shí)別出包含非功能需求的文本后,可將其進(jìn)一步對(duì)應(yīng)到性能、可靠性、可用性、安全性、可維護(hù)性這5 類非功能需求中的某一類或某幾類.值得一提的是,目前非功能需求的分類并不存在統(tǒng)一的標(biāo)準(zhǔn)[22],因此,在和領(lǐng)域?qū)＜医涣骱?我們最終選取了上述典型、常見(jiàn)的非功能需求.另外,safety 與security 雖然均會(huì)被翻譯為安全性,但是兩者的實(shí)際側(cè)重有所差別.前者主要關(guān)注人身安全,而后者則強(qiáng)調(diào)信息安全.由于軟件涉及的安全性需求主要圍繞后者,而對(duì)前者的涉及較少,因此,我們參考ISO/IEC 25010[23]中的軟件質(zhì)量屬性分類,不對(duì)safety 和security 進(jìn)行區(qū)分.本節(jié)將重點(diǎn)介紹實(shí)現(xiàn)中文非功能需求分類的具體流程,并對(duì)實(shí)現(xiàn)效果和測(cè)試結(jié)果進(jìn)行總結(jié)和說(shuō)明.

4.1 非功能需求分類的流程

中文非功能需求分類包含分詞和提取關(guān)鍵詞、劃分關(guān)鍵詞類別、擴(kuò)充特征詞、計(jì)算特征詞權(quán)重、文本分類這5 個(gè)主要步驟,其流程如圖3 所示.接下來(lái),我們將對(duì)每一步驟的實(shí)現(xiàn)方法進(jìn)行具體介紹.

Fig.3 Chinese non-functional requirements classification process圖3 中文非功能需求分類流程

(1)分詞和提取關(guān)鍵詞

本文采用的非功能需求分類方法基于特征詞和文本關(guān)鍵詞,因此,首先需要對(duì)需求文本進(jìn)行分詞和詞性標(biāo)注處理,并提取其中的關(guān)鍵詞.這一部分工作同樣使用HanLP 工具來(lái)完成.

(2)劃分關(guān)鍵詞類別

在獲得需求文本中的關(guān)鍵詞后,可以計(jì)算出每一個(gè)關(guān)鍵詞與現(xiàn)有特征詞的語(yǔ)義相似度.具體來(lái)講,詞語(yǔ)間語(yǔ)義相似度的計(jì)算需要從《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》中獲得詞語(yǔ)編碼,之后即可采用田久樂(lè)等人[24]提出的計(jì)算方法,依照公式求得兩個(gè)詞語(yǔ)間的語(yǔ)義相似度.最后,各個(gè)關(guān)鍵詞分別被劃分到與其語(yǔ)義相似度最高的特征詞所屬的非功能需求類別.

(3)擴(kuò)充特征詞

由于詞語(yǔ)相似度的計(jì)算沒(méi)有考慮到上下文的影響,因此,同一語(yǔ)句中的關(guān)鍵詞很可能屬于不同的非功能需求類別.例如,從“高峰時(shí)段快速響應(yīng)用戶請(qǐng)求.”這一語(yǔ)句中,可以提取出“響應(yīng)”“快速”“高峰”“用戶”等多個(gè)關(guān)鍵詞.接下來(lái),使用步驟(2)中的方法計(jì)算語(yǔ)義相似度,并將關(guān)鍵詞劃分到其最近似特征詞所在的分類.前兩個(gè)關(guān)鍵詞會(huì)被劃分為性能;后兩個(gè)詞語(yǔ)的最相似特征詞分別為“指紋”和“身份”,因此均被劃分至安全性.

顯然,上述語(yǔ)句描述的是性能這一非功能需求.“用戶”這一名詞本質(zhì)上可以在各類非功能需求描述中使用,因此不應(yīng)該作為特征詞出現(xiàn)在任何類別中;而根據(jù)經(jīng)驗(yàn),“高峰”傾向于出現(xiàn)在描述性能的語(yǔ)句中,因此應(yīng)該作為性能的擴(kuò)充特征詞.這樣一來(lái),對(duì)上述兩個(gè)詞語(yǔ)的期望處理方式產(chǎn)生了分歧,且其中應(yīng)用了大量的人工經(jīng)驗(yàn),所以計(jì)算機(jī)很難對(duì)此進(jìn)行分辨.但是,考慮到非特征關(guān)鍵詞可能出現(xiàn)在任何類別的非功能需求中,因此在不斷增加訓(xùn)練數(shù)據(jù)的情況下,該關(guān)鍵詞會(huì)被加入到各個(gè)分類,所以可以考慮在后續(xù)步驟中降低其權(quán)重,而在本步驟中將所有關(guān)鍵詞作為擴(kuò)充特征詞.

接下來(lái),需要確定語(yǔ)句中關(guān)鍵詞的最近似分類.為了盡可能地在各分類特征詞中引入上下文信息,將一個(gè)語(yǔ)句中的全部關(guān)鍵詞作為一個(gè)整體,確定其最近似分類.“響應(yīng)”和“快速”均包含在初始特征詞中.而根據(jù)語(yǔ)義相似度的計(jì)算結(jié)果來(lái)看,“指紋”和“身份”與其最近似詞語(yǔ)的相似度并不是很高.所以,相較于直接采用多數(shù)投票的方式?jīng)Q定最終分類,對(duì)不同的關(guān)鍵詞賦予不同的權(quán)重更為合理,其計(jì)算公式如下:

其中,y表示分類結(jié)果,v表示分類,V表示全部非功能需求類別,k表示從文本中提取的關(guān)鍵詞數(shù)量,δ(v,f(xi))判定關(guān)鍵詞xi是否屬于類別v,wi則表示關(guān)鍵詞權(quán)重.考慮到尚未通過(guò)大量訓(xùn)練完成特征詞的擴(kuò)充,因此,在現(xiàn)階段的實(shí)驗(yàn)中,初始特征詞的相同關(guān)鍵詞被分配較高的權(quán)重,相似關(guān)鍵詞的權(quán)重則隨著其相似程度的下降而遞減.

(4)計(jì)算特征詞權(quán)重

步驟(3)中已經(jīng)提到,“用戶”等非特征關(guān)鍵詞極有可能會(huì)作為擴(kuò)充特征詞,被加入到各個(gè)非功能需求類別中.為了降低這些詞語(yǔ)在實(shí)際分類過(guò)程中造成的干擾,同時(shí)提高重要特征詞的影響力,需要對(duì)不同特征詞賦予不同的權(quán)重,其計(jì)算公式如下:

其中,wi表示特征詞權(quán)重,|V|表示非功能需求類別總數(shù),v表示具體的非功能需求分類,t表示特征詞.這樣一來(lái),當(dāng)特征詞出現(xiàn)在越多的分類中時(shí),其權(quán)重就會(huì)越小,對(duì)最終分類結(jié)果的影響也就越小.

(5)文本分類

針對(duì)待分類文本,同樣先進(jìn)行分詞和關(guān)鍵詞的提取.接下來(lái),計(jì)算關(guān)鍵詞的最近似類.如果該關(guān)鍵詞已存在于特征詞中,則使用步驟(4)中計(jì)算所得的權(quán)重;否則,使用統(tǒng)一的基礎(chǔ)權(quán)重.這一步驟的計(jì)算依舊使用公式(1),只是權(quán)重的計(jì)算方式與步驟(3)有所差異.

4.2 實(shí)驗(yàn)結(jié)果及總結(jié)

本節(jié)的實(shí)驗(yàn)和測(cè)試均采用第2 節(jié)中所描述的數(shù)據(jù)集.首先,從每類非功能需求中隨機(jī)抽取10 條數(shù)據(jù)用于測(cè)試,共計(jì)50 條,其余150 條數(shù)據(jù)用于特征詞擴(kuò)充.我們分別使用不同數(shù)據(jù)量進(jìn)行特征詞擴(kuò)充,值得一提的是,用于擴(kuò)充的數(shù)據(jù)將從各類非功能需求中分別隨機(jī)抽取,盡量保證各類別數(shù)據(jù)分布均勻.用于特征詞擴(kuò)充的數(shù)據(jù)量分別為0、50、100、150,因此,理想情況下,每次總計(jì)需要抽取數(shù)據(jù)50 條,即從各類別未使用數(shù)據(jù)中隨機(jī)抽取10條.但是,考慮到數(shù)據(jù)本身分布不均勻,因此,當(dāng)某一類非功能需求的數(shù)據(jù)不足時(shí),平均使用其他類的數(shù)據(jù)進(jìn)行補(bǔ)充即可.上述實(shí)驗(yàn)的結(jié)果見(jiàn)表4.

Table 4 Results of non-functional requirements classification表4 非功能需求分類的實(shí)驗(yàn)結(jié)果

為了對(duì)實(shí)驗(yàn)結(jié)果形成直觀認(rèn)識(shí),將使用不同數(shù)據(jù)量實(shí)現(xiàn)特征詞擴(kuò)充后的準(zhǔn)確率以折線圖的方式進(jìn)行呈現(xiàn),其結(jié)果如圖4 所示.

Fig.4 Accuracy for non-functional requirements classification圖4 非功能需求分類準(zhǔn)確率折線圖

通過(guò)上述實(shí)驗(yàn)可以發(fā)現(xiàn),隨著用于特征詞擴(kuò)充的數(shù)據(jù)量的增加,整體的準(zhǔn)確率呈現(xiàn)出先降后升的趨勢(shì).分析造成這一現(xiàn)象的原因,特征詞擴(kuò)充的初期之所以會(huì)引入一些錯(cuò)誤,很大程度上是由于擴(kuò)充了一些非特征詞匯,并且這些詞匯初始可能只出現(xiàn)在少量類別的文本中,因此未被調(diào)整到適宜權(quán)重.例如,“用戶”這一名詞本質(zhì)上可以出現(xiàn)在任何類別的非功能需求之中,因此不應(yīng)作為任何一類的特征詞.但是,由于其語(yǔ)義與“身份”最為近似,因此會(huì)被劃分至安全性.在完成第1 次擴(kuò)充時(shí),其權(quán)重為0.510 825 6,而在完成最后一次擴(kuò)充后,其權(quán)重則下降到0.223 143 55.可見(jiàn),這類非特征詞的加入可能會(huì)對(duì)整體分類效果產(chǎn)生一定的影響,但是,隨著數(shù)據(jù)量的增加,影響將會(huì)逐漸降低.

接下來(lái),使用全量數(shù)據(jù)進(jìn)行測(cè)試,并分別使用其中的0、50、100、150、200 條數(shù)據(jù)進(jìn)行特征詞擴(kuò)充.這一實(shí)驗(yàn)的目的主要分為兩方面:首先,增加測(cè)試數(shù)據(jù)量,使測(cè)試結(jié)果更為準(zhǔn)確.其次,對(duì)于測(cè)試數(shù)據(jù),判斷在逐一對(duì)文本進(jìn)行分類前,先將其用于特征詞擴(kuò)充的可行性.因?yàn)檫@一做法可能會(huì)降低非特征詞匯對(duì)測(cè)試結(jié)果的影響.上述實(shí)驗(yàn)的結(jié)果見(jiàn)表5.

Table 5 Results of non-functional requirements classification (test with full dataset)表5 非功能需求分類的實(shí)驗(yàn)結(jié)果(全量數(shù)據(jù)測(cè)試)

對(duì)于上述實(shí)驗(yàn)結(jié)果,使用如圖5 所示的折線圖加以直觀呈現(xiàn).

整體來(lái)看,在文本分類前進(jìn)行特征詞擴(kuò)充會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生一定的積極影響.但是,具體來(lái)看,隨著用于特征詞擴(kuò)充的數(shù)據(jù)量的增加,可靠性的準(zhǔn)確率呈現(xiàn)出先升后降的趨勢(shì),可維護(hù)性的準(zhǔn)確率則維持穩(wěn)定.經(jīng)過(guò)分析,我們認(rèn)為,這在一定程度上是由于數(shù)據(jù)分布不均造成的.由于性能這一分類的非功能需求數(shù)據(jù)最多,且語(yǔ)句中的特征較為明顯,因而會(huì)造成其他類別詞匯或非特征詞匯被加入其中.相較之下,可靠性和可維護(hù)性的數(shù)據(jù)量較少,所以,最后兩次數(shù)據(jù)擴(kuò)充中這兩個(gè)類別的數(shù)據(jù)占比較低,因而會(huì)影響到擴(kuò)充的詞匯量.

Fig.5 Accuracy for non-functional requirements classification (test with full dataset)圖5 非功能需求分類準(zhǔn)確率折線圖(全量數(shù)據(jù)測(cè)試)

上述方法主要針對(duì)包含非功能需求的語(yǔ)句.本文之所以將識(shí)別和分類的過(guò)程分開(kāi)完成,一方面,可以使上述方法在不同的應(yīng)用場(chǎng)景下更為靈活;另一方面,如果在識(shí)別和分類過(guò)程之間加入人工確認(rèn)的步驟,則能夠以較低的人力成本有效地提升分類效果.第3 節(jié)的實(shí)驗(yàn)結(jié)果已經(jīng)表明,選用TF-IDF 表示文本特征,并使用邏輯斯蒂回歸實(shí)現(xiàn)分類,基本能夠達(dá)到接近90%的召回率和70%以上的精確率.而邏輯斯蒂回歸本身,能夠表示出分類結(jié)果的置信度.因此,在人工確認(rèn)的過(guò)程中,只需重點(diǎn)關(guān)注置信度相對(duì)較低的語(yǔ)句,所以不會(huì)過(guò)多地增加人力成本.

作為對(duì)比實(shí)驗(yàn),我們將上述兩個(gè)過(guò)程合并進(jìn)行,即省略識(shí)別過(guò)程,添加“功能需求”這一類別.考慮到功能需求本身的特征詞匯難以定義,我們采用了設(shè)置閾值的方法.具體來(lái)講,特征詞擴(kuò)充的過(guò)程與上文描述的方法相同,使用全量數(shù)據(jù)進(jìn)行特征詞擴(kuò)充.但是,在對(duì)測(cè)試文本進(jìn)行分類時(shí),針對(duì)加權(quán)投票的得分設(shè)定閾值.如果投票所得分類的得分超過(guò)該閾值,則將文本分類為相應(yīng)的非功能需求.反之,如果所有分類的得分均低于該閾值,則將文本劃分至功能需求.使用不同閾值的實(shí)驗(yàn)結(jié)果見(jiàn)表6.

Table 6 Results of requirements classification (contains functional requirements)表6 需求分類的實(shí)驗(yàn)結(jié)果(包含功能需求)

可以看到,隨著閾值的增加,文本更傾向于被分類至功能需求,因此,功能需求的識(shí)別準(zhǔn)確率不斷上升,非功能需求的識(shí)別準(zhǔn)確率則有所下降.與之前的實(shí)驗(yàn)相比,當(dāng)閾值為8.00 時(shí),非功能需求的整體準(zhǔn)確率略有下降,功能需求的準(zhǔn)確率則與之前的實(shí)驗(yàn)結(jié)果存在明顯的差距.而當(dāng)閾值為9.00 和10.00 時(shí),功能需求的整體準(zhǔn)確率接近于之前的實(shí)驗(yàn)結(jié)果,非功能需求的整體準(zhǔn)確率卻明顯不及.所以,綜合來(lái)看,拆分非功能需求的提取和分類過(guò)程會(huì)獲得更好的效果.

最后,由領(lǐng)域?qū)＜覍?duì)上述分類方法進(jìn)行生產(chǎn)環(huán)境下的實(shí)際測(cè)試.測(cè)試數(shù)據(jù)共計(jì)300 條.在不進(jìn)行特征詞擴(kuò)充的情況下,準(zhǔn)確率約為70%.在進(jìn)行特征詞擴(kuò)充的情況下,準(zhǔn)確率約為74%,因此,本方法針對(duì)非功能需求分類具備一定的有效性,且擴(kuò)充特征詞能夠在一定程度上提升分類效果.

整體來(lái)看,本節(jié)所述的分類方法,比較適用于無(wú)法提供額外標(biāo)注數(shù)據(jù)時(shí),非功能需求文本的類別劃分.例如,針對(duì)已區(qū)分功能需求和非功能需求的結(jié)構(gòu)化文檔,可以直接依照需求模板抽取其中的非功能需求,并將其作為輸入,使用本節(jié)所述的方法進(jìn)行需求描述詞匯擴(kuò)充,進(jìn)而實(shí)現(xiàn)輸入文本的分類.此外,由于本文方法的實(shí)現(xiàn)基于特征詞權(quán)重,所以可以對(duì)需要人工自定義核心詞匯的場(chǎng)景提供良好的支持.

相較于已有的國(guó)內(nèi)外工作,本文將非功能需求的提取和分類過(guò)程分開(kāi)完成.提取過(guò)程旨在定位非功能需求,從而縮小人工檢查的范圍.針對(duì)這個(gè)二分類問(wèn)題,僅需要較少地標(biāo)注數(shù)據(jù)訓(xùn)練模型,因而更符合工業(yè)界的實(shí)際情況.接下來(lái),對(duì)確認(rèn)包含非功能需求的語(yǔ)句進(jìn)行分類,上述過(guò)程基于我們整理的非功能需求描述詞匯來(lái)進(jìn)行,并且特征詞會(huì)在系統(tǒng)的使用過(guò)程中不斷地自動(dòng)擴(kuò)充,不再需要額外地標(biāo)注數(shù)據(jù).

5 總結(jié)

隨著軟件系統(tǒng)的日益復(fù)雜化,在軟件開(kāi)發(fā)過(guò)程中盡早明確非功能需求,對(duì)于項(xiàng)目具有積極意義.針對(duì)英文需求描述,已有不少研究圍繞其提取和分類展開(kāi).但是,由于不同語(yǔ)言需求表述之間的巨大差異性,這些研究成果無(wú)法直接對(duì)中文需求文本提供支持.

本文重點(diǎn)研究中文非功能需求描述的識(shí)別和分類方法.識(shí)別過(guò)程采用機(jī)器學(xué)習(xí)方法,從文本中提取出可能包含非功能需求的語(yǔ)句,盡可能地縮小人工檢查的范圍.分類過(guò)程則基于語(yǔ)義距離和相似度計(jì)算,將包含非功能需求的語(yǔ)句劃分為性能、可靠性、可用性、安全性、可維護(hù)性這5 類.本文的分類訓(xùn)練和實(shí)驗(yàn)測(cè)試基于課題組工作項(xiàng)目整理的實(shí)驗(yàn)數(shù)據(jù)集來(lái)進(jìn)行,并通過(guò)工業(yè)界的實(shí)際領(lǐng)域應(yīng)用案例,驗(yàn)證了方法的有效性.

我們也注意到,在實(shí)驗(yàn)過(guò)程中,對(duì)于同一語(yǔ)句,不同的中文文本分析工具可能給出不同的分詞和詞性標(biāo)注結(jié)果.而對(duì)于部分領(lǐng)域術(shù)語(yǔ),上述工具也無(wú)法很好地進(jìn)行識(shí)別.例如,HanLP 工具會(huì)將“用戶體驗(yàn)”這一術(shù)語(yǔ)拆分為“用戶”和“體驗(yàn)”兩個(gè)詞語(yǔ),其中,前者作為名詞,后者作為動(dòng)詞.這樣無(wú)疑會(huì)對(duì)特征詞的擴(kuò)充和識(shí)別產(chǎn)生一定的影響.但是,現(xiàn)有的工具基本上支持用戶自定義詞典功能.因此,構(gòu)建一個(gè)非功能需求的領(lǐng)域術(shù)語(yǔ)庫(kù),并用其輔助分詞和關(guān)鍵詞提取工作,有望優(yōu)化特征詞的質(zhì)量,從而進(jìn)一步提升非功能需求識(shí)別和分類的效果,相關(guān)工作和實(shí)驗(yàn)將在未來(lái)的研究中繼續(xù)進(jìn)行.