Web自動(dòng)化測試的驗(yàn)證碼生成與應(yīng)用

王松 趙寧社 武鵬博

【關(guān)鍵詞】神經(jīng)網(wǎng)絡(luò);驗(yàn)證碼生成;模式識(shí)別

【中圖分類號(hào)】TP311.5 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2021）10-0043-03

0 引言

互聯(lián)網(wǎng)為人類的異地交流提供了通信的可能性和實(shí)現(xiàn)手段，在線交流、電子支付這些方法走入人們工作和生活的日常，成為我們生活的一部分。在大多數(shù)人享受便利的同時(shí)，也有少數(shù)不法分子利用這些手段進(jìn)行非正當(dāng)?shù)幕ヂ?lián)網(wǎng)使用，比如充當(dāng)水軍對(duì)目標(biāo)網(wǎng)站輸入大量惡意評(píng)論、惡意注冊(cè)和占用網(wǎng)絡(luò)資源等。為了維持網(wǎng)站的正常運(yùn)營、保障其正常服務(wù)，設(shè)計(jì)人員可以在用戶的網(wǎng)站資源使用環(huán)節(jié)中加入驗(yàn)證碼識(shí)別，比如進(jìn)行用戶注冊(cè)、修改用戶資料、發(fā)表留言等操作時(shí)，需要用戶手動(dòng)輸入，這樣就能避免受到相當(dāng)一部分自動(dòng)化軟件的攻擊。

驗(yàn)證碼技術(shù)實(shí)際上是為了在不知情的情況下鑒別人與機(jī)器的技術(shù)，英文簡稱是CAPTCHA，即Completely Automated Public Turing test to tell Computers and Humans Apart，就是全自動(dòng)區(qū)分計(jì)算機(jī)和人類的圖靈測試[1-2]。驗(yàn)證碼的實(shí)現(xiàn)方式一般分為兩種，即“讀取式”和“生成式”[3-4]。由于簡單的驗(yàn)證碼已經(jīng)不能滿足需求，為了增加驗(yàn)證碼被識(shí)別的難度，人們開始加入扭曲字符，或者加入線段和各種“斑點(diǎn)”用于增加機(jī)器識(shí)別的難度，同時(shí)出現(xiàn)了運(yùn)算公式之類的驗(yàn)證碼，使得機(jī)器“看懂”驗(yàn)證碼的難度增大了很多。

與此同時(shí)，驗(yàn)證碼的使用也給Web自動(dòng)化測試帶來了相當(dāng)大的挑戰(zhàn)——在區(qū)別遠(yuǎn)程用戶是人類還是計(jì)算機(jī)的同時(shí)，也切斷了計(jì)算機(jī)的進(jìn)入，而在現(xiàn)代化軟件工程的實(shí)施過程中，常常會(huì)用到自動(dòng)化的手段進(jìn)行測試。以目前的技術(shù)還不能區(qū)分自動(dòng)化測試與自動(dòng)化攻擊的訪問手段，或者說從現(xiàn)象上看，從服務(wù)器角度來看這兩者是一樣的。那么，為了正常進(jìn)行自動(dòng)化測試，只能依靠在軟件中加入驗(yàn)證碼識(shí)別的環(huán)節(jié)，提高驗(yàn)證碼識(shí)別準(zhǔn)確率就成為提高Web自動(dòng)化測試效率的重要保障。

1 Web自動(dòng)化測試技術(shù)

自動(dòng)化軟件測試就是把以人力為主的軟件測試工作用計(jì)算機(jī)自動(dòng)執(zhí)行的機(jī)器工作方式的過程。Web自動(dòng)化測試就是對(duì)于基于Web頁面工作的軟件進(jìn)行自動(dòng)化測試的技術(shù)，它不僅能節(jié)約人力、財(cái)力和資源成本，而且能節(jié)約時(shí)間成本，從而大大提高軟件的測試效率。隨著軟件生產(chǎn)的工程化、規(guī)模化，測試流程的不斷規(guī)范化，以及軟件測試技術(shù)逐步精細(xì)化，自動(dòng)化軟件測試已經(jīng)成為軟件工程開發(fā)中的一種重要手段。自動(dòng)化測試可以分為單元測試、集成測試及系統(tǒng)測試等層次，每個(gè)層次都有其實(shí)現(xiàn)的框架技術(shù)。

Web自動(dòng)化測試依賴的方法通常包括Web頁面元素定位、獲取用戶操作行為及模擬用戶操作行為。其中，Web頁面元素定位常用的頁面元素屬性有id、name、classname、linktext、XPath和CSS Selector等，即依據(jù)元素屬性的唯一性或者局部唯一性通過某種方法查找Web頁面元素，比如標(biāo)簽、文本框、超鏈接等。獲取用戶操作是通過讀取頁面事件捕捉在頁面上發(fā)生的某種操作，比如按鍵上的鼠標(biāo)單擊、懸停、按鍵等;模擬用戶操作則是通過軟件手段模擬用戶頁面上的單擊、鍵盤按鍵、文本框輸入等操作。執(zhí)行Web自動(dòng)化測試通常需要依賴一個(gè)運(yùn)行Web頁面加載的軟件組件，如WebDriver。

2 基于神經(jīng)網(wǎng)絡(luò)的驗(yàn)證碼技術(shù)

在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，通常為了提高網(wǎng)絡(luò)的性能，常規(guī)做法就是增加網(wǎng)絡(luò)深度與寬度，但也會(huì)帶來一定的影響，比如巨大的參量增加了處理的復(fù)雜性，并且當(dāng)輸入的數(shù)據(jù)量不夠大時(shí)，目標(biāo)網(wǎng)絡(luò)容易出現(xiàn)過擬合;當(dāng)網(wǎng)絡(luò)深度增加到一定程度時(shí)，就會(huì)失去梯度遞變帶來的優(yōu)勢，即所謂的梯度消失現(xiàn)象，而inception網(wǎng)絡(luò)則能較好地解決上述問題。

2.1 inception結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)介紹

神經(jīng)網(wǎng)絡(luò)是由大量節(jié)點(diǎn)或神經(jīng)元組成的操作模型[5]，每個(gè)節(jié)點(diǎn)代表一個(gè)特定的輸出函數(shù)，稱為激活函數(shù)[6]。網(wǎng)絡(luò)的輸出根據(jù)網(wǎng)絡(luò)的連接、權(quán)值和激勵(lì)功能的不同而不同。網(wǎng)絡(luò)本身通常是某種算法或函數(shù)的近似或者是邏輯策略的表達(dá)式。神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)算法，它可以通過結(jié)構(gòu)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)非線性問題的無限逼近。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的算法用于從視覺數(shù)據(jù)中確定物體的精確位置，具有更高的工作效率[7]。

卷積神經(jīng)網(wǎng)絡(luò)是一種多層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，它的結(jié)構(gòu)包括卷積層、池化層與激活函數(shù)，其特點(diǎn)是可以把圖片數(shù)據(jù)作為一個(gè)整體進(jìn)行特征識(shí)別[8-10]。卷積層由卷積核形成，通過各個(gè)卷積核提取圖像的特定特征。

2.2 應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在圖像識(shí)別的基本原理如下：首先，由卷積層提取圖片的特征，比如最初一層卷積用來提取線條、邊緣等特征，下一層卷積提取線條的組合特征，再往后每層都是提取前一層的融合特征，通過稀疏權(quán)重、等變表示及參數(shù)共享這樣的卷積運(yùn)算提高效率。其次，有池化層對(duì)卷積層獲得的特征進(jìn)行二次提取，主要是通過池化函數(shù)對(duì)指定位置的相鄰輸出總體統(tǒng)計(jì)特征代替網(wǎng)絡(luò)的輸出。最后，池化層之后的全連接層的每個(gè)神經(jīng)元均與相鄰上層的神經(jīng)元相連，最終傳遞給輸出層。

3 基于inception的ASCII碼集識(shí)別方法

為了實(shí)現(xiàn)驗(yàn)證碼識(shí)別，最開始要對(duì)驗(yàn)證碼進(jìn)行分割，然后采取對(duì)單個(gè)字符進(jìn)行識(shí)別，從而達(dá)到識(shí)別整張驗(yàn)證碼的目的，但是研究人員在生成驗(yàn)證碼的過程中發(fā)現(xiàn)一個(gè)問題，就是有很多驗(yàn)證碼的字符是連在一起的（如圖1所示）。

實(shí)際上很難進(jìn)行分割，因?yàn)槊恳粋€(gè)字符的邊界較難確定。因此，研究人員改變了思路，采用了多任務(wù)學(xué)習(xí)（Multitask Learning）的一種方式，這樣做就是可以把處理過的驗(yàn)證碼照片放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后直接出來驗(yàn)證碼中4個(gè)字符的預(yù)測結(jié)果，降低了整體的復(fù)雜度。圖片總的處理流程使用的是inception-v4模型網(wǎng)絡(luò)結(jié)構(gòu)（如圖2所示）。

最后將獲得4個(gè)結(jié)果，對(duì)每個(gè)結(jié)果計(jì)算損失，然后求其算數(shù)平均，再調(diào)整參數(shù)對(duì)算數(shù)平均進(jìn)行優(yōu)化，使其總體達(dá)到一個(gè)完美的結(jié)果。整個(gè)網(wǎng)絡(luò)邏輯結(jié)構(gòu)如下：我們訓(xùn)練4個(gè)分類器，對(duì)應(yīng)驗(yàn)證碼中的4個(gè)字符，第一個(gè)輸出對(duì)應(yīng)的是第一個(gè)字符的預(yù)測，其他的輸出以此類推，這樣就可以在使用過程中獲得方便。

還有一個(gè)問題是數(shù)據(jù)標(biāo)注過程，在生成驗(yàn)證碼的過程中，對(duì)圖片的命名就是圖片中字符，因此在寫標(biāo)注程序的時(shí)候，就是對(duì)命名字符串的切割，然后將字符轉(zhuǎn)化成對(duì)應(yīng)數(shù)字，本文在轉(zhuǎn)換成數(shù)字時(shí)用到的是ASCII碼，python中有計(jì)算出對(duì)應(yīng)字符ASCLL碼的函數(shù)ord（）。

3.1 樣本的生成

作為一個(gè)神經(jīng)網(wǎng)絡(luò)的應(yīng)用，第一步是找到數(shù)據(jù)集，本實(shí)驗(yàn)所需要的數(shù)據(jù)集就是各種各樣的驗(yàn)證碼，因此使用ImageCaptcha庫進(jìn)行驗(yàn)證碼的生成，研究人員生成了10 000張圖片的樣本，類似于圖3。

3.2 樣本的降噪處理

接下來是生成tf-record文件，在生成文件的過程中，研究人員進(jìn)行了灰度處理（如圖4所示），即黑白圖片，也可以進(jìn)行去噪處理，通過對(duì)圖片進(jìn)行腐蝕操作（如圖5示），首先去掉其中的噪點(diǎn)，然后進(jìn)行膨脹操作（如圖6所示）。

擴(kuò)大變小的字母線條，從以上圖片中我們明顯看到驗(yàn)證碼中的噪點(diǎn)消失，這為后續(xù)操作中對(duì)網(wǎng)絡(luò)準(zhǔn)確率的提升打下了基礎(chǔ)。

圖像處理的目的有兩點(diǎn)：一是在不損壞原有圖片含義的情況下，減小圖片的計(jì)算大小，因?yàn)椴噬珗D片有3個(gè)通道（channel），但是色彩與實(shí)驗(yàn)無關(guān)，所以研究人員進(jìn)行灰度處理后，圖片就有一個(gè)channel，這樣就減少了網(wǎng)絡(luò)的計(jì)算。二是去掉圖像中的噪點(diǎn)，突出研究人員需要的特征。

對(duì)圖像進(jìn)行標(biāo)記，不同的字符有不同的數(shù)字與之對(duì)應(yīng)，字符的順序可以自行定義，一旦定義完成就不可在標(biāo)記的過程中改變，那么定義字符的數(shù)量就會(huì)作為網(wǎng)絡(luò)最后一層神經(jīng)元的數(shù)量，注意這里是說每一個(gè)輸出的神經(jīng)元的個(gè)數(shù)。同時(shí)，研究人員會(huì)在訓(xùn)練的過程中將標(biāo)記的數(shù)字轉(zhuǎn)化成tensorflow中one_hot的形式，便于用于網(wǎng)絡(luò)的訓(xùn)練，輸出4個(gè)預(yù)測值，與標(biāo)注的實(shí)際值進(jìn)行對(duì)比，計(jì)算loss值，這里的計(jì)算采用交叉熵，使用的是Tensorflow中的softmax_cross_entropy_with_logits函數(shù)，本文采用的優(yōu)化器是AdamOptimizer，當(dāng)然也可以用其他優(yōu)化器。

4 Web自動(dòng)化測試中的驗(yàn)證碼識(shí)別應(yīng)用

對(duì)以上方法研究的基礎(chǔ)上，我們?cè)赪eb自動(dòng)化測試中可以應(yīng)用圖像識(shí)別方法（如圖7所示），在程序中把某科研管理系統(tǒng)的頁面載入Web引擎測試，用輸入識(shí)別后的驗(yàn)證碼并嘗試登錄，圖8是登錄成功的頁面。

5 結(jié)語

本文針對(duì)Web自動(dòng)化測試中的驗(yàn)證碼的應(yīng)用實(shí)踐問題進(jìn)行了部分驗(yàn)證碼生成與識(shí)別研究。在分析Web軟件的自動(dòng)化測試基本需求的基礎(chǔ)上，通過ImageCaptcha庫生成樣本數(shù)據(jù)集，進(jìn)而搭建了一種基于inceptionv4的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)驗(yàn)證碼進(jìn)行圖像處理、降噪及標(biāo)記，通過深度學(xué)習(xí)算法執(zhí)行網(wǎng)絡(luò)訓(xùn)練，得到識(shí)別結(jié)果，并通過具體實(shí)例給出了在Web自動(dòng)化測試中對(duì)該方法的實(shí)際應(yīng)用和驗(yàn)證。此外，這種識(shí)別方式也可以擴(kuò)展用于其他應(yīng)用，比如車牌識(shí)別，可以取消傳統(tǒng)識(shí)別過程中一些步驟，例如字符切割，但是要注意車牌開頭的漢字需轉(zhuǎn)換成數(shù)字，而要轉(zhuǎn)成多少，取決于設(shè)計(jì)者定義。

本文的研究還存在不足之處，研究人員發(fā)現(xiàn)在訓(xùn)練過程中需要的時(shí)間太長，可以根據(jù)實(shí)際需求構(gòu)建簡單的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

參 考 文 獻(xiàn)

[1]田超雄.文本類驗(yàn)證碼識(shí)別方法研究[D].西安：西北大學(xué)，2019.

[2]程莉莉.基于ELM算法的驗(yàn)證碼軟件可用性研究[D].湘潭：湘潭大學(xué)，2016.

[3]楊彬.Web自動(dòng)化測試中驗(yàn)證碼的實(shí)現(xiàn)方法[J].信息技術(shù)與標(biāo)準(zhǔn)化，2010（11）：39-41.

[4]司徒毅.基于LDA變換的驗(yàn)證碼識(shí)別技術(shù)初探[J].廣東廣播電視大學(xué)學(xué)報(bào)，2009，18（1）：102-108.

[5]邱意，陳勁杰.基于卷積神經(jīng)網(wǎng)絡(luò)的鋅渣識(shí)別方法研究[J].軟件工程，2021，24（1）：2-5.

[6]孫誠，王志海.社會(huì)網(wǎng)絡(luò)中基于神經(jīng)網(wǎng)絡(luò)的鏈路預(yù)測方法[J].數(shù)學(xué)建模及其應(yīng)用，2017，6（4）：10-17.

[7]S. rubin bose VSK.Efficient Inception V2 Based D-eep Convolutional Neural Network for Real-time Hand Action Recognition[J].Iet Image Processing，2020，14（4）：688-696.

[8]崔新，白培瑞，張策，等.一種基于端對(duì)端深度卷積神經(jīng)網(wǎng)絡(luò)的驗(yàn)證碼識(shí)別方法[J].山東科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，39（2）：111-117.

[9]王昊，康曉鳳，盧志科，等.基于深度學(xué)習(xí)的驗(yàn)證碼識(shí)別Web應(yīng)用平臺(tái)[J].軟件工程，2020，23（4）：41-43.

[10]王海艷，董茂偉.基于動(dòng)態(tài)卷積概率矩陣分解的潛在群組推薦[J].計(jì)算機(jī)研究與發(fā)展，2017，54（8）：1853-1863.