插入干擾關(guān)鍵詞的答題APP OCR類輔助外掛的防護(hù)方法

◆楊 欽

?

插入干擾關(guān)鍵詞的答題APP OCR類輔助外掛的防護(hù)方法

◆楊 欽

(武漢輕工大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院 湖北 430023)

隨著答題app的火爆，基于OCR技術(shù)的答題app輔助外掛已經(jīng)對(duì)app生態(tài)造成了很大的影響。針對(duì)這類外掛的防護(hù)迫切需要升級(jí)。本文著手于答題app中OCR類輔助外掛的防護(hù)問題，基于輔助外掛和搜索引擎原理，提出一種插入干擾關(guān)鍵詞的答題app OCR類輔助外掛的防護(hù)方法，能夠很好地解決答題app中的OCR類輔助外掛的防護(hù)問題。

答題app；OCR輔助外掛；外掛防護(hù)；關(guān)鍵詞干擾

0 引言

答題app最初由國外的HQ Trivia 發(fā)起，廣受好評(píng)，國內(nèi)也馬上出現(xiàn)了這類app。國內(nèi)的答題app雖然在2018年初才興起，但是各大廠商紛紛跟進(jìn)，不光有沖頂大會(huì)、芝士超人等專門的答題app，許多平臺(tái)app在其入口也插入了直播答題的功能，如今日頭條、yy答題等，甚至qq中也出現(xiàn)了直播答題的入口[1]。

在巨額獎(jiǎng)金的誘惑下，各種針對(duì)答題類app的輔助外掛紛紛出現(xiàn)[2]。

在國內(nèi)，答題類app在外掛出現(xiàn)后進(jìn)行了升級(jí)，可以針對(duì)流量截取類外掛進(jìn)行精準(zhǔn)打擊。但是出現(xiàn)的新型基于OCR技術(shù)的外掛由于并不對(duì)app進(jìn)行任何攻擊性操作，只截取app顯示的內(nèi)容，利用OCR技術(shù)進(jìn)行作弊，很難將其與普通用戶區(qū)分開來。這類針對(duì)直播答題類app的OCR輔助外掛仍然逍遙法外，沒有被廠商的反外掛程序精準(zhǔn)打擊。

在國外，有人提出通過修改答題app UI界面的方式來進(jìn)行輔助外掛防護(hù)。但是由于OCR技術(shù)日趨成熟，抗干擾能力加強(qiáng)，這種調(diào)整app UI的方法效果有限，并且其中的加干擾圖層方式對(duì)答題用戶的題目識(shí)別產(chǎn)生了干擾[3-4]。

本文著手于目前火熱的答題app中的OCR類輔助外掛的防護(hù)問題，根據(jù)OCR輔助外掛原理和搜索引擎的特性，提出了一種通過插入干擾關(guān)鍵詞的方式進(jìn)行答題類app中OCR類輔助外掛防護(hù)的方法。

1 答題app中OCR輔助外掛分析

1.1 基本介紹

（1）外掛基本介紹

最近，在答題類app火爆全國的時(shí)候，網(wǎng)上也出現(xiàn)了針對(duì)答題類app的OCR類輔助外掛。它通過手機(jī)與電腦主機(jī)連接，讓主機(jī)能夠獲取手機(jī)中app的答題界面，然后利用OCR技術(shù)抽取搶答的題目和答案。利用搜索引擎搜索出答案后傳回手機(jī)模擬選擇答案。

這類外掛由于不對(duì)app進(jìn)行任何惡意行為，僅僅是截取圖片，因此一般針對(duì)app外掛的防護(hù)方法無法有效對(duì)這種OCR類外掛進(jìn)行防護(hù)。

（2）技術(shù)背景介紹

ADB，即Android Debug Bridge，是一個(gè)命令行工具，允許開發(fā)人員將 Android 設(shè)備連接到開發(fā)系統(tǒng)（例如 PC）與其通信。它有一套獨(dú)特的在 Android 權(quán)限系統(tǒng)下指定的功能，可以實(shí)現(xiàn)主機(jī)端和手機(jī)端的交互[5]。

OCR （Optical Character Recognition，光學(xué)字符識(shí)別）是指電子設(shè)備（例如掃描儀或數(shù)碼相機(jī)）檢查紙上打印的字符，通過檢測(cè)暗、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過程；即，針對(duì)印刷體字符，采用光學(xué)的方式將紙質(zhì)文檔中的文字轉(zhuǎn)換成為黑白點(diǎn)陣的圖像文件，并通過識(shí)別軟件將圖像中的文字轉(zhuǎn)換成文本格式，供文字處理軟件進(jìn)一步編輯加工的技術(shù)。OCR技術(shù)當(dāng)前應(yīng)用廣泛，技術(shù)成熟。免費(fèi)的OCR平臺(tái)中比較著名的有國內(nèi)百度AI的OCR平臺(tái)和國外google的tessact-OCR平臺(tái)，網(wǎng)上的圖像識(shí)別類輔助外掛都是基于這兩個(gè)平臺(tái)進(jìn)行OCR處理[6]。

但是Google tessact-OCR平臺(tái)的識(shí)別準(zhǔn)確率在未訓(xùn)練的情況下比百度OCR識(shí)別的準(zhǔn)確率低，因此一般的中文答題app中的OCR類輔助外掛都采用百度OCR平臺(tái)作為OCR工具。

1.2 輔助外掛原理分析

通過對(duì)目前網(wǎng)上針對(duì)直播答題的輔助外掛樣本的分析與總結(jié)，我們可以發(fā)現(xiàn)這類輔助外掛在作用時(shí)主要分為三步，如圖1所示。

圖1 答題app中圖像識(shí)別類輔助外掛工作原理

第一步，主機(jī)與手機(jī)連接，使得主機(jī)程序能夠與手機(jī)連通交互，獲取答題app顯示的圖片信息（連接模塊），如圖2。

圖2 主機(jī)程序獲取答題app界面代碼

第二步，獲取答案。

答案獲取過程如下：

（1） 主機(jī)程序獲取手機(jī)中答題app的答題頁面圖片后，根據(jù)不同機(jī)型和不同的答題app設(shè)置題目區(qū)域和答題區(qū)域?qū)骰貋淼膱D片進(jìn)行切割，得到題目圖片和選項(xiàng)圖片，如圖3、圖4所示。

圖片3 輔助外掛中小米note3圖片切割效果

（2） 將切割后得到的題目圖片和選項(xiàng)圖片傳到圖像識(shí)別平臺(tái)進(jìn)行OCR識(shí)別，提取答題app中答題界面的題目和選項(xiàng)，如圖5。

圖5 基于百度OCR平臺(tái)的圖片文字識(shí)別

（3） 將從圖片中抽取出來的題目以一定策略放入搜索引擎中進(jìn)行搜索，獲取搜索結(jié)果得出題目答案。

現(xiàn)有輔助外掛的搜索策略有兩種：題目+選項(xiàng)計(jì)數(shù)搜索法和題目搜索結(jié)果包含選項(xiàng)詞頻搜索法。最后，根據(jù)計(jì)數(shù)的不同來確定答案，出現(xiàn)次數(shù)最多的確定為題目答案，如圖6。

圖6 兩種搜索策略

第三步，將答案?jìng)骰厥謾C(jī)端，模擬手機(jī)點(diǎn)擊操作選擇答案（模擬點(diǎn)擊模塊，外掛樣本中只有部分樣本有這個(gè)模塊）。

目前的針對(duì)答題app的圖像識(shí)別類輔助外掛均是利用adb中的adb shell getevent | grep -e "x" -e "y"命令來模擬點(diǎn)擊答案。

2 防護(hù)方案分析及實(shí)現(xiàn)

2.1 防護(hù)方案分析

基于輔助外掛的原理，我們對(duì)這類OCR類輔助外掛的防護(hù)也可以分為三個(gè)步驟，如圖7。

圖7 答題app中圖像識(shí)別輔助外掛防護(hù)分析

（1）阻止主機(jī)與手機(jī)端的連接。

目前出現(xiàn)的輔助外掛均是通過開發(fā)者模式，借助ADB工具來完成電腦主機(jī)之間的交互。

基于答題app中圖像識(shí)別類輔助外掛的此種現(xiàn)狀，我們可以通過監(jiān)控ADB程序的進(jìn)程，一旦監(jiān)控到有ADB工具在app運(yùn)行環(huán)境中運(yùn)行，立即停止app運(yùn)行或并嘗試殺死ADB進(jìn)程，如圖8。而由于答題app在android系統(tǒng)中的權(quán)限不足，不能直接殺死adb進(jìn)程，我們只能停止答題app自身運(yùn)行來避免app生態(tài)受到輔助外掛的破壞[7]。

圖8 android中的adb進(jìn)程

（2）阻止輔助外掛中答案獲取模塊獲取正確答案。

搜索引擎工作過程[8]：

①獲取輸入的搜索內(nèi)容；

②利用分詞算法將用戶輸入的搜索內(nèi)容劃分為一個(gè)個(gè)關(guān)鍵詞[9]；

③利用關(guān)鍵詞在搜索數(shù)據(jù)庫中搜索索引；

④結(jié)果顯示。

如題目“埃菲爾鐵塔位于哪個(gè)國家”放入搜索引擎搜索后，提取的關(guān)鍵詞主要是“埃菲爾鐵塔”、“位于”和“國家”，如圖9。

圖9 搜索結(jié)果

由于網(wǎng)上各種信息網(wǎng)絡(luò)上信息紛繁復(fù)雜，各種信息充斥其間，而搜索引擎只是起關(guān)鍵詞搜索作用并無信息判斷功能。因此，在搜索時(shí)向搜索內(nèi)容加入一個(gè)相關(guān)關(guān)鍵詞能夠大幅度干擾搜索結(jié)果。

在答題界面中題目區(qū)塊前加入相關(guān)關(guān)鍵詞來干擾搜索結(jié)果，如圖10。

圖片10 在題目中加入干擾關(guān)鍵詞及干擾效果

這里我們可以看到在答題界面中加入干擾詞后，原本外掛運(yùn)行結(jié)果為“法國”的題目干擾后外掛運(yùn)行結(jié)果為“印度”。

為了加大對(duì)輔助外掛的干擾，進(jìn)一步降低輔助外掛的準(zhǔn)確率，在選項(xiàng)中加入干擾關(guān)鍵詞，如圖11。

圖11 在題目和選項(xiàng)均加入干擾詞及干擾效果

在題目和選項(xiàng)中均加入干擾關(guān)鍵詞后，反圖像識(shí)別輔助外掛的效果進(jìn)一步加強(qiáng)。對(duì)使用“題目搜索結(jié)果包含選項(xiàng)詞頻”搜索策略的輔助外掛，防護(hù)效果更加有效。并且，由于在選項(xiàng)圖片中加入了干擾，使得輔助外掛將選項(xiàng)部分識(shí)別出錯(cuò)，能對(duì)后面輔助外掛中模擬點(diǎn)擊動(dòng)作產(chǎn)生保護(hù)作用。

（3）阻止外掛模擬在手機(jī)中模擬點(diǎn)擊。

模擬點(diǎn)擊可以利用MotionEvent實(shí)現(xiàn)模擬點(diǎn)擊、利用AccessibilityService實(shí)現(xiàn)模擬點(diǎn)擊以及借助反射實(shí)現(xiàn)模擬點(diǎn)擊。但是這些模擬點(diǎn)擊方法可以被其他類型的外掛防護(hù)措施很好地防護(hù)。因此，在答題app中圖片識(shí)別類輔助外掛防護(hù)中，我們只要杜絕外掛利用adb工具來模擬點(diǎn)擊就可以了。由于防護(hù)原理一樣，模擬點(diǎn)擊模塊的防護(hù)功能由阻止連接模塊和答案干擾模塊共同實(shí)現(xiàn)。

2.2 防護(hù)方案實(shí)現(xiàn)

（1）ADB阻止模塊

ADB阻止模塊運(yùn)行在答題app運(yùn)行環(huán)境中，實(shí)時(shí)監(jiān)測(cè)app運(yùn)行環(huán)境中有無adb進(jìn)程。如果發(fā)現(xiàn)運(yùn)行環(huán)境中有adb進(jìn)程，則限制答題app的運(yùn)行，如圖12、13。

圖12 檢測(cè)是否有adb程序運(yùn)行

圖13 限制答題app進(jìn)程

（2）答案干擾效果驗(yàn)證

答案干擾模塊在答題app內(nèi)隨題目顯示運(yùn)行，在顯示題目前對(duì)顯示的題目?jī)?nèi)容做干擾。由于無法獲取答題app中的題庫信息，我們采取從當(dāng)前答題app中截取題目來作為實(shí)驗(yàn)數(shù)據(jù)，比對(duì)相同的題目集下加防護(hù)與不加防護(hù)輔助外掛答題準(zhǔn)確率，來驗(yàn)證答案干擾方案的效果。

3 結(jié)論

3.1 環(huán)境

答題app運(yùn)行在Mi_Note_3手機(jī)中，安卓版本為7.1.1。

實(shí)驗(yàn)題目數(shù)據(jù)從答題應(yīng)用頭腦王者中獲取。

輔助外掛樣本為目前網(wǎng)上針對(duì)答題app的典型OCR輔助外掛——TopSup。

3.2 結(jié)果

在ADB阻止模塊中，ADB監(jiān)控程序能夠很好地檢測(cè)到ADB進(jìn)程，并限制答題app的活動(dòng)。

在答案干擾部分中，通過對(duì)從真實(shí)答題app中獲取的題目集進(jìn)行處理，在相同的題目集下采取不同的防護(hù)方法，然后比對(duì)采取不同防護(hù)方法時(shí)輔助外掛的答題準(zhǔn)確率來驗(yàn)證防護(hù)效果。具體情況如表1所示。

表1 采取防護(hù)前后答題正確率對(duì)比

注：由于網(wǎng)絡(luò)搜索目標(biāo)資源不同，不同題目集的正確率可能會(huì)有一定偏差。

從表1中，我們可以看到未防護(hù)前的輔助外掛答題準(zhǔn)確率為98.3%，采用關(guān)鍵詞防護(hù)后答題準(zhǔn)確率降至7.6%，而采用UI防護(hù)后的輔助外掛答題準(zhǔn)確率為28.3%。

從結(jié)果中我們可以發(fā)現(xiàn)，插入關(guān)鍵詞的防護(hù)模式可以有效降低輔助外掛的答題準(zhǔn)確率，在不干擾用戶識(shí)別的情況下盡可能地干擾OCR類輔助外掛的功效。

3.3 結(jié)論與展望

近年來，移動(dòng)互聯(lián)網(wǎng)行業(yè)火爆異常，各種app的出現(xiàn)極大地方便了我們的日常生活和工作，提高了我們的生活效率。在一個(gè)又一個(gè)火爆app的背后，是一類又一類app外掛的出現(xiàn)。它們破解app、偽造通訊、模擬用戶行為，為app廠商帶來了巨額損失，極大地破壞了app的用戶生態(tài)[10]。隨著人工智能技術(shù)的發(fā)展，許多新型外掛借助圖像識(shí)別技術(shù)實(shí)現(xiàn)了弱輔助外掛，逃避外掛防護(hù)系統(tǒng)的查殺。

2018年開年以來，答題app火遍全國，不論老少，都知道王思聰在答題app中“撒幣”，答題可以分錢。而與此同時(shí)，針對(duì)答題app的OCR類輔助型外掛也出現(xiàn)在網(wǎng)絡(luò)中，破壞了app用戶的使用體驗(yàn)，給app廠商帶來了損失。

本文著手于答題app中出現(xiàn)的OCR類輔助外掛，基于OCR外掛原理和搜索引擎特性提出一種針對(duì)答題app中出現(xiàn)的圖像識(shí)別類外掛的防護(hù)方法。通過ADB連接阻止模塊和答案干擾模塊，對(duì)答題app中出現(xiàn)的OCR類輔助外掛進(jìn)行了有效防護(hù)。

外掛的攻與防是一個(gè)長(zhǎng)久的話題，我們要緊跟信息技術(shù)的發(fā)展，關(guān)注人工智能環(huán)境下的新型外掛，提出更多的解決辦法，豐富應(yīng)對(duì)人工智能外掛的應(yīng)對(duì)措施。

[1]周琦.直播答題：2018 年新風(fēng)口[N].CHINA ECONOMIC WEEKLY, 2018.

[2]趙麗.直播答題“江湖”現(xiàn)作弊產(chǎn)業(yè)鏈[N].法制日?qǐng)?bào)， 2018.

[3]AppleCrazy. AppleCrazy's Blog[EB/OL]. https://applecrazy.github.io/blog/posts/protect-trivia-from-bots/,2017.

[4]Stephen,Cognetta.hackernoon.com[EB/OL].https://hackernoon.com/i-hacked-hq-trivia-but-heres-how-they-can-stop-me-68750ed16365, 2017.

[5]范琛琛, 施勇, 薛質(zhì).基于ADB調(diào)試的Andriod系統(tǒng)植入研究[J].信息安全與通信保密，2015.

[6]王文華.淺談OCR技術(shù)的發(fā)展和應(yīng)用[J].福建電腦， 2012.

[7]Joshua J.Drake.Android Hacker's Handbook[M].北京:人民郵電出版社，2015.

[8]劉佳.中文搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D].東華大學(xué)，2008.

[9]劉宏偉.搜索引擎中中文WEB文本自動(dòng)分類研究[D].暨南大學(xué)，2007.

[10]李京春.移動(dòng)終端APP應(yīng)用安全問題及防護(hù)措施[J].信息安全與通信保密，2014.