移動應用自動化兼容性測試方法綜述

陳 星，趙佳萌，宣軍法

?

移動應用自動化兼容性測試方法綜述

陳 星，趙佳萌，宣軍法

（中國人壽研發(fā)中心 開發(fā)五部，北京 100038）

隨著移動應用技術(shù)的發(fā)展，層出不窮的移動應用已經(jīng)成為用戶操作的主要入口，用戶在感受移動應用帶來便利的同時也對應用質(zhì)量提出了更高的要求，如何開發(fā)和運營高質(zhì)量的移動應用需要依靠強大的測試方法。移動應用兼容性測試就是其中一個方面，面對市場上眾多的移動設(shè)備和操作系統(tǒng)，兼容性測試過程異常繁瑣，如何實現(xiàn)兼容性測試技術(shù)的自動化，代替重復的手工測試，提高測試效率是移動應用測試的研究重點。本文對目前出現(xiàn)的兼容性測試問題進行了分類并詳細分析了出現(xiàn)這些兼容性問題的主要原因，針對近年來移動應用兼容性測試方法進行了系統(tǒng)地總結(jié)和分析，重點介紹了基于云端的自動化兼容性測試方法，同時分析了目前主流的自動化兼容性測試平臺的各項指標。

移動應用；兼容性；自動化；云端；測試方法

0 引言

隨著移動互聯(lián)網(wǎng)的高速發(fā)展，移動設(shè)備的碎片化現(xiàn)象日益嚴重，據(jù)中國信息通信研究院發(fā)布的數(shù)據(jù)，2017年android操作系統(tǒng)機型已超過1000款[1]，ios操作系統(tǒng)機型也在不斷更新中，面對越來越碎片化的移動設(shè)備市場，如何選擇合適的移動設(shè)備和應用環(huán)境，是當前兼容性測試迫切需要解決的難題之一[2]。移動應用兼容性是指移動應用在不同的軟硬件系統(tǒng)上和不同的應用軟件之間能否穩(wěn)定正常工作的能力，兼容性測試是指測試移動應用軟件在不同的硬件產(chǎn)品上、不同的應用軟件之間、不同終端操作系統(tǒng)平臺上、不同的網(wǎng)絡(luò)環(huán)境等中是否能夠穩(wěn)定正常運行的測試[3]，目前移動應用兼容性測試所遇到的挑戰(zhàn)有：

（1）系統(tǒng)版本覆蓋廣

（2）不同廠商對ROM的定制修改

（3）不同機型的硬件配置不同

傳統(tǒng)的兼容性測試方法是通過購買少量主流機型進行手工測試，這種測試方法效率極低，過度依賴于人為主觀因素，而且隨著應用的復雜性和功能不斷增加，兼容性測試的復雜度和工作量也不斷增加，本文對自動化兼容性測試的目的和意義進行了描述，介紹了兼容性測試的類型和主要方法，重點介紹了基于云端的自動化兼容性測試方法，分析了目前主流的自動化兼容性測試工具。

1 移動應用兼容性的問題分類

移動應用的兼容性是指與移動應用軟件在不同運行環(huán)境是否能正常運行的能力，兼容性問題主要涵蓋以下幾個方面：

（1）安裝失敗

移動應用安裝失敗主要原因有內(nèi)存不足、手機上已經(jīng)安裝了其他簽名版本、操作系統(tǒng)版本不匹配或者需要用戶手動授權(quán)等，其中通過第三方測試機構(gòu)的數(shù)據(jù)，內(nèi)存不足是安裝失敗的最主要原因，版本不匹配的情況發(fā)生在應用要求的系統(tǒng)版本高于實際運行的系統(tǒng)版本。

（2）啟動失敗

移動應用啟動失敗主要原因有內(nèi)存不足，加載資源錯誤。

（3）運行崩潰

內(nèi)存不足、溫度過高、操作系統(tǒng)不兼容、CPU不兼容等，具體問題需根據(jù)崩潰日志進行定位。

（4）運行卡死

移動應用卡死又稱ANR（application not reponse）,一個應用程序開始運行的時候會單獨啟動一個進程（Process），一個進程可以有許多的線程（Thread），UI Thread在程序運行時候就被創(chuàng)建，是一個進程的主線程，主要控制用戶UI界面的顯示、更新和控件交互，通常情況下UI Thread運行的時間應該越短越好，而訪問網(wǎng)絡(luò)、本地數(shù)據(jù)庫讀寫應該在子線程去執(zhí)行，如果UI Thread執(zhí)行了這些費時的操作，系統(tǒng)在等待時間內(nèi)發(fā)現(xiàn)UI Thread沒有響應就會報錯。

（5）運行卡頓

原因類似運行卡死。

（6）功能異常

具體原因需開發(fā)人員根據(jù)錯誤日志具體分析。

（7）UI異常

UI異常主要跟移動設(shè)備分辨率有關(guān)。

2 移動應用兼容性的問題影響因素

出現(xiàn)以上兼容性問題會造成用戶體驗差，應用無法正常使用等，移動應用兼容性主要受以下幾方面的影響。

2.1 操作系統(tǒng)版本

根據(jù)2017年11月谷歌發(fā)布的最新Android版本統(tǒng)計數(shù)據(jù)，目前市面上Android系統(tǒng)版本從2.3到8.0，大版本下還有許多的小版本，如2.3.3-2.3.7，對于Android的很多版本功能是不向下兼容的，Android系統(tǒng)碎片化情況問題嚴重[4]，市場占比情況如圖1[5]。

圖1 Android系統(tǒng)市場占有情況

ios用戶普遍升級到10以上，根據(jù)蘋果的官方數(shù)據(jù)，ios系統(tǒng)占比情況如圖2[6]。

圖2 Ios系統(tǒng)市場占有情況

移動應用運行于不同操作系統(tǒng)之上，有些應用需要在不同的操作系統(tǒng)平臺上重新編譯，有些應用需要重新開發(fā)或是進行較大改動，才能在不同的操作系統(tǒng)平臺上運行，對于兩層體系和多層體系結(jié)構(gòu)的軟件，還要考慮前端和后端操作系統(tǒng)的可選擇性，探索移動應用的兼容性需要驗證移動應用在不同操作系統(tǒng)上運行是否與操作系統(tǒng)版本無關(guān)。

2.2 硬件配置不同

不同移動設(shè)備CPU型號、GPU型號、內(nèi)存大小、屏幕分辨率大小、攝像頭像素、聲卡型號等硬件配置的不同，導致移動應用的表現(xiàn)形式也不同，如屏幕分辨率是最常見的兼容性問題，如果代碼未對不同分辨率的機型做適配處理，就會出現(xiàn)錯位、遮擋、留白、拉伸和模糊等各種UI問題，這時候就需要開發(fā)人員從界面設(shè)計和代碼（比如使用相對布局）層面就需要進行考慮[7]。

2.3 移動設(shè)備廠商對ROM的定制修改

該問題主要針對Android系統(tǒng)，目前主流的移動設(shè)備廠商都對Android系統(tǒng)進行了深度定制開發(fā)，如華為EMUI、小米MIUI等都有自己的接口，開發(fā)者在基于谷歌標準Android系統(tǒng)開發(fā)后，將應用運行在不同廠商的ROM上可能會遇到各種兼容性問題，比如調(diào)用相機和一些底層服務(wù)出現(xiàn)的不兼容，以及不同移動設(shè)備對于方向和重力傳感器靈敏度設(shè)置不同的問題。

2.4 異構(gòu)數(shù)據(jù)庫

大部分的移動應用系統(tǒng)都需要安裝數(shù)據(jù)庫系統(tǒng)，目前常用的數(shù)據(jù)庫系統(tǒng)有Oracle、Mysql、Microsoft SQL Server、Sybase、DB2等，不同結(jié)構(gòu)的數(shù)據(jù)庫平臺在切換的過程中如果應用不能正常掛起那就會導致兼容性問題。

2.5 異種數(shù)據(jù)

對于某些移動應用需要支持常用的數(shù)據(jù)格式，例如某些應用需要支持常用的DOC、WPS、PDF等文件格式，如果軟件無法完全正確地讀出不同格式的文件，那說明存在異種數(shù)據(jù)的兼容性問題。

2.6 應用軟件之間的兼容

每個移動應用軟件的運行環(huán)境不盡相同，其他應用軟件的運行是否會造成應用的某些功能無法正常實現(xiàn)也是移動應用兼容性要考慮的問題。

2.7 網(wǎng)絡(luò)環(huán)境不同

基于開發(fā)環(huán)境和生產(chǎn)環(huán)境的不同，在各種網(wǎng)絡(luò)連接下(WiFi、3G、4G等)移動應用可能會出現(xiàn)因延遲和穩(wěn)定性問題導致的運行不正常的問題[8]。

3 傳統(tǒng)兼容性測試方法

傳統(tǒng)的兼容性測試的基本做法是測試人員根據(jù)移動應用用戶的特征挑選出要覆蓋的范圍，通過自購少量主流機型，搭建配置測試環(huán)境，采用人工測試的方式執(zhí)行測試用例獲取結(jié)果[9]，由于兼容性測試存在系統(tǒng)版本和移動設(shè)備兩個維度，如果要覆蓋所有的系統(tǒng)版本和主流設(shè)備，那會造成大量的測試工作量，并且需要不斷購入真機，所以通常的做法是在少數(shù)主流設(shè)備上執(zhí)行全量的測試用例，在其他兼容性測試范圍內(nèi)的設(shè)備上覆蓋主要功能的用例，不同功能點的兼容性測試情況通過手工記錄的方式進行記錄和跟蹤，這種測試方式的結(jié)果過度依賴于人為主觀因素，對于獲取的結(jié)果無法進行專業(yè)化記錄和展現(xiàn)，對開發(fā)人員后期定位和修改問題造成很大的困擾。

4 基于云端的自動化兼容性測試方法

傳統(tǒng)兼容性測試方法只要有相應的設(shè)備和時間就能開展，但這種測試方法需要提供完備的設(shè)備類型，對于不同維度的兼容性需要進行手工截圖和記錄日志，重復的勞動會造成大量的工作，基于云端的自動化兼容性測試方法可以代替重復的手工測試，提高測試質(zhì)量和效率，有效減少測試開支。

根據(jù)云計算技術(shù)的體系架構(gòu)[10]可將基于云端的自動化兼容性測試的體系結(jié)構(gòu)進行大致描述如圖3。

通過上圖可以看出基于云端的自動化兼容性測試體系架構(gòu)可以分為四個層面：面向服務(wù)的體系結(jié)構(gòu)構(gòu)建層（Service Oriented Architecture，SOA），管理層、資源池層和物理資源層[11]。SOA層主要是面向用戶的應用服務(wù)層，用戶可以通過標準的Web服務(wù)訪問底層的各種資源，該層對底層的資源及架構(gòu)進行封裝，用戶無需考慮底層各種資源的分配以及功能如何實現(xiàn)等。管理層主要是對整個平臺進行管理，包含用戶管理、任務(wù)管理、資源管理和安全管理四個方面，管理層可以保證用戶權(quán)限、測試環(huán)境、任務(wù)及資源合理分配等各項活動有序進行。資源池層對云測試平臺中所有物理資源進行抽象和管理，具體資源有各種終端及模擬器等設(shè)備資源、計算資源、存儲資源等，所有的物理資源在資源池層進行封裝。物理資源層是基于云端的自動化兼容性測試的實體層，如終端設(shè)備及模擬器、物理主機、存儲器等基礎(chǔ)設(shè)施。

圖4為基于云端的自動化兼容性測試網(wǎng)絡(luò)結(jié)構(gòu)圖。

基于云端的兼容性自動化測試的平臺提供了大量的真機和終端模擬器，用戶可以通過遠程調(diào)用的方式，使用瀏覽器來提交測試項目和測試腳本，測試云將進行資源和統(tǒng)計，最后得出完整的兼容調(diào)度，把測試任務(wù)分配到云端執(zhí)行[12]，再將執(zhí)行結(jié)果進行分析性測試報告，整個測試流程如圖5。

圖3 基于云端的自動化兼容性測試的體系結(jié)構(gòu)

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖5 基于云端的自動化兼容性測試流程

5 主流基于云端的自動化兼容性測試工具

主流的云測試平臺都支持對原生native、混合hybrid和Web應用的測試，其中兼容測試是通過在多種測試設(shè)備上安裝、卸載和運行被測應用，遍歷移動應用的每個界面，主要檢查移動應用是否會報錯或者崩潰，部分云測試平臺還會對每個頁面進行截圖并進行對比。下面介紹目前推出的主流的支持自動化兼容性測試的云平臺。

5.1 國外主流的云測試平臺

國外主流的云測試平臺有Xamarin Test Cloud、TestDroid、Sauce Labs、Google Cloud Test Cloud、AWS Device Farm。

Xamarin Test Cloud目前擁有超過2000多部終端，支持andriod和ios操作系統(tǒng)，支持腳本錄制的自動化測試，所采用的自動化測試框架有Calabash（ios和Android）和自主開發(fā)的Xamarin.UITest[13]。Xamarin Test Cloud最大的優(yōu)勢就是擁有海量的終端，用戶覆蓋程度較廣。

TestDroid目前在云端部署了超過400臺Android和ios操作系統(tǒng)的真機[14]，支持腳本錄制的自動化測試，并且支持多種自動化測試框架，包括支持ios的Calabash、appium、UI Automation和 Jasmine，以及支持Android的Calabash、appium、Espresso、Robotium和uiautomator，TestDroid還有一個最大的優(yōu)勢就是支持游戲測試。

Sauce Labs[15]是目前全球最大的web和移動應用自動化測試的云平臺，擁有56個Android測試平臺和26個ios測試平臺，支持腳本錄制的自動化測試，并且支持租用測試設(shè)備進行手動測試，Sauce Labs使用自己的開源自動化測試框架appium。

AWS Device Farm目前擁有超過200臺Android和ios操作系統(tǒng)的真機，支持8臺自主開發(fā)的FireOS操作系統(tǒng)，支持腳本錄制的自動化測試，并且支持多種自動化測試框架，包括支持ios的Calabash、appium、UIAutomation和XCTest，以及支持Android的Calabash、appium、JUnit、Espresso、Robotium和uiautomator[16]。

5.2 國內(nèi)主流的云測試平臺

國內(nèi)主流的云測試平臺有Testin云測、testbird、百度MTC、騰訊優(yōu)測、阿里MQC。

Testin目前部署了600部Android和80部ios終端，開發(fā)者只需在Testin平臺提交自己的移動應用，選擇需要測試的網(wǎng)絡(luò)、機型，便可進行在線的自動化測試，無須人工干預，自動輸出包含錯誤、報警等測試日志、UI截圖、內(nèi)存、CPU、啟動時間等在內(nèi)的標準測試報告。Testin云測支持的自動化測試框架有Robotium、JUnit、Athrun和Testin SDK，其中只有Testin SDK支持ios和Android，其他框架都只支持Android[17]。

TestBird目前覆蓋90%以上的Android和全系ios終端設(shè)備，支持H5、Hybird混合以及Web應用的兼容性測試[18]，能夠?qū)栴}進行統(tǒng)計并有行業(yè)對比數(shù)據(jù)，自動輸出含錯誤、報警等測試日志、UI截圖等在內(nèi)的標準測試報告，可幫助開發(fā)人員進行錯誤定位。

百度移動云測試中心（MTC）目前擁有300部Android和30部ios終端以及各種配置的模擬器[19]，但百度MTC只支持通過自己的測試腳本錄制工具錄制的腳本。

騰訊優(yōu)測（Utest）目前覆蓋98%以上的Android機型，目前不提供ios終端設(shè)備的兼容性測試，為應用、游戲，H5混合應用的研發(fā)團隊提供產(chǎn)品質(zhì)量檢測與問題解決服務(wù)，不支持腳本測試，可遠程連接測試設(shè)備進行手動測試[20]。

阿里MQC目前部署了140部Android和10部ios終端，能夠支持阿里自主操作系統(tǒng)YunOS，支持腳本測試，無法進行人工測試[21]，采用的自動化測試框架是支持Robotium和增強后的appium，其中appium可以支持ios和Android，能夠進行崩潰分析。

6 結(jié)論

移動應用的兼容性問題是開發(fā)人員遇到的常見問題，解決移動應用兼容性問題可以有效提高移動用戶體驗，如果使用傳統(tǒng)的測試方法對移動應用進行兼容性測試會大大提高測試成本和工作量，基于云端的自動化測試方法可以很好的解決這個問題。本文對兼容性測試問題分類進行具體分析，同時比對了國內(nèi)外主流的自動化兼容性測試平臺，為兼容性測試工作的開展提供了指導。隨著移動設(shè)備的多樣性和碎片化，移動應用的兼容性測試工作已經(jīng)成為目前非常緊迫且具有挑戰(zhàn)測試任務(wù)[22]，為保證移動應用的質(zhì)量，兼容性測試還需測試人員和開發(fā)人員的共同努力！

[1] 中國信息通信研究院. 2017年國內(nèi)手機市場運行情況及發(fā)展趨勢分析[R]. 中國信息通信研究院, 2018.

[2] Huang Junfei. App ACTS: Mobile App Automated Compatibility Testing Service: Proceeding of 2014 2nd IEEE International conference on Mobile Cloud Computing,Services and Engineering, 2014 [C]. Oxford: IEEE, 2014.

[3] 張濤, 周文強, 李坤, 王海鵬, 成靜. 一種基于K-Mean算法的移動應用兼容性測試方法[J]. 西北工業(yè)大學學報, 2015, 33(3): 512-515.

[4] Hyung Kil Ham, Young Bom Park. Designing Knowledge Base Mobile Application Compatibility Test System for Android Fragmentation[J]. International Journal of Software Engineering and Its Applications, 2014(1): 302-314.

[5] Google Android. Google Android[EB/OL], 2017. http://www. android.com/.

[6] APP Store. APP Store[EB/OL], 2018. https://developer.apple. com/support/app-store/.

[7] 邱鵬, 陳吉, 潘曉明. 移動App測試實踐-頂級互聯(lián)網(wǎng)企業(yè)軟件測試和質(zhì)量提升最佳實踐[M]. 北京: 機械工業(yè)出版社, 2015.

[8] Zhenyu Liu, Yun Hu, Lizhi Cai.Research on software security and compatibility test for mobile application: Proceeding of 2014 Fourth International Conference on Innovative Computing Technology (INTECH), 2014[C]. Luton:IEEE, 2014.

[9] 鞠煒剛, 歐林寶. 基于環(huán)境資源自動匹配的云測試框架研究與應用[J]. 計算機應用與軟件, 2018, 35(01): 32-37+51.

[10] 劉正偉, 文中領(lǐng), 張海濤. 云計算和云數(shù)據(jù)管理技術(shù)[J]. 計算機研究與發(fā)展, 2012, 49(S1): 26-31.

[11] 張亞萍. 基于云計算的軟件測試關(guān)鍵技術(shù)研究[D]. 南京郵電大學, 2016.

[12] 顧宇隆, 杜明, 劉振宇, 李鋒, 殷琦, 劉曉強. 基于本體的云測試資源分配與任務(wù)調(diào)度方法[J]. 計算機應用與軟件, 2015, 32(11): 14-17+35.

[13] Xamarin. xamarin[EB/OL], 2018.https://developer.xamarin. com/testcloud/.

[14] Testdroid. Testdroid[EB/OL], 2018. https://cloud.testdroid.com/.

[15] Wikipedia. Wikipedia[EB/OL], 2017. https://en.wikipedia. org/wiki/Sauce_Labs.

[16] Amazon. Amazon[EB/OL], 2018. https://aws.amazon.com/ cn/device-farm/.

[17] testin. Testin[EB/OL], 2018. https://help.testin.cn/.

[18] testbird. Testbird[EB/OL], 2018. https://www.testbird.com/.

[19] baidu MTC. Baidu MTC[EB/OL], 2018. http://mtc.baidu. com/site/introduction.

[20] 騰訊優(yōu)測. 騰訊優(yōu)測[EB/OL], 2018. http://utest.21kunpeng.com/.

[21] huoxingqiu. Testerhome[EB/OL], 2016. https://testerhome. com/topics/6775.

[22] Tao Zhang, Jerry Gao, Jing Cheng,Tadahiro Uehara. Compatibility Testing Service for Mobile Applications: Proceeding of 2015 IEEE Symposium on Service-Oriented System Engineering (SOSE), 2015[C]. San Francisco: IEEE, 2015.

Survey of Mobile Application Automation Compatibility Testing Method

CHEN Xing, ZHAO Jia-meng, XUAN Jun-fa

(Department of the Fifth Development, China Life Insurance R&D Center, Beijing 100038, China)

With the development of mobile application technologies, more mobile applications have become the main entrance for users’ operations. People feel the convenience of mobile applications and at the same time, higher requirements of application quality are needed. How to develop and operate high-quality mobile Applications need to rely on powerful test methods. Mobile application compatibility testing is part of them. As there are so many mobile devices and operating systems on the market, the compatibility testing process is extremely cumbersome. How to realize the automation of the compatibility testing technology and replace the repeated manual testing method by improving the testing efficiency is the research focus of current mobile application testing. This paper discusses the classification and the main causes of the current mainstream compatibility testing problems and also systematically summarizes and analyzes the mobile application compatibility testing methods in recent years,. The cloud-based automated compatibility testing method is particularly presented and the current mainstream automation compatibility testing platforms are analyzed.

Mobile application; Compatibility; Automated; Cloud; Test method

TP39

J

10.3969/j.issn.1003-6970.2018.07.018

陳星(1989-)，女，研究生，主要研究方向：移動應用兼容性；趙佳萌(1990-)，女，本科生，主要研究方向：移動應用兼容性；宣軍法(1970-)，男，研究生，主要研究方向：應用兼容性。

本文著錄格式：陳星，趙佳萌，宣軍法. 移動應用自動化兼容性測試方法綜述[J]. 軟件，2018，39（7）：89-94