摘要: 提出一種自動識別安卓應(yīng)用中可讀文本缺失問題組件的方法, 以提高應(yīng)用的可訪問性. 首先, 利用UI Automator提取應(yīng)用的圖形用戶頁面, 并對無關(guān)組件進(jìn)行裁剪, 同
時補全組件屬性, 以生成相應(yīng)的視圖樹; 其次, 設(shè)計3種啟發(fā)式規(guī)則, 以識別視圖樹中存在可讀文本缺失的組件, 通過對6個熱門應(yīng)用的評估實驗, 該方法以平均97
%的準(zhǔn)確率成功識別了問題組件; 最后, 生成的測試報告通過在源碼與截圖中標(biāo)記問題組件, 幫助應(yīng)用開發(fā)者清晰定位并修復(fù)缺失的可讀文本. 該研究成果不僅能有效改善視障用
戶的使用體驗, 使他們更順暢地與應(yīng)用進(jìn)行交互, 還為開發(fā)者提供了一種實用的工具, 促進(jìn)安卓應(yīng)用的整體可訪問性提升. 通過這樣的方式, 開發(fā)者可以更好地理解和解決可訪問
性問題, 為所有用戶創(chuàng)造一個更友好的數(shù)字環(huán)境.
關(guān)鍵詞: 可訪問性; 可讀文本; 替代文本; 問題組件識別
中圖分類號: TP311.5" 文獻(xiàn)標(biāo)志碼: A" 文章編號: 1671-5489(2025)01-0099-08
Accessibility Testing Method for Visually Impaired Users of Android Application GUI
HE Zhentao, XU Yifang, ZHANG Mengxi, LIU Huaxiao
(College of Computer Science and Technology, Jilin University, Changchun 130012, China)
收稿日期: 2023-11-29.
第一作者簡介: 何振濤(1999—), 男, 漢族, 碩士, 從事軟件工程的研究, E-mail: zhentaohe.work@foxmail.com.
通信作者簡介: 劉華虓(1986—), 男, 漢族, 博士, 副教授, 博士生導(dǎo)師, 從事智能化軟件工程、 數(shù)據(jù)挖掘和人機交互的研究, E-mail: liuhuaxiao@jlu.edu.cn.
基金項目: 吉林省自然科學(xué)基金(批準(zhǔn)號: 20230101070JC).
Abstract: We proposed a" method for automatically identifying components with missing readable text in Android applications to improve the accessibility of these
applications. Firstly, We used UI Automator to extract the graphical user interface of the application," prune" irrelevant components and" complete" component attributes to generate the corresponding view tree.
Secondly, we designed three heuristic rules" to identify components with missing readable text in the view tree. Through evaluation experiments on six popular applications, the proposed method successfully ident
ified problematic components with an average accuracy" of 97%. Finally, a generated test report helped application developers" clearly locate and rectify the missing readable text by
marking the problematic components in both the source code and screenshots. The" research achievement not only effectively improves the user experience for visually impaired users,
enabling them to" interact with the applications more smoothly, but also provides developers with a practical tool to promote the overall accessibility of Android applications. Through" this approach,
developers can better understand and address accessibility issues, creating a more user-friendly digital environment for all users.
Keywords: accessibility; readable text; alternative text; problematic component recognition
近年來, 隨著智能手機的快速發(fā)展與普及, 移動應(yīng)用正越來越全方位地融入人們的生活, 人們愈發(fā)依賴其享受學(xué)習(xí)、 娛樂、 購物和社交等服務(wù)[1]. 移動應(yīng)用的
普及不僅為普通用戶帶來了便利, 也給視障用戶帶來了更多認(rèn)識世界的機會. 視障指視覺功能受損, 除盲人外, 視障用戶還包括許多需要借助放大
鏡等輔助器具才能看清對象的弱視人群[2]. 而提高應(yīng)用的可訪問性, 正是要提高應(yīng)用的無障礙化程度, 使視障用戶也有平等的使用應(yīng)用、 享受科技帶來便利的機會[3-4].
借助屏幕閱讀器獲取信息是視障用戶, 尤其是全盲用戶使用應(yīng)用(App)最重要的方法. 屏幕閱讀器能為視障群體提供語音輔助服務(wù), 幫助他們通過語音的方式獲取手機屏幕上的內(nèi)
容, 以及通過手勢進(jìn)行交互. 對于占有移動設(shè)備操作系統(tǒng)份額最大的安卓系統(tǒng), 谷歌公司推出的TalkBack應(yīng)用是視障用戶使用最多的屏幕閱讀器. TalkBack等屏幕閱讀器主要通過GUI(
graphical user interface)中組件的文字、 描述文本(contentDescription)等可讀文本信息作為輸入為視障用戶提供語音反饋. 但開發(fā)人員常會因為功能需求和經(jīng)濟效益等
原因而忽視視障用戶群體的特殊需求, 因此安卓應(yīng)用中的GUI組件通常存在為實現(xiàn)TalkBack功能提供基礎(chǔ)信息的可讀文本缺失問題. 可讀文本缺
失問題是影響應(yīng)用可訪問性的最常見問題之一[5], 它的存在會影響屏幕閱讀器的語音播報功能和交互功能, 從而影響視障用戶對應(yīng)用功能的使用.
因此, 本文基于移動應(yīng)用的無障礙化改造, 提出一種針對GUI內(nèi)組件可讀文本缺失的自動化檢測方法, 為應(yīng)用開發(fā)者提高應(yīng)用的可訪問性提供幫助. 首先, 本文對安卓應(yīng)用的GUI
進(jìn)行預(yù)處理, 對代表GUI的視圖樹(View Tree)進(jìn)行裁剪和補全; 其次, 通過設(shè)計啟發(fā)式規(guī)則, 識別可讀文本缺失問題; 最后, 對識別到的文本缺失問題以及與之相應(yīng)的GUI組件, 為其生
成一份檢測報告, 以供開發(fā)者對問題進(jìn)行修復(fù). 本文進(jìn)行的評估實驗也驗證了該方法的有效性, 能檢測出應(yīng)用中存在的可讀文本缺失問題, 為提高應(yīng)用的可訪問性提供幫助.
1 本文方法設(shè)計
本文方法以UI Automator提取到的GUI截屏和View Tree作為輸入, 以測試報告作為輸出. View Tree表示視圖和視圖組在布局中的樹形結(jié)構(gòu). 首先,
對View Tree進(jìn)行裁剪和補全, 剪去View Tree中與GUI無關(guān)的干擾節(jié)點, 并為每個缺失ID的節(jié)點生成一個唯一標(biāo)識; 其次, 對View Tree中的節(jié)點, 通過制定3個統(tǒng)一的啟發(fā)式
規(guī)則, 使用組件的特征與相互之間的關(guān)系層層過濾, 識別出View Tree中存在可讀文本缺失問題的組件; 最后, 對被檢GUI生成檢測報告, 該報告涵蓋標(biāo)記問題的布局結(jié)構(gòu)文件、
組件列表以及對應(yīng)的GUI截圖, 以便開發(fā)者定位問題組件, 提升應(yīng)用可訪問性. 本文方法流程如圖1所示.
1.1 GUI預(yù)處理
安卓應(yīng)用的GUI由一系列容器組件(ViewGroup)和非容器組件(View)構(gòu)成的View Tree表示. 獲取View Tree主要有兩種方法: 一種是獲取與GUI相對應(yīng)的靜態(tài)XML(extensible ma
rkup language)布局文件; 另一種是使用AccessibilityService接口獲取GUI運行時的View Tree. UI Automator是一個安卓系統(tǒng)測試框架, 它基于AccessibilityService獲取GUI信息, 可以使開發(fā)者編寫自動化測試腳本.
由于GUI運行時所能捕獲到的信息常比靜態(tài)頁面更豐富, 且能更完整地獲取試圖信息[6], 因此本文采用安卓系統(tǒng)提供的基于AccessibilityService的界面測試
框架UI Automator獲取應(yīng)用運行時的View Tree. AccessibilityService是安卓系統(tǒng)提供的一種服務(wù), 可使應(yīng)用程序訪問用戶界面元素的屬性和狀態(tài).
但通過UI Automator獲取到的View Tree仍存在一些會對后續(xù)測試造成影響的問題. 一是View Tree中存在一些與應(yīng)用無關(guān)的組件, 這些組件通常由操作系統(tǒng)產(chǎn)生,
因此本文使用無關(guān)組件的類型特征、 位置特征等信息將其從View Tree中剔除, 以避免其對后續(xù)測試產(chǎn)生影響; 二是View Tree中的組件常因開發(fā)人員的不規(guī)范設(shè)計而
缺少唯一標(biāo)識符(ID)導(dǎo)致組件難以被有效甄別, 從而阻礙測試方法識別組件時的完備性, 且該情況會使開發(fā)者難以定位存在文本標(biāo)簽問題的組件, 進(jìn)而影響他們理解
本文測試方法輸出的測試結(jié)果. 為解決該問題, 本文對View Tree中組件的ID屬性進(jìn)行補全, 補全算法如下.
算法1
組件ID生成算法.
輸入: View Tree;
輸出: View Tree;
1) let cmp_list be a list of all components of the component tree
2) let id_set be a set
3) for each component in cmp_list do
4) if component does not have an id then
5)"" let idx=1
6)"" let id=String(component.class)+String(idx)
7)"" while id in id_set do
8)"""" idx=idx + 1
9)"""" id=String(component.class)+String(idx)
10)"" id_set.add(id)
11)"" component.id=id
12) return component tree.
算法1以經(jīng)過裁剪后的View Tree作為輸入, 輸出每個組件的ID屬性得到補全的View Tree, 通過遞增組件ID的尾號以及集合去重, 為組件生成
唯一的ID, 并在此過程中組合組件的類型信息, 使閱讀本文測試結(jié)果的開發(fā)者能利用組件的類型信息更快速地定位問題組件.
1.2 可讀文本缺失問題識別
可讀文本是TalkBack讀屏?xí)r的信息來源, 其中組件的text屬性值與contentDescription屬性值是最重要的兩類可讀文本. 對視力正常用戶所能看到的文字, 其一
般是開發(fā)者在組件中設(shè)置的text屬性值, TalkBack可以通過獲取組件的text屬性值順利地把文字內(nèi)容通過語音反饋給視障用戶. 而對于ImageView,ImageButton,Checkbox,Toggl
e,Slider等類型的組件, 其一般不會存在text屬性值, 而是通過其包含圖片的形狀和色彩等信息表達(dá)自己的含義.
為使視障用戶能獲取這些組件的含義, 需要開發(fā)者為這些組件設(shè)置能正確反映組件功能和內(nèi)容等信息的contentDescription屬性值. 如圖2中標(biāo)號為1的兩個圖標(biāo), 若開發(fā)者分別為其設(shè)置contentDescription為“游戲”
、 “消息”, 則視障用戶可以獲知這兩個組件分別為游戲按鈕和消息按鈕. 但若未為組件設(shè)置contentDescription屬性值, 則由于這些組件缺乏可讀文本, TalkBack只能告知視
障用戶這兩個按鈕為未加標(biāo)簽的按鈕, 導(dǎo)致視障用戶只能通過嘗試點擊的方式了解這兩個圖標(biāo)按鈕的功能.
根據(jù)安卓應(yīng)用可訪問性問題的官方指南(https://developer.android.com/codelabs/starting-android-accessibility#5)及對TalkBack讀屏機制, 本文設(shè)定如下規(guī)則識別存在可讀文本缺失問題的元素.
規(guī)則1(文本缺失組件判定規(guī)則)
令N表示GUI的View Tree中組件的集
合, S表示View Tree中存在可讀文本缺失問題組件的集合. 對任意的s∈S, 滿足以下條件:
1) s∈N, 表示S是N的一個子集.
2) s的組件類型是以下類型或以下類型子類中的一種:
① ImageView, 表示s用于展示圖片;
② ImageButton, 表示s是圖形按鈕;
③ CheckBox, 表示s是復(fù)選框;
④ Toggle, 表示s是切換開關(guān);
⑤ Slider, 表示s是進(jìn)度條.
3) s的contentDescription屬性值為空或@1, 表示組件缺乏可讀文本以解釋其含義.
對常見的需要添加contentDescription作為可讀文本的組件, 利用規(guī)則1能有效識別其是否缺失contentDescription. 但有時組件缺失contentDescription, 其卻并不缺乏
可讀文本, 這時規(guī)則1便無法適用. 如圖2編號為2的導(dǎo)航欄中, 導(dǎo)航欄中的每個導(dǎo)航項都由一個圖標(biāo)及對圖標(biāo)相應(yīng)的解釋文字組成. 雖然圖標(biāo)缺乏可讀文本, 但TalkBack能把
圖標(biāo)及其解釋文字作為一個整體讀出, 視障用戶能通過其解釋文字知曉其用途, 因此這些圖標(biāo)并不需要額外添加contentDescription, 它們也就不能被簡單歸類為存在可讀文本缺失
問題的組件. 安卓應(yīng)用的GUI中存在大量這種圖片加文字的搭配以及使用容器中的contentDescription充當(dāng)子組件可讀文本的情況, 因此僅利用規(guī)則1判定組件是否存在文本缺失問
題將導(dǎo)致許多誤標(biāo)問題. 為解決該問題, 經(jīng)過對大量常見應(yīng)用頁面的研究, 本文設(shè)定如下補充規(guī)則.
規(guī)則2(組件解釋文本判定規(guī)則)
令S表示View Tre
e中存在解釋文本組件的集合. 對任意的s∈S, 令T(s)表示s的解釋文本的集合. 對任意的t∈T(s)滿足以下條件之一:
1) t是text屬性值非空的TextView類型的組件, 且t滿足下列條件之一:
① s是圖片, 且t滿足下列條件: s和t重疊部分的面積超過t面積的0.5倍, 表示文字位于圖片中.
② t滿足下列條件之一:
(i) t.topgt;s.top amp;amp; t.bottomlt;s.bottom amp;amp; t和s的距離小于0.5×s.width, 表示t是s左右側(cè)的解釋文本, 其中top,bottom和width分別表示組件的頂點、 底部和寬度;
(ii) t.leftgt;s.left amp;amp; t.rightlt;s.right amp;amp; t和s的距離小于0.5×s.height, 表示t是s上下側(cè)的解釋文本, 其中l(wèi)eft,right和height分別表示組件的左、 右邊緣和高度.
2) t是contentDescription屬性非空的ViewGroup類型的組件, 且t滿足下列條件: s是t的子節(jié)點, 表示用戶能通過t的可讀文本理解s的含義.
使用規(guī)則2能找到那些存在解釋文本解釋其用途的組件, 從而使其不被錯誤地標(biāo)記為缺失可讀文本的組件. 但規(guī)則2仍不完善, 本文發(fā)現(xiàn)現(xiàn)實應(yīng)用的GUI中存在一些滿足規(guī)則
2的組件和文本, 但文本卻并非是該組件的解釋文本. 如圖2中編號為3的方框中框選的文字與圖標(biāo)按鈕組件, 文本并非為解釋圖標(biāo)按鈕的作用, 但卻會被規(guī)則2誤判. 經(jīng)過觀察,
發(fā)現(xiàn)這些被誤判的組件在View Tree中的路徑存在明顯差異. 因此, 為完善規(guī)則2, 本文補充了如下規(guī)則.
規(guī)則3(組件相關(guān)性判定規(guī)則)
令N表
示GUI的View Tree中組件的集合. 對任意的n∈N, 令R(n)表示與組件n相關(guān)的組件集合. 對任意的r∈R(n)滿足以下條件:
1) r∈N, 表示R(n)是N的一個子集.
2) 令Pr為View Tree中根節(jié)點到r的路徑, 令Pn為View Tree中根節(jié)點到n的路徑, 則r滿足下列條件:
令Prn為Pr和Pn從根節(jié)點開始的公共路徑, 則
length(Pr)-length(Prn)≤2amp;amp;length(Pn)-length(Prn)≤2,
表示r和n在View Tree中十分接近.
圖3為規(guī)則3示例. 由圖3可見, 圖片e和文本f處于同一容器中, 都擁有相同的路徑[a,b,d], 在滿足規(guī)則2的情況下, f極有可能是e的解釋文本. 對于圖片h和文本f, 雖然它們可能在空間上十分接近, 但它們擁有兩
條不同的路徑[a,b,g]和[a,i,j], k為h的解釋文本的可能性很小.
假設(shè)使用規(guī)則1得到的組件集合為S1, 對任意View Tree中的組件c, 使用規(guī)則2得到該組件的解釋文本集合為T(c), 使用規(guī)則3得到的該組件相關(guān)組件集合為
R(c), 則最終缺失可讀文本的組件集合為S=S1-{c, c∈S1且T(c)∩R(c)≠}.
1.3 測試報告生成
為使應(yīng)用開發(fā)者能借助本文工作提升應(yīng)用的可訪問性, 本文方法最后會輸出一份檢測報告, 以便開發(fā)者能得知存在可訪問性問題的組件, 并解決其存在的問題. 本文把
GUI的View Tree通過XML格式的文件序列化到文件中, 并給出存在可讀文本缺失問題的組件列表, 且在相應(yīng)節(jié)點上以注釋的方式設(shè)置標(biāo)志. 由于本文在預(yù)處理階段為每個組件都生成
了結(jié)合組件類型的唯一ID, 因此開發(fā)者可通過組件ID中的組件類型較快速地定位到問題組件. 為以更直觀的方式呈現(xiàn)問題組件, 本文還在GUI截屏中使用方框標(biāo)記問題組件
, 以供開發(fā)人員查看, 進(jìn)而指導(dǎo)其完成后續(xù)的修復(fù)工作.
本文測試報告生成的主要步驟如下:
1) 將經(jīng)過裁剪與補全的View Tree序列化到XML格式的文件中;
2) 生成經(jīng)3種規(guī)則識別后認(rèn)定為問題組件的組件列表, 并在XML文件中標(biāo)識出問題組件;
3) 在GUI截屏中以方框標(biāo)記存在可讀文本缺失問題的組件.
圖4為測試報告的一個示例.
2 實驗及結(jié)果分析
2.1 實驗數(shù)據(jù)集
調(diào)研結(jié)果表明, 普通用戶日常最常用的應(yīng)用通常也是視障用戶最常用的應(yīng)用, 并且應(yīng)用中越淺層的頁面會越多地被用戶接觸到, 因
此本文測試的頁面將從常用應(yīng)用中1~2級的淺層頁面中選取. 此外, 與其他測試方法采取的策略相同, 對于相似頁面, 本文只選取具有代表性的一個, 如Bilibili首頁, 可以
通過下滑得到無數(shù)個結(jié)構(gòu)相同但內(nèi)容不同的頁面, 本文只選取剛進(jìn)入該頁面時的原始頁面作為代表[7-9].
為測試本文方法的有效性, 分別從視頻、 社交、 音樂、 瀏覽器、 學(xué)習(xí)教育和購物6類應(yīng)用中選取用戶常用的一個應(yīng)用, 分別為Bilibili、 微信、 網(wǎng)易云音樂、 百
度、 有道翻譯和京東. 對這6個應(yīng)用每個選取4~6個具有代表性的常用頁面, 共得到27個測試頁面. 通過手工標(biāo)注的方式統(tǒng)計每個應(yīng)用中目標(biāo)組件(ImageView,Im
ageButton,CheckBox,Toggle,Slider), 即可能存在可讀文本缺失問題的組件的數(shù)量, 以及真實存在可讀文本缺失問題的組件數(shù)量. 統(tǒng)計結(jié)果如圖5所示.
2.2 實驗方法
由于問題組件只會在目標(biāo)組件中產(chǎn)生, 而對于頁面中的目標(biāo)組件, 本文使用規(guī)則1、 規(guī)則2和規(guī)則3, 將其按是否存在可讀文本缺失問題分為問題組件和非問
題組件兩類. 因此, 本文的3種規(guī)則對問題組件檢測的有效性可視為是3種規(guī)則對目標(biāo)組件進(jìn)行二分類的有效性. 為對本文方法的有效性進(jìn)行評估, 使用混淆矩陣對3種規(guī)則進(jìn)行
分析, 分別計算精準(zhǔn)率、 召回率以及F1值3個指標(biāo). 表1為一個二分類問題的混淆矩陣, 其中: 真陽性(TP)表示樣本被預(yù)測為正, 其真實情況也為正; 假陽性(FP)表示樣本被預(yù)測為正,
其真實情況卻為負(fù); 假陰性(FN)表示樣本被預(yù)測為負(fù), 其真實情況也為負(fù); 真陰性(TN)表示樣本被預(yù)測為負(fù), 其真實情況卻為正.
精確率(Precision)、 召回率(Recall)和F1值(F1-score)的計算公式分別如下:
Precision=TPTP+FP,Recall=TPTP+FN,
F1=2×Precision×RecallPrecision+Recall.
2.3 實驗結(jié)果和分析
表2~表4分別列出了僅用規(guī)則1、 使用規(guī)則1和規(guī)則2以及使用全部3種規(guī)則對目標(biāo)組件進(jìn)行分類的實驗結(jié)果. 由表2~表4可見," 獨立使用規(guī)則1對GUI中的問題組件進(jìn)行檢
測, 其精確率極低, 但召回率達(dá)100%. 這是因為規(guī)則1將所有缺乏contentDescription屬性的目標(biāo)組件都?xì)w類為問題組件, 而其中許多組件雖然未設(shè)置contentDescription屬性, 但卻具有
相關(guān)的解釋文本. 規(guī)則1單獨應(yīng)用產(chǎn)生的基礎(chǔ)F1值顯然并不適用. 引入規(guī)則2后, 考慮到解釋文本的存在, 準(zhǔn)確率顯著提高, 但由于基于規(guī)則的方法可能存在誤判, 導(dǎo)致漏過部
分問題組件, 從而降低了召回率. 規(guī)則2的引入將平均F1值從原來的0.21提升至0.93, 產(chǎn)生了明顯效果. 當(dāng)采用本文設(shè)計的全部3種規(guī)則時, 準(zhǔn)確率與召回率進(jìn)一步提升,
F1平均值達(dá)0.96, 證明了本文設(shè)計的規(guī)則顯著有效, 能識別GUI中存在可讀文本缺失問題的組件.
綜上所述, 針對安卓應(yīng)用GUI的視障用戶可訪問性, 本文提出了一種針對應(yīng)用中存在可讀文本缺失問題的自動化測試方法. 通過本文的檢測報告, 應(yīng)用開
發(fā)者可以清晰定位到存在可讀文本缺失問題的組件, 并針對問題組件進(jìn)行可讀文本的注入, 以提升應(yīng)用的可訪問性, 提升應(yīng)用對視障用戶的使用體驗. 實驗結(jié)果表明, 本文方法具有極
高的準(zhǔn)確率和召回率, 能有效檢測出存在可讀文本缺失問題的組件.
參考文獻(xiàn)
[1] ZHANG M X, LIU H X, CHEN C Y, et al. AccessFixer: Enhancing GUI Accessibility for Low V
ision Users with R-GCN Model [J]. IEEE Transactions on Software Engineering, 2024, 50(2): 173-189.
[2] XU T L, WANG B S, LIU H, et al. Prevalence and Cause
s of Vision Loss in China from 1990 to 2019: Findings from the Global Burden of Disease Study 2019 [J]. The Lancet Public Health, 2020, 5(12): e682-e691.
[3] 工業(yè)和信息化部, 中國殘疾人聯(lián)合會. 中國殘聯(lián)關(guān)于推進(jìn)信息無障礙的指導(dǎo)意見 [EB/OL]. (2020-09-11)[2023-05-16]. http://www.scio.gov
.cn/xwfbh/xwbfbh/wqfbh/42311/44021/xgzc44027/Document/1690214/1690214.htm. (MINISTRY OF INDUSTRY AND INFORMAT
ION TECHNOLOGY, CHINA DISABLED PERSONS’ FEDERATION. Guiding Opinions of the China Disabled Persons’ Federation on Promoting Information Accessibility [EB/OL].
(2020-09-11)[2023-05-16]. http://www.scio.gov.cn/xwfbh/xwbfbh/wqfbh/42311/44021/xgzc44027/Document/1690214/1690214.htm.)
[4] 中華人民共和國國家發(fā)展和改革委員會. 關(guān)于印發(fā)《“十四五”公共服務(wù)規(guī)劃》的通知
[EB/OL]. (2021-01-10)[2023-05-18]. https://www.ndrc.gov.cn/xxgk/zcfb/
ghwb/202201/t20220110_1311622.html?code=amp;state=123. (NATIONAL DEVELOPMENT
AND REFORM COMMISSION OF THE PEOPLE’S REPUBLIC OF CHINA. Notice on Issuing the “14th Five Year Plan for Public Services” [EB/OL]. (2021-01-10)[2023-05-18]. https:
//www.ndrc.gov.cn/xxgk/zcfb/ghwb/202201/t20220110_1311622.html?code=amp;state=123.)
[5] ALSHAYBAN A, AHMED I, MALEK S. Accessibility Issues in
Android Apps: State of Affairs, Sentiments, and Ways Forward [C]//International Conference on Software Engineering. Piscataway, NJ: IEEE, 2020: 1323-1334.
[6] LIU Z, CHEN C Y, WANG J J, et al. Nighthawk: Fully Automated Localizing UI Dis
play Issues via Visual Understanding [J]. IEEE Transactions on Software Engineering, 2022, 49(1): 403-418.
[7] ALOTAIBI A S, CHIOU P T, HALFOND W G J. Automated Detection of Talkback Inter
active Accessibility Failures in Android Applications [C]//IEEE Conference on Software Testing, Verification and Validation (ICST). Piscataway, NJ: IEEE, 2022: 232-243.
[8] ALOTAIBI A S, CHIOU P T, TAWSIF F M, et al. ScaleFix: An Automated Repair of UI Scaling Accessibility Issues in Android Applications [C]//IEEE I
nternational Conference on Software Maintenance and Evolution (ICSME). Piscataway, NJ: IEEE, 2023: 147-159.
[9] LIU Z, CHEN C Y, WANG J J, et al. Unblind Text Inputs:
Predicting Hint-Text of Text Input in Mobile Apps via LLM [C]//Proceedings of the 2024
CHI Conference on Human Factors in Computing Systems (CHI). New York: ACM, 2024: 1-12.
(責(zé)任編輯: 韓 嘯)