基于AI技術的VR產品質量自動化測評設計方法綜述

張志強 陳志強 甘曉陽

摘要：隨著VR產業(yè)的發(fā)展，VR軟件的質量測試將會也來越重要，但目前VR產品的質量測評技術由于輸入設備復雜、輸入數(shù)據(jù)非結構化等原因，導致測試存在周期長、效率低的問題。基于此，提出應用AI技術實現(xiàn)VR產品質量自動化測評，并從行為設計、AI訓練設計、I/O設備的模擬、大數(shù)據(jù)源深度學習設計、評價方法設計五個方面展開論述，全面綜述VR產品全生命周期的測評方法。

關鍵詞：VR；AI；質量；自動化；測評

一、前言

隨著VR產業(yè)的發(fā)展，將會有越來越多的企業(yè)進入到這個行業(yè)。VR產品的質量測試將會越來越重要，但VR產品的質量測試目前還面臨很大的問題[1]。這是因為VR產品和電腦產品相比有很多的不同：一是輸入設備極為復雜，傳統(tǒng)電腦軟件用鼠標鍵盤輸入，輸入的數(shù)據(jù)僅僅是一維的流數(shù)據(jù)和二維的平面數(shù)據(jù)，VR軟件使用的是頭盔和手柄，它們都整合了三維定位功能，輸入的是三維空間位姿數(shù)據(jù)；二是輸出數(shù)據(jù)非結構化，傳統(tǒng)軟件一般用來幫助人進行特定運算，輸出的數(shù)據(jù)都是很容易進行比對的結構化的數(shù)據(jù)，而VR軟件輸出的是跟隨頭盔視角不斷變化兩幅圖像，這些圖像所呈現(xiàn)的內容很難通過編程去比對其是否正確。這就導致了在VR軟件開發(fā)后期和交付階段的測試變得極為困難和煩瑣，VR軟件開發(fā)企業(yè)為了保證軟件的質量目前只能雇傭大量的測試人員模仿客戶的使用情況進行黑箱測試[2]。本文提出應用AI技術實現(xiàn)VR產品質量自動化測評，并從行為設計、AI訓練設計、I/O設備的模擬、大數(shù)據(jù)源深度學習設計、評價方法設計五個方面展開論述，全面綜述VR產品全生命周期的測評方法，為企業(yè)應用和開發(fā)VR產品提供數(shù)據(jù)標準，從而降低傳統(tǒng)人工測試成本和提高產品使用質量。

二、行為設計

首先需要設計一套智能化測試行為，行為內容包括可以通過Agent模仿人類使用VR軟件的輸入行為；能自動生成相關測試報告，對VR軟件的運行質量、圖像質量進行評估，可以長時間運行對VR產品進行反復測試。智能化測試用例全周期涉及了三個主要關鍵階段，包括用例生成，用例執(zhí)行，用例分析。智能化測試圍繞這三個階段，基于海量測試數(shù)據(jù)和AI算法輔助測試人員進行測試用例設計和用例生成、精準篩選測試用例執(zhí)行以及測試數(shù)據(jù)智能分析[3]。

智能測試用例生成：測試用例的生成當前主要靠人工設計，并且要求測試人員具有一定的經(jīng)驗和專業(yè)水平，隨著云化產品的功能日趨復雜、迭代周期不斷加快，完全基于經(jīng)驗人工設計的接口測試效率十分低下。因此需要設計一種測試用例自動生成方法。本文使用基于接口文檔和現(xiàn)網(wǎng)流量數(shù)據(jù)的智能API測試生成技術，實現(xiàn)了單接口與多接口業(yè)務場景的雙覆蓋，做到真正幫助測試人員提高工作效率，并有力保障了云化產品質量，如圖1所示。

回歸測試用例優(yōu)選：在日常開發(fā)測試活動中，面對項目版本的快速迭代，通常為避免引入缺陷和最早期發(fā)現(xiàn)盡可能多的缺陷，測試人員需要在代碼小范圍變動時進行測試用例的執(zhí)行。同時，全量地對測試用例進行執(zhí)行消耗人力、時間成本過高。華為云智能精準回歸測試用例挑選，在區(qū)分黑盒（代碼不可見）、白盒（代碼可見）不同模式的情況下，黑盒模式根據(jù)測試用例歷史執(zhí)行結果預測用例失敗率并進行排序，白盒模式通過挖掘代碼源文件（函數(shù)）與測試用例的關聯(lián)關系篩選測試用例，精準挑選和排序缺陷探測比高的測試用例進行，以最少的人力、時間成本，發(fā)現(xiàn)盡可能多的缺陷，如圖2所示。

測試數(shù)據(jù)智能分析定位：隨著軟件規(guī)模的持續(xù)增長以及產品迭代周期的不斷加快，自動化測試用例的數(shù)量越來越大，自動化測試工程中的失敗日志數(shù)量也越來越多，人工分析工作量大、時間成本高[4]。測試數(shù)據(jù)智能分析定位旨在結合智能化算法根據(jù)失敗日志和相關測試數(shù)據(jù)分析可能存在的產品問題，提升分析效率。當前華為云測試智能分析是根據(jù)產品線測試日志數(shù)據(jù)特征，在通用的日志預處理后，依照日志量采用不同方式進行特征工程，生成日志特征后，基于隨機森林、最近鄰、強化學習、神經(jīng)網(wǎng)絡等來做模型融合，進行失敗原因的定界與定位，如圖3所示。

三、訓練設計

根據(jù)VR實訓的特點搭建一個訓練環(huán)境并設置獎勵，通過深度強化學習的方法訓練模仿人類行為的智能主體IA進行VR輸入，并分析相應的圖像以獲取測試結果。以插件的形式在虛擬引擎中嵌入該系統(tǒng)，并讓其模擬人類的輸入行為完成VR仿真軟件的整個流程。本文AI訓練算法研究包括：

（一）遺傳算法：是一種生物啟發(fā)式算法，通過基因突變、交叉等操作，不斷優(yōu)化最優(yōu)解，適用于復雜高度非線性、難以用數(shù)學方程式描述的問題。

（二）神經(jīng)網(wǎng)絡算法：是一種基于輸入層、中間層和輸出層組成的圖形結構，通過輸入數(shù)據(jù)不斷迭代優(yōu)化權重和偏移量，實現(xiàn)分類、識別、回歸等任務。

（三）決策樹算法：是一種基于對數(shù)據(jù)屬性的判斷、分類和劃分，建立樹形結構進行決策的算法，適用于處理分類問題和回歸分析等。

（四）支持向量機算法：是一種分類器模型，通過尋找數(shù)據(jù)點之間的分離超平面分割不同類別的數(shù)據(jù)，進行分類任務。

（五）貝葉斯算法：是一種基于貝葉斯定理推算概率分布的算法，適合進行分類和推薦任務。

四、I/O設備模擬

研究如何建立統(tǒng)一的輸入輸出接口，然后根據(jù)市面上主流的VR設備編寫接入?yún)f(xié)議，以3D引擎插件的形式實現(xiàn)對VR輸入輸出設備的模擬。I/O設備的模擬算法是指通過計算機模擬外部I/O設備與操作系統(tǒng)進行通信交互的過程，以驗證或優(yōu)化操作系統(tǒng)的I/O子系統(tǒng)。常見的I/O設備模擬算法有以下幾種：

（一）基于虛擬化技術的I/O設備模擬算法：利用虛擬化技術實現(xiàn)對硬件設備進行仿真，從而將多個虛擬設備映射到單一的物理設備上。

（二）I/O回環(huán)測試算法：在不使用任何實際設備的情況下對I/O子系統(tǒng)進行測試，通過將輸出數(shù)據(jù)發(fā)送回輸入端口并檢查輸出數(shù)據(jù)是否與輸入數(shù)據(jù)相同來測試I/O設備的交互性能。

（三）基于代理的I/O設備模擬算法：通過創(chuàng)建中間層代理程序來模擬實際設備的行為和性能，從而將操作系統(tǒng)的I/O請求轉發(fā)給代理程序進行處理，并將結果返回給操作系統(tǒng)。

（四）離線I/O設備模擬算法：通過分析離線數(shù)據(jù)來模擬真實設備的輸入和輸出行為，以測試I/O子系統(tǒng)的性能和可靠性。

五、學習設計

根據(jù)用戶測試數(shù)據(jù)，綜合運用知識輸入、自然語言處理、測試方法輸入、云計算、實時反饋、主觀轉化等多種算法，生成集成化的評價模型信息架構，讓AI主體實現(xiàn)自我學習，自我成長，實現(xiàn)AI主體的自動化和智能化。深度學習是機器學習領域中的一個分支，旨在通過模擬人類神經(jīng)網(wǎng)絡的結構來實現(xiàn)對數(shù)據(jù)的高效處理和分析。以下是一些常用于大數(shù)據(jù)源深度學習算法的示例：

（一）卷積神經(jīng)網(wǎng)絡（CNN）：CNN是一種被廣泛用于圖像分類和目標檢測方面的深度學習算法。其可在大規(guī)模圖像數(shù)據(jù)集中學習樣本特征，從而進一步提高對新圖像的預測精度。

（二）循環(huán)神經(jīng)網(wǎng)絡（RNN）：RNN是一種用于處理序列數(shù)據(jù)的深度學習算法，如文本、語音和時間序列等。它的每個節(jié)點都包含有先前節(jié)點的信息，并且可以根據(jù)這些信息進行預測。

（三）自編碼器（Autoencoder）：Autoencoder是一種無監(jiān)督的深度學習算法，在大數(shù)據(jù)源的情況下，通過學習數(shù)據(jù)的壓縮表示和解壓縮重構來發(fā)現(xiàn)數(shù)據(jù)中的相關特征和模式。

（四）生成對抗網(wǎng)絡（GAN）：GAN是近年來在深度學習領域中非常流行的一種算法，其基于兩個神經(jīng)網(wǎng)絡進行訓練，一個生成器和一個鑒別器，用于生成逼真的圖像或音樂等內容。

六、評價方法設計

確定評價的技術指標為以插件的形式在虛擬引擎中嵌入該系統(tǒng)，并讓其模擬人類的輸入行為完成VR仿真軟件的整個流程。要達到的主要技術指標為：

（一）系統(tǒng)可以通過Agent模仿人類使用VR軟件的輸入行為；

（二）能自動生成相關測試報告，對VR軟件的運行質量、圖像質量進行評估。

（三）可以長時間運行對VR軟件進行反復測試。下面論述具體測試方法：

第一步，從人的本征體驗角度出發(fā)設計VR產品的用戶體驗質量評價方法，對虛擬現(xiàn)實人機交互系統(tǒng)的用戶體驗效果進行評估。根據(jù)被測虛擬現(xiàn)實人機交互系統(tǒng)的性質和特征，確定關鍵評價指標。設計虛擬現(xiàn)實人機交互系統(tǒng)的主觀評價模型，包括虛擬現(xiàn)實人機交互體驗系統(tǒng)、主觀評價數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)處理單元。

第二步，研究主觀評測方法，設計關鍵評價指標的量化分數(shù)矩陣，對關鍵評價指標進行量化，采用國際電信聯(lián)盟（ITU）建議的“平均評估分值”（MOS）方法，將每一項關鍵評價指標分為五個層次，量化標準如下：優(yōu)（80-100）、良（60-80）、中（40-60）、差（20-40）、劣（0-20）。

第三步，進行主觀評測，從不同年齡、不同性別、不同教育背景的用戶群體中選擇參與主觀評測的有效人數(shù)，確定關鍵評價指標的權重系數(shù)。獲取評測者針對所有關鍵評價指標的權重參考分，根據(jù)所有評測者給出的關鍵評價指標權重參考分計算相應關鍵評價指標的權重參考分均值，將所有關鍵評價指標的權重參考分均值進行歸一化處理，得到關鍵評價指標的權重系數(shù)，如表1所示。

具體計算方法：第j個評測者對N個關鍵評價指標Xi i X按照從最不關心到最關心進行排序，根據(jù)排序結果按照均分原則，平分10個單位，即，獲得每項關鍵評價指標權重參考分Score（Xij），其中Score（Xij）代表第j位評測者給出關鍵評價指標Xi的權重參考分。根據(jù)所有被測者給出的關鍵評價指標的權重參考分計算關鍵評價指標Xi的權重參考分均值：

其中Score（Xl） 代表關鍵評價指標Xi i X的權重參考分均值。將上述均值進行歸一化處理，得到每個關鍵評價指標Xi的權重系數(shù)：

其中Xi代表關鍵評價指標Xi的權重系數(shù)，max（Score（Xl））代表所有關鍵評價指標權重參考分均值的最大值， min（Score（Xl））代表所有關鍵評價指標權重參考分均值的最小值。

計算虛擬現(xiàn)實人機交互系統(tǒng)的關鍵評價指標的平均分數(shù)。根據(jù)打分矩陣，利用以下數(shù)學模型計算打分結果：

其中Xij代表第j個評測者對Xi參數(shù)的打分結果，μi代表所有評測者對關鍵評測指標Xi打分的均值。

計算虛擬現(xiàn)實人機交互系統(tǒng)的用戶體驗質量分值QOE，根據(jù)第4步的權重系數(shù)和第5步的打分結果，利用下面的公式計算QOE值：

建立虛擬現(xiàn)實人機交互系統(tǒng)的分級標準。根據(jù)用戶體驗質量效果，建立一種適用于虛擬現(xiàn)實人機交互系統(tǒng)的體驗等級分級方法，其特征在于根據(jù)整體感觀體驗按上表1中所示分為三個等級。根據(jù)計算的用戶體驗質量QOE分值，以及表1的虛擬現(xiàn)實人機交互系統(tǒng)的分級標準，確定待測系統(tǒng)所在的等級區(qū)域。

七、結語

基于AI算法的VR產品質量自動化測評算法，還沒有一個通用性的標準或算法。當前，在產品質量自動化測評領域，AI技術主要被應用于測試數(shù)據(jù)的處理與分析，以及測試用例的生成和執(zhí)行等任務。例如，深度學習等算法可以用于異常數(shù)據(jù)的檢測與分類，并能夠提高測試用例的自動生成效率。此外，還有一些公司和研究機構正在探索如何將機器學習算法用于產品測試的自動化分析與評估，以實現(xiàn)更全面、高效的質量測評。本文的研究具備以下意義。目前國內還沒有一套對VR產品質量檢測的技術研究方法，論文提出使用AI技術模擬人的操作和判斷，實現(xiàn)VR產品質量自動化測試，填補了該研究領域的空白，論文所研究的技術和方法，在我國智能制造行業(yè)中具備重要意義。論文首次將人工智能、機器學習和大數(shù)據(jù)分析應用到VR產品的質量檢測研究中，屬于多學科交叉研究。論文把國際電聯(lián)標準ITU標準中用戶體驗質量（QoE）和人工智能影響產品用戶體驗理論相結合起來作為論文研究的理論依據(jù)，從人的本征體驗角度出發(fā)設計VR產品用戶體驗質量評價關鍵指標，具有一定的創(chuàng)新性。

參考文獻

[1]李偉.電子產品質量檢測的研究和探討[J].中國設備工程，2022，512（23）：149-151.

[2]龔磊，孫卓，陳迪，等.人工智能軟件的測試和質量驗證方法研究[J].科技視界，2022（27）：45-48.

[3]全華斌，張宙.人工智能技術在移動終端自動化測試中的運用探析[J].電子元器件與信息技術，2022，6（7）：104-107.

[4]姜紅德.一站式AI測試平臺提升軟件質量[J].中國信息化，2022，340（8）：33-36.

基金項目：1.廣東省教育廳2022年度高等學?？蒲衅脚_和項目“基于AI算法的VR產品質量自動化測評技術研究”（項目編號：2022KTSCX359）；2.2022年廣東省科技創(chuàng)新戰(zhàn)略專項資金項目“基于虛擬仿真技術的智能制造數(shù)字孿生工廠”（項目編號：pdjh2022b1088）

作者單位：順德職業(yè)技術學院