智能家居音視頻質(zhì)量評價方案研究與應(yīng)用

袁小霞，楊 琛，黃 挺，孫 越，劉 超

（中移（杭州）信息技術(shù)有限公司，浙江 杭州 311121）

0 引 言

智能家居結(jié)合物聯(lián)網(wǎng)、人工智能等技術(shù)，集成了家居生活有關(guān)的設(shè)備并升級，不僅可以遠程控制設(shè)備，還可以對設(shè)備進行集中管理，保持實時通信和視頻回看，創(chuàng)造了便捷、舒適、健康、安全、環(huán)保的智能居住環(huán)境。過去幾年，由于疫情遠程辦公和居家娛樂的雙輪驅(qū)動以及智能技術(shù)的加持，智能家居產(chǎn)品及服務(wù)廣泛應(yīng)用于智能家庭中。在智能家居設(shè)備中，音視頻通話、視頻監(jiān)控查看和回放是產(chǎn)品的重點功能，但由于產(chǎn)品種類、形式和所處環(huán)境多樣，以及復(fù)雜的網(wǎng)絡(luò)環(huán)境，家居音視頻質(zhì)量無統(tǒng)一的評價標(biāo)準(zhǔn)。

在目前的音視頻產(chǎn)品質(zhì)量評價中，國內(nèi)外主流評價方法分為主觀質(zhì)量評價和客觀質(zhì)量評價兩種方法[1]。主觀質(zhì)量評價觀察者根據(jù)預(yù)先規(guī)定的評價尺度或經(jīng)驗對待測圖像給出質(zhì)量判斷，應(yīng)用于各種靜態(tài)和動態(tài)的場景，判斷者對音視頻質(zhì)量給出平均意見分（Mean Opinion Score，MOS），但判斷結(jié)果與判斷者的經(jīng)驗有很大關(guān)系[2]?？陀^質(zhì)量評價方法通過有參考、無參考或半?yún)⒖嫉姆椒?，采用專業(yè)測試設(shè)備，結(jié)合算法對圖像視頻質(zhì)量進行評價，不受測試環(huán)境的限制，測試結(jié)果客觀公正。但主觀和客觀質(zhì)量評價方法都未考慮復(fù)雜網(wǎng)絡(luò)場景對音視頻產(chǎn)品質(zhì)量的影響。文獻[3]根據(jù)國際電信聯(lián)盟無線電通信部門（ITU-Radiocommunication Sector，ITU-R）制定的主觀視頻質(zhì)量評估標(biāo)準(zhǔn)，開發(fā)了基于MFC 的主觀視頻質(zhì)量評估軟件，同時研究了基于HVS 視覺加權(quán)的視頻質(zhì)量客觀評估方法，在文獻的兩種評估方法中，測試指標(biāo)MOS 沒有考慮到幀率、凍幀、音畫同步等其他指標(biāo)對音視頻質(zhì)量的影響。

以用戶滿意度為標(biāo)準(zhǔn)的視頻質(zhì)量評價方法，主要采用基于服務(wù)質(zhì)量（Quality of Service，QoS）[4]的評價方法和基于用戶體驗質(zhì)量（Quality of Experience，QoE）的評價方法。QoS 從客觀角度，只考慮音視頻在網(wǎng)絡(luò)層的時延、抖動、丟包等性能指標(biāo)。QoE 是以用戶為中心，反映的是用戶對服務(wù)或產(chǎn)品的整體感受，包括對設(shè)備、網(wǎng)絡(luò)、系統(tǒng)、業(yè)務(wù)質(zhì)量、業(yè)務(wù)性能以及業(yè)務(wù)內(nèi)容的綜合評價，既要考慮主觀因素，又要考慮客觀因素，因此，QoE 是目前應(yīng)用于音視頻質(zhì)量較全面的評價方法。

針對以上的問題和分析，結(jié)合智能家居音視頻的質(zhì)量要求，本文提出一種基于QoE 的針對智能家庭安防設(shè)備的音視頻能力評價方案，根據(jù)不同的業(yè)務(wù)測試場景，考慮網(wǎng)絡(luò)因素設(shè)計測試方案，同時研發(fā)適用于智能家居設(shè)備音視頻能力評價的自動化測試工具，可以覆蓋多場景的音視頻質(zhì)量測試。

1 音視頻質(zhì)量評價體系

智能家居業(yè)務(wù)場景的音視頻質(zhì)量測試，集合了行業(yè)PESQ、POLQA 等音頻算法和PEVQ、NIQE等視頻算法，音頻參考MOS、時延、抖動等關(guān)鍵業(yè)務(wù)指標(biāo)，視頻通過全參考或無參考評分，參考MOS 值、幀率等關(guān)鍵業(yè)務(wù)指標(biāo)，同時結(jié)合了專家打分、專家儀表和軟件工具，構(gòu)成一整套完整音視頻質(zhì)量評測體系，如圖1 所示。

2 業(yè)務(wù)場景和網(wǎng)絡(luò)方案設(shè)計

根據(jù)智能家居產(chǎn)品真實用戶的網(wǎng)絡(luò)使用場景分析，本文設(shè)計了適合智能家居設(shè)備的網(wǎng)絡(luò)場景方案，如表1 所示。

表1 網(wǎng)絡(luò)場景方案

通過以上分析，結(jié)合業(yè)務(wù)場景和網(wǎng)絡(luò)方案，測試儀器采用思博倫網(wǎng)絡(luò)損傷儀器Attero 和音視頻質(zhì)量測試設(shè)備Chromatic Umetrix，本文設(shè)計了針對智能家居設(shè)備音視頻質(zhì)量的業(yè)務(wù)場景和網(wǎng)絡(luò)測試方案，架構(gòu)如圖2 所示。

圖2 業(yè)務(wù)場景和網(wǎng)絡(luò)測試組網(wǎng)

3 音視頻質(zhì)量評價模型

3.1 音視頻質(zhì)量評價指標(biāo)

參考QoE 音視頻質(zhì)量評價方法，本文設(shè)計了音視頻的客觀測試指標(biāo)，定義如下。

（1）MOS（GED）。GED（Gross Error Detection）提供基于幀的針對音視頻業(yè)務(wù)質(zhì)量的MOS 評分。GED 從用戶感知角度對流媒體點播、音視頻通話等音視頻業(yè)務(wù)的音視頻流暢度進行分析，通過計算獲得整個音視頻的MOS（1=差，5=優(yōu)）。同時提供其他實用的KPI 指標(biāo)，對影響音視頻質(zhì)量的因素進行量化，用來評估音視頻流暢度性能、音頻音視頻同步（需要結(jié)合音頻評估算法）等。

（2）MOS（NR）。MOS（NR）基于機器學(xué)習(xí)的人工智能（Artificial Intelligence，AI）無參考音視頻圖像質(zhì)量分析，無須預(yù)設(shè)音視頻源，模擬人眼對音視頻圖像質(zhì)量進行MOS 打分（1 分=差，5 分=好），同時無參考檢測音視頻TI（Temporal Information）時間復(fù)雜度、SI（Spatial Information）空間復(fù)雜度、緩沖，卡頓等狀況，結(jié)合各種指標(biāo)如（不同壓縮比及分辨率下）音視頻圖像質(zhì)量MOS 分，給出一個用戶感知體驗（QoE）分值。

（3）幀率。音視頻的幀率（Frame rate）是用于測量顯示幀數(shù)的量度，一幀代表一副靜止的圖像，測量單位為每秒顯示幀數(shù)（Frames per Second，F(xiàn)PS）。

（4）凍幀率。凍幀率即音視頻凍屏百分比，通過測試過程中識別出的音視頻畫面凍結(jié)時長/測試音視頻總時長得出。

（5）破損率。破損率即音視頻破損百分比，通過測試過程中識別出的音視頻畫面破損幀數(shù)量/測試音視頻總幀數(shù)得出。

三維激光掃描技術(shù)，是信息時代的新興技術(shù)之一，最早不是我國研究開發(fā)的，而是由國外研究進行開發(fā)的。其主要儀器設(shè)備是三維激光掃描儀，結(jié)合激光測距的基本原理，采用伺服馬達設(shè)備及掃描進，按照既定目標(biāo)要求對有關(guān)的行業(yè)進行掃描和定位，進而根據(jù)流程獲得紋理信息及三維坐標(biāo)，最終充分體現(xiàn)出三維場景。

（6）音畫同步。音畫同步指音頻與視頻畫面的時間戳一致性，測量單位為毫秒（ms）。

各個指標(biāo)的計分方法和參考依據(jù)如表2 所示.

表2 音視頻質(zhì)量評價指標(biāo)

3.2 音視頻質(zhì)量評分方法

根據(jù)上述關(guān)鍵指標(biāo)，依據(jù)音視頻流暢度、清晰度指標(biāo)對實際音視頻體驗影響權(quán)重，得出最貼近用戶真實體驗的得分評價算法：

單個場景得分（總分10 分）=音視頻流暢度得分（總分5 分）+音視頻清晰度得分（總分5分）=MOS（GED）×20%+ 幀率×10%+ 凍幀率×10%+ 音畫同步×10%+MOS（NR）×30%+ 破損率×20%；

綜合得分（總分10 分）=無限制網(wǎng)絡(luò)場景得分（總分4 分）+帶寬限制網(wǎng)絡(luò)場景得分（總分3 分）+擁塞網(wǎng)絡(luò)場景得分（總分3 分）=無限制網(wǎng)絡(luò)場景得分×40%+低帶寬限制網(wǎng)絡(luò)場景得分×15%+常規(guī)帶寬限制網(wǎng)絡(luò)場景得分×15%+輕度擁塞限制網(wǎng)絡(luò)場景得分×10%+中度擁塞限制網(wǎng)絡(luò)場景得分×10%+重度擁塞限制網(wǎng)絡(luò)場景得分×10%。

3.3 評價算法分析

單個指標(biāo)評分范圍為[0，10]，8 ～10 分為優(yōu)秀，6 ～8 分為良好，4 ～6 分為一般，2 ～4 分為差，2 分以下為很差。

單個場景得分中，音視頻流暢度指標(biāo)和音視頻清晰度指標(biāo)得分評分范圍為[0，5]，4 ～5 分為優(yōu)秀，3 ～4 分為良好，2 ～3 分為一般，1 ～2 分為差，1 分以下為很差[5]。

綜合得分評分范圍為[0，10]，8 ～10 分為優(yōu)秀，6 ～8 分為良好，4 ～6 分為一般，2 ～4 分為差，2 分以下為很差。

4 系統(tǒng)設(shè)計和實現(xiàn)

4.1 系統(tǒng)設(shè)計與實現(xiàn)

通過以上研究，結(jié)合智能家庭安防設(shè)備的音視頻能力評價方案，集成硬件測試設(shè)備網(wǎng)絡(luò)損傷儀器Attero 和音視頻質(zhì)量測試設(shè)備Chromatic Umetrix 能力，本文設(shè)計了針對智能家居設(shè)備的音視頻能力評價的自動化測試工具。本工具基于springboot+vue+mysql 實現(xiàn)用例管理、測試執(zhí)行、測試結(jié)果自動獲取和分析等功能，主要分為硬件層、服務(wù)層及網(wǎng)頁層三層，如圖3 所示。

圖3 音視頻質(zhì)量評價自動化測試框架

硬件層由測試儀器及測試設(shè)備構(gòu)成，硬件設(shè)備向外提供可擴展的應(yīng)用程序編程接口（Application Programming Interface，API）和能力。通過對API和測試能力進行二次開發(fā)和封裝，使得各硬件設(shè)備可實現(xiàn)遠程自動化運行。

服務(wù)層基于springboot 框架開發(fā)，由多個負責(zé)解析和處理自動化測試參數(shù)、用例執(zhí)行的jar 包組成，以對應(yīng)的功能模塊分為音頻處理模塊Voice.jar、視頻處理模塊Video.jar、網(wǎng)損處理模塊Attero.jar 及設(shè)備處理模塊Device.jar。測試管理控制節(jié)點（Controller）負責(zé)將所有測試指令進行整合分析，并有序地調(diào)度和分發(fā)給服務(wù)層的各處理模塊。

網(wǎng)頁層基于Vue 框架開發(fā)，主要提供自動化測試的圖形化界面，給測試人員提供方便快捷的用例集管理、測試模型設(shè)置、測試用例配置、測試任務(wù)執(zhí)行以及測試結(jié)果查看功能。其中，測試結(jié)果的保存和展示均通過數(shù)據(jù)庫來進行存儲和讀取。網(wǎng)頁層同時為音視頻通信能力自動化測試提供瀏覽器訪問網(wǎng)址，對音視頻測試進行統(tǒng)一規(guī)范的測試管控，提供的服務(wù)能力為測試用例配置、測試任務(wù)管理、測試執(zhí)行和結(jié)果自動分析并打分。通過前端界面（Web）模塊的配置，測試任務(wù)及用例參數(shù)被下發(fā)至測試管理控制（Controller）模塊，經(jīng)過控制模塊處理調(diào)度后將測試參數(shù)及指令通過HTTP 請求發(fā)送至后端測試能力集成（Server）模塊。該模塊通過調(diào)用經(jīng)過二次開發(fā)和封裝的各測試設(shè)備API 進行最終測試用例的執(zhí)行，執(zhí)行結(jié)果同步至數(shù)據(jù)庫。Web 模塊通過輪詢數(shù)據(jù)庫的方式獲取測試進度并展示測試結(jié)果。

4.2 音視頻質(zhì)量測試結(jié)果與分析

為了驗證評價模型，本文選取行業(yè)前三的智能家居攝像頭產(chǎn)品，在模擬用戶正常網(wǎng)絡(luò)和損傷網(wǎng)絡(luò)環(huán)境下，采用客觀和主觀的方法對產(chǎn)品音視頻質(zhì)量分別進行打分，表3 是部分測試數(shù)據(jù)統(tǒng)計。

表3 測試數(shù)據(jù)統(tǒng)計

在6 種網(wǎng)絡(luò)場景下，客觀測試結(jié)果與主觀測試結(jié)果一致，說明本文提出的網(wǎng)絡(luò)場景方案、評價指標(biāo)和算法能夠客觀地對智能家居產(chǎn)品的音視頻質(zhì)量進行評價。

5 結(jié) 語

本文根據(jù)行業(yè)音視頻質(zhì)量評價標(biāo)準(zhǔn)和測試方法，建立適合智能家居設(shè)備的音視頻能力評價方案，提出了適合智能家居設(shè)備音視頻的6 種網(wǎng)絡(luò)測試方案和6 個視頻能力評價模型指標(biāo)，填補了全面評價智能家居設(shè)備音視頻質(zhì)量的空白。同時，結(jié)合行業(yè)先進音視頻質(zhì)量測試工具，整合網(wǎng)絡(luò)損傷儀，研發(fā)出多場景音視頻自動化測試工具，通過簡單操作用例管理和執(zhí)行，即可自動設(shè)置網(wǎng)絡(luò)損傷儀器的網(wǎng)絡(luò)參數(shù)，通過選擇測試類型自動化執(zhí)行音視頻質(zhì)量評價測試，自動搜集測試結(jié)果并生成測試報告。通過評測給出真實、可靠的測試指標(biāo)數(shù)據(jù)，適用于多場景的智能家居設(shè)備的音視頻質(zhì)量測試。