Interpretation of the Series of Standards Technical specification for classification evaluation of voice interactive capability for intelligent home appliances
HUYaxin1.3 CHENXiangfeng1 LI Hongwei2 Wang Yanju4 Wu Heng1 YAO Qingmei1
[1.CHEARICertificationamp;Testing Co.,Ltd.,Beijing;2.ChinaHouseholdElectric ApplianceResearchInstitute; 3.National Smart Home Quality Supervisionamp;Inspection Center;4.TCLAir-Conditioner(Zhongshan) Co.,Ltd.]
Abstract: In recent years,the emergence and application of large generative models have elevated thelevel of voice interaction of smart home appliances to a new height.Intellgent home appliances equipped with large models can accurately recognize users’control instructions,understand theirdailycolloquial expressons,comprehend users' intentions through parameters such as theenvironment and their ownoperational status,and accurately complete interactions withusers.Home appliances withdiferentlevelsofvoice interactioncansupporttherecognitionofdifferent degrees of generalizationoflanguage materials.This requires standards tonotonlydetect“interactive”homeappliances, butalso identify“goodinteractive”products.TheseriesofassociationstandardsT/CAS762.X,Technicalspecifications forclassifictionevaluationofvoice interactivecapabilityforintelligenthouseholdappliances,fills theindustrygap byseting scientificandreasonableindicatorsandassessment dimensions,whichcanobjectively evaluate the voice interactive capability of home appliances.
Keywords:intelligent home appliances;voice;standards
0 引言
語言模型(LM,LanguageModel)的發(fā)展歷程可以清晰地劃分為3個(gè)主要階段:統(tǒng)計(jì)語言模型、神經(jīng)網(wǎng)絡(luò)語言模型以及基于Transformer的大語言模型。每個(gè)階段的模型都在前一個(gè)階段的基礎(chǔ)上進(jìn)行了改進(jìn)和優(yōu)化,使得語言模型的性能得到了顯著提升[1]。尤其在OpenAI開發(fā)的基于Transformer的生成式預(yù)訓(xùn)練模型于2023年3月ChatGPT-4.0發(fā)布之后,我國也掀起生成式AI熱潮,如百度的文心一言、阿里巴巴的通義千問等,都紛紛亮相并開啟內(nèi)測(cè)[2],此間,AI大模型成為智能家電領(lǐng)域熱詞。2025年橫空出世的DeepSeek,更吸引了亞馬遜、微軟、百度、騰訊等國內(nèi)外科技企業(yè)和海爾、美的、海信、TCL等家電頭部企業(yè)紛紛接入DeepSeek大模型[3]
大語言模型為智能家電語音交互處理大數(shù)據(jù)、復(fù)雜語音信號(hào)、增強(qiáng)語言表達(dá)、邏輯分析能力提供了可能。智能家電語音交互功能具備處理越來越寬泛指令內(nèi)容的能力,要求對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)要同步匹配,不考慮可識(shí)別指令內(nèi)容的寬泛度,僅對(duì)“識(shí)別準(zhǔn)確率”“響應(yīng)時(shí)間”等參數(shù)進(jìn)行規(guī)定,顯然不能全面公正地測(cè)試出目前智能家電的語音交互能力。2023年9月15日至2024年底,由中國標(biāo)準(zhǔn)化協(xié)會(huì)發(fā)布并實(shí)施了T/CAS762.X《智能家用電器語音交互能力分級(jí)評(píng)價(jià)技術(shù)規(guī)范》系列團(tuán)標(biāo),涵蓋了行業(yè)內(nèi)主要帶有語音功能的產(chǎn)品:電冰箱、房間空氣調(diào)節(jié)器、吸油煙機(jī)等。該系列標(biāo)準(zhǔn)前瞻性并創(chuàng)新性地對(duì)智能家電用語音語料內(nèi)容進(jìn)行分級(jí),同時(shí)對(duì)智能家電的語音識(shí)別率、控制成功率、響應(yīng)時(shí)間等參數(shù)進(jìn)行明確要求,通過對(duì)兩個(gè)維度同步進(jìn)行考核,得到智能家電語音交互科學(xué)的綜合評(píng)價(jià)結(jié)果。
1標(biāo)準(zhǔn)橫縱對(duì)比
目前已經(jīng)發(fā)布并實(shí)施了多項(xiàng)智能語音標(biāo)準(zhǔn),選出與智能家居家電語音交互強(qiáng)相關(guān)的標(biāo)準(zhǔn)進(jìn)行分析。追溯至2007年國內(nèi)就發(fā)布了GB/T21023—2007《中文語音識(shí)別系統(tǒng)通用技術(shù)規(guī)范》,對(duì)語音識(shí)別系統(tǒng)進(jìn)行多維度的分類,并明確提出了“響應(yīng)時(shí)間”等性能指標(biāo)參數(shù),對(duì)智能語音識(shí)別測(cè)試用語料內(nèi)容設(shè)計(jì)進(jìn)行考量規(guī)定。但是該標(biāo)準(zhǔn)是面向各種帶有語音識(shí)別系統(tǒng)的電器終端的標(biāo)準(zhǔn),不完全針對(duì)智能家電產(chǎn)品,且作為通用規(guī)范性標(biāo)準(zhǔn),不涉及完整的測(cè)試方法和試驗(yàn)步驟。此后,2018年發(fā)布的GB/T36464.2—2018《信息技術(shù)智能語音交互系統(tǒng)第2部分:智能家居》提出了智能家居語音交互系統(tǒng)的邏輯結(jié)構(gòu),初步的語音交互測(cè)試方法,詳細(xì)的錄制語音語料音頻分類。2022年發(fā)布的GB/T41813.X《信息技術(shù)智能語音交互測(cè)試方法》系列,規(guī)定了錄音人員、語速等的分類組成。
以上標(biāo)準(zhǔn)受限于當(dāng)時(shí)的智能家電語音交互技術(shù)水平,性能指標(biāo)要求較為簡(jiǎn)單,更沒有涉及到對(duì)家電可識(shí)別語音指令內(nèi)容的泛化程度的評(píng)估。尤其在當(dāng)下用戶年輕化,智能家電語音交互不僅僅是完成家電控制即可,還充當(dāng)交互、娛樂、陪伴等角色,智能家電可識(shí)別指令內(nèi)容接近日常表達(dá)的程度對(duì)用戶實(shí)際體驗(yàn)感的影響力日益凸顯,無論是識(shí)別準(zhǔn)確率等性能指標(biāo)實(shí)現(xiàn)的高低,還是可識(shí)別語音內(nèi)容的泛化程度,都是完整科學(xué)評(píng)價(jià)智能家電不可或缺的維度,T/CAS762.X系列標(biāo)準(zhǔn)首創(chuàng)的對(duì)兩個(gè)維度均提出考核分級(jí),填補(bǔ)了行業(yè)空白。
2 標(biāo)準(zhǔn)框架
該系列標(biāo)準(zhǔn)目前分為8個(gè)部分,第1部分為通用要求,提出智能家電各個(gè)品類對(duì)語音功能的全面要求,第2\~8部分為特殊要求,涵蓋房間空氣調(diào)節(jié)器、家用電冰箱、儲(chǔ)水式電熱水器、吸油煙機(jī)、電視機(jī)、多聯(lián)機(jī)、電動(dòng)晾衣機(jī)共7類產(chǎn)品,各個(gè)特標(biāo)均以通標(biāo)為參考,在通標(biāo)的基礎(chǔ)上進(jìn)行修改、補(bǔ)充、刪減。
具有代表性的第1部分通用要求,按照標(biāo)準(zhǔn)化的編制要求,依次明確了標(biāo)準(zhǔn)范圍、規(guī)范性引用文件和相關(guān)的術(shù)語定義,第4章對(duì)當(dāng)下應(yīng)用最廣的AI智能家電語音交互系統(tǒng)參考模型用框圖的方式進(jìn)行了明晰示意。第5章節(jié)則是對(duì)智能家電對(duì)語料的理解能力分級(jí),從低至高為L(zhǎng)1\~L5,如圖1所示,作為后續(xù)智能家電語音交互能力指標(biāo)評(píng)價(jià)的基礎(chǔ),另外本章節(jié)也對(duì)17項(xiàng)語音指標(biāo)要求和L1\~L5等級(jí)進(jìn)行劃分對(duì)應(yīng),識(shí)別不同等級(jí)語料的家電考核不同的指標(biāo)項(xiàng)目。標(biāo)準(zhǔn)正文的最后三章依次是對(duì)17項(xiàng)指標(biāo)的要求、試驗(yàn)方法和評(píng)分規(guī)則及評(píng)分判定。最后用資料性附錄方式進(jìn)行5個(gè)等級(jí)語料集的示例。
用該系列標(biāo)準(zhǔn)進(jìn)行智能家電語音交互測(cè)試流程圖如圖2所示。首先依據(jù)產(chǎn)品選取適用配套的標(biāo)準(zhǔn)組合;第二步按照制造商自我聲明的方式選取智能家電可識(shí)別的語料等級(jí);第三步根據(jù)選定的語料等級(jí)確認(rèn)適用的指標(biāo)項(xiàng),并用語料內(nèi)容進(jìn)行逐項(xiàng)測(cè)試,最后得分計(jì)算等級(jí)結(jié)果。
3核心內(nèi)容剖析
3.1安全要求
家用電器行業(yè)內(nèi)安全、可靠相關(guān)標(biāo)準(zhǔn)較多且較為成熟,如GB/T4706系列的安全標(biāo)準(zhǔn),電磁兼容、環(huán)境可靠性等標(biāo)準(zhǔn),但是由于本標(biāo)準(zhǔn)對(duì)象是帶有語音功能的智能家電,是在家電符合一系列市場(chǎng)準(zhǔn)入標(biāo)準(zhǔn)的基礎(chǔ)上進(jìn)行增量要求,故將近幾年智能家電面臨最多關(guān)注度的個(gè)人信息保護(hù)安全作為首要的“基本要求”,即智能家電應(yīng)滿足GB/T40979—2021的要求。
除了常規(guī)家用電器的安全問題,本標(biāo)準(zhǔn)首創(chuàng)性地考慮到語音功能給家電引入了諸多方面的新風(fēng)險(xiǎn),并以此角度出發(fā),提出4個(gè)方面共計(jì)8小項(xiàng)的語音功能限制要求。如語音控制指令超過家電運(yùn)行閾值、超出運(yùn)行邏輯、不符合應(yīng)用場(chǎng)景的情況,家電應(yīng)不予執(zhí)行并回復(fù)用戶;針對(duì)烤箱等運(yùn)行周期較長(zhǎng)、步驟較復(fù)雜的家電,通過語音進(jìn)行設(shè)置和控制時(shí),在開始運(yùn)行前家電應(yīng)能提示用戶對(duì)運(yùn)行時(shí)間進(jìn)行設(shè)定;語音功能應(yīng)支持對(duì)不同用戶設(shè)置權(quán)限,防正兒童或老年人的誤操作導(dǎo)致安全風(fēng)險(xiǎn)。
3.2測(cè)試環(huán)境
本標(biāo)準(zhǔn)對(duì)比原語音標(biāo)準(zhǔn),對(duì)試驗(yàn)條件從物理空間、房間布局、聲環(huán)境、網(wǎng)絡(luò)配置、背景噪聲語料集和誤喚醒語料集進(jìn)行全面明確詳細(xì)的規(guī)定。
其中測(cè)試時(shí)的房間布局,明確規(guī)定了模擬用戶指令的人工嘴距離智能家電的水平距離為1米、3米和5米,角度則按照家電在家中常用擺放位置的不同而不同,范圍為 0°~180° ,為了涵蓋更廣泛的用戶情況,人工嘴調(diào)節(jié)兩檔高度1米和1.6米。
本標(biāo)準(zhǔn)對(duì)誤喚醒語料集和背景噪聲語料集也進(jìn)行了詳細(xì)規(guī)定:誤喚醒語料集不少于24小時(shí)音頻,由新聞、人聲對(duì)話、音樂等組成。背景噪聲語料集則是提供了所有家里戶外可能出現(xiàn)的噪聲語料集合,允許不同家電不同場(chǎng)景從中選取合適的噪聲進(jìn)行疊加。
3.3語料集示例
雖然標(biāo)準(zhǔn)中的語料集示例用資料性附錄A表示,但對(duì)于標(biāo)準(zhǔn)的正確理解非常重要。附錄A中描述了本標(biāo)準(zhǔn)對(duì)語料集泛化程度從L1\~L5進(jìn)行分級(jí),L1是明確的“開機(jī)”“關(guān)機(jī)”“制冷”“啟動(dòng)”等,簡(jiǎn)單直接的機(jī)器可識(shí)別控制指令;L2是支持部分用戶通過語音進(jìn)行明確簡(jiǎn)單的內(nèi)容交互或查詢指令“今天天氣多少度”“幫我定時(shí)30分鐘”等;L3則是支持同一控制指令的多種用戶習(xí)慣性表達(dá),如“開機(jī)”“打開空調(diào)”“我要開空調(diào)”等在“開機(jī)”的基礎(chǔ)上進(jìn)行泛化表達(dá)的語音指令;L4則是“自由度”更升一級(jí)的語音語料,智能家電能根據(jù)周圍環(huán)境或自身運(yùn)行參數(shù)識(shí)別到語音內(nèi)容后進(jìn)行簡(jiǎn)單的智能邏輯分析和決策,如周圍環(huán)境較暗且煙機(jī)沒有打開照明的情況下,用戶說“太黑了”,煙機(jī)自動(dòng)打開照明;L5等級(jí)的語料是交給用戶最高等級(jí)自由度的級(jí)別,用戶回到家“好累呀”,智能家電可以回復(fù)“請(qǐng)問有什么可以幫您?播放音樂?打開智能洗浴模式?”,最高等級(jí)的智能語音交互不僅僅是控制,更是陪伴、提供足夠的情緒價(jià)值,讓用戶切身體會(huì)到智能管家的存在。
4 測(cè)試驗(yàn)證
為驗(yàn)證本系列標(biāo)準(zhǔn)的評(píng)價(jià)體系,用業(yè)內(nèi)主流多類產(chǎn)品進(jìn)行測(cè)試,首先對(duì)智能空調(diào)A和空調(diào)B均采用L1和L5兩套語料進(jìn)行測(cè)試對(duì)比,結(jié)果如表1所示。
從表1中可以對(duì)比明顯地看出,采用同樣L1等級(jí)的測(cè)試語料集對(duì)A、B兩款智能空調(diào)進(jìn)行測(cè)試,得出相同的語音交互能力等級(jí),但是采用L5等級(jí)的語料集進(jìn)行測(cè)試,A款空調(diào)明顯優(yōu)于B空調(diào),足以證明不同語料集對(duì)測(cè)試結(jié)果的重要程度,該系列標(biāo)準(zhǔn)充分考慮語料集分等分級(jí)的科學(xué)合理性。
5結(jié)語
大模型的產(chǎn)生使智能家居的語音功能從“打開空調(diào)”這類直接指令,到理解“有點(diǎn)熱”的語義,能自動(dòng)關(guān)聯(lián)空調(diào)、風(fēng)扇等設(shè)備,甚至聯(lián)動(dòng)窗簾調(diào)節(jié)室內(nèi)光照[。這種上下文理解能力,使得交互從機(jī)械執(zhí)行向主動(dòng)服務(wù)轉(zhuǎn)變[5]。武裝上大腦的智能家電更能聽懂用戶的“言外之意”,這對(duì)檢測(cè)提出了更高的要求,要求試驗(yàn)步驟的切實(shí)可行、測(cè)試用語料設(shè)計(jì)的科學(xué)合理,只有這樣才能得到智能家電語音交互的真實(shí)水平,才能得到與用戶實(shí)際體驗(yàn)感相符的評(píng)價(jià)結(jié)果。T/CAS762.X《智能家用電器語音交互能力分級(jí)評(píng)價(jià)技術(shù)規(guī)范》系列團(tuán)標(biāo)在指標(biāo)設(shè)定、考核維度等方面均是貼合搭載大語言模型家電的發(fā)展,科學(xué)的檢測(cè)標(biāo)準(zhǔn)為行業(yè)的技術(shù)發(fā)展起到推波助瀾的作用,推動(dòng)行業(yè)的良性競(jìng)爭(zhēng)。
參考文獻(xiàn)
[1]AllenTang.一文徹底搞懂大模型-語言模型的發(fā)展歷程[EB/OL].(2024-09-04)[2025-03-10].https://www.51cto.com/article/796275.html.
[2]國內(nèi)大語言模型匯總[EB/OL].(2024-02-02)[2025-03-12].https://blog.csdn.net/m0_74418760/article/details/135993870.
[3]中國青年網(wǎng).頭部企業(yè)為何紛紛接入DeepSeek模型?現(xiàn)象級(jí)合作背后蘊(yùn)藏發(fā)展新趨勢(shì)[EB/OL].(2025-02-26)[2025-03-12].https:/finance.youth.cn/finance_gdxw/202502/t20250226_15850058.htm.
[4]中國標(biāo)準(zhǔn)化協(xié)會(huì).碳中和技術(shù)智能家電低碳運(yùn)行評(píng)價(jià)技術(shù)規(guī)范第5部分:家用電冰箱:T/CAS610.5[S].2022
[5]從聲控到懂你:智能家居語音交互的五大進(jìn)化路徑[EB/OL].(2025-02-07)[2025-03-15].https://post.smzdm.com/p/a24wvmmd/.
(責(zé)任編輯:張佩玉)