智能空調(diào)語音控制系統(tǒng)的設(shè)計與實(shí)現(xiàn)

王俐偉 廉小親 安颯 付靜

WANG Liwei LIAN Xiaoqin AN Sa FU Jing

北京工商大學(xué)計算機(jī)與信息工程學(xué)院 食品安全大數(shù)據(jù)技術(shù)北京市重點(diǎn)實(shí)驗室 北京 100048

Beijing Key Laboratory of Big Data Technology for Food Safety, School of Computer and Information Engineering, Beijing Technology and Business University Beijing 100048

1 引言

隨著人工智能技術(shù)的迅速發(fā)展，語音識別技術(shù)已經(jīng)相對成熟，相關(guān)的語音識別智能產(chǎn)品也因研發(fā)成本的不斷降低而逐漸普及。傳統(tǒng)的空調(diào)系統(tǒng)在控制過程中存在操作繁瑣、需要用戶借助遙控器等設(shè)備發(fā)出控制指令等問題，影響了用戶的使用體驗。本設(shè)計將非特定人語音識別技術(shù)應(yīng)用到空調(diào)控制系統(tǒng)中，用戶通過語音指令的方式就能調(diào)整空調(diào)系統(tǒng)的運(yùn)行狀態(tài)。現(xiàn)有的空調(diào)控制方式主要為遙控控制，少數(shù)空調(diào)支持手機(jī)APP控制。但這些控制方法都需要用戶操作相關(guān)的設(shè)備才能實(shí)現(xiàn)對空調(diào)的控制。語音控制技術(shù)的出現(xiàn)改變了用戶與智能家居之間的“交流”方式，解放了用戶的雙手，改善了用戶在智能家居[1]系統(tǒng)中的使用體驗。語音識別控制技術(shù)讓用戶與智能家居之間的信息交流更加智能化，用戶只需通過講話的方式就能控制智能家居系統(tǒng)實(shí)現(xiàn)相應(yīng)的功能。

2 系統(tǒng)需求分析及總體設(shè)計

2.1 系統(tǒng)需求分析

結(jié)合現(xiàn)有的空調(diào)控制技術(shù)和語音識別技術(shù)[2]，本系統(tǒng)主要實(shí)現(xiàn)以下功能：

（1）通過語音指令實(shí)現(xiàn)空調(diào)開機(jī)、關(guān)機(jī)功能；

（2）通過語音指令調(diào)整空調(diào)工作模式；

（3）通過語音指令調(diào)整空調(diào)的風(fēng)速；

（4）通過語音指令調(diào)整空調(diào)的設(shè)定溫度。

2.2 系統(tǒng)總體設(shè)計

智能空調(diào)語音控制系統(tǒng)主要由LD3320語音識別模塊、STM32主控模塊和空調(diào)控制器三部分組成。LD3320語音識別模塊通過MIC采集來自用戶的語音信號，該模塊通過SPI通訊方式與STM32主控模塊進(jìn)行通信，STM32主控模塊和空調(diào)控制器之間采用串行通信方式進(jìn)行通訊，智能家居語音控制系統(tǒng)總體結(jié)構(gòu)框圖如圖1所示。

LD3320語音識別芯片采用先進(jìn)的非特定人語音識別技術(shù)并支持關(guān)鍵詞列表動態(tài)編輯。語音識別模塊通過麥克風(fēng)采集到語音信號后開始識別并將識別結(jié)果寫入相應(yīng)的寄存器，同時產(chǎn)生中斷到STM32主控模塊，STM32主控模塊通過讀取語音識別模塊相應(yīng)寄存器的值來識別語音指令，并根據(jù)語音指令對空調(diào)進(jìn)行控制。

空調(diào)控制器主要由空調(diào)主控模塊和電源模塊組成，空調(diào)主控模塊通過UART方式接收到來自STM32主控模塊的控制指令后執(zhí)行相關(guān)的任務(wù)。

3 系統(tǒng)硬件設(shè)計

本系統(tǒng)的硬件設(shè)計主要分為語音控制器和空調(diào)控制器兩部分，系統(tǒng)的硬件組成框圖如圖2所示。語音控制器硬件電路主要包括LD3320語音識別模塊電路、STM32主控模塊電路和電源電路三部分[3]。空調(diào)控制器硬件電路主要包括空調(diào)主控模塊電路和電源電路兩部分。本系統(tǒng)中空調(diào)控制器為空調(diào)廠家定制產(chǎn)品，軟硬件部分均由空調(diào)廠家技術(shù)部門設(shè)計和制作，本文不作詳細(xì)介紹，主要介紹LD3320語音識別模塊和STM32主控模塊的硬件電路設(shè)計。

3.1 LD3320語音識別模塊

本系統(tǒng)的語音識別模塊采用的是ICRoute公司設(shè)計生產(chǎn)的LD3320型號離線語音識別模塊，該模塊內(nèi)部固化了高效的非特定人語音識別[4]搜索引擎模塊，不需事先錄音和訓(xùn)練，同時內(nèi)置了高精度的AD、DA電路，不需外接Flash、RAM。LD3320芯片最多支持50個關(guān)鍵詞的識別，可動態(tài)更新關(guān)鍵詞列表，語音識別準(zhǔn)確率高達(dá)95%。通訊接口方面，LD3320支持并行和串行兩種通訊方式，本設(shè)計采用SPI串行方式實(shí)現(xiàn)LD3320語音識別模塊和STM32的通訊。LD3320芯片的語音識別模式分為單次模式和循環(huán)模式兩種。為了保證本系統(tǒng)控制的實(shí)時性，本設(shè)計中語音識別模塊采用循環(huán)語音識別的工作方式。

本設(shè)計中LD3320語音識別模塊的電路圖如圖3所示，電路參照ICRoute公司發(fā)布的LD3320數(shù)據(jù)手冊進(jìn)行設(shè)計，LD3320的通訊方式由46引腳MD決定，當(dāng)MD引腳為高電平時采用串行SPI通訊，反之則為并行通訊，本設(shè)計中將MD引腳電平置高，使得LD3320與STM32單片機(jī)采用SPI通訊。

3.2 STM32主控模塊

本系統(tǒng)主控模塊采用STM32F103C8T6芯片，該芯片基于Cortex-M3架構(gòu)，最高支持72MHz時鐘頻率，內(nèi)部集成了Flash存儲、豐富的I/O口和先進(jìn)的中斷響應(yīng)系統(tǒng)。具有功耗低，工作穩(wěn)定等優(yōu)點(diǎn)，滿足了本系統(tǒng)的設(shè)計要求，電路圖如圖4所示。其中PB12 IO口與按鍵key相連，該按鍵按下時關(guān)閉語音識別模塊。

4 STM32與空調(diào)控制器通訊協(xié)議設(shè)計

本系統(tǒng)中的LD3320語音識別芯片采用SPI通訊方式與STM32主控模塊進(jìn)行通信，該芯片通過操作寄存器進(jìn)行配置和使用，無需復(fù)雜的通訊協(xié)議。所以本文主要介紹STM32主控模塊和空調(diào)控制器之間的通訊協(xié)議。

圖1 系統(tǒng)總體結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件組成框圖

表1 主從機(jī)通訊數(shù)據(jù)封裝格式

表2 功能碼具體內(nèi)容

表3 主機(jī)數(shù)據(jù)域第四字節(jié)功能含義

圖3 LD3320語音識別模塊電路圖

圖4 STM32主控模塊電路圖

STM32主控模塊與空調(diào)主控板之間采用全雙工異步串行通信方式。協(xié)議規(guī)定STM32主控模塊為主機(jī)，空調(diào)主控模塊為從機(jī)，通訊數(shù)據(jù)封裝格式如表1所示。數(shù)據(jù)幀頭為0xBB，STM32主控模塊地址為0x00，空調(diào)主控模塊地址為0x01；功能碼分為控制命令，查詢命令和復(fù)位命令，具體內(nèi)容見表2[5]。數(shù)據(jù)長度由每次發(fā)送的數(shù)據(jù)區(qū)實(shí)際長度所決定，該值不大于250。校驗碼采用CRC校驗方式；數(shù)據(jù)格式采用1個起始位、8個數(shù)據(jù)位、1個奇偶校驗位和1個停止位，波特率為9600bps。

4.1 協(xié)議中數(shù)據(jù)通信過程

主機(jī)每次發(fā)送數(shù)據(jù)完成后，從機(jī)會延時200ms后返回數(shù)據(jù)；當(dāng)從機(jī)主動發(fā)送信號時，主機(jī)接收到后會在200ms后返回，主機(jī)兩條指令發(fā)送數(shù)據(jù)應(yīng)大于500ms。通訊過程如圖5所示。協(xié)議規(guī)定每幀數(shù)據(jù)開始前必須至少有100ms的間隔時間，數(shù)據(jù)發(fā)送結(jié)束后，同樣需要100ms的間隔時間，然后才能發(fā)送新的數(shù)據(jù)。

4.2 通訊協(xié)議內(nèi)容

通信協(xié)議內(nèi)容主要分為主機(jī)和從機(jī)數(shù)據(jù)區(qū)內(nèi)容，這里主機(jī)是指STM32主控模塊，從機(jī)為空調(diào)主控制板。通信協(xié)議涉及空調(diào)工作狀態(tài)較多，這里以設(shè)置空調(diào)工作模式為例說明，后邊也以此為主進(jìn)行設(shè)計和測試。

STM32主控模塊下發(fā)控制命令，此時通信數(shù)據(jù)格式中的功能碼為0x03，通信數(shù)據(jù)格式中數(shù)據(jù)區(qū)的前三字節(jié)表示協(xié)議版本號和開關(guān)機(jī)，第四字節(jié)表示空調(diào)模式設(shè)置。數(shù)據(jù)區(qū)主機(jī)數(shù)據(jù)域第四字節(jié)功能含義如表3所示，第四位表示工作模式，一共五種工作模式表示空調(diào)運(yùn)行時的常規(guī)功能設(shè)置。

5 系統(tǒng)軟件設(shè)計

本系統(tǒng)的軟件設(shè)計主要分為語音控制器的軟件設(shè)計和空調(diào)控制器的軟件設(shè)計兩大部分。其中空調(diào)控制器為空調(diào)廠家定制產(chǎn)品，本文不做過多介紹，主要介紹語音識別控制器的軟件設(shè)計思路。本系統(tǒng)中語音控制器的軟件設(shè)計參考LD3320開發(fā)手冊，程序設(shè)計主要分為主程序設(shè)計和中斷服務(wù)子程序設(shè)計兩部分。

圖5 主從機(jī)通訊過程

5.1 主程序設(shè)計

系統(tǒng)的主程序流程圖如圖6所示。通用初始化包括STM32芯片初始化和LD3320芯片的初始化。LD3320芯片的初始化主要包括對語音識別芯片進(jìn)行軟復(fù)位和基礎(chǔ)化配置，例如設(shè)置模塊的工作模式，通訊方式以及時鐘頻率等[6]。通過配置寄存器35的值來調(diào)整好MIC的音量，寄存器35控制的ADC增益通道為麥克風(fēng)的輸入通道，MIC的音量隨著ADC增益值的增大而增大[7]。官方推薦該值為40H～6FH，增益值太小，遠(yuǎn)距離語音識別效果就會降低；反之，增益值太大，語音控制器又容易受到遠(yuǎn)處聲音的干擾。

寫入關(guān)鍵詞主要為配置語音識別模塊的關(guān)鍵詞列表。LD3320語音識別芯片最多支持50個關(guān)鍵詞，且每一個關(guān)鍵詞對應(yīng)一個特定的編號，編號可以相同，可以不連續(xù)，但不能大于256。每一個關(guān)鍵詞是標(biāo)準(zhǔn)普通話的漢語拼音小寫，每個關(guān)鍵詞之間需要用一個空格隔開?？照{(diào)語音控制的關(guān)鍵詞較多，主要以空調(diào)模式設(shè)置的關(guān)鍵詞為例進(jìn)行說明，如表4所示。

打開外部中斷后向語音識別模塊發(fā)送開啟識別命令，掃描按鍵key是否按下，如果按下則關(guān)閉語音識別模塊。本設(shè)計中LD3320語音識別芯片采用循環(huán)語音識別和中斷觸發(fā)的工作方式，即芯片通過MIC采集到聲音信號后開始進(jìn)行語音識別并將識別結(jié)果與表4中的關(guān)鍵詞進(jìn)行比較。將識別結(jié)果的個數(shù)和最佳的識別結(jié)果分別存入BA和C5寄存器，并向STM32主控模塊發(fā)出中斷請求。完成這一系列的任務(wù)后LD3320語音識別芯片重新通過MIC采集聲音信號。

5.2 中斷服務(wù)子程序設(shè)計

中斷服務(wù)子程序的主要功能為提取出LD3320語音識別芯片的識別結(jié)果，并根據(jù)結(jié)果對空調(diào)進(jìn)行相應(yīng)的控制。中斷服務(wù)子程序流程圖如圖7所示。

圖6 主程序流程圖

STM32主控模塊接收到外部中斷信號后執(zhí)行中斷服務(wù)子程序。首先讀取LD3320芯片BA寄存器的值，該值表示LD3320語音識別芯片識別到幾種答案；如果該值為零，代表語音識別芯片未識別到有效的語音指令；如果BA寄存器的值不為零，則讀取C5寄存器的值，該值為語音識別芯片識別出的最佳結(jié)果；然后STM32主控模塊根據(jù)C5寄存器的值執(zhí)行相應(yīng)的空調(diào)控制子程序，按照制定好的協(xié)議將空調(diào)控制指令通過串口通訊方式發(fā)送到空調(diào)控制器，從而實(shí)現(xiàn)通過語音指令控制空調(diào)的目的。

圖7 中斷服務(wù)子程序流程圖

6 系統(tǒng)性能測試與應(yīng)用

本文所設(shè)計的系統(tǒng)主要用于空調(diào)等電器的語音控制，在實(shí)際的應(yīng)用中主要關(guān)注系統(tǒng)語音識別的成功率和實(shí)時性。本設(shè)計中空調(diào)部分為廠家定制產(chǎn)品，高度集成并且運(yùn)行穩(wěn)定無需過多測試。所以本系統(tǒng)的測試主要以語音識別成功率為主。

為了測試本系統(tǒng)非特定人語音識別的成功率，本次測試選擇多個不同音色的人在實(shí)驗室環(huán)境下進(jìn)行。由于本系統(tǒng)空調(diào)的控制指令較多，本次測試就主要以空調(diào)的模式設(shè)置功能進(jìn)行測試并觀察系統(tǒng)的實(shí)際響應(yīng)。每位測試者對空調(diào)模式設(shè)置的五個關(guān)鍵詞分別測試50遍并記錄系統(tǒng)的識別結(jié)果。部分非特定人語音識別測試結(jié)果記錄表見表5。

由表5可知，在實(shí)驗室環(huán)境下，本系統(tǒng)對語音指令的識別率較高，并且系統(tǒng)的語音識別并沒有受到測試者不同音色的影響，平均識別率可達(dá)90%。

表4 空調(diào)模式設(shè)置關(guān)鍵詞列表

表5 部分非特定人語音識別測試記錄表

7 結(jié)束語

語音的識別與處理是目前語音信號處理領(lǐng)域的重點(diǎn)與難點(diǎn)。本設(shè)計將STM32C8T6單片機(jī)與LD3320非特定人語音識別芯片相結(jié)合，實(shí)現(xiàn)了智能空調(diào)語音控制系統(tǒng)的總體設(shè)計。試驗結(jié)果表明本系統(tǒng)對非特定人語音識別的成功率高達(dá)90%，實(shí)現(xiàn)了語音對空調(diào)的控制，達(dá)到了良好的實(shí)驗效果。本系統(tǒng)通用性強(qiáng)，可移植性高，具有良好的發(fā)展前景。

基金項目：

北京工商大學(xué)研究生培養(yǎng)-研究生教育質(zhì)量提升計劃項目（19008001491）

北京高等學(xué)校教育教學(xué)改革項目（2015-ms146）

北京工商大學(xué)教務(wù)處教學(xué)研究與教改項目

（10800101009）