基于頻譜分析儀的語音識別及控制軟件系統(tǒng)設計

摘 "要： 隨著數(shù)據(jù)處理技術的進步和人工智能領域的高速發(fā)展，用戶在對儀器的實際使用中持續(xù)追求更為高效便捷的操控方式，同時也相當看重使用過程的靈活性和準確性，語音數(shù)據(jù)因其實用性和高效性而被廣泛使用。因此，提出一種基于頻譜分析儀的語音識別及控制軟件系統(tǒng)。該系統(tǒng)支持Ubuntu 18.04及以上版本操作系統(tǒng)，通過語音指令實現(xiàn)對頻譜分析儀的控制，可以實現(xiàn)語音喚醒、語音錄入及保存、離線語音識別并轉(zhuǎn)換為文字文本、可執(zhí)行代碼等功能。

關鍵詞： 語音識別； 控制軟件； 頻譜分析儀； Ubuntu； 語音喚醒； 語音聽寫

中圖分類號： TN911.23?34； TP311.5 " " " " " " " " "文獻標識碼： A " " " " " " " " 文章編號： 1004?373X（2024）06?0027?05

Design of speech recognition and control software system based on spectrum analyzer

ZHAO Yuanqi， YIN Yongke， WANG Hongjun， FANG Ming

（School of Information Science and Engineering， Shandong University， Qingdao 266237， China）

Abstract： With the advancement of data processing technology and the rapid development of artificial intelligence， user continue to pursue more efficient and convenient control methods in the actual use of instruments， while also placing great importance on the flexibility and accuracy of the use process. Speech data is widely used due to its practicality and efficiency. A speech recognition and control software system based on a spectrum analyzer is proposed. This system can support Ubuntu 18.04 and above operating systems， and control the spectrum analyzer by means of the voice commands. It can achieve functions such as voice wake up， voice input and save， offline voice recognition and conversion to text， and executable code.

Keywords： speech recognition; control software; spectrum analyzer; Ubuntu; voice wake?up; voice dictation

0 "引 "言

近年來，移動互聯(lián)網(wǎng)快速普及，語音數(shù)據(jù)因其實用性和高效性在現(xiàn)代生活中扮演著重要角色[1]?，F(xiàn)如今，語音識別也已經(jīng)成為智能生活里重要的一部分[2?5]。它可以為個人語音助手、語音輸入、智能音箱等應用場景提供相關的技術基礎[6?8]，成為一種新的人機交互方式[9]。但現(xiàn)有的諸如智能音箱、語音助手等端側(cè)產(chǎn)品[10]只支持有限數(shù)量的命令詞識別，根本不足以滿足頻譜分析儀眾多功能的應用需求[11?12]。因此，提出新的、可以更廣泛高效地適用于頻譜分析儀的語音識別及控制的軟件系統(tǒng)是亟待解決的關鍵問題。

基于此，本文設計開發(fā)了一套基于頻譜分析儀的語音識別及控制軟件，包含語音喚醒、語音錄入及保存、離線語音識別并轉(zhuǎn)換為文字文本、可執(zhí)行代碼等功能。該系統(tǒng)通過語音信息最終實現(xiàn)對頻譜分析儀等儀器的控制，并滿足頻譜分析儀眾多功能所對應的大量相關程控指令映射?；陬l譜分析儀的語音識別及控制軟件系統(tǒng)，將儀器的使用智能化，使儀器在實際使用中更加便捷和高效。

1 "相關技術研究

1.1 "基本開發(fā)技術

本文基于科大訊飛SDK[13]開發(fā)了一款基于頻譜分析儀的語音識別及控制軟件，可以部署在頻譜分析儀等大型儀器設備上，包含語音喚醒、語音錄入并保存、離線語音識別并轉(zhuǎn)換成文字、SCPI程控指令等功能，支持Ubuntu 18.04及以上版本操作系統(tǒng)，通過自然語言音頻完成對頻譜分析儀及信號的操控。

1.2 "關鍵技術

1.2.1 "離線命令詞識別

離線命令詞識別是基于語法規(guī)則，將與語法一致的自然語言音頻轉(zhuǎn)換為文本輸出的技術。語法識別的結(jié)果值域只在語法文件所列出的規(guī)則里，故有很好的匹配率。

1.2.2 "離線語音聽寫

語音聽寫是基于自然語言處理，將自然語言音頻轉(zhuǎn)換為文本輸出的技術。語音聽寫技術與語法識別技術的不同在于，語音聽寫不需要基于某個具體的語法文件，其識別范圍是整個語種內(nèi)的詞條。

1.2.3 "語音喚醒

語音喚醒是通過辨別輸入的音頻中特定的詞語，返回被命中的喚醒結(jié)果，應用通過回調(diào)的結(jié)果，進行下一步的處理，如點亮屏幕或與用戶進行語音交互等。

1.2.4 "BNF語法文件

科大訊飛SDK提供了基礎語法文件規(guī)則，用戶在使用時可以自定義需要使用的關鍵詞和相關的語法文件，設置語音輸入的語序。本文中所用到的關鍵詞識別是基于語法規(guī)則，將與語法一致的自然語言音頻轉(zhuǎn)換為文本輸出的技術。在第一次使用某語法進行識別時，需先編寫一個語法文件，然后通過調(diào)用特定接口編譯本地語法文件，以及獲得語法ID，并在會話時傳入語法ID以使用該語法。在之后的會話中，繼續(xù)使用此語法進行識別，無需再次構建。

1.3 "創(chuàng)新技術

1.3.1 "離線場景下的功能實現(xiàn)

在現(xiàn)實環(huán)境當中，許多地區(qū)都缺乏基礎的移動通信技術。因此，為滿足在特殊應用場景下對操作指令進行語音識別的操作需求，使系統(tǒng)能夠適應海上、高原、偏遠地區(qū)等無法穩(wěn)定聯(lián)網(wǎng)的應用場景，系統(tǒng)可以直接部署在頻譜分析儀上，并在本地構建離線的語法文件和數(shù)據(jù)庫，使系統(tǒng)在語音識別關鍵詞過程中，可以不必連接到云端數(shù)據(jù)庫進行數(shù)據(jù)的上傳下載和調(diào)取，而直接從本地設備的數(shù)據(jù)庫中進行查詢和調(diào)取來完成相關的語音指令，實現(xiàn)響應。

離線系統(tǒng)不需要頻繁地請求響應端口的連接，因此大幅度地提高了系統(tǒng)的響應速度和語音識別效率，加快了語音識別和語音指令的執(zhí)行進程。

1.3.2 "針對特殊變量的BNF語法文件處理方法

在離線狀態(tài)下，只能識別到語法文件中已經(jīng)定義過的文字指令，但無法識別得到類似“25.5”的數(shù)字變量和形如“MHz”“ms”的單位變量。針對該問題，本文提出一種針對含數(shù)字變量和單位變量的指令識別的BNF語法文件編寫方法和識別內(nèi)容的處理算法。

在編寫B(tài)NF語法文件時聲明槽lt;numbergt;、槽lt;numberunitgt;和槽lt;unitgt;，分別用來存儲形如“零”“一”“二”“兩”“三”“四”“五”“六”“七”“八”“九”的數(shù)字變量，形如“十”“百”“千”“萬”的數(shù)字單位和形如“赫茲”“K赫茲”“兆赫茲”“G赫茲”“微秒”“毫秒”“秒”等常用單位。該特定算法包括數(shù)字識別、漢字與阿拉伯數(shù)字轉(zhuǎn)換算法、單位識別轉(zhuǎn)換算法等，解決了實際使用中可能遇到的帶特殊數(shù)字變量和特殊單位變量類指令的動態(tài)識別問題，擴大了離線命令詞識別的可識別命令詞范圍。

1.3.3 "鎖定語音喚醒及語音識別狀態(tài)的技術

根據(jù)實際使用需求和使用邏輯，系統(tǒng)需要先進行語音喚醒，喚醒成功后再進入語音識別，因此本文提出使用雙線程。為防止線程沖突，軟件設置兩個標志位，分別用于標注是否可被喚醒和是否被喚醒。當軟件系統(tǒng)處于不同功能狀態(tài)時，需要服從對應狀態(tài)的執(zhí)行流程。首先等待語音喚醒，語音喚醒成功后將啟動軟件系統(tǒng)的使用，3 s內(nèi)如無語音輸入，則重新等待語音喚醒。當處于歷史記錄或歷史指令編輯狀態(tài)時，可繼續(xù)進行語音識別，但如3 s內(nèi)沒有語音輸入，則退出語音識別狀態(tài)，且不再監(jiān)聽語音喚醒關鍵詞，即不可被喚醒，直到重新返回到主界面，才開始重新監(jiān)聽喚醒關鍵詞。當處于執(zhí)行對可執(zhí)行代碼的編輯操作時，既不進行語音喚醒的監(jiān)聽，也不進行語音識別。

1.3.4 "命令詞功能分級方法

由于頻譜分析儀等儀器具有數(shù)量龐大、種類繁復的機器指令，因此在編寫B(tài)NF語法文件時，會涉及到當所要識別的關鍵詞數(shù)量龐大時，語音識別模型存儲和識別受限的問題。因此，本文將數(shù)量龐大的命令詞按照功能層級，有序分類至多個不同的BNF語法文件中。在功能切換時，利用專屬算法，按照切換到的測量功能編譯與之對應的BNF語法文件，并生成語法ID；同時會根據(jù)通常使用的頻次建立優(yōu)先級，將重復的指令存儲在優(yōu)先級較高的BNF語法文件當中，避免造成存儲冗余。

這種專屬算法極大程度地緩解了當所要識別的命令詞數(shù)量過于龐大時，語音識別模型存儲和識別受限的問題，使系統(tǒng)輕量化，大幅度地提高了響應速度。

1.3.5 "語音指令映射技術

頻譜分析儀功能繁多，在不同測量功能下可能存在同一語音指令對應不同的SCPI程控指令。為了解決這一問題，本文將頻譜分析儀的文字指令與SCPI程控指令映射關系按照功能層級，分別存入與BNF語法文件對應的相關數(shù)據(jù)表當中，然后將上述數(shù)據(jù)表統(tǒng)一存入同一數(shù)據(jù)庫。

為了在執(zhí)行測量功能指令時，系統(tǒng)能夠?qū)εc之對應的數(shù)據(jù)庫進行增刪改查，在功能切換時，本文利用專屬算法將數(shù)據(jù)庫增刪改查的對象切換到與測量功能對應的數(shù)據(jù)表，與按照頻譜分析儀功能層級分類得到的多個BNF語法文件一一對應，使得在擴充文字指令與SCPI程控指令映射關系時條理結(jié)構更加清晰。

1.3.6 "可執(zhí)行代碼

語音識別后的文字指令和調(diào)用的程控指令都存在一定的局限性，并不能直接適用于其他的語言開發(fā)?？紤]到用戶需求和系統(tǒng)的實用性，本文提出了可執(zhí)行代碼的功能，可以根據(jù)用戶的實際使用需要，將歷史語音識別指令轉(zhuǎn)換成C#、C++、Python等語言下可直接使用的代碼，供用戶后續(xù)編寫其他語言的代碼或在其他語言環(huán)境下進行軟件開發(fā)。指定生成的可執(zhí)行代碼文件，經(jīng)用戶選擇確認保存后以文件生成時間為命名，保存在指定文件路徑下。

2 "系統(tǒng)設計

2.1 "系統(tǒng)概述

本文設計開發(fā)了一套基于頻譜分析儀的語音識別及控制軟件系統(tǒng)，其流程如圖1所示。

首先喚醒關鍵詞語音喚醒系統(tǒng)，喚醒成功后，用戶實時輸入的語音指令將被保存為文件流，系統(tǒng)將對語音文件進行語音輸入信息識別和處理，轉(zhuǎn)換為文字指令，從BNF語法文件中調(diào)取關鍵詞，在數(shù)據(jù)庫中匹配映射到對應的SCPI程控指令并下發(fā)至頻譜分析儀，進而操控頻譜分析儀完成語音指令并執(zhí)行對應的操作；再對頻譜分析儀的反饋內(nèi)容進行解析，將文字指令、程控指令和最終的查詢結(jié)果返回到可視化界面，實現(xiàn)通過語音完成對信號頻譜分析儀的完整操控流程。當3 s內(nèi)沒有檢測到語音信息輸入，則退出語音識別，重新進入監(jiān)聽喚醒關鍵詞的狀態(tài)當中，此外，如果當前的界面為展開歷史記錄后的界面，則可以繼續(xù)進行語音識別；但如果3 s后沒有語音輸入，同樣將退出語音識別，且不再監(jiān)聽喚醒關鍵詞，直到再次檢測到語音喚醒關鍵詞，只有當前展示的界面不是展開歷史記錄的界面，才重新開始進行語音識別。

2.2 "系統(tǒng)界面設計

為了軟件系統(tǒng)本身的美觀性和可視化，本文設計了半透明狀態(tài)的展示界面，且始終保持頁面置于屏幕的最上層，便于用戶使用。

為了節(jié)省能耗，系統(tǒng)設置了語音喚醒功能，用戶通過說出指定的喚醒關鍵詞來喚醒系統(tǒng)。在用戶進行語音喚醒之前，系統(tǒng)將一直處于休眠但監(jiān)聽的狀態(tài)；在用戶進行喚醒之后，將彈出界面，并進入語音識別和相關控制的功能當中。

在語音識別界面下面會跟隨語音輸入狀態(tài)欄，當有語音輸入時，語音輸入狀態(tài)欄會有一定程度的波動；反之，如果當前處于沒有語音輸入的狀態(tài)，則語音輸入狀態(tài)欄沒有波形的波動。

頻譜分析儀完成相關命令并生成反饋后，系統(tǒng)將對反饋內(nèi)容進行解析，再將文字指令、程控指令和查詢結(jié)果返回到界面。指令下達給頻譜分析儀之后，如果任務完成，將返回已完成的字樣和當前的相關狀態(tài)；如果指令未被識別或未完成，將返回如“未聽清，請再說一遍”等提示信息。每條語音指令后面會跟隨一個狀態(tài)，如果發(fā)送成功，則顯示綠色的對號樣式。系統(tǒng)語音識別界面如圖2所示。

當語音識別和控制任務結(jié)束后，可以通過長按當前界面對歷史記錄進行自主選擇和編輯，如轉(zhuǎn)為C#、C++、Python語言對應的可執(zhí)行代碼等功能。系統(tǒng)歷史記錄編輯界面如圖3所示。

2.3 "系統(tǒng)構建

2.3.1 "系統(tǒng)語音識別功能實現(xiàn)

語音喚醒成功后，系統(tǒng)將語音指令形成語音文件，并儲存在本地，在接收到新文件后會對舊文件進行覆蓋。之后將得到的文字指令進行識別分割，分別得到指令的文字部分、數(shù)字變量部分和單位變量部分。再用文字部分到數(shù)據(jù)庫中當前測量功能所對應數(shù)據(jù)表中進行匹配，得到該條文字指令所對應的SCPI程控指令。然后將得到的程控指令與前面的數(shù)字變量部分、單位變量部分按照規(guī)定格式進行拼接，最終得到頻譜分析儀能夠識別的程控指令。系統(tǒng)通過對頻譜分析儀的反饋內(nèi)容進行解析，將文字指令、程控指令和最終的查詢結(jié)果顯示在界面上，完成控制結(jié)果可視化，實現(xiàn)通過語音完成對頻譜分析儀的完整操控流程，并等待下一輪的語音信息輸入。系統(tǒng)可識別代碼界面如圖4所示。

2.3.2 "數(shù)據(jù)庫構建

在將程控指令下發(fā)到頻譜分析儀的同時，語音識別后的歷史記錄信息將上傳至數(shù)據(jù)庫當中，并按照時間順序保存指令識別內(nèi)容及SCPI程控指令記錄。系統(tǒng)界面中將展示最近3條記錄，以提供用戶查詢歷史記錄功能。

同時，為了滿足“識別記錄存儲”功能并支持后期增刪查改的要求，系統(tǒng)基于MySQL構建了數(shù)據(jù)庫，用于數(shù)據(jù)讀取和存儲。以指定格式的Json串發(fā)送開始時間及結(jié)束時間，數(shù)據(jù)庫即可返回該時間段語音識別的歷史記錄，方便用戶按時間條件查詢識別歷史記錄，來復現(xiàn)過往在頻譜分析儀上的實驗操作。

2.4 "系統(tǒng)模式

2.4.1 "操作系統(tǒng)及通信技術支持

基于頻譜分析儀的語音識別及控制軟件系統(tǒng)支持 Ubuntu 18.04及以上版本的操作系統(tǒng)，通過端口號進行數(shù)據(jù)庫連接，基于TCP協(xié)議的Socket通信進行數(shù)據(jù)傳送。

2.4.2 nbsp;模式及功能支持

本文所開發(fā)的軟件系統(tǒng)支持頻譜分析模式、IQ分析模式和相位噪聲分析模式，以及掃頻分析、信道功率、占用帶寬、鄰道功率、功率統(tǒng)計、突發(fā)功率、諧波失真、三階交調(diào)、雜散發(fā)射、頻譜發(fā)射模板、IQ分析、相位噪聲分析等10余種功能所包含的程控指令的語音識別及控制。

3 "系統(tǒng)部署應用

基于頻譜分析儀的語音識別及控制軟件開發(fā)系統(tǒng)，目前已經(jīng)部署在頻譜分析儀等大型儀器上進行使用，系統(tǒng)整體性能穩(wěn)定、傳輸實時性強，從語音命令下達到頻譜分析儀執(zhí)行命令并返回結(jié)果，整個過程延時不超過3 s。

針對各項功能下的離線語法文件中已經(jīng)定義過的關鍵詞，語音識別的準確率較高。該系統(tǒng)的應用極大程度上提高了儀器的實用性和操控的靈活性，實現(xiàn)了儀器的智能化。用戶在使用時，不必再近距離的手動操作，也不必通過按鈕控制頻譜分析儀，而可以通過語音來實現(xiàn)頻譜分析儀的各項功能，完成語音相關的指令。

此外，用戶此前的語音命令歷史記錄也按照時間順序保存在數(shù)據(jù)庫中，用戶可以通過時間條件查詢識別歷史記錄，復現(xiàn)過往在頻譜分析儀上的操作?；陬l譜分析儀的語音識別及控制軟件開發(fā)系統(tǒng)的應用，使頻譜分析儀等大型儀器的使用更加便捷化、高效化、智能化，也提高了頻譜分析儀控制的靈活性和準確性，滿足了用戶在對儀器的實際使用中持續(xù)追求更為高效便捷的操控方式的要求。

4 "結(jié) "語

基于頻譜分析儀的語音識別及控制軟件系統(tǒng)是一套通過語音指令來對頻譜分析儀進行操控的系統(tǒng)，這套系統(tǒng)旨在提供給使用者在對頻譜分析儀的實際操控中更為便捷和高效的體驗感，使儀器的使用更加智能化。

目前系統(tǒng)已經(jīng)投入使用，但在實際需求中，可能也有在其他操作系統(tǒng)環(huán)境下的使用需求，所以已經(jīng)在嘗試構建Windows操作系統(tǒng)環(huán)境下的軟件系統(tǒng)開發(fā)。隨著后續(xù)頻譜分析儀的升級，將會新增大量頻譜分析儀所需的操作指令，因此，在語法文件的構建上，仍有繼續(xù)擴充和優(yōu)化的必要。此外，目前的可執(zhí)行代碼僅支持C#、C++、Python等語音的編譯，之后可以繼續(xù)開發(fā)支持如Matlab、Java等其他語言類型的可執(zhí)行代碼的編譯。

注：本文通訊作者為房明。

參考文獻

[1] 范永超，韓佳南.基于人工智能的語音識別系統(tǒng)設計與研究[J].數(shù)字通信世界，2022（5）：55?57.

[2] 鄒智敏，劉偉.基于語音識別的智能家電控制APP的實現(xiàn)[J].電子技術與軟件工程，2021（5）：59?61.

[3] 陳希祥，黃伍，李德英.基于語音識別的智能家居控制系統(tǒng)設計[J].自動化與儀表，2021，36（7）：91?95.

[4] 高英英，張偉.智能語音識別功能控制的家居系統(tǒng)[J].單片機與嵌入式系統(tǒng)應用，2022，22（9）：88?91.

[5] SONG Xueya， SUN Shengchao. Voice recognition control system based on cloud computing and IoT sensors [EB/OL]. [2023?01?14]. https：//www.hindawi.com/journals/wcmc/2022/4489452/.

[6] O'SHAUGHNESSY Douglas. Review of analysis methods for speech applications [C]// Speech Communication. [S.l.： s.n.]： 2023： 151.

[7] 李青云.語音識別算法及其在嵌入式系統(tǒng)中的應用[J].電子技術與軟件工程，2021（17）：81?82.

[8] NEDJAH N， BONILLA A D， MOURELLE L D M. Automatic speech recognition of Portuguese phonemes using neural networks ensemble [J]. Expert systems with applications， 2023， 229： 120378.

[9] 屈瑾.基于語音識別的智能交互系統(tǒng)設計[J].自動化與儀器儀表，2023（1）：221?225.

[10] 張琴喻.語音助手用戶智能感的研究[D].杭州：浙江大學，2022.

[11] 郝祥和.基于嵌入式便攜頻譜儀的設計與研制[D].成都：電子科技大學，2020.

[12] 王俊麗.頻譜儀嵌入式操作系統(tǒng)移植及通信模塊的設計[D].成都：電子科技大學，2012.

[13] 韓婷婷.科大訊飛智能語音產(chǎn)品發(fā)展戰(zhàn)略研究[D].貴陽：貴州大學，2021.