基于STFT算法的聲光自適應(yīng)映射技術(shù)研究

中圖分類號(hào)：TN912.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2025）12-0114-05

Research on Acousto-optic Adaptive Mapping Technology Based on STFT Algorithm

YE Linjun， CHEN Peiwen （TPVDisplay Technology（Xiamen） Co.，Ltd.，Xiamen 3611o1，China）

Abstract：Theconversion ofaudio signals into light usually involves converting the frequencyinformation of the audio signalsintotheintesityolor，orbrighesschangesofthlghtsignals，esultingintepenomenoofisucientcolorand intensityofthe light signalsand displaydelay.Acontrol methodforaudioacousticsignal adaptive mappingof opticalsignal technologyisproposedinispperIepreprocesingstage，itextractsthespectralcharacteristicsofthespectralergyand spectralcenter，focusingonanalyzingvarious characteristicsof pitch，timbre，hythmanddynamicchanges inaudiosignals. Acording tothemappingofthespectralcenterofthaudiosignalsontothecolorspectrum，diferentfrequenciescorsond to diferentcolor，andthebrightnessofthelightiscontrolledaccordingtothespectralenergylevelTheresultsshothatoundlightadaptive mapping technology basedon STFTalgorithm has significant advantages inspeedand efectivenessof audio frequency mapping color display，verifying the efectiveness ofthe proposed color mapping and display delay strategy.

Keywords： LED; liquid crystal display; FFT; window function; spectrum analysis

0 引言

音頻信號(hào)的頻率轉(zhuǎn)換為光頻率是一個(gè)將聲音信號(hào)轉(zhuǎn)換為視覺(jué)信號(hào)的創(chuàng)意過(guò)程，通常用于藝術(shù)、娛樂(lè)或輔助技術(shù)中。要實(shí)現(xiàn)這個(gè)過(guò)程，需要涉及將音頻信號(hào)的頻率特性映射到光的頻率上，例如聲音的頻率、強(qiáng)度和節(jié)奏可以采用色彩、亮度或光的位置變化來(lái)表示。音頻信號(hào)的不同頻率對(duì)應(yīng)不同的顏色，例如，用藍(lán)色的光表示低頻，用綠色的光表示中頻，用紅色的光表示高頻。聲音的強(qiáng)度可以轉(zhuǎn)換為光的亮度，響度較大的部分可以對(duì)應(yīng)更亮的光，而較輕的部分則對(duì)應(yīng)較暗的光。節(jié)奏和打擊樂(lè)部分可以通過(guò)光的閃爍來(lái)表示，閃爍的頻率和節(jié)奏可以與音樂(lè)同步。

實(shí)現(xiàn)音樂(lè)音頻信號(hào)到光的轉(zhuǎn)換，這種轉(zhuǎn)換技術(shù)應(yīng)用在音樂(lè)可視化、燈光秀和音樂(lè)會(huì)的燈光設(shè)計(jì)，以及輔助聽(tīng)力障礙設(shè)計(jì)中。由于音頻信號(hào)是連續(xù)非平穩(wěn)信號(hào)，在智能液晶電視中，可以將輸入的音頻信號(hào)轉(zhuǎn)換為光信號(hào)。

需要通過(guò)DSP芯片聲音功能處理模塊采用短時(shí)傅里葉變換[1-4]，分析音頻信號(hào)在時(shí)間上的頻率變化，提取音頻信號(hào)的頻譜中心和頻譜能量的特征，根據(jù)頻譜特征映射光的顏色和強(qiáng)度，由LED驅(qū)動(dòng)芯片驅(qū)動(dòng)智能液晶電視四邊的環(huán)境光LED燈條顯示，讓用戶沉浸在美妙的音樂(lè)過(guò)程中，同時(shí)通過(guò)視覺(jué)來(lái)感受音樂(lè)的節(jié)奏和情感。

1聲光映射算法

1.1 時(shí)頻分析技術(shù)

頻譜分析是通過(guò)應(yīng)用傅里葉變換，將音頻信號(hào)從時(shí)間域轉(zhuǎn)換為頻率域，可以將音樂(lè)信號(hào)分解為由不同頻率的正弦波和余弦波組成的組合。這些正弦波和余弦波，是頻率成分的代表，在音樂(lè)中承載著不同的音高和音色。由于Audio信號(hào)是持續(xù)不穩(wěn)定的信號(hào)，因此可以透過(guò)短時(shí)傅里葉變換（STFT）來(lái)分析Audio信號(hào)在時(shí)間上的頻率變化。對(duì)信號(hào)進(jìn)行時(shí)間窗處理以實(shí)現(xiàn)信號(hào)的穩(wěn)定化，然后對(duì)經(jīng)過(guò)時(shí)間窗處理的分段信號(hào)進(jìn)行快速傅里葉變換（FFT），從而獲取音頻信號(hào)的頻譜[5-6]。

STFT的函數(shù)公式為：

其中， 表示時(shí)間 t 和頻率 f 的短時(shí)傅里葉變換結(jié)果； w（n） 表示窗口函數(shù)，定義了每一幀的加權(quán)；x（n） 表示音頻原始信號(hào)，每個(gè) x（n） 對(duì)應(yīng)音頻信號(hào)中加窗后的一個(gè)幀； N 表示窗口函數(shù)的長(zhǎng)度，即每個(gè)幀的采樣點(diǎn)數(shù)； f 表示頻率，它是窗口函數(shù)中采樣點(diǎn)的位置，范圍從0到 N-1 。

1.2基于STFT聲光自適應(yīng)映射算法

對(duì)采樣量化音頻信號(hào)進(jìn)行幀加窗，然后進(jìn)行FFT計(jì)算和提取相關(guān)特征值，最終執(zhí)行自適應(yīng)顏色映射轉(zhuǎn)換及驅(qū)動(dòng)環(huán)境光LED 顯示[7-8]，是聲光自適應(yīng)映射算法的整體流程。如圖1所示，聲光自適應(yīng)映射算法的整體流程框圖，具體步驟如下。

1.2.1 音頻信號(hào)的預(yù)處理

嵌入式微處理器通過(guò)采樣將持續(xù)不平穩(wěn)的音頻模擬信號(hào)轉(zhuǎn)變成離散的數(shù)字信號(hào)，再由量化將采樣得到的連續(xù)幅度值轉(zhuǎn)變成有限數(shù)量的離散數(shù)值的過(guò)程。

對(duì)每個(gè)頻帶的信號(hào)進(jìn)行處理時(shí)，使用幀長(zhǎng)為256ms 、幀移為 32ms 的漢明窗對(duì)其加權(quán)，在短時(shí)傅里葉變換（STFT）中的作用是對(duì)每個(gè)時(shí)間幀施加加權(quán)。降低相鄰幀間頻譜泄漏。窗函數(shù) w（n） 的計(jì)算公式為：

其中， n 表示第 n 幀信號(hào)， N 表示信號(hào)的幀數(shù)。

通過(guò)分幀之后每一幀的信號(hào)可視為短時(shí)平穩(wěn)的，這些幀通常是連續(xù)的，并且會(huì)有一定的重疊，以便更好地對(duì)每一幀信號(hào)信息分析。

1.2.2 頻譜特征提取

音頻信號(hào)經(jīng)過(guò)FFT后，對(duì)頻譜進(jìn)行分析，提取頻譜能量 E 的特征，頻譜能量是指音頻信號(hào)在頻域中的能量總和，可以反映音頻信號(hào)的強(qiáng)度或音量。通過(guò)計(jì)算每個(gè)頻譜分量的平方來(lái)獲得每一幀長(zhǎng)的頻譜能量E ，計(jì)算式如下：

其中， X（k） 表示傅里葉變換后得到的第 k 個(gè)頻率分量的復(fù)數(shù)幅度， N 表示頻譜中頻率分量的總數(shù)。由于頻譜能量的特性是反映音頻信號(hào)的強(qiáng)度，因此可以根據(jù)頻譜能量的高低來(lái)控制光的亮度。頻譜能量高可以對(duì)應(yīng)較亮的燈光，而頻譜能量低則對(duì)應(yīng)較暗的燈光。

通過(guò)提取音頻信號(hào)的頻譜中心（SpectralCentroid）特征及進(jìn)行分析，用它來(lái)表示音頻信號(hào)的“平均頻率”。它是頻譜能量的加權(quán)平均頻率，其計(jì)算方法是將每個(gè)頻率分量的能量乘以其對(duì)應(yīng)的頻率，然后將這些乘積相加，最后除以總的能量。頻譜中心的計(jì)算式如下：

其中， f_k 表示第 k 個(gè)頻率分量的頻率， E_k 表示對(duì)應(yīng)的能量， N 表示頻率分量的總數(shù)。

頻譜中心的高低可以反映聲音音頻信號(hào)的高低，頻譜中心較高意味著高頻成分的能量較大，聲音聽(tīng)起來(lái)更明亮；頻譜中心較低則意味著低頻成分的能量較大，聲音聽(tīng)起來(lái)更低沉。

1.2.3 顏色映射

通常依據(jù)人耳的聽(tīng)覺(jué)范圍 20Hz 到 20000Hz 將音高按頻率范圍進(jìn)行分級(jí)，包括超低音、低音、低中音、中音、中高音、高音和超高音的頻率范圍。由于不同音域通常與特定的情感或氛圍相關(guān)聯(lián)，一些常見(jiàn)的情感與音域的關(guān)聯(lián)：高音通常與強(qiáng)烈、激動(dòng)、尖銳、明亮和活力相關(guān)，它能夠引起聽(tīng)者的注意，產(chǎn)生興奮或緊張的感覺(jué)。中音通常與平衡、溫暖、舒適和平靜相關(guān)，給人一種親切和自然和諧的情感。低音通常與力量、沉穩(wěn)、莊嚴(yán)、憂郁和深度的情感相關(guān)，給人一種安定和踏實(shí)的感覺(jué)。

而不同顏色的光在視覺(jué)藝術(shù)和心理學(xué)中常常與特定的情感或心理狀態(tài)相聯(lián)系。常見(jiàn)顏色的光及其可能表達(dá)的情感：紅色，表示激情、能量、熱情、力量、愛(ài)情、危險(xiǎn)、憤怒等方面情感；綠色，通常與平靜、希望、和諧、自然、安全、舒適、成長(zhǎng)等方面情感相關(guān)；藍(lán)色，表示的情感有寧?kù)o、信任、忠誠(chéng)、智慧、專業(yè)、悲傷、孤獨(dú)。

音頻信號(hào)經(jīng)過(guò)短時(shí)傅里葉變換，提取頻譜中心特征值，將頻譜中心值范圍由 20Hz 到 20000Hz 劃分為C0，C1，C2，…，C1021，C1022，C1023共1024等級(jí)，頻譜中心值分別與音高頻率分級(jí)對(duì)應(yīng)。如圖2所示，利用音域與情感的關(guān)聯(lián)和顏色與情感的關(guān)聯(lián)特性，建立音頻信號(hào)頻率到光信號(hào)顏色對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)聲光自適應(yīng)顏色映射。

1.2.4驅(qū)動(dòng)環(huán)境光顯示

在智能電視的液晶顯示屏[9-10]四周，設(shè)置環(huán)境光LED燈條，LED燈條分布在上邊區(qū)、下邊區(qū)、左邊區(qū)和右邊區(qū)四個(gè)區(qū)域，由LED驅(qū)動(dòng)芯片調(diào)控LED顯示顏色和亮度調(diào)整。依據(jù)智能電視環(huán)境光配置的需要，可以靈活設(shè)計(jì)形成單邊、雙邊、三邊或四邊區(qū)域環(huán)境光，如圖3所示。

RGB顏色映射空間轉(zhuǎn)換，將音頻聲信號(hào)轉(zhuǎn)換到顏色光信號(hào)，通過(guò)環(huán)境光驅(qū)動(dòng)控制器激活LED發(fā)光顯示。

圖4系統(tǒng)流程圖

圖3LED燈條和圖像分區(qū)示意圖

音頻信號(hào)經(jīng)過(guò)短時(shí)傅里葉變換，提取頻譜中心、頻譜能量特征值，通過(guò)聲光自適應(yīng)映射轉(zhuǎn)換得到顏色RGB數(shù)據(jù)，同時(shí)由頻譜能量轉(zhuǎn)換為顏色亮度。由智能電視集成的主控制器通過(guò)SPI接口傳送顏色RGB和顏色亮度數(shù)據(jù)到環(huán)境光驅(qū)動(dòng)控制器，再由環(huán)境光驅(qū)動(dòng)控制器控制LED燈條實(shí)時(shí)顯示，避免顯示延遲。

2 硬件設(shè)計(jì)與實(shí)現(xiàn)

基于STFT聲光自適應(yīng)映射技術(shù)算法在帶有環(huán)境光的智能電視上應(yīng)用，圖4系統(tǒng)流程圖中，主控制器通過(guò)獲取音頻聲信號(hào)，對(duì)采集聲信號(hào)進(jìn)行數(shù)字信號(hào)處理，由加時(shí)間窗短時(shí)傅里葉變換產(chǎn)生頻譜圖，對(duì)頻譜分析提取頻譜能量和頻譜中心特征值，啟動(dòng)自適應(yīng)系統(tǒng)的主控制器芯片采用聯(lián)發(fā)科MST9638芯片，環(huán)境光驅(qū)動(dòng)控制器芯片采用TI公司的TLC5971LED驅(qū)動(dòng)芯片，能夠驅(qū)動(dòng)12通道16位RGBPWM信號(hào)。主控制器芯片MST9638具備高性能多核CPU，基于ARM架構(gòu)支持多格式音視信號(hào)采集，具有數(shù)字信號(hào)處理，頻譜分析等功能。

主控制器芯片MST9638與環(huán)境光驅(qū)動(dòng)控制器芯片TLC5971之間的數(shù)據(jù)傳輸采用SPI通信的主-從模式（Master-Slave）的控制方式[1]。如圖5所示，SCKI-BUF是時(shí)鐘線（SCLK）用于同步數(shù)據(jù)傳輸，由主設(shè)備MST9638產(chǎn)生；SDI-BUF是MOSI（MasterOutSlaveIn）是主設(shè)備（MST9638）輸出到從設(shè)備（TLC5971）輸入的線路，通常用于發(fā)送數(shù)據(jù)[12-14]

圖2顏色映射

圖5LED驅(qū)動(dòng)連接圖

從HDMI音視頻接口輸入的音頻信號(hào)，從USB口加載或APP在線多媒體音視頻文件，經(jīng)過(guò)主芯片MT9638音頻信號(hào)解碼，通過(guò)DSP聲音功能進(jìn)行STFT變換處理，對(duì)音頻信號(hào)變換后的頻譜進(jìn)行分析，提取頻譜中心和頻譜能量的特征，通過(guò)聲光自適應(yīng)映射轉(zhuǎn)換得到顏色RGB數(shù)據(jù)和顏色亮度。由主控制器芯片MST9638通過(guò)SPI接口，發(fā)送顏色RGB數(shù)據(jù)和顏色亮度數(shù)據(jù)到LED驅(qū)動(dòng)控制器TLC5971，再由LED驅(qū)動(dòng)控制器TLC5971，驅(qū)動(dòng)控制環(huán)境光LED燈條動(dòng)態(tài)實(shí)時(shí)顯示。

3 實(shí)驗(yàn)結(jié)果

在智能電視的邊框周圍三邊布置環(huán)境光，將LED燈條部署在左邊區(qū)、上邊區(qū)和右邊區(qū)三個(gè)區(qū)域，通過(guò)LED驅(qū)動(dòng)芯片TLC5971，驅(qū)動(dòng)控制環(huán)境光LED燈條開(kāi)關(guān)顯示。從USB口加載音視頻文件，經(jīng)過(guò)主芯片MT9638音頻信號(hào)解碼和STFT變換處理，提取每一幀音頻信號(hào)的頻譜中心和頻譜能量的特征，通過(guò)STFT算法的聲光自適應(yīng)映射轉(zhuǎn)換，頻譜中心轉(zhuǎn)換得到顏色RGB數(shù)據(jù)和頻譜能量轉(zhuǎn)換為顏色亮度。最后將每一幀的顏色RGB和亮度數(shù)據(jù)，通過(guò)SPI串行總線接口順序發(fā)送給LED驅(qū)動(dòng)控制器點(diǎn)亮對(duì)應(yīng)的LED燈條。中低音與深沉、溫暖和情感深度相關(guān)，可以營(yíng)造出一種親密和親切的氛圍，如圖6（a）音頻正弦波 500Hz 中低音，由主控制芯片數(shù)字信號(hào)處理，得到圖6（b）音頻正弦波 500Hz 的頻譜圖，提取頻譜中心特征值 500Hz ，由設(shè)定的顏色映射關(guān)系，映射為藍(lán)色光，如圖6（c）聲光映射LED燈條顯示藍(lán)色效果，營(yíng)造安定和踏實(shí)的感覺(jué)。

圖6音頻正弦波 500Hz 聲光映射

音頻信號(hào)頻率在 1kHz 中音時(shí)，通常與平衡、舒適和平靜相關(guān)。如圖7（a）所示，由主控制芯片數(shù)字信號(hào)處理，得到圖7（b音頻正弦波 1kHz 的頻譜圖，提取頻譜中心特征值 1kHz ，由設(shè)定的顏色映射關(guān)系，映射以青色和黃色為主，如圖7（c）聲光映射LED燈條顯示效果，創(chuàng)造一種平靜和舒適的氛圍，激發(fā)快樂(lè)和積極的情緒。

圖7音頻正弦波 11kHz 聲光映射

音頻信號(hào)頻率在 12kHz 以上時(shí)，以紅色為主表示激情、力量，引起聽(tīng)者的注意，產(chǎn)生興奮或緊張的感覺(jué)。如圖8（a）所示，由主控制芯片數(shù)字信號(hào)處理，得到圖8（b）音頻正弦波 20kHz 的頻譜圖，提取頻譜中心特征值 20kHz ，由設(shè)定的顏色映射關(guān)系，映射以紅色和橙為主，如圖8（c）聲光映射LED燈條顯示效果。

圖8音頻正弦波 20kHz 聲光映射

4結(jié)論

本文給出了基于STFT聲光自適應(yīng)映射算法，利用頻譜分析法對(duì)音頻信號(hào)進(jìn)行頻譜分析，提取音頻信號(hào)的頻譜中心和頻譜能量的特征。根據(jù)音域與情感的關(guān)聯(lián)和顏色與情感的關(guān)聯(lián)特性，建立音頻信號(hào)頻率到光信號(hào)顏色對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)聲光自適應(yīng)顏色映射。通過(guò)SoC主控制器由SPI通信傳送聲光映射顏色RGB數(shù)據(jù)和亮度數(shù)據(jù)到LED驅(qū)動(dòng)芯片，再由LED驅(qū)動(dòng)芯片控制LED燈條實(shí)時(shí)無(wú)延遲顯示。結(jié)果表明，基于STFT聲光自適應(yīng)轉(zhuǎn)換算法對(duì)音頻頻率映射顏色顯示的速度和效果具有顯著優(yōu)勢(shì)，驗(yàn)證了所提顏色映射和顯示延遲策略的有效性。

參考文獻(xiàn)：

[1]陳曉梅，王曉瑋，鐘波，等.采用雙譜特征的語(yǔ)音可懂度評(píng)價(jià)算法[J].聲學(xué)技術(shù)，2022，41（5）：678-684.

[2]艾學(xué)忠，袁天奇，閆敏，等.時(shí)頻分析法在鍋爐承壓管線泄漏檢測(cè)中的應(yīng)用研究[J].聲學(xué)技術(shù)，2022，41（2）：282-287.

[3]洪欽智，王志君，郭一凡，等．一種支持多數(shù)據(jù)塊混合處理的FFT優(yōu)化方法[J].西安電子科技大學(xué)學(xué)報(bào)，2022，49（6）：42-50.

[4]周洲.基于FPGA的FFT設(shè)計(jì)優(yōu)化及實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2023.

[5]李守闖.實(shí)時(shí)頻譜分析儀信號(hào)處理技術(shù)研究[D].杭州：杭州電子科技大學(xué)，2023.

[6]李帥，李靜.基于MATLAB仿真分析頻譜信號(hào)的誤差[J].工業(yè)控制計(jì)算機(jī)，2021，34（1）：86-87+89.

[7]劉沅玲，王金莉.基于頻率跟蹤的LED數(shù)控恒流驅(qū)動(dòng)電源設(shè)計(jì)[J].電子器件，2023，46（5）：1406-1412.

[8]宿然，鄭喜鳳，陳宇，等.溫度波動(dòng)對(duì)LED顯示屏白平衡主要參數(shù)及圖像色調(diào)的影響[J].發(fā)光學(xué)報(bào)，2023，44（2）：346-355.

[9]任克強(qiáng)，王傳強(qiáng).基于STM32F4的多通道串口驅(qū)動(dòng)TFT液晶屏顯示系統(tǒng)設(shè)計(jì)[J].液晶與顯示，2020，35（5）：449-455.

[10]楊超普，方文卿，劉明寶，等.LED背光液晶屏的低色溫調(diào)節(jié)及光譜分析[J].發(fā)光學(xué)報(bào)，2019，40（12）：1531-1537.

[11]姜育生，梁妮，賀國(guó)旗.基于MDM9607平臺(tái)的SPI接口驅(qū)動(dòng)解析及應(yīng)用[J].現(xiàn)代信息科技，2023，7（2）：149-152.

[12]盛楊博嚴(yán).基于SPI總線的Arduino顯示與控制模塊設(shè)計(jì)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2020，20（3）：74-76+80.

[13]劉維.基于SPI全雙工通信的ICNI健康管控系統(tǒng)[J]電子測(cè)量技術(shù)，2024，47（19）：34-43.

[14]楊梓鶴，彭秋雨，李湛藝，等.SPI接口仿真設(shè)計(jì)與實(shí)現(xiàn)[J].科技與創(chuàng)新，2022（19）：121-123+126.

作者簡(jiǎn)介：葉林俊（1974一），男，漢族，福建平和人，高級(jí)工程師，碩士，研究方向：嵌入式軟件系統(tǒng)、Android電視系統(tǒng)；陳培文（1975一），男，漢族，福建惠安人，工程師，本科，研究方向：液晶平板顯示技術(shù)、智慧顯示系統(tǒng)。