天貓精靈智能聲學(xué)：一臺(tái)有情緒的歌詞音箱背后的設(shè)計(jì)

壹零社

如何定義錨定“松馳感”？

天貓精靈（以下簡(jiǎn)稱貓精）智能懸浮歌詞音箱上用到一個(gè)詞：錨定“松馳感”，聽(tīng)起來(lái)很虛，但大多數(shù)音箱廠商都有類似的形容詞匯?！八神Y感”是大家買音像產(chǎn)品的一種期待，通過(guò)背景、歌詞、聲音綜合營(yíng)造了喜歡的環(huán)境，實(shí)現(xiàn)一個(gè)很輕松的體驗(yàn)。

如何實(shí)現(xiàn)這個(gè)更沉浸的體驗(yàn)？回歸到音箱的本質(zhì)，實(shí)現(xiàn)更好的重放效果，重放效果的好與壞是與音箱的設(shè)計(jì)密切相關(guān)，音腔的作用即是要隔離揚(yáng)聲器前后的聲波，類似一個(gè)空氣彈簧，它的容積直接影響到這個(gè)彈簧的鋼度，適當(dāng)?shù)目諝鈴椈墒强梢员Ｕ蠐P(yáng)聲器以最優(yōu)的狀態(tài)工作，可以得到更好的低頻表現(xiàn)、更低的失真。

新品沿用貓精一體腔的設(shè)計(jì)思路，使得音腔達(dá)到最合適的12.21L的容積，保證了整體設(shè)計(jì)揚(yáng)聲器在高順性下的一個(gè)工作。市場(chǎng)上的同等產(chǎn)品大部分都是采用2.0全頻的聲學(xué)方案，聲音的層次感略顯欠缺。貓精的設(shè)計(jì)可能是需要跟常規(guī)的產(chǎn)品不太一樣，重新開(kāi)發(fā)了6英寸的低音揚(yáng)聲器單元，然后把整個(gè)厚度減薄了30%的條件下，性能依然保持了16毫米長(zhǎng)沖程的效果，還有56Hz的F0（揚(yáng)聲器在低頻頻段具有一個(gè)固有的共振頻率點(diǎn)），并且還能做到低失真。

調(diào)音的秘密

為了解決音樂(lè)播放場(chǎng)景揚(yáng)聲器播放的振動(dòng)干擾，通過(guò)材料傳導(dǎo)，會(huì)引起整機(jī)的共振，特別是前后面大面積的玻璃材料傳導(dǎo)共振，還有懸浮屏顯示的時(shí)候，因?yàn)楣舱癞a(chǎn)生的不穩(wěn)定。貓精調(diào)試過(guò)程中，采用了能量遷移技術(shù)，還有多段共振抑制調(diào)試技術(shù)，經(jīng)過(guò)多達(dá)122次的專業(yè)調(diào)試，精細(xì)打磨，突破了材質(zhì)干擾，達(dá)成了智能音效的音質(zhì)要求。

同時(shí)，結(jié)合貓耳算法的升級(jí)，硬件層面采用了4麥的陣列方案，算法層面升級(jí)了多通道立體聲回聲消除的技術(shù)，實(shí)現(xiàn)了更好的語(yǔ)音交互，同時(shí)結(jié)合深度學(xué)習(xí)，形成習(xí)慣個(gè)性化的推薦，從環(huán)境、習(xí)慣、內(nèi)容方面形成千曲千面、動(dòng)態(tài)歌單。

語(yǔ)音交互層面延續(xù)貓耳算法

最初的設(shè)計(jì)想法，是希望天貓精靈音箱和貓一樣，聽(tīng)到各種方向來(lái)的語(yǔ)音，同時(shí)保持貓非常靈敏的反應(yīng)。即使音箱最大音量播放音樂(lè)的時(shí)候，只需要正常呼喚就能輕松喚醒。針對(duì)不同音量的歌曲，產(chǎn)品增加了一個(gè)自適應(yīng)環(huán)節(jié)，增強(qiáng)聽(tīng)歌體驗(yàn)。貓耳算法包括了三個(gè)方面，也是語(yǔ)音交互的痛點(diǎn)，比如說(shuō)回聲消除、聲源定位還有降噪。傳統(tǒng)的回聲消除算法，主要還是通過(guò)線性濾波器，去掉音箱本身的線性回聲。

在這個(gè)基礎(chǔ)上，增加了NAC模塊，通過(guò)深度學(xué)習(xí)的方法，能夠消除音箱的非線性回聲，它會(huì)綜合利用人聲和非人聲之間的差異，作為非線性回聲消除的方案。同時(shí)結(jié)合歌詞音箱它的揚(yáng)聲器特性和聲學(xué)的結(jié)構(gòu)特性，還有通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)回聲進(jìn)行后處理，所以我們會(huì)采集歌詞音箱的數(shù)據(jù)，針對(duì)性進(jìn)行優(yōu)化和訓(xùn)練。

此外，在聲源定位上，傳統(tǒng)的聲源定位可能主要是獲取聲音的方向，它只是一個(gè)檢測(cè)的機(jī)制。我們?cè)诼曉炊ㄎ坏牡胤剑黾恿藛拘言~的信息，包括喚醒詞的邊界，以及喚醒詞上每個(gè)頻點(diǎn)人聲的比例。這樣的話，綜合利用語(yǔ)音特征和聲學(xué)信息同步結(jié)合，來(lái)提高最終的循向檢測(cè)率。

在懸浮歌詞音箱項(xiàng)目上，貓耳算法的升級(jí)還有多達(dá)3個(gè)通道的優(yōu)化，多通道立體聲回聲消除算法，結(jié)合神經(jīng)網(wǎng)絡(luò)和懸浮屏歌詞音箱的數(shù)據(jù)，對(duì)回聲消除進(jìn)行了后處理，從而提升了整個(gè)播放場(chǎng)景下的喚醒靈敏度。

讀懂音樂(lè)推薦系統(tǒng)

天貓精靈作為場(chǎng)景設(shè)備，通過(guò)聲紋自然人的技術(shù)，可以在家庭場(chǎng)景、多人使用的情況下，做到精準(zhǔn)識(shí)別自然人，識(shí)別他們不同的聽(tīng)歌體驗(yàn)，讓老人、小孩和男女主人都可以有自己專屬的聽(tīng)歌體驗(yàn)。

具體音樂(lè)推薦引擎的各個(gè)子模塊會(huì)通過(guò)各種各樣的方式，獲取用戶專屬的候選歌單內(nèi)容，有基于家庭、設(shè)備、自然人三層的長(zhǎng)期和實(shí)時(shí)偏好的強(qiáng)個(gè)性化內(nèi)容的召回。這里面比如說(shuō)你之前收藏過(guò)的相似歌曲，還有跟你相似人群喜歡的歌曲，都會(huì)通過(guò)用戶的行為反饋來(lái)動(dòng)態(tài)地變化這些歌單的內(nèi)容。

數(shù)據(jù)包括實(shí)時(shí)的數(shù)據(jù)反饋鏈路，以及離線的用戶對(duì)于歌手風(fēng)格等音樂(lè)屬性的一些偏好特征。有了歌單之后，下一步會(huì)根據(jù)目前識(shí)別到的場(chǎng)景和用戶指令意圖的強(qiáng)弱，來(lái)決定當(dāng)下具體要給用戶播放的歌曲，系統(tǒng)會(huì)使用多目標(biāo)的深度學(xué)習(xí)模型，同時(shí)考慮用戶即時(shí)對(duì)于歌曲的完播情況和歌曲多樣性及新穎性，進(jìn)行不同歌曲的編排，帶給用戶長(zhǎng)期的活躍應(yīng)用。

歌詞音箱的“能量遷移技術(shù)”是怎樣一種技術(shù)？

黃沛雄：這個(gè)點(diǎn)是基于調(diào)音的。因?yàn)閺母柙~音箱整個(gè)設(shè)計(jì)來(lái)看，它其實(shí)是層疊式的結(jié)構(gòu)，玻璃、屏幕后面背光，再到下一塊玻璃。這里就會(huì)牽扯到一個(gè)問(wèn)題，喇叭單元本身就是裝在玻璃上，聲音在播放的時(shí)候它會(huì)產(chǎn)生一些振動(dòng)，振動(dòng)會(huì)通過(guò)金屬框的外殼進(jìn)行傳導(dǎo)，會(huì)干擾到里面的屏。整個(gè)屏特別薄。為了解決共振遷移干擾到屏幕這個(gè)效果，實(shí)現(xiàn)能量的分配，需要讓中高音和低音之間的分配達(dá)到最合理的位置，讓這個(gè)屏幕包括整機(jī)的一些共振降到最低。所以，才會(huì)想到這樣一個(gè)技術(shù)點(diǎn)的應(yīng)用。這是針對(duì)2.1聲道的應(yīng)用調(diào)試。

音箱會(huì)理解我們的心情，它是怎么去判斷我自身的場(chǎng)景和狀態(tài)？

李文杰：第一部分，語(yǔ)音是帶一些情緒的，貓精通過(guò)語(yǔ)音去識(shí)別聲紋自然人，就是識(shí)別你是不同的人。但其實(shí)在語(yǔ)音里面也一定程度上能反應(yīng)你當(dāng)前的情緒，你是興奮還是悲傷？這塊如果被我們的聲紋算法感知到的話，就會(huì)有相應(yīng)的一些TTS+適合的歌曲推送出來(lái)。

第二部分是上下文的場(chǎng)景，前面也提到的那些極端的天氣，或者說(shuō)一些時(shí)間，或者歷史行為體現(xiàn)出來(lái)的這個(gè)場(chǎng)景。你如果是有正向反饋，那其實(shí)是一個(gè)比較好的案例，我們會(huì)強(qiáng)化這個(gè)場(chǎng)景感知。如果你的反饋是相對(duì)差或者接受程度不高，我們也會(huì)弱化這個(gè)場(chǎng)景的感知。所以這些場(chǎng)景服務(wù)的提供，對(duì)于不同用戶來(lái)說(shuō)，感受是不太一樣的，跟這個(gè)用戶的接受程度有關(guān)系。

歌曲的個(gè)性化推薦的功能與傳統(tǒng)有何不同？

李文杰：有兩種方式可以快捷地完成新設(shè)備上個(gè)性化推歌能力養(yǎng)成。第一種，假設(shè)你之前使用過(guò)天貓精靈，新設(shè)備配網(wǎng)時(shí)使用老設(shè)備相同的天貓精靈賬號(hào)，那在后臺(tái)會(huì)自動(dòng)進(jìn)行舊設(shè)備歷史行為的遷移，會(huì)自動(dòng)在新設(shè)備上形成你聽(tīng)歌的長(zhǎng)期偏好。我們完整的個(gè)性化推歌是建立在貓精賬號(hào)、設(shè)備、聲紋自然人三個(gè)層次上的，新設(shè)備上也可以遷移得到自然人的聽(tīng)歌喜好。

第二種，你如果有在使用的TME或者網(wǎng)易云音樂(lè)賬號(hào)，在APP上操作綁定這些賬號(hào)后，可以進(jìn)行收藏歌單、歷史行為的導(dǎo)入，這樣也可以在音箱上遷移你之前的聽(tīng)歌習(xí)慣，而不用從零開(kāi)始。而且你如果綁定多個(gè)賬號(hào)，我們?cè)谶@里面其實(shí)是會(huì)有一些聚合的，我們會(huì)做得更準(zhǔn)一些。

貓精聲學(xué)團(tuán)隊(duì)的“金耳朵”是一群什么人？

黃沛雄：“金耳朵”是對(duì)一類技術(shù)人的一個(gè)統(tǒng)稱，做“金耳朵”它是經(jīng)過(guò)很長(zhǎng)時(shí)間的訓(xùn)練，包括聽(tīng)音的訓(xùn)練，再加上音樂(lè)的一些體驗(yàn)，長(zhǎng)時(shí)間訓(xùn)練去熟悉一些音頻頻點(diǎn)的細(xì)節(jié)，這首音樂(lè)里面的一些差異，去做技術(shù)類的判斷?！敖鸲洹弊罱K的目的是為了讓我們生產(chǎn)或者我們?cè)O(shè)計(jì)出來(lái)的音箱能更真實(shí)地還原這個(gè)聲音的效果。

其實(shí)“金耳朵”它還有一類是藝術(shù)類，藝術(shù)類就是有更好的鑒賞性，對(duì)于音樂(lè)這種調(diào)教，他們是從這個(gè)角度出發(fā)，而我們還是屬于設(shè)備端還原的角度，屬于技術(shù)類的“金耳朵”。

團(tuán)隊(duì)未來(lái)如何深化產(chǎn)品的迭代？

黃沛雄：我這邊的整個(gè)團(tuán)隊(duì)主要還是為天貓精靈的產(chǎn)品的硬件聲學(xué)做服務(wù)，類似自研的智能音箱，包括創(chuàng)新的一些品類，還有類似IOT這些方向的產(chǎn)品。我們會(huì)從整個(gè)產(chǎn)品的產(chǎn)品調(diào)研到技術(shù)定義，到后面的全鏈路開(kāi)發(fā)，包括從硬件端的器件、架構(gòu)設(shè)計(jì)到調(diào)試，到硬件的預(yù)先測(cè)試，再到后端的智能交互，全鏈路參與進(jìn)去做開(kāi)發(fā)的。

李文杰：我這邊是偏軟件或者云端的算法工作，目的是持續(xù)打造一個(gè)智能交互系統(tǒng)，不僅是自研設(shè)備，還包括IOT設(shè)備的一些支持，通過(guò)語(yǔ)音交互，還有一些視覺(jué)的手段，能夠讓用戶真的在家居的環(huán)境中走進(jìn)一個(gè)智能化的時(shí)代。