AI分身進(jìn)化之旅：年內(nèi)將提升交互能力

AI分身技術(shù)的落地應(yīng)用，遠(yuǎn)比人們想象中發(fā)展得要更快。

2018年11月，烏鎮(zhèn)世界互聯(lián)網(wǎng)大會(huì)上，以新華社CNC主持人邱浩為原型的AI合成主播首次亮相，引發(fā)公眾極為熱烈的討論。

到了今年2月19日，全球首個(gè)AI合成女主播“新小萌”推出時(shí)，不僅能坐著播報(bào)新聞，還能站起來(lái)，帶著手勢(shì)、姿態(tài)等多種肢體動(dòng)作，讓主播的表達(dá)方式更加多元化。

接下來(lái)，在線(xiàn)教育AI公開(kāi)課老師、客服、教育以及一些娛樂(lè)等等方向，都將是AI分身技術(shù)的下一步落地應(yīng)用方向。

24小時(shí)工作，且不擔(dān)心出錯(cuò)

截至目前，入職新華社的AI合成主播，已生產(chǎn)幾千條新聞報(bào)道。參與包括第五屆世界互聯(lián)網(wǎng)大會(huì)、首屆進(jìn)博會(huì)、2019春運(yùn)、春節(jié)、兩會(huì)等若干重要事件的報(bào)道。

在不少媒體看來(lái)，一個(gè)國(guó)家級(jí)主流媒體大量運(yùn)用AI合成主播，這項(xiàng)舉動(dòng)本身具有強(qiáng)烈的象征性意義。包括“今日俄羅斯”電視臺(tái)網(wǎng)站、英國(guó)Daily Mail、美國(guó)Futurism等多家海外媒體，對(duì)此進(jìn)行了大幅報(bào)道，并稱(chēng)“近年來(lái)，中國(guó)已成為全球領(lǐng)先的人工智能發(fā)展中心之一”。

其實(shí)，相比烏鎮(zhèn)互聯(lián)網(wǎng)大會(huì)的第一次亮相，AI合成主播技術(shù)已經(jīng)快速升級(jí)——讀起新聞聲情并茂的新小萌，就進(jìn)一步采用了“搜狗分身”最新的wavernn波形建模技術(shù)，可以實(shí)現(xiàn)逼真的語(yǔ)音合成效果，讓AI聲音更具有真實(shí)情感和表現(xiàn)力。

“我們提供的系統(tǒng)，新華社只要每天在想要播報(bào)新聞時(shí)，過(guò)幾秒鐘生成一個(gè)完整的視頻，中文、英文不同類(lèi)型的新聞視頻就可以馬上出來(lái)?！弊鳛樾氯A社AI主播背后的技術(shù)負(fù)責(zé)人，搜狗語(yǔ)音交互技術(shù)中心高級(jí)總監(jiān)陳偉，對(duì)此感慨頗多。

陳偉透露，通常而言，AI分身技術(shù)需要幾步，第一步通過(guò)使用人臉關(guān)鍵點(diǎn)檢測(cè)、人臉特征提取、人臉重構(gòu)、唇語(yǔ)識(shí)別、情感遷移等多項(xiàng)前沿技術(shù)，第二步是結(jié)合語(yǔ)音、圖像等多模態(tài)信息進(jìn)行聯(lián)合建模訓(xùn)練后，生成與真人無(wú)異的AI分身模型。

搜狗分身技術(shù)的魅力在于，讓機(jī)器能夠逼真地模擬人類(lèi)說(shuō)話(huà)時(shí)的聲音、嘴唇動(dòng)作和表情，并且將三者自然匹配，與真人幾乎一致。

在陳偉看來(lái)，使用AI主播最大的意義在于解決了新聞播報(bào)領(lǐng)域的效率問(wèn)題，在建模完成后，編輯人員僅需要輸入文字資料，即可讓AI形象按照文字播報(bào)。無(wú)須進(jìn)行二次視頻編輯，AI主播將自動(dòng)識(shí)別語(yǔ)義并配上對(duì)應(yīng)音調(diào)及表情。“播報(bào)一個(gè)新聞一般會(huì)有場(chǎng)地、時(shí)間、主播本身精力的限制，每天的產(chǎn)出很有限，資源本身又是受限。但AI主播不同，可以工作24h，也不必?fù)?dān)心有錯(cuò)誤出現(xiàn)。”

以“語(yǔ)言”為核心展開(kāi)布局

在看似用戶(hù)只用輸入文本即可創(chuàng)造AI分身背后，難點(diǎn)攻破并不輕松，比如逼真度。

“逼真度”是團(tuán)隊(duì)衡量AI分身技術(shù)的一個(gè)重要指標(biāo)——根據(jù)陳偉的說(shuō)法，所謂逼真度，就是大家看到的表情、唇語(yǔ)、動(dòng)作、聲音，最基本的需求是保證表情、聲音和真人完全同步。

“早期是通過(guò)人工來(lái)評(píng)價(jià)的，逼真與否也是內(nèi)部產(chǎn)品、算法的同事掃一眼，比較主觀。現(xiàn)在搜狗在做一些指標(biāo)， 通過(guò)大量的假設(shè)錄制視頻切一小部分做一個(gè)測(cè)試集，與真人的相關(guān)視頻做對(duì)比。壓縮在一個(gè)相同的時(shí)間維度下面來(lái)看，逐幀對(duì)比，整個(gè)表情、嘴型、姿態(tài)上面的差異度有多大?！标悅ケ硎尽?/p>

“實(shí)際上我們每前進(jìn)一步都很難，比如讓AI主播動(dòng)起來(lái)、擺頭，這一動(dòng)作都比單純的正面播報(bào)要困難得多。要想做到電影里展示那樣與真人無(wú)異，可能還需要5～10年。”陳偉表示，拿AI主播來(lái)說(shuō)，其功能還停留在播報(bào)階段，更多交互功能有待于進(jìn)一步開(kāi)發(fā)。

陳偉也透露，未來(lái)，團(tuán)隊(duì)將會(huì)更關(guān)注眼神、挑眉等微表情的自然表達(dá)。在圖像上面要考慮2D+3D混合的技術(shù)，在語(yǔ)音基礎(chǔ)上面有更多NLP的能力進(jìn)來(lái)，讓AI分身的認(rèn)知能力加強(qiáng)。

事實(shí)上，AI分身背后，伴隨的是搜狗AI多年的研究發(fā)展腳步——根據(jù)記者了解，早在2012年搜狗圍繞感知層面的交互，開(kāi)始了語(yǔ)音識(shí)別相關(guān)研究。

過(guò)去幾年來(lái)，人工智能成為搜狗產(chǎn)品的賦能原力，搜狗以“語(yǔ)言”為核心展開(kāi)布局，縱向向技術(shù)天花板不斷突破，提升機(jī)器翻譯技術(shù)的準(zhǔn)確率和智能服務(wù)的深度。與此同時(shí)，加大橫向的產(chǎn)業(yè)布局，拓展更為廣闊的應(yīng)用場(chǎng)景，在搜索、社交、旅游、醫(yī)療、法律、翻譯等領(lǐng)域，推動(dòng)人工智能的產(chǎn)業(yè)化落地。

2016年世界互聯(lián)網(wǎng)大會(huì)上，搜狗展示了同聲傳譯，那時(shí)候搜狗還沒(méi)有上市，但專(zhuān)注于完善語(yǔ)言處理技能已經(jīng)成為其未來(lái)戰(zhàn)略之一。2017年世界互聯(lián)網(wǎng)大會(huì)上，搜狗掌門(mén)人王小川對(duì)外界表態(tài)：“現(xiàn)在很多人認(rèn)為，語(yǔ)音搜索已經(jīng)足夠方便了，但這還不夠智能。”

一年后的2018年7月，王小川在香港公布了“搜狗分身”技術(shù)——在現(xiàn)場(chǎng)，王小川展示了一段結(jié)合唇語(yǔ)合成、語(yǔ)音合成、音視頻聯(lián)合建模與深度學(xué)習(xí)技術(shù)，可驅(qū)動(dòng)機(jī)器生成對(duì)應(yīng)的唇語(yǔ)圖像與聲音，進(jìn)而輸出統(tǒng)一的音視頻素材。

彼時(shí)業(yè)界很少有人會(huì)預(yù)料到，如此高逼真的AI合成主播，會(huì)如此快與大眾見(jiàn)面，甚至影響沖擊了整個(gè)新聞媒體的生產(chǎn)方式。

AI語(yǔ)音應(yīng)用場(chǎng)景考量

客觀而言，目前AI分身的真實(shí)度并未達(dá)到令人恐慌的階段。此外，新華社的AI主播目前主要在單個(gè)頻道運(yùn)營(yíng)，如果想要普及到更大規(guī)模的媒體頻道，高并發(fā)要求將對(duì)云端調(diào)度提出一定挑戰(zhàn)。

陳偉表示，目前搜狗提出兩套方案，一套提供公有云服務(wù)，另外也支持部署在企業(yè)本地的私有云服務(wù)器上?！拔覀兊姆?wù)在資源占用和實(shí)時(shí)性上都能滿(mǎn)足要求?！?/p>

不過(guò)，新小萌等AI合成主播的出現(xiàn)，絕非只是播報(bào)新聞稿而已。這位美女虛擬主播背后被寄予厚望，搜狗希望在未來(lái)將AI語(yǔ)音合成這項(xiàng)技術(shù)個(gè)性化，為AI語(yǔ)音賦予各種形象和場(chǎng)景。

在陳偉的預(yù)想中，在“分身”技術(shù)的支持下，視頻制作成本將會(huì)大大降低，最終惠及用戶(hù)。首要的就是與搜狗現(xiàn)有產(chǎn)品線(xiàn)打通。像在輸入法搜索，包括搜狗AI硬件上面“分身”技術(shù)將如何落地，都正在探討中。

比如在AI老師上，已經(jīng)有項(xiàng)目正在進(jìn)行中?！跋窆_(kāi)課這種老師單向輸出的形態(tài)，特別適合做AI分身。老師只需要準(zhǔn)備教案和文稿，通過(guò)這種方式形成各種教學(xué)視頻，后期加上一些剪輯也可以帶有一定的交互能力。這種比單純的文字教學(xué)效果要好得多?！?/p>

此外，法律、醫(yī)療、娛樂(lè)等領(lǐng)域，也是搜狗AI分身未來(lái)發(fā)力的方向。而在技術(shù)使用的規(guī)范問(wèn)題上，陳偉如此表示：“搜狗選擇和明確的公司、在明確的領(lǐng)域合作，盡量通過(guò)場(chǎng)景圈定技術(shù)的使用范圍，這樣的好處就是不會(huì)把技術(shù)濫用。”

這一切，將建立在搜狗如何將人工智能發(fā)展戰(zhàn)略，延伸到更廣闊的應(yīng)用場(chǎng)景考量上。

對(duì)此，王小川曾說(shuō)：“在AI領(lǐng)域，搜狗在技術(shù)和應(yīng)用層面均取得豐厚成果，奠定了在語(yǔ)音、計(jì)算機(jī)視覺(jué)、機(jī)器翻譯和問(wèn)答等多個(gè)賽道上的領(lǐng)先地位。展望2019年，我們會(huì)將AI技術(shù)與業(yè)務(wù)深度融合，持續(xù)提升核心競(jìng)爭(zhēng)力?！?/p>

盡管對(duì)于所有人工智能公司而言，在大環(huán)境變化如此快的當(dāng)下，想把AI的故事講得更好，這都并不容易。

王小川對(duì)此已有了自己的判斷——那就是以搜狗擅長(zhǎng)的語(yǔ)言為核心。今年2月，在發(fā)布完2018年Q4財(cái)報(bào)后，王小川在公司的內(nèi)部信中寫(xiě)道：日后將強(qiáng)化以語(yǔ)言為核心的AI技術(shù)的積累和探索，保持搜狗技術(shù)領(lǐng)先性的核心優(yōu)勢(shì)。

在這一點(diǎn)上，王小川的看法從未變過(guò)，在他看來(lái)，“語(yǔ)言”是AI的未來(lái)，“掌握一種語(yǔ)言就是掌握了一種靈魂”，而語(yǔ)言則是人工智能皇冠上的明珠。無(wú)論是百箱大戰(zhàn)中Amazon Echo、Google Home等多款圍繞著語(yǔ)音交互打造的智能音箱，還是會(huì)打電話(huà)的Google Duplex、會(huì)辯論的IBM Projector Debater，都聚焦于讓機(jī)器擁有“語(yǔ)言”這顆明珠。

因此，誰(shuí)敢妄下斷言，AI分身合成主播，將在教育、法律、娛樂(lè)等更多領(lǐng)域，帶來(lái)多大的沖擊浪花？