虛擬主播的關(guān)鍵技術(shù)及應(yīng)用場景

蔣中琪

（西安外事學(xué)院，陜西 西安 710077）

0 引 言

虛擬主播，作為一項(xiàng)融合了人工智能（Artificial Intelligence，AI）、三維技術(shù)和云計(jì)算的前沿技術(shù)，正在以驚人的速度改變著媒體和互動(dòng)娛樂的面貌[1]。本文旨在深入探討虛擬主播的關(guān)鍵技術(shù)和應(yīng)用場景。通過分析虛擬主播在社交媒體、廣告、教育和文化領(lǐng)域的應(yīng)用，揭示這一技術(shù)的潛力和對各領(lǐng)域產(chǎn)生的影響。

1 虛擬主播的概念和發(fā)展歷程

1.1 虛擬主播的概念

虛擬主播是指以虛擬形象在視頻網(wǎng)站上進(jìn)行活動(dòng)的內(nèi)容創(chuàng)作者，是虛擬偶像的應(yīng)用之一。虛擬偶像包括虛擬主播、虛擬歌手、名人數(shù)字孿生以及其他類虛擬人式產(chǎn)品或服務(wù)等[2]。虛擬主播是基于動(dòng)作捕捉技術(shù)的新興主播形式，依托動(dòng)畫形象、真人動(dòng)作捕捉及表情捕捉技術(shù)等技術(shù)，融合虛擬偶像與直播主播的特點(diǎn)，進(jìn)行游戲、聊天、唱歌及聯(lián)動(dòng)等直播活動(dòng)。

1.2 虛擬主播的發(fā)展歷程

虛擬主播的發(fā)展受技術(shù)、市場等多種因素的影響，可分為萌芽期、探索期、成長期3 個(gè)階段[3]。

（1）萌芽期（2013—2016 年）。這一階段，虛擬主播處于萌芽期，隨著移動(dòng)互聯(lián)網(wǎng)、數(shù)字替身、計(jì)算機(jī)圖形學(xué)（Computer Graphics，CG）等技術(shù)的廣泛應(yīng)用，虛擬主播實(shí)現(xiàn)從2D 向3D 虛擬人物、虛擬形象的轉(zhuǎn)變。在這一時(shí)期，網(wǎng)絡(luò)直播由計(jì)算機(jī)端向移動(dòng)端、秀場、游戲和電商等直播場景轉(zhuǎn)移，以洛天依為代表的初代虛擬主播受到市場認(rèn)可。

（2）探索期（2016—2022 年）。這一時(shí)期，人工智能、深度學(xué)習(xí)等技術(shù)領(lǐng)域發(fā)展應(yīng)用，直播行業(yè)發(fā)展勢頭迅猛。虛擬主播技術(shù)在這一時(shí)期逐漸成熟，包括人物表達(dá)、合成顯示、識別感知及分析決策等方面的人工智能水平大幅度提升。各大互聯(lián)網(wǎng)頭部企業(yè)紛紛布局虛擬主播產(chǎn)業(yè)，虛擬主播的商業(yè)化應(yīng)用規(guī)模不斷拓展。其中，代表性的事件有2018 年搜狗公司與新華社聯(lián)合推出的首個(gè)AI 合成主播，得益于搜狗人工智能的核心技術(shù)“搜狗分身”，通過人臉關(guān)鍵點(diǎn)檢測、人臉特征提取、人臉重構(gòu)、唇語識別及情感遷移等多項(xiàng)前沿技術(shù)，并結(jié)合語音、圖像等多模態(tài)信息進(jìn)行聯(lián)合建模訓(xùn)練后，生成與真人無異的AI 分身模型。2019 年3 月，全球首個(gè)AI 合成女主播誕生。2019 年，中央廣播電視總臺（以下簡稱央視）網(wǎng)絡(luò)春節(jié)聯(lián)歡晚會（以下簡稱春晚）推出AI 虛擬主播團(tuán)隊(duì)，AI 合成主播迎來發(fā)展應(yīng)用高峰期[4]。

（3）成長期（2023 年至今）。在這一階段，隨著元宇宙的發(fā)展與媒體深度融合的深入，虛擬主播的形象設(shè)計(jì)定制成本大幅度降低，商業(yè)應(yīng)用更加普遍。隨著虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）設(shè)備與軟件的發(fā)展，涌現(xiàn)出更多新的虛擬主播商業(yè)應(yīng)用模式，推動(dòng)虛擬主播向個(gè)性化、智能化等方向發(fā)展。

1.3 虛擬主播產(chǎn)業(yè)發(fā)展情況

虛擬主播產(chǎn)業(yè)鏈涉及上游技術(shù)提供方、中游平臺方以及下游運(yùn)營方。上游技術(shù)提供方主要負(fù)責(zé)虛擬主播底層技術(shù)，包括高精度建模采樣、實(shí)時(shí)動(dòng)畫渲染引擎、人工智能算力以及大數(shù)據(jù)訓(xùn)練等。相關(guān)代表企業(yè)生產(chǎn)的產(chǎn)品包括硬件中的零部件（如傳感器、光學(xué)設(shè)備、芯片及顯示屏等）和設(shè)備（輸出設(shè)備、交互設(shè)備），軟件包括信息處理（如信息采集、編解碼、渲染呈現(xiàn)及物理反饋）和系統(tǒng)平臺如操作系統(tǒng)、軟件開發(fā)工具包（Software Development Kit，SDK）、應(yīng)用程序編程接口（Application Programming Interface，API）及App 等。中游平臺方主要承擔(dān)虛擬主播應(yīng)用場景的運(yùn)維與知識產(chǎn)權(quán)（Intellectual Property，IP）孵化設(shè)計(jì)工作。代表企業(yè)有IP 企劃工作室、機(jī)構(gòu)以及嗶哩嗶哩（以下簡稱B 站）、斗魚、抖音等直播平臺，主要負(fù)責(zé)承接上游對接技術(shù)實(shí)現(xiàn)方案、定制業(yè)務(wù)使用場景，服務(wù)下游構(gòu)建通用開放的生態(tài)系統(tǒng)、構(gòu)建虛擬形象IP 矩陣。下游運(yùn)營方主要指虛擬主播的內(nèi)容呈現(xiàn)和創(chuàng)作者，有企業(yè)勢（多頻道網(wǎng)絡(luò)（Multi-Channel Network，MCN）機(jī)構(gòu)）與個(gè)人勢（個(gè)人主播）。隨著元宇宙產(chǎn)業(yè)的發(fā)展，虛擬主播下游運(yùn)營方與元宇宙在游戲、文旅、金融、教育及快消等行業(yè)的融合應(yīng)用持續(xù)深化[5]。

2 虛擬主播的關(guān)鍵技術(shù)

2.1 人工智能和深度學(xué)習(xí)

人工智能和深度學(xué)習(xí)在虛擬主播領(lǐng)域的應(yīng)用，為虛擬主播注入了令人驚嘆的實(shí)時(shí)交互和逼真性，主要有以下兩種技術(shù)。

（1）語音合成技術(shù)。語音合成技術(shù)通過深度學(xué)習(xí)算法，將文字轉(zhuǎn)化為自然流暢的語音。虛擬主播能夠利用這項(xiàng)技術(shù)生成逼真的聲音，使虛擬主播在直播、娛樂和教育等領(lǐng)域更具吸引力和互動(dòng)性，使虛擬主播能夠與觀眾進(jìn)行實(shí)時(shí)對話，提供個(gè)性化的互動(dòng)體驗(yàn)。

（2）視覺合成技術(shù)。視覺合成技術(shù)為虛擬主播的逼真外觀提供了強(qiáng)大支持。深度學(xué)習(xí)模型可以生成高分辨率的虛擬角色圖像，并在實(shí)時(shí)渲染中逼真地模擬角色的面部表情和動(dòng)作。

2.2 三維建模和動(dòng)畫技術(shù)

三維建模和動(dòng)畫技術(shù)共同構(gòu)建了虛擬主播的外觀和行為。借助三維建模技術(shù)，虛擬主播的外觀和形象得以精心設(shè)計(jì)和定制，從頭發(fā)顏色到服裝風(fēng)格，都可以根據(jù)需求進(jìn)行創(chuàng)造。這種高度的個(gè)性化使虛擬主播能夠塑造出獨(dú)特的角色，吸引不同類型觀眾的關(guān)注。在動(dòng)畫生成與控制方面，利用深度學(xué)習(xí)和實(shí)時(shí)渲染技術(shù)，虛擬主播可以模擬真實(shí)的肢體動(dòng)作、面部表情和語言互動(dòng)。這使得虛擬主播可以在直播和演出中展示豐富的情感，與觀眾進(jìn)行互動(dòng)，甚至實(shí)時(shí)響應(yīng)觀眾的提問和評論，創(chuàng)造出更加生動(dòng)的娛樂體驗(yàn)。

2.3 云計(jì)算和流媒體技術(shù)

云計(jì)算和流媒體技術(shù)為虛擬主播提供了高效的計(jì)算和實(shí)時(shí)內(nèi)容傳輸支持。虛擬主播需要處理復(fù)雜的三維建模、深度學(xué)習(xí)和實(shí)時(shí)渲染任務(wù)，這些任務(wù)需要大量的計(jì)算資源。通過云計(jì)算，虛擬主播可以訪問彈性計(jì)算資源，根據(jù)需要擴(kuò)展計(jì)算能力，確保在高負(fù)荷時(shí)期也能保持流暢的性能，而無須投資昂貴的硬件設(shè)備。實(shí)時(shí)流媒體傳輸技術(shù)通過優(yōu)化數(shù)據(jù)傳輸和視頻編碼，使虛擬主播的直播、互動(dòng)和娛樂內(nèi)容可以幾乎實(shí)時(shí)地呈現(xiàn)給觀眾，確保了互動(dòng)性和觀看體驗(yàn)的流暢性。

3 虛擬主播的應(yīng)用場景

3.1 社交媒體和直播平臺

虛擬主播在社交媒體和直播平臺上的應(yīng)用，正在改變娛樂和互動(dòng)媒體的格局。虛擬主播在社交媒體上的應(yīng)用，在吸引粉絲和創(chuàng)造內(nèi)容方面具有顯著影響力。虛擬主播創(chuàng)建個(gè)性化的虛擬形象，與觀眾進(jìn)行實(shí)時(shí)互動(dòng)，分享生活點(diǎn)滴，參與社交互動(dòng)。這些虛擬角色通常擁有大量忠實(shí)粉絲，并與粉絲建立緊密聯(lián)系，從而成為強(qiáng)大的社交媒體影響者，不僅能夠推廣品牌和商品，還能傳播信息、娛樂觀眾以及與他們互動(dòng)。虛擬主播在直播平臺上的應(yīng)用越來越流行，可以進(jìn)行各種類型的直播，包括音樂表演、游戲?qū)崨r轉(zhuǎn)播、互動(dòng)問答和娛樂節(jié)目等。他們通過實(shí)時(shí)互動(dòng)與觀眾建立聯(lián)系，觀眾可以發(fā)表評論、提問和送禮物以支持虛擬主播。

虛擬主播在中國普遍被稱為虛擬UP主（Virtual Uploader，VUP）。B 站憑借其簡單便捷的虛擬直播技術(shù)和一鍵創(chuàng)建虛擬形象功能，成為國內(nèi)擁有最多個(gè)人勢虛擬主播的直播平臺。目前，B 站活躍的虛擬主播有3 000 多個(gè)，代表性的有真白花音_Official、費(fèi)爾南Fernand、星街彗星Official 等。以真白花音_Official 為例，目前在B 站擁有145.1 萬粉絲。2023 年1 月14 日，真白花音_Official 在B 站虛擬UP 主年終盛典中獲得“最具影響力提名”和“年度虛擬UP 主”（第三名）的榮譽(yù)，主要作品有《合集·白菜VLOG》等。

3.2 營銷和廣告

虛擬主播在營銷和廣告領(lǐng)域的應(yīng)用正在嶄露頭角，為品牌和廣告商提供了全新的推廣方式。虛擬主播可以擔(dān)任品牌代言人，有效地推廣產(chǎn)品和服務(wù)。由于虛擬主播擁有龐大的粉絲群體，他們能夠?qū)⑵放菩畔鬟_(dá)給廣泛的受眾，增強(qiáng)品牌知名度和認(rèn)可度。虛擬廣告角色是一種創(chuàng)新的廣告形式，品牌方可以合作或創(chuàng)建自己的虛擬廣告角色。這些虛擬角色可以與觀眾互動(dòng)，以輕松幽默的方式傳達(dá)廣告信息。

2023 年2 月12 日，元宇宙虛擬主播DOKI 首次登陸抖音、B 站、小紅書等平臺。虛擬主播DOKI 依托虛擬現(xiàn)實(shí)技術(shù)、三維建模及動(dòng)畫技術(shù)等，構(gòu)建3D 虛擬數(shù)字人形態(tài)，在表情、肢體動(dòng)作等方面趨于真人。

3.3 教育和培訓(xùn)

虛擬主播在教育和培訓(xùn)領(lǐng)域的應(yīng)用為學(xué)習(xí)和培訓(xùn)提供了全新的可能性。虛擬主播可以充當(dāng)虛擬講師和教育助手，提供個(gè)性化的學(xué)習(xí)經(jīng)驗(yàn)。其以虛擬角色的形象出現(xiàn)，通過互動(dòng)教育內(nèi)容，解釋復(fù)雜的概念，回答學(xué)生的問題，甚至模擬實(shí)驗(yàn)和場景，增強(qiáng)學(xué)習(xí)的趣味性和參與感。虛擬講師和助手不受時(shí)間和地點(diǎn)的限制，使學(xué)習(xí)資源更加普遍和靈活。

2023 年9 月，中公教育推出虛擬主播小鹿，以虛擬數(shù)字講師形象進(jìn)行授課服務(wù)。虛擬主播小鹿充分結(jié)合大模型、數(shù)字人等技術(shù)，作為AI 數(shù)智系統(tǒng)班的數(shù)字講師，通過大數(shù)據(jù)技術(shù)可深入分析學(xué)員的學(xué)習(xí)數(shù)據(jù)和需求，進(jìn)而優(yōu)化培訓(xùn)教學(xué)內(nèi)容。

3.4 娛樂和文化

虛擬主播在娛樂和文化領(lǐng)域的應(yīng)用正在塑造新的娛樂方式和文化體驗(yàn)。虛擬歌手和演員已經(jīng)成為音樂和娛樂界的獨(dú)特存在。通過深度學(xué)習(xí)和音頻合成技術(shù)，虛擬歌手可以以虛擬形象唱歌，并且能夠模擬不同的音樂風(fēng)格和聲音。這些虛擬歌手在音樂制作和演出中具有廣泛的應(yīng)用，吸引了數(shù)百萬的粉絲和觀眾，創(chuàng)造了新的音樂體驗(yàn)。

以科大訊飛的虛擬歌手Luya為例，其于2022年8 月官宣出道。與其他虛擬歌手的真人配音不同，Luya 的聲音完全由AI 制作完成。這得益于其使用的AI 語音技術(shù)，通過AI 賦能目標(biāo)音色系統(tǒng)的調(diào)試、確定以及聲音轉(zhuǎn)換，結(jié)合專家經(jīng)驗(yàn)進(jìn)行調(diào)整，形成獨(dú)具特色的動(dòng)聽音色。Luya 陸續(xù)推出了《北極星與流星雨》《迷霧之中的微光》等音樂作品，輕松表演各種音樂演唱風(fēng)格，如古風(fēng)、民謠及電子等音樂類型。

4 結(jié) 語

虛擬主播已經(jīng)在多個(gè)領(lǐng)域展現(xiàn)出強(qiáng)大的影響力，從社交媒體到廣告、教育、娛樂和文化等。這一新興技術(shù)為品牌、廣告商、教育機(jī)構(gòu)、娛樂界和藝術(shù)家提供了創(chuàng)新的機(jī)會。隨著技術(shù)的不斷演進(jìn)和社會接受度的提高，虛擬主播將繼續(xù)在各個(gè)領(lǐng)域發(fā)揮作用，為未來的娛樂、教育和文化創(chuàng)新開辟更加廣闊的道路。