元宇宙來了，自制虛擬人嘗鮮

俞木發(fā)

元宇宙概念在時下極為火熱，其中虛擬人則被認(rèn)為是現(xiàn)實(shí)與元宇宙交互的重要途徑，而且很多虛擬人已經(jīng)活躍在各種平臺上，如AYAYI被阿里聘請為頭號數(shù)字人員工，并發(fā)行了中秋元宇宙的NFT。抖音上的虛擬明星“柳夜熙”，粉絲量則已達(dá)到近900萬人，總點(diǎn)贊量3500多萬（圖1）。

當(dāng)然虛擬人的制作并不簡單，涉及了人工智能、大數(shù)據(jù)，還要有超高性能的計算機(jī)，不過隨著各種和元宇宙相關(guān)的開源技術(shù)的普及，現(xiàn)在借助百度提供的“飛槳”平臺，任何人都可以輕松制作出屬于自己的“虛擬人”，讓普通人也可以在短視頻平臺上一展風(fēng)采！

本文介紹的虛擬人制作項目是基于網(wǎng)友制作的開源項目（地址https：//github.com/JiehangXie/Paddle

BoBo），我們只要在“飛槳”平臺注冊一個用戶，然后克隆該項目并運(yùn)行即可。它的原理是先生成一個虛擬人視頻（視頻已經(jīng)通過深度學(xué)習(xí)完成面部表情遷移），然后將語音和視頻合成，最終生成可以朗讀任何文章的虛擬人播報視頻（圖2）。它可以用在短視頻平臺上的視頻解說、課程講解、新聞播報等場景中，用來替代真人出鏡。

1. 注冊用戶

這個項目可以借助“飛槳”平臺免費(fèi)提供的虛擬環(huán)境運(yùn)行和生成虛擬人，因此大家首先要登錄https：//aistudio.baidu.com/aistudio/index，按提示注冊一個用戶。

2. 運(yùn)行項目

登錄“飛槳”平臺后打開“項目”頁面，接著輸入“paddlebobo”搜索，找到其中的“PaddleBoBo，有手就能用飛槳造一個虛擬主播（人）”項目并點(diǎn)擊打開。接著在打開的頁面點(diǎn)擊“運(yùn)行一下”，在彈出的頁面選擇“V100 32GB”運(yùn)行環(huán)境（圖3）。

注冊“飛槳”平臺并運(yùn)行項目后，平臺每天會贈送8個點(diǎn)的免費(fèi)算力（每天都有），足夠大家體驗和生成虛擬人操作了。

3. 使用環(huán)境

按提示啟動選擇的環(huán)境后，在虛擬運(yùn)行環(huán)境中依次運(yùn)行“1.克隆項目”—“2.安裝PaddleGAN和PaddleSpeech依賴”—“3.靜態(tài)圖像轉(zhuǎn)虛擬主播動畫”，在第三步完成后確保頁面提示“已成功創(chuàng)建虛擬人，文件保存在.file/input/test.mp4”，同時展開左側(cè)窗格路徑，在指定文件夾中看到“test.mp4”文件（圖4）。

切換到“4.讓虛擬主播說話”，在“——text”后的代碼中輸入需要轉(zhuǎn)換為語音的文本，可以將自己需要讓主播說的內(nèi)容都放置在這段代碼中，文本不要分行（可以預(yù)先將文本復(fù)制到Word，然后使用查找替換將段落標(biāo)記替換為空），最后點(diǎn)擊“運(yùn)行”，運(yùn)行成功后會在左側(cè)窗格根目錄下看到“out.mp4”，這個就是最終生成的虛擬人視頻（圖5）。

4. 查看視頻效果

在左側(cè)窗格選中“out.mp4”，右擊選擇“下載”，將其下載到本地后就可以使用系統(tǒng)自帶的播放器播放了，可以看到生成的虛擬人會自動朗讀在圖4的“——text”后設(shè)置的文本轉(zhuǎn)語音的內(nèi)容（圖6）。

當(dāng)然在這個講究個性的時代，使用千篇一律的虛擬人主播形象和沒有個性的機(jī)器語音，顯然無法滿足大家的需求。接下來就介紹如何對項目代碼稍加更改，讓它可以生成更有個性的虛擬人。

1. 制作虛擬人圖片

根據(jù)項目的說明，如果需要更換主播的形象，我們只要自行準(zhǔn)備合適的圖像和背景圖片即可。為了避免肖像侵權(quán)，人物素材可以打開https：//www.artbreeder.com/beta/browse獲取AI頭像。打開上述網(wǎng)址后按提示選擇頭像，比如你可以是一個美少女，也可以是一個俊小伙，甚至還可以是一個二次元形象。選擇合適的頭像后，點(diǎn)擊上方的混合形象，還可以變換發(fā)型、膚色等個性設(shè)置，完成后將頭像下載到本地備用（圖7）。

接著再打開該網(wǎng)站，按提示將下載好的頭像上傳到該網(wǎng)站，并進(jìn)行摳圖處理，接著將摳圖下載到本地備用（圖8）。

打開PPT新建一個空白版式的幻燈片，接著根據(jù)自己的需要添加合適的背景。同時準(zhǔn)備一張主持人照片（可以使用上面方法摳圖后插入PPT），然后將圖8處理好的照片疊加到原來主持人的頭部上方，生成自己的虛擬人形象和背景圖，最后將PPT導(dǎo)出為“test.png”備用（圖9）。當(dāng)然使用同樣的方法，大家可以制作更多的虛擬人形象，每個虛擬人都是世界上并不存在的AI人像，而且每個虛擬形象都可以制作得美輪美奐。

2. 生成新的虛擬人視頻

返回圖4所示的窗口，在左側(cè)窗格將原來“test.png”重命名為“test1.png”。接著點(diǎn)擊“上傳”，將上述準(zhǔn)備好的照片上傳到“/home/aistudio/PaddleBoBo/file/input”，最后同圖4操作，再次創(chuàng)建虛擬人視頻備用。

3. 生成語音

項目默認(rèn)使用的是百度的語音轉(zhuǎn)換服務(wù)，轉(zhuǎn)換的語音機(jī)器化的痕跡比較明顯。如果想讓自己的聲音更有磁性，可以自行使用“智影”（https：//zenvideo.qq.com/）的語音轉(zhuǎn)換服務(wù)。

打開上述網(wǎng)站后點(diǎn)擊“新建文本配音”，然后將需要轉(zhuǎn)換的視頻腳本文本粘貼到文本框。這里可以根據(jù)實(shí)際需要對文本進(jìn)行設(shè)置，比如在長句之間插入停頓，或者點(diǎn)擊多音字設(shè)置正確的讀音，還可以為句子指定讀音人、音效、語速、背景音樂等，完成后點(diǎn)擊“生成音頻素材”，將語音文件下載為“1001.mp3”備用（圖10）。這樣即使你的普通話再不標(biāo)準(zhǔn)，都可以生成字正腔圓的解說文本語音了。

返回圖4所示窗口，在左側(cè)窗格展開“/home/aistudio/PaddleBoBo/file/output/audio”。然后將“1001.mp3”上傳到該目錄下備用。在圖4的左側(cè)窗格繼續(xù)展開“/home/aistudio/PaddleBoBo/general_demo.py”，在右側(cè)窗格將第7行刪除，將第17行代碼改為“wavfile = ‘.file/output/audio/1001.mp3’”，即使用自己生成的語音文件合成到視頻中（圖11）。接著再返回圖5所示的窗口，將“——text”代碼刪除，其他同步運(yùn)行即可生成新的虛擬人視頻了。

為視頻添加字幕

短視頻的制作少不了配置字幕，字幕的添加可以借助“剪映”完成。為了可以制作出準(zhǔn)確無誤的字幕，首先使用Word打開視頻的腳本文件，接著點(diǎn)擊菜單欄的“視圖”，勾選其下的“標(biāo)尺”，顯示“標(biāo)尺”后根據(jù)自己的需要拖動標(biāo)尺，這樣文檔每行字?jǐn)?shù)會自動進(jìn)行調(diào)整，比如可以調(diào)整為每行顯示20個漢字，然后按住Alt鍵復(fù)制字幕的內(nèi)容（圖12）。

啟動“剪映”后新建項目，導(dǎo)入“out.mp4”視頻到下方的時間線。繼續(xù)切換到“文本→智能字幕→開始匹配”，在打開的字幕窗口按下Ctrl+V快捷鍵粘貼上述復(fù)制的字幕，這樣每條字幕的長度是上圖設(shè)置的字?jǐn)?shù)，點(diǎn)擊“開始匹配”（圖13）。完成字幕的匹配后，最后點(diǎn)擊“導(dǎo)出”將視頻導(dǎo)出保存即可。

OK，完成上述的設(shè)置后，一條自制虛擬人短視頻就制作完成了（圖14）。怎么樣，這就是我們制作的虛擬人了，這下大家不用再為自己形象不夠出眾無法真人出鏡而煩惱，也不要再為自己普通話不夠標(biāo)準(zhǔn)開不了口發(fā)愁，因為虛擬人可以代你出鏡，并且?guī)湍憷首x各種文本。從此，你在網(wǎng)上就是美少女、俊小伙的形象了。趕快去制作屬于你的虛擬代言人吧。