基于AR虛擬植入技術(shù)的互動(dòng)繪本創(chuàng)作

邢旭帆 劉雨萱 .南京曉莊學(xué)院；.東南大學(xué)

繪本是適合兒童閱讀的一類圖書，繪本可以培養(yǎng)兒童多方面的能力。AR虛擬植入互動(dòng)繪本改變了傳統(tǒng)的閱讀方式，使用AR+3D技術(shù)，讓動(dòng)畫形象活靈活現(xiàn)地展現(xiàn)在繪本上，突破了平面閱讀的局限性。兒童在閱讀此類繪本時(shí)可以身臨其境，與繪本角色進(jìn)行互動(dòng)，產(chǎn)生一種沉浸式體驗(yàn)感，在閱讀學(xué)習(xí)的過程中感受到樂趣?，F(xiàn)通過為AR虛擬植入互動(dòng)繪本中的虛擬人物進(jìn)行配音，建立角色模型并進(jìn)行蒙皮，完成互動(dòng)媒體的設(shè)置，將AR技術(shù)運(yùn)用到傳統(tǒng)繪本中，由小朋友穿上動(dòng)捕傳感器，在綠幕前做出動(dòng)作后，將數(shù)據(jù)傳到蒙皮動(dòng)畫上烘烤生成視頻文件，導(dǎo)入到虛擬演播室系統(tǒng)中，實(shí)現(xiàn)真人與動(dòng)畫人物的互動(dòng)。

兒童繪本起源于19世紀(jì)的歐美國家，1878年美國人倫道夫·凱迪克出版了兒童圖書《騎士約翰的趣聞》。到了20世紀(jì)，越來越多色彩鮮艷的圖片被添加到兒童圖書中，與文字一起為孩子們呈現(xiàn)出一個(gè)個(gè)美麗的世界。1922年，商務(wù)印書館發(fā)行的《兒童世界》是中國第一本真正面向兒童的期刊，其中刊載的“圖畫故事”欄目，可視為中國兒童繪本的萌芽。隨著科技的發(fā)展，兒童繪本不再局限于紙質(zhì)手繪，電腦繪制也成為繪本制作的一種方式，研發(fā)數(shù)字化兒童繪本成為一種趨勢。但由于許多家長不希望兒童長時(shí)間接觸電子設(shè)備，沒有將電子繪本作為兒童早期教育的一種方式，導(dǎo)致數(shù)字化兒童繪本并沒有太大的發(fā)展空間。2000年后，市場上出現(xiàn)了點(diǎn)讀機(jī)等將紙質(zhì)繪本與電子技術(shù)結(jié)合的兒童閱讀方式，繪本的形式開始逐漸向多元化方向發(fā)展，如今更是出現(xiàn)了以交互體驗(yàn)為主的智能繪本閱讀設(shè)備。這類設(shè)備是更加專業(yè)的兒童繪本閱讀類設(shè)備，具有點(diǎn)讀、AI圖像識(shí)別、繪本智能識(shí)別翻譯、朗讀、智能對(duì)話、錄音、與家長遠(yuǎn)程溝通等功能，豐富的內(nèi)容不僅方便了工作繁忙不能陪伴孩子的父母，還可以起到某些早教機(jī)的作用。

智能兒童繪本的發(fā)展困境分析

目前，國內(nèi)家長比較重視孩子的知識(shí)積累和技能學(xué)習(xí)，對(duì)繪本這種讀物并不喜歡，覺得這類課外讀物并不重要，認(rèn)為花很多錢買一本圖多于字的書不如直接買一本故事書。此外，一些國外優(yōu)秀兒童繪本的授權(quán)機(jī)構(gòu)會(huì)要求這些繪本的開本、版式、裝幀設(shè)計(jì)等與原版書相同，這給兒童繪本的本土化改編帶來了很大的困難。因此，目前國內(nèi)的兒童繪本市場還處于發(fā)展期。

我國每年的新生兒數(shù)量龐大，是國內(nèi)兒童繪本市場龐大的客戶基礎(chǔ)。經(jīng)過多年的發(fā)展，國內(nèi)外的繪本創(chuàng)作方式更加豐富與完善，這為更多優(yōu)秀兒童繪本的出現(xiàn)奠定了一定的基礎(chǔ)。隨著兒童繪本的發(fā)展，智能繪本閱讀設(shè)備的品類也不斷增加，產(chǎn)品更加完善，功能越來越多。

雖然人們?cè)絹碓街匾晝和L本，很多家長愿意和孩子一起閱讀繪本，甚至有家長對(duì)語音問答設(shè)備提出了一定的需求，但是仍有不少家長更愿意讓孩子去上各種早教班，甚至還有家長不支持孩子閱讀繪本，這給繪本和智慧繪本閱讀設(shè)備的發(fā)展帶來了一定的阻礙（如圖1所示）。

圖1 社會(huì)實(shí)踐調(diào)查（作者自制）

兒童審美心理與繪本的關(guān)系

兒童的天性是純真的，他們不受各種知識(shí)和思想的束縛，對(duì)世界的認(rèn)識(shí)并不是固定的，有很強(qiáng)的可塑性，因此，兒童的審美教育不可或缺，每個(gè)人都可以按照自己的審美方式和興趣愛好去尋找自己喜歡的東西，人都是懷著一顆好奇心來到這個(gè)世界上的，往往對(duì)于成年人來說平淡無奇的事物對(duì)于兒童卻有著極大的吸引力。好奇心是探索世界的基礎(chǔ)，強(qiáng)烈的好奇心體現(xiàn)了人們對(duì)未知世界的濃厚興趣，所以兒童審美教育應(yīng)該注重他們?cè)趯徝婪矫娴暮闷嫘?，鼓?lì)他們大膽想象，不干涉他們的想象力。兒童的客觀認(rèn)知能力和視覺能力相對(duì)較弱，往往更具主觀性，這種主觀性的欣賞和創(chuàng)作形式與他們的審美天性有直接的關(guān)系，所以繪本的主觀化和抽象夸張都能啟發(fā)和引導(dǎo)兒童的審美。在審美活動(dòng)中，強(qiáng)烈鮮明的色彩、簡明清晰的結(jié)構(gòu)、簡潔的旋律和韻律才是兒童喜歡的對(duì)象。繪本是適合兒童閱讀的圖書，兒童可以直觀地感受繪本，好的繪本可以影響孩子的童年，影響孩子的個(gè)性審美發(fā)展。

虛擬植入技術(shù)在繪本中的應(yīng)用探索

當(dāng)前，虛擬植入技術(shù)已經(jīng)應(yīng)用在繪本中，該技術(shù)能夠幫助兒童在互動(dòng)中更好地了解繪本，達(dá)到更好的閱讀效果。在不同領(lǐng)域中，虛擬植入技術(shù)的運(yùn)用也有不同的效果（如圖2所示）。

圖2 在虛擬演播室場景（圖片來源：http://mt.sohu.com/20160826/n466183611.shtml）

AR虛擬植入互動(dòng)繪本為兒童提供了身臨其境與故事人物互動(dòng)的可能，將學(xué)習(xí)與實(shí)踐結(jié)合起來，既可以教給孩子知識(shí)，又可以在游戲中帶給孩子快樂，提高兒童的審美能力。繪本的知識(shí)部分主要通過老師及家長的講解來傳授給兒童，互動(dòng)部分主要利用各種技術(shù)使兒童與繪本中的動(dòng)畫角色互動(dòng)，增加學(xué)習(xí)的趣味性。主題繪本可以幫助兒童在閱讀繪本的過程中發(fā)現(xiàn)和探索美，更好地促進(jìn)兒童個(gè)性審美的發(fā)展。制作一本AR虛擬植入互動(dòng)繪本主要包括以下環(huán)節(jié)。

第一，確定繪本內(nèi)容。繪本的思想要正面積極，故事情節(jié)要貼近生活，人物角色形象要可愛，語言要簡單易懂，畫面要符合兒童的審美。

第二，制作繪本。首先要選擇符合兒童審美心理的故事，然后繪制角色與場景的草圖，畫面內(nèi)容要符合兒童的審美，色彩搭配要注意考慮到后面閱讀的畫面協(xié)調(diào)。

第三，根據(jù)繪本內(nèi)容為繪本中的任務(wù)配音。首先要尋找合適的房間進(jìn)行聲音測試，然后安裝好麥克風(fēng)，將其接入電腦，打開Au音頻軟件，做好心理準(zhǔn)備，放松心態(tài)進(jìn)行聲音錄制（如圖3所示）。

圖3 配音錄制（作者自制）

第四，使用繪本閱讀臺(tái)燈對(duì)繪本進(jìn)行識(shí)別。智能繪本閱讀臺(tái)燈利用圖像識(shí)別技術(shù)識(shí)別掃描繪本，然后將視頻疊加到繪本上，但不會(huì)完全遮住繪本原來的內(nèi)容，使靜態(tài)圖片與動(dòng)態(tài)視頻結(jié)合起來。

第五，建立角色模型并進(jìn)行蒙皮。首先利用3DMAX制作人物模型，方便后期動(dòng)作的調(diào)試，同時(shí)做好骨骼綁定與角色的比例調(diào)整，然后進(jìn)行人物蒙皮，為了使人物運(yùn)動(dòng)起來不出現(xiàn)問題，還需要進(jìn)行權(quán)重操作（如圖4、圖5所示）。

圖4 骨骼綁定（作者自制）

圖5 刷權(quán)重（作者自制）

第六，將角色加入動(dòng)捕系統(tǒng)，導(dǎo)入虛擬演播室系統(tǒng)。這一過程需要繪本角色與真人進(jìn)行互動(dòng)，真人穿上動(dòng)捕設(shè)備，然后導(dǎo)入演播中控，最后合成畫面。

繪本制作需要準(zhǔn)備的設(shè)備有4K超清攝像機(jī)（根據(jù)預(yù)算配各價(jià)位攝像機(jī)）、三腳架、記錄卡、讀卡器、電池、攝像機(jī)包、虛擬演播室系統(tǒng)、硬盤錄像機(jī)等；軟件有虛擬演播室系統(tǒng)、Au音頻軟件等（如圖6、圖7所示）。

圖6 虛擬演播室（作者自制）

圖7 虛擬演播室（作者自制）

繪本要想真正實(shí)現(xiàn)真人與角色的互動(dòng)，還需要搭建綠幕，準(zhǔn)備兩臺(tái)電腦，一臺(tái)用于播放智慧閱讀臺(tái)燈掃描出的視頻，另一臺(tái)電腦利用虛擬植入技術(shù)將視頻與繪本結(jié)合，由小朋友穿上動(dòng)捕傳感器做出動(dòng)作，并將有關(guān)數(shù)據(jù)傳到蒙皮動(dòng)畫上，烘烤后加上綠色背景生成視頻文件，導(dǎo)入虛擬演播室系統(tǒng)中。在此過程中要控制好時(shí)間，實(shí)現(xiàn)真人與動(dòng)畫角色的互動(dòng)（如圖8所示）。

圖8 最終呈現(xiàn)（作者自制）

繪本對(duì)兒童的成長和教育具有重大的作用，好的繪本可以影響兒童的一生，促進(jìn)兒童的個(gè)性審美發(fā)展?；趦和瘜徝佬睦淼奶摂M植入互動(dòng)繪本不僅可以培養(yǎng)孩子的學(xué)習(xí)能力，豐富其認(rèn)知，還可以使兒童在閱讀繪本的過程中獲得快樂，實(shí)現(xiàn)寓教于樂。通過虛擬植入互動(dòng)繪本，孩子可以與繪本中的動(dòng)畫角色進(jìn)行互動(dòng)和交流，這是對(duì)傳統(tǒng)兒童繪本形式的一種創(chuàng)新，更容易受到兒童的喜愛，更有利于培養(yǎng)兒童發(fā)現(xiàn)美和欣賞美的能力，從而提高兒童的審美能力。隨著越來越多的企業(yè)開始重視兒童智能繪本產(chǎn)業(yè)，兒童智能繪本閱讀設(shè)備的產(chǎn)品種類逐漸增多，品質(zhì)也在逐步提升。相信傳統(tǒng)繪本與AR虛擬植入技術(shù)的結(jié)合能夠在很大程度上幫助兒童提升各方面的能力，為其帶來全新的閱讀體驗(yàn)。