沉浸的故事：增強(qiáng)現(xiàn)實技術(shù)有聲書的內(nèi)容創(chuàng)新

安徽大學(xué)新聞傳播學(xué)院 童 云

全民閱讀被列為我國“國民經(jīng)濟(jì)和社會發(fā)展第十三個五年規(guī)劃”的重大工程之一，并提升到國家戰(zhàn)略高度。國家廣播電視總局（原國家新聞出版廣電總局）發(fā)布的《新聞出版廣播影視“十三五”發(fā)展規(guī)劃》提出要打造有聲讀物精品出版工程，加強(qiáng)有聲讀物精品的創(chuàng)作生產(chǎn)。中國新聞出版研究院發(fā)布的《2015～2016中國數(shù)字出版產(chǎn)業(yè)年度報告》提出，出版業(yè)需要注重內(nèi)容創(chuàng)新，運用先進(jìn)技術(shù)，對內(nèi)容進(jìn)行解構(gòu)重組；加強(qiáng)產(chǎn)品創(chuàng)新，著力加強(qiáng)產(chǎn)品的可視化、多維化創(chuàng)新。

一、增強(qiáng)現(xiàn)實技術(shù)有聲讀物的概念

有聲書（Audio Books，Talking Books or Narrated Books），即有聲故事、“聽書”，指以實物存儲或數(shù)字存儲形式公開發(fā)行和銷售的有聲出版物。有聲書包括小說、評書、散文、詩歌、故事、外語、知識教育等有聲語言產(chǎn)品和服務(wù)，其中有文字依據(jù)的語音內(nèi)容不低于51%。聲音具有極強(qiáng)的可嵌入性，可以與畫面結(jié)合制作影視作品，與人工智能結(jié)合產(chǎn)生語音交互應(yīng)用，與虛擬或增強(qiáng)現(xiàn)實技術(shù)結(jié)合可以創(chuàng)造一個向現(xiàn)實空間延伸的故事世界。

有聲書成為繼電子書后增長最快的出版物。美國出版商協(xié)會發(fā)布的主流出版單位銷售數(shù)據(jù)顯示，2016年美國電子書收入同比下降15.6%，但有聲書收入同比增長25.8%，銷售額達(dá)21億美元。中國的有聲書市場在2000年后發(fā)展迅速，聽書網(wǎng)站和手機(jī)客戶端、微信公眾號等為有聲書提供了傳播渠道。聽書網(wǎng)站有天方聽書網(wǎng)、聽中國、酷聽網(wǎng)、暢想聽吧、惠天聽書網(wǎng)等；手機(jī)客戶端有“懶人聽書”“喜馬拉雅FM”“荔枝FM”“蜻蜓.fm”“考拉FM”“酷我聽書”“聽書閣”“天天評書”等；廣播電臺手機(jī)客戶端中也包含有聲書內(nèi)容，如“中國廣播”“聽聽FM”“阿基米德FM”“達(dá)耳聞”“大藍(lán)鯨”等；自媒體微信公眾號如“青音”“凱叔講故事”等。

虛擬現(xiàn)實技術(shù)（Virtual Reality Technique，簡稱VR）是以計算機(jī)技術(shù)為核心，結(jié)合相關(guān)科技，生成與一定范圍真實環(huán)境在視覺、聽覺、觸感等方面高度近似的數(shù)字化環(huán)境。增強(qiáng)現(xiàn)實技術(shù)（Augmented Reality Technique，簡稱AR）是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的新技術(shù)，是將計算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的“增強(qiáng)”，增加用戶對現(xiàn)實世界的感知。由于用戶與真實世界的聯(lián)系并未被切斷，交互方式也就顯得更加自然。

增強(qiáng)現(xiàn)實技術(shù)的有聲讀物（以下簡稱AR有聲書）是指在傳統(tǒng)紙質(zhì)圖書的基礎(chǔ)上，將計算機(jī)制作的視頻、音頻、三維動畫、虛擬模型、虛擬場景或系統(tǒng)提示信息疊加到真實環(huán)境中，實時交互，增強(qiáng)讀者對閱讀內(nèi)容的感知和理解。AR有聲書是一種有聲版增強(qiáng)現(xiàn)實圖書，是聲音藝術(shù)與增強(qiáng)現(xiàn)實技術(shù)結(jié)合，在靜態(tài)平面圖書上創(chuàng)作的動態(tài)、立體、交互性可視化讀物。圖書由平面媒介變?yōu)榭臻g媒介，由平面閱讀延伸到空間閱讀，具有立體感、動態(tài)性、交互性、沉浸感、構(gòu)想性、娛樂性特點。

二、《消失的世界》—一項AR有聲書實驗

《消失的世界》是中國科學(xué)技術(shù)大學(xué)新媒體研究院周榮庭教授帶領(lǐng)師生團(tuán)隊，以法國兒童科普作家亨利·德斯梅（Henry Desmet）作品《消失的大陸》為藍(lán)本而打造的增強(qiáng)現(xiàn)實有聲讀本。亨利·德斯梅在豐富的科普資料基礎(chǔ)上，以生物誕生時間為順序、以講故事的方式介紹遠(yuǎn)古滅絕的生物，為孩子們創(chuàng)作了一本奇幻瑰麗的繪本。研發(fā)團(tuán)隊從2015年10月開始，歷經(jīng)2個月的開發(fā)，用計算機(jī)3D建模方法還原古生物外形，將語音、音樂、音效、動態(tài)視頻和虛擬模型嵌入繪本，聘請南京古生物地質(zhì)博物館專家對3D形態(tài)進(jìn)行專業(yè)指導(dǎo)。讀者用手機(jī)掃描封面二維碼下載“科學(xué)薈”客戶端，對準(zhǔn)書中有標(biāo)識的地方掃一掃，就能讓古生物活起來，圖書變成可以看、可以聽、可以玩、可以拍照的神奇繪本，不但增長知識，還培養(yǎng)孩子的學(xué)習(xí)興趣。

研發(fā)團(tuán)隊經(jīng)過21天的策劃和籌備，在“浮世云書”眾籌出版平臺上以986元的價格售賣，讀者參與眾籌的同時也參與到創(chuàng)作過程中。2016年初，《消失的世界》上市不到2個月便售罄，并再次印刷。這本AR繪本深受讀者好評，獲得中國科協(xié)主辦、果殼網(wǎng)承辦的高科技創(chuàng)意大賽一等獎。

三、增強(qiáng)現(xiàn)實技術(shù)有聲讀物的內(nèi)容要素分析

（一）虛實疊加的故事場景

目前，基于智能手機(jī)的增強(qiáng)現(xiàn)實出版物正迅速發(fā)展。AR有聲書將計算機(jī)制作的動態(tài)模型疊加到現(xiàn)實中，虛擬立體影像與真實生活環(huán)境交融，形成虛實疊加場景。AR系統(tǒng)的基本技術(shù)包括顯示技術(shù)、三維注冊技術(shù)、交互技術(shù)以及虛實場景之間的融合技術(shù)。其中三維注冊是指系統(tǒng)實時、精準(zhǔn)計算攝像機(jī)相對于真實世界的位置和姿態(tài)，以便將虛擬場景正確地安置到它應(yīng)處的位置，這是AR系統(tǒng)的關(guān)鍵技術(shù)。在技術(shù)支持下，增強(qiáng)現(xiàn)實的目標(biāo)是給用戶提供更豐富有效的增強(qiáng)信息，以提高用戶對世界的認(rèn)知能力。

AR有聲書復(fù)原消失數(shù)億年的恐龍時代，再現(xiàn)太空星云、星球、黑洞，模擬火箭、飛船升空場景，超越人體自身視聽極限，增添無限遐想?！断У氖澜纭稟R有聲書將始祖鳥、冠龍、蛇頸龍、劍齒虎、大角鹿、渡渡鳥、巨脈蜻蜓等約30種已經(jīng)滅絕的動物模型嵌入書中，掃描圖書就能使它們來到讀者身邊，栩栩如生，令人著迷。

（二）嵌入交融的聲音元素

有聲書在20世紀(jì)30年代誕生之初的服務(wù)對象是視障人群，歐美國家早期的有聲書庫主要面向圖書館和學(xué)校。在教育領(lǐng)域，有聲讀物能夠幫助低齡兒童增加閱讀量，提升理解力和語言應(yīng)用能力；有聲書深受老年群體的喜愛，可以減輕視力負(fù)擔(dān)，伴隨性閱讀讓人感到輕松愉悅。在移動互聯(lián)時代，更多熱衷于聲音的人們在開車、健身、行走途中聽書，有聲故事用聲音敘述情節(jié)、描述細(xì)節(jié)、塑造形象、勾畫場景、營造意境，使聽者產(chǎn)生想象的空間。有聲書在收聽的情感性、娛樂性、知識性、伴隨性等方面優(yōu)勢明顯。

AR有聲書是聲音與增強(qiáng)現(xiàn)實空間交融的藝術(shù)。聲音嵌入故事模塊，讀者點擊模塊，自主選擇即將播出的內(nèi)容。如《消失的世界》中掃描圖片出現(xiàn)大角鹿模型，它一會兒低頭吃草，一會兒行走奔跑。讀者一邊觀看3D動畫，一邊聆聽語音解說：“它也被叫做愛爾蘭麋鹿或泥炭沼澤鹿。它頭上的角超過3.5米長，重40多千克……在一年中，大角鹿只有半年是有角的，它的角只有在交配季節(jié)才會生長?！鄙鷦佑腥さ闹v述，輕松的音樂配合動態(tài)虛擬影像，如同走進(jìn)立體的電影，沉浸在遠(yuǎn)古時代。語音解說讓孩子們在沒有家長的陪伴下也可以獨自探索遠(yuǎn)古大陸，了解滅絕動物的生活習(xí)性、滅絕原因及過程，激發(fā)他們學(xué)習(xí)的興趣和對大自然的熱愛與保護(hù)意識。

AR有聲故事的音樂和音效根據(jù)內(nèi)容、情感、意境進(jìn)行設(shè)計，如在《消失的世界》中古生物出現(xiàn)的剎那，用光束配合音樂和音效來吸引人們走進(jìn)故事。

（三）沉浸交互的用戶體驗

AR有聲書的沉浸體驗可從以下三方面獲得：一是虛實交融，計算機(jī)模型疊加到真實場景，讀者在視覺上感到虛擬模型是現(xiàn)實世界的一部分，看到一個動態(tài)、立體的世界；二是參與互動，人與書中造型互動，參與內(nèi)容生成，敘事由平面走向空間；三是以人為主，人機(jī)交互，讀者自主選擇敘事模塊中的任何部分，主動去聆聽、觀察、操作，增強(qiáng)對書中內(nèi)容的理解。

以《消失的世界》為例，其將3D動物模型疊加到讀者所在的現(xiàn)實生活，讀者可用手指將動物放大、拖動，改變它的形態(tài)和大小，還可以把它們疊放到草坪、教室、桌面、掌心等真實場景中，讓動物們與讀者合影，這種隨心所欲的交互行為其樂無窮。

讀者是創(chuàng)作主體，從旁觀者變?yōu)閰⑴c者，參與故事的書寫，與故事融為一體，這極大地激發(fā)了讀者的想象力和創(chuàng)造力。AR有聲故事具有趣味性、逼真性和游戲性，讓讀者通過360度視角觀察，點擊觸發(fā)事件，收聽語音講解，并設(shè)有互動環(huán)節(jié)或游戲，強(qiáng)化敘事參與感，調(diào)動多感官體驗。在群體交互中，讀者還能與其他人共享虛擬環(huán)境，交互操作和演練。

《消失的世界》研發(fā)團(tuán)隊還制作了AR卡牌“遠(yuǎn)古對決”“物競?cè)藫瘛焙椭R問答卡，卡牌與繪本關(guān)聯(lián)，是對AR繪本的補(bǔ)充，豐富了閱讀形式，由幾位玩家一起游戲。如“物競?cè)藫瘛庇?6張動物卡牌，可2～4人參與，卡牌上記載每種動物的基本信息，由玩家進(jìn)行提問競賽，贏得最多動物卡牌的玩家為勝。

數(shù)字媒體產(chǎn)品為用戶提供了個性化的內(nèi)容體驗，引發(fā)用戶心理情感上的認(rèn)同，體驗具有真實感，有效提高了用戶的忠誠度。交互式體驗讓讀者沉浸于虛實融合的世界，寓教于樂，增強(qiáng)閱讀樂趣，提高了學(xué)習(xí)效率。

四、增強(qiáng)現(xiàn)實技術(shù)有聲讀物的市場應(yīng)用

AR有聲書在教育、科普、體育、醫(yī)療、旅游、建筑、房產(chǎn)、職業(yè)訓(xùn)練等諸多領(lǐng)域應(yīng)用廣泛。AR有聲故事目前多以科普、探險、挑戰(zhàn)、戰(zhàn)爭類型為主。AR場景中的每個故事模塊都能促使讀者去互動，讀者帶著好奇心，主動填補(bǔ)模塊與模塊之間的故事縫隙，去感知、觸碰、體驗和創(chuàng)造。在實驗教育、游戲教學(xué)、情境教學(xué)和殘障人士學(xué)習(xí)等相關(guān)教育領(lǐng)域，AR有聲書有廣闊的應(yīng)用前景。旅游景區(qū)制作的AR有聲書可擔(dān)當(dāng)導(dǎo)游，代替形象宣傳片；文化古跡和古董藝術(shù)品的增強(qiáng)現(xiàn)實應(yīng)用，能給游客提供各種數(shù)據(jù)資料。AR醫(yī)學(xué)教材模擬人體系統(tǒng)，直觀展示人體的結(jié)構(gòu)，幫助學(xué)生自主學(xué)習(xí)和訓(xùn)練。

總之，AR有聲書是增強(qiáng)現(xiàn)實技術(shù)對圖書出版領(lǐng)域的變革。目前由于成本高、價格高、技術(shù)含量高等原因，AR有聲書剛剛起步。在媒體融合時代，AR有聲書對于視聽媒介產(chǎn)業(yè)發(fā)展將是一片可以探索的藍(lán)海。聲音藝術(shù)與新技術(shù)結(jié)合，必將產(chǎn)生更多的內(nèi)容創(chuàng)新形態(tài)，值得繼續(xù)探索。

1. Martin-Gutierrez，Jorge，Luis，Saorin，Jose，Contero，Manuel：Design and validation of an augmented book for spatial abilities development in engineering students，COMPUTERS & GRAPHICS-UK，2010，34(1)。

2.中國數(shù)字出版產(chǎn)業(yè)年度報告課題組張立、王飚、李廣宇：《“十二五”收官之年的中國數(shù)字出版——2015～2016中國數(shù)字出版產(chǎn)業(yè)年度報告主報告(摘要)》，《出版發(fā)行研究》，2016年第8期。

3.周榮庭：《運營數(shù)字媒體》，科學(xué)出版社，2012年版，第35～40頁。

4.鮑金潔、周榮庭：《眾籌出版的運作模式和實踐策略研究——以〈消失的世界〉A(chǔ)R科普繪本為例》，《科技與出版》，2016年第8期。

5.楊麗娟、陳鵬、張鵬：《基于智能手機(jī)的增強(qiáng)現(xiàn)實技術(shù)綜述》，《軟件導(dǎo)刊》，2016年第3期。

6.趙沁平：《虛擬現(xiàn)實綜述》，《中國科學(xué)（F輯∶信息科學(xué)）》，2009年第1期。