5G 時代媒介融合視域下的童書沉浸式閱讀體驗研究

李莉

（運城學院，山西 運城 044000）

從1G 時代到5G 萬物互聯(lián)時代，隨著大數(shù)據(jù)、人工智能和深度學習等新科技、新理論在出版領(lǐng)域的應(yīng)用和滲透，使閱讀方式不再局限于紙質(zhì)或數(shù)字出版物等單一媒介[1]。增強現(xiàn)實（Augmented Reality，AR）和虛擬現(xiàn)實（Virtual Reality，VR）等技術(shù)更新了傳統(tǒng)出版模式，在紙媒的基礎(chǔ)上融合了多種傳播媒介，給讀者帶來了全新的呈現(xiàn)方式和閱讀體驗。特別是童書出版，正朝著“虛擬與現(xiàn)實”“技術(shù)與藝術(shù)”的多元化方向邁進，并逐步呈現(xiàn)出平面與立體、單向與互動、靜態(tài)與動態(tài)并存的閱讀新形態(tài)，帶給兒童全感官互動、全身心投入的沉浸式閱讀體驗[2]。

在科技更新與經(jīng)濟利益的驅(qū)動下，中信出版社、江西美術(shù)出版社等國內(nèi)多家出版社嘗試發(fā)行了VR/AR童書。根據(jù)淘寶、京東、亞馬遜和當當?shù)榷嗉揖€上銷售平臺的評價反饋數(shù)據(jù)顯示，VR/AR 童書深受家長和孩子們的喜愛，但也存在著交互效果差、形式單一、沉浸感較弱等問題[3]。機遇與挑戰(zhàn)并存，為了調(diào)動兒童多感官體驗、提高孩子閱讀興趣、提升沉浸效果等，深度探究基于5G 時代媒介融合視域的童書沉浸式閱讀體驗理論工作已迫在眉睫。

1 媒介融合視域下童書的表征與內(nèi)涵

美國新聞學會媒介研究中心主任安德魯·納奇森（Andrew Nachison）指出，媒介融合指印刷、音頻、視頻、互動性數(shù)字媒體組織等各個媒介之間的合作和聯(lián)盟[4]。在5G 時代，新媒體、新技術(shù)成為媒介融合發(fā)展的直接推動力，各類傳播方式互為補充、互相融合，形成了“你中有我，我中有你”的媒介生態(tài)環(huán)境，實現(xiàn)了在真實環(huán)境和虛擬內(nèi)容中進行互動的閱讀體驗[5]。

媒介融合語境的形成，對童書的影響是深刻而全面的，使其具有了新的表征和內(nèi)涵。從表征上來看，依托于5G 互聯(lián)網(wǎng)技術(shù)構(gòu)建的“紙媒+多媒介”相結(jié)合的新型閱讀形態(tài)，可以使童書的形式和內(nèi)容更加豐富。在5G 商用越來越多的情況下，萬物互聯(lián)的多屏性和多端性使“屏幕”的邊界模糊性加強，不久的將來會迎來到處是屏幕的“屏民時代”，閱讀會變得隨處可見。這種突破時空限制而形成的多維、立體化的多媒介閱讀形態(tài)，在數(shù)字信息技術(shù)支撐下，讓童書變得“活”起來，實現(xiàn)了閱讀內(nèi)容上的無限擴展[6]。

從內(nèi)涵上看，多種交互技術(shù)在傳統(tǒng)童書中的滲透，可以將讀者從單純的文本閱讀帶入虛擬現(xiàn)實之中，使他們成為童書內(nèi)容的參與者及創(chuàng)造者，實現(xiàn)了“虛擬與現(xiàn)實”有機結(jié)合的童書閱讀方式。這種從文本閱讀到沉浸式閱讀體驗的變化，從根本上激發(fā)了兒童的閱讀興趣，使其閱讀方式和閱讀質(zhì)量等得到了完善和擴展。媒介融合語境的形成是童書發(fā)展的新機遇，把握好這個機遇，必將開辟出更為廣闊的發(fā)展空間。

2 童書沉浸式閱讀體驗的特性

沉浸式閱讀體驗是書籍設(shè)計者借助虛擬現(xiàn)實技術(shù)、藝術(shù)手段，通過對文本場景、氛圍的營造，使讀者在閱讀過程中置身于虛實相生、身臨其境的事件環(huán)境中的全場景沉浸式信息接收體驗過程，因此，也被稱為代入感、置入感。具體到童書閱讀來說，沉浸體驗主要分為3 個階段。第1 個階段是參與閱讀，兒童主要通過聽覺和視覺2 種感知方式，對書本的主要內(nèi)容進行初步了解，并開始閱讀。第2 個階段是投入閱讀，隨著閱讀的深入，兒童已經(jīng)逐漸忘記了現(xiàn)實世界，主動還原閱讀世界的感知，并獲得興奮感、緊張感、期待感等諸多新的審美體驗。第3 個階段是沉浸閱讀，當兒童感到閱讀可以給他們帶來新的審美愉悅后，就會主動選取適合自己的聽覺和視覺要素，不知不覺中參與到新的情境營造中，使閱讀體驗由投入式上升為沉浸式。由此可見，能否進入沉浸式閱讀階段是衡量兒童閱讀質(zhì)量的一個重要標準，也是童書創(chuàng)作和制作的重要導向[7-9]。

3 媒介融合視域下童書閱讀沉浸體驗的優(yōu)勢

當今，在融合多種媒介進行信息傳遞的閱讀語境下，童書閱讀的科技化、智能化、多樣化的特點越來越突出。立體、真實的敘事場景，開放式的敘事內(nèi)容和風格迥異的敘事氛圍都帶給小讀者們?nèi)泄俚幕芋w驗，孩子們在閱讀時會隨著敘事內(nèi)容的變化產(chǎn)生不同的情緒反饋和情感共鳴，進而完全進入沉浸式閱讀狀態(tài)。不斷豐富和發(fā)展的媒介資源帶來的沉浸體驗對童書的閱讀有著積極的推動作用。

3.1 激發(fā)閱讀興趣，提升閱讀效率

傳統(tǒng)紙質(zhì)童書缺乏與讀者之間的互動，使兒童在閱讀時的參與渠道十分單一。而在“紙媒+”這種融媒介的新型閱讀方式中融入更多參與互動性，可以讓讀者感受到身臨其境的沉浸式閱讀體驗。根據(jù)兒童天真、愛玩的本性，讓他們根據(jù)自身需求選擇“看”書還是“聽”書，選擇“旁觀”還是“進入現(xiàn)場”，小讀者有可能就是內(nèi)容的創(chuàng)造者、傳播者，這種兼具內(nèi)容和形式的趣味互動功能的童書，可以使他們在愉快的氣氛中沉浸閱讀，這既能增強兒童閱讀的主動性和積極性，幫助他們更好地閱讀文化內(nèi)容，也可以充分激發(fā)兒童的閱讀興趣，讓他們從中探索和獲取知識，提高其探索和參與的欲望，并提升其閱讀效率。如果閱讀方式符合兒童的認知心理，他們在融媒介的沉浸式閱讀中就更能在精神、心靈、感受上全身心地投入閱讀[10]。

3.2 鍛煉想象力，開拓創(chuàng)造性思維

充滿沉浸感體驗的閱讀方式能夠滿足兒童天馬行空的想象力。首先，在孩子們閱讀時，為他們打造一個能夠沉浸式閱讀的充滿想象空間的氛圍，可以調(diào)動孩子的形象思維，拓展孩子想象的深度及廣度。其次，在思維探索的啟蒙階段，孩子們最初的感受途徑就是他們的感官。沉浸式閱讀能給兒童帶來視覺、聽覺等多感官體驗，通過這種閱讀形式，既能使兒童直觀地感受童書的故事內(nèi)容，也能引發(fā)孩子們的求知欲和探索欲，從而激發(fā)其創(chuàng)造性思維。

3.3 提升綜合能力

沉浸式的閱讀體驗可以提升兒童的綜合能力。首先，這種閱讀的方式可以給兒童提供有效閱讀及認知的平臺，還能不斷增強他們對問題的分析和解決能力。其次，利用圖書視覺上的美感，對兒童的藝術(shù)鑒賞能力形成引導，能夠充分挖掘其藝術(shù)潛能，提高他們的審美能力。再次，書中的故事角色或場景可以與兒童讀者進行有趣的互動，這種人機交互式的沉浸式體驗和隱形的秘密操作，會大大提升孩子的專注力和創(chuàng)造力。最后，從“單一性”逐漸轉(zhuǎn)換到“沉浸式”的閱讀行為方式，將會影響孩子們的閱讀習慣，也會增強孩子們的整體意識及團隊意識，從而提高他們的整體協(xié)作能力。

總而言之，這種“沉浸式”的閱讀體驗將會極大地提升孩子們的閱讀主動性，給孩子的感官發(fā)育帶來幫助，并提高其探索意識，增強其專注力、創(chuàng)造力及觀察力，促進兒童內(nèi)在潛能的開發(fā)。

4 媒介融合視域下童書沉浸式閱讀體驗的達成路徑

兒童在閱讀傳統(tǒng)紙質(zhì)書的過程中，只能通過“閱讀”這一方式與書本產(chǎn)生互動，使兒童的參與渠道十分單一，參與程度比較低，沉浸感的形成也受到較大限制。在多媒體時代，可以運用多種技術(shù)及藝術(shù)手段，通過精彩的創(chuàng)意、精致的設(shè)計及科學的技術(shù)，在操作和交互上深入發(fā)掘，將文化、藝術(shù)與科技完美結(jié)合，實現(xiàn)虛擬場景與閱讀現(xiàn)實相互滲透和融合的“紙媒+多媒介”閱讀形態(tài)，使其各顯其能，讓兒童以最大的興趣進行閱讀體驗活動，以此激發(fā)他們在閱讀時的參與意識，進而產(chǎn)生交互意愿、動作及行為，從而在閱讀中、閱讀后均有良好的沉浸式的體驗和感受，見圖1。

要想營造身臨其境的沉浸式閱讀體驗，需要從感官體驗和認知體驗2 個方面進行綜合考量。童書出版商應(yīng)緊緊把握兒童感知、認知等諸多特點，從文化、藝術(shù)和科技的角度進行多路徑的設(shè)計與研發(fā)，以此形成具有沉浸式閱讀體驗的童書作品。

4.1 多維的敘事場景空間

圖書中的敘事場景多指主要角色所在的環(huán)境空間，這點在童書中尤為明顯。兒童對多維立體空間有著更加直觀的認知特性，因此，在童書創(chuàng)作時要突破傳統(tǒng)紙媒圖書線性傳播、扁平化敘事空間的局限性，根據(jù)故事情節(jié)，充分利用5G 超高網(wǎng)速、超低時延、超大連接的特性，積極搭建現(xiàn)實世界與虛擬世界的非線性敘事場景，給孩子們營造一個真實、豐富、完整的全景。這樣，讀者在閱讀過程中就能置身于圖書營造的真實現(xiàn)場之中，從一個被隔離在閱讀內(nèi)容之外的被動讀者轉(zhuǎn)變成閱讀內(nèi)容的參與者和體驗者。這種方式可以讓書籍的靜態(tài)空間“活”起來，將閱讀行為從二維平面轉(zhuǎn)換到多維立體空間[11]，從而強化視覺效果，使兒童迅速融入劇情，產(chǎn)生身臨其境的體驗，實現(xiàn)虛擬情境與閱讀現(xiàn)實的完美融合。

在《大開眼界恐龍世界大冒險》童書中，將先進的VR 技術(shù)與傳統(tǒng)紙質(zhì)材料有機結(jié)合起來，有效改變了傳統(tǒng)童書的閱讀效果。其中奔跑、飛翔的恐龍，真實、立體的山谷和呼嘯的風聲營造出多重感受的敘事場景，增強了兒童在視覺、聽覺、觸覺上的具象感知能力，使他們更加主動地深入探索恐龍的世界，這樣不僅可以引發(fā)孩子強烈的好奇心，增強其閱讀趣味性與可參與性，還能給孩子們帶來更多想象空間，極大地促進了其良好閱讀習慣的養(yǎng)成。在日本作家KAORU的VR 繪本《博士和萬有引力的蘋果》中，還采用了CG 技術(shù)，畫面效果真實、形式新穎，作者希望體驗者能夠真正進入繪本呈現(xiàn)的敘事場景之中，身臨其境地感受繪本故事。又如墨策國際借助HTC Vive 技術(shù)與設(shè)備，將幾米繪本《我的世界都是你》打造成了360°全景空間，讀者能在漫畫作品所處的敘事空間中與角色互動，從而增強了閱讀的沉浸感。

4.2 開放性的敘事內(nèi)容

在5G 時代媒介融合的背景下，打破傳統(tǒng)童書“一條路走到底”的單一模式，通過營造開放性的敘事內(nèi)容，激發(fā)兒童的閱讀興趣，增強兒童的參與意識，賦予“紙媒+科技”童書一種全新的沉浸式閱讀體驗。好奇心是人的天性，根據(jù)兒童所具有的認知、思維、技能等特點，在童書中一些關(guān)鍵節(jié)點設(shè)置開放選擇的權(quán)利，通過設(shè)定交互的方式，產(chǎn)生不同的故事情節(jié)、結(jié)局，同時還可以進行角色選擇和空間裝扮等，讓孩子在閱讀中的參與感更強烈。例如，讓兒童選擇主人公的身材、外貌、衣著，或者在閱讀過程中圍繞故事情節(jié)設(shè)置多個選擇，比如可能順利達到終點，也可能遇到各種波折，還有可能會回到原點，不同的選擇產(chǎn)生不同的結(jié)局等開放式內(nèi)容。這種以第一人稱視角敘事，激發(fā)想象力和創(chuàng)造力的過程，極大地滿足了兒童的好奇需求。開放式的敘事內(nèi)容也給了小讀者更多沉浸式的全新體驗，會讓兒童感到自己也是這本書的一部分，由此滿足了兒童的個性化需求[12]。

繪本《我該怎么辦》中，有一個場景是主人公在探險時遇到了危險，這時候繪本上會提示2 種選擇，一個是“誰來幫幫我”，另一個是“我一定可以戰(zhàn)勝你”。繪本接收到兒童的語音指令后，會分別呈現(xiàn)出不同的回應(yīng)，來繼續(xù)推動故事情節(jié)的發(fā)展，這樣可以真正讓兒童獲得身臨其境的感受，使其全身心地沉浸在繪本描繪的世界中。這種開放式的敘事內(nèi)容，讓孩子不再是被動的閱讀，通過對故事情節(jié)中各種預(yù)設(shè)問題的選擇，用戶無意識地進行了主動思考，不同的選擇面臨不同的結(jié)果，這鍛煉了孩子的思維能力和面對挫折的能力，從而達到了寓教于樂的目的。

4.3 多樣性的敘事氛圍

在借助場景進行敘事的童書中，數(shù)字技術(shù)營造的虛擬空間使氛圍的重要性大大提升，讀者在閱讀的同時進入了一個全新的“世界”。沉悶、緊張、歡快等多樣的敘事氛圍開啟了孩子們妙趣橫生的閱讀之旅，使他們可以“穿越”到書本的不同情境中，豐富自己的閱讀感受，提升沉浸體驗。敘事氛圍的營造與故事情節(jié)密切相關(guān)，設(shè)計者可以通過對道具、色彩、構(gòu)圖、光影、音響、節(jié)奏、質(zhì)感等元素的設(shè)計，結(jié)合敘事內(nèi)容營造出迥異的敘事氛圍，并呈現(xiàn)出不同的視聽效果（或明亮、或緊張、或夸張、或樸實、或恐怖、或舒緩），使用戶的情緒不斷波動變化，從而產(chǎn)生沉浸式的閱讀體驗。

《恐龍的溫馨故事》系列繪本的場景設(shè)計多以大色塊出現(xiàn)，色調(diào)飽和度較高，畫面呈現(xiàn)出較強的裝飾性和張力，突顯出圖書的色彩個性，給人帶來直觀的視覺沖擊。森林、土地與海洋采用了高純度的墨綠色、明黃色和天藍色，整體給人鮮明的色彩感受，故事之中的主要角色則與之相反，采用了低純度的色彩，這種色彩對比形成了畫面的節(jié)奏感，更加強調(diào)環(huán)境色彩對讀者閱讀時的心理影響，輔助柔和舒緩的音樂背景，形成了輕松的沉浸式閱讀氛圍。

4.4 多感官的互動體驗

亞里士多德認為“人的智力無一不來自感官的學習”。日本著名書籍裝幀設(shè)計師杉浦康平提出，需要將人類感官具備的感知能力（視覺、觸覺、聽覺、嗅覺和味覺）運用在書籍設(shè)計中。他認為人與書在交流的過程中，視覺、觸覺、聽覺、嗅覺和味覺會同時產(chǎn)生反應(yīng)，這種感官間的相互融合會賦予書籍強大的生命力。在新技術(shù)的支撐下，設(shè)計師借助視頻、音頻、VR/AR 等多種智能媒介設(shè)備和技術(shù)，可以突破時空界限，完成從視覺—視聽—多感知的藝術(shù)過渡，同時可以調(diào)動各種感覺器官，實現(xiàn)從靜態(tài)閱讀到動態(tài)閱讀，這種感官體驗是情感化和科技化的結(jié)合，其相互交融、相互滲透、相互轉(zhuǎn)換，讓兒童在閱讀時達到身臨其境的多感官沉浸式的互動體驗[13]。例如靈活多變的空間動態(tài)視覺體驗，手指不同的觸感體驗，音頻的全方位聽覺體驗，直觀、刺激的嗅覺或味覺互動體驗，設(shè)計師可以從各個角度改變傳統(tǒng)的純視覺閱讀方式，在充分調(diào)動小讀者多種感官的同時，極大地促進兒童與書籍之間的互動，實現(xiàn)從虛擬到現(xiàn)實、從靜態(tài)到動態(tài)的全方位五感沉浸式閱讀體驗。

4.5 情緒反饋與情感共鳴

童書沉浸式閱讀的巨大優(yōu)勢是可以通過新媒體技術(shù)把讀者帶入故事情節(jié)中，使他們感覺到自己是書的參與者。在閱讀過程中，讀者可以用手觸摸草地上柔軟的鮮花，可以聽到主人公的聲音，可以幫老奶奶打開房間的窗戶，可以根據(jù)故事情節(jié)產(chǎn)生鎮(zhèn)靜、驚喜、悲傷等情緒。讀者在閱讀中主動參與互動，借助不同的媒介和技術(shù)來完成體驗，可以獲取不同的情緒反饋，產(chǎn)生多樣的情感共鳴，從而充分體驗與書籍的共生和滲透，讓讀者不再是旁觀的人，而是作為參與互動者得到內(nèi)心的觸動、情感的共鳴，此時讀者完全進入沉浸式的體驗狀態(tài)。

2017 年2 月由長江少年兒童出版社出版的德國兒童體驗小百科叢書《宇宙》一書中，描述了主人公安娜在爸爸的陪同下，以天文館為背景了解宇宙的故事。在閱讀的過程中小讀者可以借助AR 技術(shù)體驗親手點火并把航天飛機送入太空的過程，還能以航天飛機的視角在太空中觀看浩瀚星辰，探索超新星、黑洞、紅巨星的秘密。小讀者在整個閱讀過程中完全沉浸在對未知世界的渴望中，他們的情緒也隨著閱讀體驗發(fā)生著變化，這種沉浸式閱讀激發(fā)了他們對航空、航天知識的學習熱情。

5 媒介融合視域下童書閱讀沉浸體驗的注意問題

人和技術(shù)的互相作用，使閱讀氛圍和行為因為閱讀媒介的發(fā)展而發(fā)生了變化，需要人們從歷史的角度仔細地思考閱讀方式的根本變化。將圖像或視頻觀看代替文本閱讀，是否會對兒童閱讀能力、文本鑒賞能力和表達能力的提高構(gòu)成挑戰(zhàn)。多感官、多元化的“沉浸式”閱讀體驗，是否會讓人忽視去探究文本的深度和內(nèi)涵，是否又將導致孩童的思維及語言能力發(fā)展遲緩。過于豐富的趣味性是否會弱化孩子的注意力，學習效果會不會因此變差。出版者是否真正將書籍內(nèi)容與兒童認知結(jié)合起來，依據(jù)兒童認知發(fā)展理論來界定年齡分段并優(yōu)化內(nèi)容。這些問題都有待行業(yè)和相關(guān)理論工作者進一步論證[14-15]。

6 結(jié)語

推進“互聯(lián)網(wǎng)+”出版轉(zhuǎn)型不僅是國家政策的需要，更是順應(yīng)時代發(fā)展的需要。如今，傳統(tǒng)紙質(zhì)媒介與數(shù)字傳播媒介的相互融合已經(jīng)逐漸成為出版行業(yè)的發(fā)展方向，這是技術(shù)發(fā)展、文明提升的結(jié)果?？梢灶A(yù)見，在今后很長一段時間內(nèi)，媒介融合技術(shù)將是童書發(fā)展的主流方向。

目前還會有家長以近視率提升、沉迷電子產(chǎn)品為由斷然拒絕融媒介的閱讀方式，然而新媒體技術(shù)已經(jīng)滲透在生活的方方面面，完全脫離融媒介的閱讀方式也必然會脫離時代。在未來融合多種媒介的童書出版中，出版方應(yīng)該加強對小讀者沉浸式閱讀體驗的深入研究，探索、發(fā)展成熟的童書閱讀生態(tài)環(huán)境，不斷加強文化、藝術(shù)和技術(shù)之間的關(guān)聯(lián)，讓閱讀呈現(xiàn)出更多非線性、多線性的方式，以動靜、虛實結(jié)合的內(nèi)容來刺激小讀者的感官，帶給他們新奇、有趣的沉浸式閱讀體驗，使其在精神、心靈、感受上全身心地投入閱讀。筆者也正是基于此目的，從沉浸感的角度就媒介融合技術(shù)的運用進行了初步分析，希望可以引起從業(yè)者的充分重視，真正做到與時俱進，引領(lǐng)當代童書的發(fā)展邁上新臺階。當然，營造沉浸式閱讀的書籍形態(tài)設(shè)計方法應(yīng)是多種多樣的，并不局限于以上內(nèi)容。童書出版行業(yè)要主動順應(yīng)5G 環(huán)境下的媒體發(fā)展規(guī)律，加速推進媒介融合，促進業(yè)態(tài)多元創(chuàng)新，提供更加豐富的閱讀產(chǎn)品和服務(wù)，以滿足兒童精神文化的新需求。