基于增強(qiáng)現(xiàn)實(shí)技術(shù)的兒童識(shí)字系統(tǒng)的設(shè)計(jì)

摘要：本文基于3～6歲兒童的認(rèn)知發(fā)展特點(diǎn)，將增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）與兒童識(shí)字相結(jié)合，設(shè)計(jì)了一個(gè)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的兒童識(shí)字系統(tǒng)原型。該系統(tǒng)符合學(xué)齡前兒童的認(rèn)知發(fā)展特點(diǎn)，同時(shí)加入了多樣化的交互方式，為兒童營(yíng)造了真實(shí)生動(dòng)、充滿趣味的學(xué)習(xí)氛圍，有助于提高兒童的學(xué)習(xí)積極性，促進(jìn)兒童的漢字學(xué)習(xí)。

關(guān)鍵詞：兒童識(shí)字系統(tǒng)；增強(qiáng)現(xiàn)實(shí)；兒童認(rèn)知特點(diǎn)

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 論文編號(hào)：1674-2117（2024）15-0092-05

研究目標(biāo)

社會(huì)心理學(xué)家阿伯特·班杜拉認(rèn)為，對(duì)已經(jīng)具有使用象征符號(hào)能力的3～6歲兒童而言，記憶是一種生理需要，兒童識(shí)字更是兒童身心發(fā)展的必然需求。但在學(xué)前階段，兒童僅具有區(qū)分漢字和線條圖的基本能力，位置意識(shí)和部件意識(shí)還未能完全發(fā)展。[1]而增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）可以將計(jì)算機(jī)生成的虛擬物品疊加在真實(shí)環(huán)境上，增加學(xué)習(xí)的沉浸感。所以，本研究結(jié)合3～6歲兒童的認(rèn)知特點(diǎn)，將增強(qiáng)現(xiàn)實(shí)技術(shù)和識(shí)字系統(tǒng)相結(jié)合，通過在識(shí)字過程中融入動(dòng)畫、增加交互功能、設(shè)計(jì)講故事的環(huán)節(jié)等，從多個(gè)方面促進(jìn)兒童認(rèn)識(shí)漢字、使用漢字，實(shí)現(xiàn)寓教于樂。

相關(guān)理論

1.增強(qiáng)現(xiàn)實(shí)技術(shù)與識(shí)字系統(tǒng)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR）是虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱VR）技術(shù)的延伸，增強(qiáng)現(xiàn)實(shí)技術(shù)是借助于三維顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)、計(jì)算機(jī)視覺技術(shù)以及多媒體技術(shù)把計(jì)算機(jī)生成的二維或三維的虛擬信息融合到用戶所要體驗(yàn)的真實(shí)環(huán)境中的一種技術(shù)。[2]

筆者發(fā)現(xiàn)，識(shí)字系統(tǒng)利用AR技術(shù)，能夠?qū)⒂?jì)算機(jī)生成的圖片或文字疊加在現(xiàn)實(shí)物體上，增強(qiáng)信息表達(dá)，而兒童與系統(tǒng)交互能獲得語音、動(dòng)畫等反饋，從而將實(shí)體物品和文字連接起來，實(shí)現(xiàn)整體記憶。

2.兒童認(rèn)知特點(diǎn)

根據(jù)皮亞杰認(rèn)知發(fā)展理論，3～6歲的兒童處于前期運(yùn)算發(fā)展階段，他們的思維是具體形象的。3～6歲兒童對(duì)漢字的字形的認(rèn)識(shí)是逐漸發(fā)展的，對(duì)漢字與似字符號(hào)的辨別能力隨著年齡的增長(zhǎng)而提高，6歲兒童已經(jīng)具備較好的辨別能力。他們對(duì)漢字的筆畫特征和組合模式的意識(shí)，也是隨著年齡的增長(zhǎng)而增強(qiáng)。[3]另外，兒童對(duì)色彩是極為敏感的，色彩不僅能造成視覺上的沖擊，還能給心靈造成一定的觸動(dòng)，影響兒童情緒，引發(fā)兒童的想象力。

3.AR技術(shù)在兒童學(xué)習(xí)的應(yīng)用現(xiàn)狀

在促進(jìn)兒童學(xué)習(xí)方面，AR技術(shù)大多與繪本相結(jié)合，利用AR的交互性來提升兒童學(xué)習(xí)意愿。在識(shí)字應(yīng)用上，目前的產(chǎn)品大多是通過圖片和反復(fù)練習(xí)來幫助兒童識(shí)字。而利用AR技術(shù)將識(shí)字放入具體的環(huán)境中，可以更好地幫助兒童將知識(shí)與現(xiàn)實(shí)相聯(lián)系，利用生動(dòng)有趣的交互功能提高知識(shí)的傳授效率。

系統(tǒng)設(shè)計(jì)流程（如圖1）

1.進(jìn)行用戶調(diào)研

筆者邀請(qǐng)了部分幼兒園老師和學(xué)齡前兒童的家長(zhǎng)進(jìn)行訪談，了解兒童的行為特征和心理習(xí)慣。通過整理訪談結(jié)果，筆者對(duì)兒童的識(shí)字情況以及行為特點(diǎn)有了初步的了解，讓后續(xù)的設(shè)計(jì)有了依據(jù)。

2.確定理論基礎(chǔ)

通過訪談以及對(duì)國內(nèi)外相關(guān)文獻(xiàn)的閱讀，筆者在本研究的設(shè)計(jì)中確定了以情感化設(shè)計(jì)為理論基礎(chǔ)，在滿足兒童識(shí)字功能需求的基礎(chǔ)上，更加關(guān)注兒童的情感需求，將情感融入設(shè)計(jì)中，在交互過程中實(shí)現(xiàn)情感共鳴。[4]

3.繪制用戶體驗(yàn)地圖

用戶體驗(yàn)地圖可以進(jìn)一步了解用戶的使用感受和行為，并發(fā)現(xiàn)設(shè)計(jì)的機(jī)會(huì)點(diǎn)和痛點(diǎn)，優(yōu)化設(shè)計(jì)流程，提高用戶體驗(yàn)感，如圖2所示。

4.交互原型迭代

在實(shí)現(xiàn)數(shù)字原型之前，繪制紙質(zhì)原型進(jìn)行模擬，并不斷迭代確定數(shù)字原型。在數(shù)字原型制作的過程中，加入用戶可用性測(cè)試，以即時(shí)發(fā)現(xiàn)設(shè)計(jì)中存在的問題并及時(shí)修改。通過不斷地迭代和修改，確定最終設(shè)計(jì)的交互原型。

設(shè)計(jì)策略

1.鮮艷明亮的頁面顏色

色彩對(duì)兒童十分重要，針對(duì)處于前運(yùn)算思維階段的兒童，色彩設(shè)計(jì)應(yīng)選用濃烈、鮮艷的顏色，這樣可以引起他們強(qiáng)烈的興趣。[5]3～6歲的兒童已經(jīng)具有一定的色彩靈敏度，他們更加偏愛明亮鮮艷、活潑亮麗的顏色。但是，如果一味追求鮮艷的顏色，效果會(huì)適得其反，所以畫面中可以加入一些中性色或者降低色彩的飽和度來進(jìn)行調(diào)和。[6]在本研究的設(shè)計(jì)中應(yīng)充分考慮3～6歲兒童的色彩心理，頁面設(shè)計(jì)選用鮮艷明亮的顏色，既符合兒童的色彩心理，也能很好地激發(fā)兒童的學(xué)習(xí)興趣。同時(shí)，還應(yīng)注意加入一定的中性色或低飽和色，使頁面更加柔和。

2.虛實(shí)結(jié)合的內(nèi)容呈現(xiàn)

在兒童識(shí)字的過程中結(jié)合AR技術(shù)，用虛實(shí)結(jié)合的方式呈現(xiàn)學(xué)習(xí)的內(nèi)容，讓識(shí)字過程充滿更多的趣味性和互動(dòng)性，能更好地提高兒童注意力。同時(shí)，兒童還可以與內(nèi)容實(shí)時(shí)互動(dòng)，這樣能激發(fā)兒童的興趣，提升兒童的學(xué)習(xí)效率和積極性。

3.簡(jiǎn)單有趣的交互方式

學(xué)齡前兒童喜愛互動(dòng)、游戲，因此，在設(shè)計(jì)中筆者加入了簡(jiǎn)單且有趣的交互方式，給兒童營(yíng)造一個(gè)沉浸式的交互氛圍，提升兒童的學(xué)習(xí)趣味性和積極性。

具體設(shè)計(jì)與關(guān)鍵技術(shù)

本研究旨在設(shè)計(jì)一個(gè)基于移動(dòng)設(shè)備的AR交互兒童識(shí)字系統(tǒng)，使用戶可以通過掃描文字和實(shí)物學(xué)習(xí)對(duì)應(yīng)漢字的字音字形，建立思維聯(lián)結(jié)從而達(dá)到學(xué)習(xí)的目的。除此之外，用戶可以將多個(gè)單字以編故事的形式進(jìn)行串聯(lián)來學(xué)習(xí)抽象漢字的實(shí)際用法，或以識(shí)字游戲的形式將抽象文字和具體實(shí)物結(jié)合來加深記憶。

1.頁面整體設(shè)計(jì)

系統(tǒng)的邏輯結(jié)構(gòu)主要分為四個(gè)部分，分別是掃描、練習(xí)、識(shí)字游戲和識(shí)字編故事，以掃描頁面為主頁面，通過點(diǎn)擊邏輯按鈕實(shí)現(xiàn)不同功能板塊之間的跳轉(zhuǎn)。系統(tǒng)邏輯框架如上頁圖3所示。

本系統(tǒng)在界面的色彩設(shè)計(jì)方面以功能風(fēng)格為依據(jù)，將飽和度和明度雙高作為選色標(biāo)準(zhǔn)，掃描和練習(xí)板塊選用紅色和橙色兩種暖色作為主體色，針對(duì)識(shí)字游戲和識(shí)字編故事這兩個(gè)對(duì)邏輯性要求較高的板塊，選擇綠色和藍(lán)色兩種冷色作為主體色。系統(tǒng)主頁與功能跳轉(zhuǎn)如上頁圖4所示。

用戶打開系統(tǒng)即進(jìn)入掃描頁面，通過手機(jī)攝像頭等硬件對(duì)文字、實(shí)景物品進(jìn)行掃描或從儲(chǔ)存中調(diào)用圖片進(jìn)行掃描，將文字與實(shí)際場(chǎng)景進(jìn)行匹配，通過語音交互、雙指縮放旋轉(zhuǎn)、錄音跟讀等交互功能來實(shí)現(xiàn)漢字學(xué)習(xí)的體驗(yàn)真實(shí)化，進(jìn)而實(shí)現(xiàn)內(nèi)容可視化。掃描文字、掃描實(shí)景和語音交互與錄音識(shí)別效果，分別如上頁圖5、上頁圖6和上頁圖7所示。

練習(xí)板塊設(shè)置了定時(shí)插件，通過語音識(shí)別來判斷用戶的文字掌握情況，在一定時(shí)間內(nèi)通過答對(duì)題目的比例來檢驗(yàn)學(xué)習(xí)效果，達(dá)到復(fù)習(xí)和鞏固記憶的目的。學(xué)習(xí)者學(xué)習(xí)動(dòng)機(jī)的維持與學(xué)習(xí)反饋密不可分，系統(tǒng)將特別注意不同類別學(xué)習(xí)反饋的有效利用—根據(jù)習(xí)題的正確率高低分別給予正負(fù)反饋。[7]練習(xí)板塊的實(shí)現(xiàn)效果如圖8和圖9所示。

識(shí)字游戲板塊利用掃描功能使繪本中的圖案以3D效果形象展示，且可以選擇不同的聲音特效，進(jìn)而增加了用戶的體驗(yàn)感。游戲掃描頁面和結(jié)果反饋分別如圖10和圖11所示。

為了培養(yǎng)兒童的想象力，系統(tǒng)增設(shè)了識(shí)字編故事的功能。用戶可以自行選擇故事，在故事節(jié)點(diǎn)進(jìn)行文字匹配以完善故事情節(jié)，不同的選擇將引導(dǎo)故事不同的走向，以此鍛煉學(xué)習(xí)者的詞匯運(yùn)用和語句組織能力。

2.交互系統(tǒng)分析

系統(tǒng)設(shè)計(jì)中加入的交互主要有兩種：一是通過增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)交互；二是用戶與系統(tǒng)頁面元素之間的交互。

用戶和界面元素之間的交互主要涉及手勢(shì)和語音兩個(gè)方面。通過對(duì)用戶的手勢(shì)進(jìn)行監(jiān)測(cè)可以實(shí)現(xiàn)不同的操作效果，如雙指合攏擴(kuò)大實(shí)現(xiàn)三維實(shí)體的縮小和放大、單指滑動(dòng)實(shí)現(xiàn)三維實(shí)體的旋轉(zhuǎn)立體展示和動(dòng)畫互動(dòng)等。掃描和練習(xí)板塊對(duì)麥克風(fēng)收錄到的用戶語音進(jìn)行識(shí)別，和數(shù)據(jù)庫中的標(biāo)準(zhǔn)語音進(jìn)行比較，衡量用戶的學(xué)習(xí)效果。點(diǎn)擊交互、語音交互、手勢(shì)交互的融合給兒童帶來了多感官體驗(yàn)，在這些交互設(shè)計(jì)的基礎(chǔ)上衍生的兩個(gè)游戲化輔助識(shí)字功能不僅能滿足兒童玩游戲的需求，還有助于增加系統(tǒng)趣味性體驗(yàn)，激發(fā)兒童識(shí)字興趣，提升兒童的學(xué)習(xí)積極性。

3.關(guān)鍵技術(shù)

（1）3D實(shí)體的設(shè)計(jì)與實(shí)現(xiàn)

虛擬三維實(shí)體模型分為文字和物體兩類，其建立主要選擇了3Ds MAX軟件進(jìn)行搭建。對(duì)于文字和簡(jiǎn)單物體的建模，結(jié)合三視圖，通過“建模—貼圖—燈光—渲染”一系列操作進(jìn)行模型的搭建。對(duì)于較為復(fù)雜的物體，采用分組建模，將各部分完成優(yōu)化之后進(jìn)行組裝、調(diào)整，最終構(gòu)成模型。

（2）原型實(shí)現(xiàn)

本系統(tǒng)的開發(fā)充分運(yùn)用了敏捷開發(fā)的思想，追求快速響應(yīng)、迭代優(yōu)化以及時(shí)間成本最低，因此設(shè)計(jì)階段選擇即時(shí)設(shè)計(jì)這一輕量級(jí)原型設(shè)計(jì)網(wǎng)站進(jìn)行原型的設(shè)計(jì)與開發(fā)。同時(shí)，即時(shí)設(shè)計(jì)還支持共享創(chuàng)作實(shí)現(xiàn)溝通可視化，能夠顯著提高團(tuán)隊(duì)協(xié)作效率。以即時(shí)設(shè)計(jì)為創(chuàng)作平臺(tái)，結(jié)合色彩選擇、邏輯結(jié)構(gòu)和已搭建完成的3D實(shí)體模型實(shí)現(xiàn)原型設(shè)計(jì)和交互效果初步呈現(xiàn)。

（3）交互實(shí)現(xiàn)

在圖像識(shí)別方面選擇基于標(biāo)記的追蹤方法，在Unity 3D中導(dǎo)入SDK，利用掃描圖片的特征點(diǎn)來進(jìn)行圖像的識(shí)別。選用操作相對(duì)簡(jiǎn)單的Play Mark插件進(jìn)行可視化編程，結(jié)合Unity 3D中的Touchscript手勢(shì)識(shí)別插件來實(shí)現(xiàn)手勢(shì)操控三維實(shí)體的旋轉(zhuǎn)伸縮等。

將文字的發(fā)音和音效通過Adobe Audition進(jìn)行剪輯處理，然后導(dǎo)入Audio Clip，結(jié)合Audio Source組件和Image Target，在監(jiān)測(cè)到指定目標(biāo)物后用腳本控制Audio Source在實(shí)體展示時(shí)對(duì)特定內(nèi)容進(jìn)行播放，移開自動(dòng)停止。

（4）用戶數(shù)據(jù)庫的自動(dòng)生成

漢字?jǐn)?shù)據(jù)庫和用戶個(gè)人數(shù)據(jù)庫的建立運(yùn)用SQL Server2008進(jìn)行搭建，通過問卷和訪談對(duì)3～6歲兒童最需掌握的漢字進(jìn)行收集，然后進(jìn)行資源整合，將各漢字的文字、圖片、音頻和制作的3D模型錄入漢字?jǐn)?shù)據(jù)庫?；诮⒌臐h字?jǐn)?shù)據(jù)庫，結(jié)合掃描工具自動(dòng)調(diào)取該漢字的有關(guān)數(shù)據(jù)，學(xué)習(xí)后錄入用戶個(gè)人數(shù)據(jù)庫以保障練習(xí)功能的使用。

結(jié)語

兒童識(shí)字系統(tǒng)的設(shè)計(jì)應(yīng)符合兒童的認(rèn)知特點(diǎn)，同時(shí)，AR技術(shù)可以構(gòu)建具有真實(shí)感的學(xué)習(xí)氛圍。所以，將AR技術(shù)和識(shí)字系統(tǒng)結(jié)合，可以更好地提高兒童學(xué)習(xí)的主動(dòng)性。

參考文獻(xiàn)：

[1]李虹，彭虹，舒華.漢語兒童正字法意識(shí)的萌芽與發(fā)展[J].心理發(fā)展與教育，2006（01）：35-38.

[2]蔡蘇，宋倩，唐瑤.增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)環(huán)境的架構(gòu)與實(shí)踐[J].中國電化教育，2011（08）：114-119+133.

[3]趙靜，李甦.3～6歲兒童漢字字形認(rèn)知的發(fā)展[J].心理科學(xué)，2014，37（02）：357-362.

[4]李盧一，許蓉，鄭燕林.ARCS模型視角下網(wǎng)絡(luò)學(xué)習(xí)反饋設(shè)計(jì)[J].現(xiàn)代遠(yuǎn)距離教育，2013（03）：66-71.

[5]羅碧娟.探析兒童產(chǎn)品的色彩設(shè)計(jì)[J].包裝工程，2008（01）：177-178+186.

[6]朱吉虹，趙越超.基于兒童認(rèn)知發(fā)展的學(xué)齡前兒童APP界面交互設(shè)計(jì)研究[J].包裝工程，2020，41（10）：42-48.

[7]張枝實(shí).虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的教育應(yīng)用及融合現(xiàn)實(shí)展望[J].現(xiàn)代教育技術(shù)，2017，27（01）：21-27.

基金項(xiàng)目：2023年江蘇省高校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“基于增強(qiáng)現(xiàn)實(shí)技術(shù)的兒童識(shí)字系統(tǒng)的設(shè)計(jì)與開發(fā)”（項(xiàng)目編號(hào)：202310293141Y）。