基于投影的中國(guó)歷史教育圖冊(cè)交互系統(tǒng)

江南大學(xué)數(shù)字媒體學(xué)院 周天旭 沈培芳 黃新穎 張乃嘉 香佳慧 夏鴻斌

0 引言

兒童教育一直是社會(huì)關(guān)注的焦點(diǎn)。隨著二孩政策的實(shí)施，中國(guó)的兒童數(shù)量將在近十年內(nèi)得到提高，如何在互聯(lián)網(wǎng)浪潮之下教育孩子已經(jīng)成為家長(zhǎng)、社會(huì)最為關(guān)心的問題。而歷史教育作為當(dāng)前教育制度下不可或缺的部分，以其特有的文化性價(jià)值對(duì)兒童起到了文化啟蒙，人格奠基的作用。但是，現(xiàn)有的以傳統(tǒng)書籍和多媒體教學(xué)作為主要形式的教育方式，因其內(nèi)容形式單一，難以激發(fā)兒童學(xué)習(xí)歷史的興趣，教育成果甚微。據(jù)調(diào)查發(fā)現(xiàn)，目前市場(chǎng)上的教育軟件數(shù)目可觀，但因其承載于智能設(shè)備，存在娛樂誘惑過多、長(zhǎng)時(shí)間使用會(huì)損傷兒童視力等問題，利用率相對(duì)較低。而書籍作為傳統(tǒng)的教育載體，因其固態(tài)化、不可變性和表現(xiàn)形式單一逐漸在兒童教育市場(chǎng)失去主流地位。

該設(shè)計(jì)利用攝像頭投影儀的互動(dòng)投影系統(tǒng)[1][2]，成本較低，利用空白書冊(cè)呈現(xiàn)可視化的歷史知識(shí)， 保留紙質(zhì)書觸感的同時(shí)，通過交互式游戲化被動(dòng)知識(shí)輸入為主動(dòng)感官接收，解決了歷史教育難以滲透的問題。

1 交互系統(tǒng)圖冊(cè)內(nèi)容設(shè)計(jì)

該設(shè)計(jì)以無錫歷史為切入點(diǎn)，聚焦在宋至近現(xiàn)代歷史時(shí)期的集市演變過程，并融入該歷史階段的動(dòng)植物變遷、傳統(tǒng)美食文化發(fā)展等要素。主要表現(xiàn)形式為互動(dòng)游戲，旨在進(jìn)一步提升交互趣味性，提高參與度，化被動(dòng)知識(shí)輸入為主動(dòng)感官接收，從接收到理解，進(jìn)而應(yīng)用，最終形成可持續(xù)知識(shí)學(xué)習(xí)系統(tǒng)。由于圖冊(cè)設(shè)計(jì)面向用戶主要是3-8歲兒童，而兒童認(rèn)識(shí)客觀世界是從感知覺開始的，因此，該設(shè)計(jì)注重感官體驗(yàn)，實(shí)現(xiàn)視覺、聽覺、觸覺三位一體，符合兒童認(rèn)知特性。通過明麗色彩對(duì)比激發(fā)兒童視覺認(rèn)知，結(jié)合聲效及觸覺互動(dòng)體驗(yàn)，做到知識(shí)立體化，動(dòng)態(tài)化，準(zhǔn)確把握兒童用戶的真正需求。

1.2 視聽教育

圖冊(cè)以無錫特有蠶貓為主要角色，構(gòu)造主人公夢(mèng)境世界。通過蠶貓夢(mèng)中游歷見證無錫歷史發(fā)展過程，實(shí)現(xiàn)從現(xiàn)代至古代的自然過渡，增強(qiáng)兒童角色代入感。

1.3 多語(yǔ)言學(xué)習(xí)

圖冊(cè)設(shè)置特色板塊，能夠進(jìn)行多種語(yǔ)言，包括中、英、日、西語(yǔ)輔導(dǎo)講解學(xué)習(xí)（圖1）。運(yùn)用語(yǔ)音識(shí)別技術(shù)，能夠?qū)和膶W(xué)習(xí)狀態(tài)進(jìn)行分析，并設(shè)計(jì)個(gè)性化的多語(yǔ)言沉浸式學(xué)習(xí)方案。

圖1 多語(yǔ)言學(xué)習(xí)

1.4 圖鑒教育

圖冊(cè)穿插圖鑒形式，列舉歷史發(fā)展中京杭大運(yùn)河無錫段水生物、昆蟲和特色飲食，還原無錫歷史自然場(chǎng)景。通過觸摸事件，傳值到顯示對(duì)應(yīng)文字信息，同時(shí)放大圖片。結(jié)合多樣化的娛樂游戲形式，帶給兒童樂趣與知識(shí)。

1.5 游戲?qū)W習(xí)

實(shí)踐知識(shí)游戲 我們?cè)O(shè)計(jì)了精加工游戲讓兒童了解并學(xué)會(huì)應(yīng)用米的生產(chǎn)流程。

兒童利用手指控制米的移動(dòng)方向，正確選擇米的加工路徑通關(guān)進(jìn)入優(yōu)化生產(chǎn)流程（歷史演變進(jìn)入新朝代）。

錯(cuò)誤選擇加工路徑，將進(jìn)入誤選的農(nóng)作機(jī)械，觸發(fā)關(guān)于此機(jī)器的游戲，學(xué)習(xí)其操作，鞏固知識(shí)。例如魔法驢游戲通過喂養(yǎng)驢，鼓勵(lì)驢拉磨，兒童可以從中學(xué)習(xí)整個(gè)磨面過程。

自然生物知識(shí)游戲 設(shè)計(jì)還原各種自然生物，如鳥、蟲、魚等形象（圖2），我們?cè)O(shè)置多種游戲模式，鞏固加深知識(shí)印象。如消除游戲，先后點(diǎn)擊信息點(diǎn)與圖片，數(shù)據(jù)處理設(shè)備接收兩次點(diǎn)擊動(dòng)作后，對(duì)應(yīng)即輸出連線成功消除。通過簡(jiǎn)單測(cè)試鞏固知識(shí)，完善知識(shí)系統(tǒng)。

圖2 魚類圖鑒內(nèi)容

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)框架

以空白書冊(cè)為光學(xué)成像媒介，采用實(shí)時(shí)動(dòng)作捕捉對(duì)使用者進(jìn)行手勢(shì)識(shí)別及觸點(diǎn)感知，輸出交互式游戲情境，產(chǎn)生一系列動(dòng)作反饋（圖3）。

2.2 系統(tǒng)實(shí)現(xiàn)

2.2.1 開發(fā)平臺(tái)及工具

Unity3D 圖冊(cè)利用Unity3D 搭建游戲場(chǎng)景，實(shí)現(xiàn)手勢(shì)觸控操作，控制音效及三維動(dòng)畫。作為多平臺(tái)的綜合型游戲開發(fā)工具，該游戲引擎開發(fā)的圖冊(cè)內(nèi)容可發(fā)布至Windows、Mac、Wii、iOS 、Android等多平臺(tái)，用戶家庭可以靈活選擇互動(dòng)投影系統(tǒng)數(shù)據(jù)處理端，例如不同系統(tǒng)的手機(jī)、計(jì)算機(jī)等，極大改善了設(shè)計(jì)延展性和普適性。

C#腳本語(yǔ)言 游戲場(chǎng)景應(yīng)用C#腳本語(yǔ)言。C#綜合了VB簡(jiǎn)單的可視化操作和C++的高運(yùn)行效率，可調(diào)用由 C/C++ 編寫的本機(jī)原生函數(shù)，源代碼的可移植性高，提高軟件開發(fā)效率的同時(shí)也將降低了開發(fā)成本，便于維護(hù)。

Box2d圖冊(cè)運(yùn)用開源物理游戲引擎Box2d，其集成了大量的物理力學(xué)和運(yùn)動(dòng)學(xué)的計(jì)算，并將物理模擬過程封裝到類對(duì)象中，開發(fā)過程中調(diào)用引擎中相應(yīng)的對(duì)象用于模擬剛性物體運(yùn)動(dòng)和碰撞[3]，從而為兒童提供仿真的游戲環(huán)境和交互體驗(yàn)。

圖3 中國(guó)歷史教育圖冊(cè)設(shè)計(jì)技術(shù)架構(gòu)圖

2.2.2 交互設(shè)計(jì)關(guān)鍵點(diǎn)

框標(biāo)頁(yè)碼追蹤 該設(shè)計(jì)利用開源，跨平臺(tái)的計(jì)算機(jī)視覺框架reacTIVision，通過攝像頭實(shí)時(shí)跟蹤存儲(chǔ)頁(yè)碼的框標(biāo)（圖4），進(jìn)而兒童可以通過切換書冊(cè)頁(yè)碼，實(shí)現(xiàn)內(nèi)容切換?；驹砣缦拢菏紫葘⒃磮D像幀用自適應(yīng)閾值算法轉(zhuǎn)換成黑白圖像，圖像被分割成黑白交替的樹（區(qū)域鄰接圖）；然后在該圖中搜索唯一的左深度序列，其已經(jīng)被編碼到框標(biāo)中。最后，搜索到的樹序列被匹配到一個(gè)預(yù)設(shè)的字典來檢索一個(gè)唯一的ID號(hào)碼，高效計(jì)算標(biāo)記的中心點(diǎn)及其方向。通過實(shí)施有形用戶界面（TUIO）協(xié)議的OSC消息對(duì)基準(zhǔn)點(diǎn)的存在，位置，方向和身份進(jìn)行編碼，并將這些數(shù)據(jù)傳輸?shù)娇蛻舳藨?yīng)用程序（圖5）[5]。

圖4 存儲(chǔ)頁(yè)碼的框標(biāo)例圖

圖5 操作仿真圖

目錄數(shù)據(jù)存儲(chǔ) 圖冊(cè)以書架喻為目錄，掉落書冊(cè)喻為其中章節(jié)。兒童可以點(diǎn)擊任意書冊(cè)直接進(jìn)入相應(yīng)游戲場(chǎng)景。亦可通過翻頁(yè)進(jìn)入。目錄頁(yè)存儲(chǔ)用戶使用數(shù)據(jù)，目錄頁(yè)的章節(jié)順序?qū)崟r(shí)動(dòng)態(tài)變化（圖6）。初始狀態(tài)的章節(jié)順序按默認(rèn)設(shè)定安排，隨后，按用戶使用頁(yè)碼頻次決定距離中心視覺點(diǎn)的遠(yuǎn)近，此處應(yīng)用人機(jī)交互數(shù)學(xué)模型菲茲定律（ID=log2（A/W+1））[5]，次數(shù)最多的頁(yè)碼對(duì)應(yīng)元素置于圖冊(cè)絕對(duì)中心位置，其余同理排列，最小化任意一點(diǎn)到用戶目標(biāo)位置的距離，從而提升交互體驗(yàn)。

圖6 目錄

數(shù)據(jù)處理及輸出顯示 數(shù)據(jù)處理端為具備計(jì)算處理能力的計(jì)算機(jī)或其他移動(dòng)智能設(shè)備。根據(jù)輸入的觸點(diǎn)位置坐標(biāo)及框標(biāo)對(duì)應(yīng)標(biāo)簽，通過程序輸出聲音 、顯示搭建的游戲場(chǎng)景。并采用音箱為圖冊(cè)提供聲音維度的輸出，在提供觸覺反饋的同時(shí)，豐富感官輸入[6]。

2.2.3 硬件設(shè)計(jì)與系統(tǒng)搭建

系統(tǒng)組成包括圖冊(cè)繪本，交互投影一體機(jī)（投影儀、攝像頭、支撐設(shè)備、亞克力板、Touch Foil）（圖7）。

連接電腦設(shè)備或其他移動(dòng)智能設(shè)備，打開系統(tǒng)，可投影繪本。攝像頭捕捉書本位置、頁(yè)碼變化，傳輸信息至系統(tǒng)，即可根據(jù)兒童行為進(jìn)行內(nèi)容變換，實(shí)現(xiàn)實(shí)時(shí)交互。

圖7 交互投影一體機(jī)樣機(jī)

3 總結(jié)

該設(shè)計(jì)將數(shù)字媒體技術(shù)與藝術(shù)緊密聯(lián)系，形象還原歷史事件，利用軟件開發(fā)實(shí)現(xiàn)交互游戲場(chǎng)景。通過攝像頭投影儀的交互系統(tǒng)，以傳統(tǒng)紙質(zhì)書本為介質(zhì)，在保留紙質(zhì)觸感及閱讀體驗(yàn)之時(shí)，實(shí)現(xiàn)了歷史知識(shí)可視化。通過追蹤技術(shù)，檢測(cè)畫冊(cè)的當(dāng)前位置與書頁(yè)信息，實(shí)時(shí)改變投影內(nèi)容，精準(zhǔn)計(jì)算兒童指尖坐標(biāo)，對(duì)兒童在畫冊(cè)上的行為作出反饋，使兒童形成感官認(rèn)知輸入學(xué)習(xí)。與其他教育類互動(dòng)設(shè)備相比，其考慮到兒童與家長(zhǎng)的雙方需求，具有更大的市場(chǎng)競(jìng)爭(zhēng)力，也更容易被教育行業(yè)所認(rèn)同。

同時(shí)，未來的知識(shí)內(nèi)容設(shè)計(jì)將通過改變畫冊(cè)主題向地理、生物科學(xué)等領(lǐng)域拓展。這種交互式的信息獲取方式，也將擁有更高年齡段的適用人群。脫離智能手機(jī)和電腦，以一種結(jié)合多媒體技術(shù)的方式回歸紙質(zhì)書，擴(kuò)大相關(guān)知識(shí)的傳播面，從而整體提升國(guó)民知識(shí)素養(yǎng)。

[1]Raskar R,Welch G,Low KL,et al.Shader lamps: Animating real objects with image-based illumination[M]//Rendering Techniques 2001,Springer Vienna,2001:89-102.

[2]Amano T.Projection based real-time material appearance manipulation[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013:918-923.

[3]Nikensasi,P.,Kuswardayan,I.,& Sunaryono,D.(2012). Rancang bangun permainan edukasi matematika dan fisika dengan memanfaatkan accelerometer dan physics engine Box2d pada android.Jurnal Teknik ITS,1(1).

[4]Kaltenbrunner M.2009.reacTIVision and TU IO:a tangible tabletop toolkit. Proceedings of ACM ITS’09.

[5]Nieuwenhuizen,K.,& Martens,J.Advanced modeling of selection and steering data:Beyond fitts’ law.International Journal of Human -Computer Studies,94(Complete),35-52.doi:10.1016/ j.ijhcs. 2016.03.009

[6]羅立宏,劉丹云.互動(dòng)投影中國(guó)畫藝術(shù)實(shí)踐[J].美術(shù)大觀,2017(10):78-79.