基于iOS平臺(tái)AR與ML的古詩App設(shè)計(jì)

楊帆 朱麗進(jìn)

摘要：基于iOS[1]移動(dòng)操作系統(tǒng)中的增強(qiáng)現(xiàn)實(shí)（Augmented Reality）[2]和機(jī)器學(xué)習(xí)（Machine Learning）[3]技術(shù)，與中華傳統(tǒng)文化古詩將結(jié)合，設(shè)計(jì)了一款集聽說讀畫考為一體的應(yīng)用程序—畫中詩App。該App充滿趣味性和創(chuàng)作性，既能陶冶用戶的文學(xué)素養(yǎng)，又可以培養(yǎng)想象力和創(chuàng)造力。

關(guān)鍵詞：iOS;AR;ML;古詩;App

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）11-0058-04

1 前言

畫中詩是一款基于ARKit[4]、Core ML[5-6]以及PencilKit[7]技術(shù)實(shí)現(xiàn)，輔助青少年兒童學(xué)習(xí)傳統(tǒng)古詩文化的App。該App以虛擬游戲?yàn)檩d體，增強(qiáng)學(xué)習(xí)的趣味性，用人工智能技術(shù)讓古詩文化與現(xiàn)實(shí)相融合，用視聽感官來加深對(duì)古詩的記憶，同時(shí)包含豐富的古詩注釋、譯文、朗讀功能。畫中詩App集聽、說、讀、畫、考為一體，用戶可以全身心參與古詩學(xué)習(xí)，解決了古詩學(xué)習(xí)相對(duì)枯燥乏味難以理解的問題，提升用戶對(duì)古詩學(xué)習(xí)興趣。

2 整體設(shè)計(jì)

App主要分為4大模塊，分別為用戶模塊、古詩學(xué)習(xí)模塊、擂臺(tái)賽模塊和特色模塊，各個(gè)模塊的主要功能如下：

1） 用戶模塊：該模塊主要包含登錄和注冊(cè)功能、設(shè)置功能、收藏功能，可以簽到、查看和修改個(gè)人資料，引入家長計(jì)劃控制孩子的學(xué)習(xí)時(shí)間和學(xué)習(xí)進(jìn)度。

2） 古詩學(xué)習(xí)模塊：該模塊包含山水田園詩、邊塞征戰(zhàn)詩、思鄉(xiāng)懷旅詩、詠物懷志詩、友人送別詩五大古詩主題的視頻講解、朗誦古詩、古詩釋文。

3） 擂臺(tái)賽模塊：該模塊包含以游戲?yàn)檩d體的三種學(xué)習(xí)方式：你畫我猜功能、以畫選詩功能、填字游戲。

4） 特色模塊：該模塊包含基于AR的朗讀者，基于ML的火眼金睛和基于PencilKit的創(chuàng)作屋三個(gè)功能。

3 詳細(xì)設(shè)計(jì)

3.1 用戶模塊設(shè)計(jì)

點(diǎn)擊App后會(huì)進(jìn)入登錄界面，如圖1所示，該App給用戶提供了三種方式開啟古詩學(xué)習(xí)旅程：用戶可以使用手機(jī)號(hào)配合驗(yàn)證碼進(jìn)行登錄，也可以使用注冊(cè)的用戶名和密碼進(jìn)行登錄，還可以通過微信或者QQ進(jìn)行登錄。如果不想登錄，可以點(diǎn)擊游客登錄先了解一下App功能再?zèng)Q定是否注冊(cè)使用。

登錄成功后的主界面為山水田園詩界面，如圖2所示，App的默認(rèn)界面為山水田園詩界面。其中的簽到功能將記錄用戶每周的簽到情況。該App還引入家長計(jì)劃，即家長可以為孩子制定學(xué)習(xí)古詩計(jì)劃，為避免孩子過度沉迷和囫圇吞棗，家長制定的每天古詩學(xué)習(xí)計(jì)劃不能超過3首。

用戶點(diǎn)擊主頁的頭像可以進(jìn)入個(gè)人資料界面，在該界面選擇各個(gè)功能點(diǎn)進(jìn)入各子功能界面，如圖3所示。用戶頭像上標(biāo)有學(xué)習(xí)頭銜，該頭銜是根據(jù)用戶解鎖的古詩數(shù)量兌換而來。頭銜采用古代科舉考試制度的頭銜從低到高為：白丁、童生、秀才、舉人、貢士、進(jìn)士、探花、榜眼、狀元，更加契合古詩的意境。

3.2 古詩學(xué)習(xí)模塊設(shè)計(jì)

在主界面，用戶可以手指左滑畫軸切換古詩主題，然后在設(shè)置中選擇學(xué)習(xí)難度：按年級(jí)劃分為一到六年級(jí)。每個(gè)年級(jí)都有五大主題的必學(xué)古詩，每個(gè)主題相關(guān)的必學(xué)古詩學(xué)習(xí)完成后可以解鎖拓展古詩。

該App把古詩劃分為五大主題來讓用戶學(xué)習(xí)古詩分別為：山水田園詩、友人送別詩、詠物懷古詩、思鄉(xiāng)懷旅詩、邊塞征戰(zhàn)詩。以山水田園詩主題為例，點(diǎn)擊中間山水田園詩圖片按鈕進(jìn)入解鎖古詩關(guān)卡界面，如圖4所示。然后點(diǎn)擊黃色圖書的圖片按鈕解鎖古詩開始學(xué)習(xí)，如圖5所示。

古詩學(xué)習(xí)的默認(rèn)界面為看古詩的視頻界面，如圖6所示。App提供看古詩、讀古詩、注釋、譯文四個(gè)方面全方位的學(xué)習(xí)，輔助掌握古詩，并且可以利用創(chuàng)作屋來完成古詩的詩意創(chuàng)作。

用戶可以點(diǎn)擊界面下方的功能按鈕開啟古詩學(xué)習(xí)的各功能，圖6為看古詩界面，包含一個(gè)視頻的古詩解說。圖7為讀古詩界面，包含古詩的全文和拼音。圖8為注釋界面，對(duì)古詩中的重難點(diǎn)字詞進(jìn)行了解釋。圖9為譯文界面，對(duì)古詩全文進(jìn)行了白話文翻譯。

3.3 擂臺(tái)賽模塊設(shè)計(jì)

點(diǎn)擊主頁的“擂臺(tái)賽”圖標(biāo)按鈕進(jìn)入擂臺(tái)賽選擇關(guān)卡功能界面，用于測(cè)試用戶對(duì)古詩的掌握程度，如圖10所示。擂臺(tái)賽按難度分為初級(jí)、中級(jí)和高級(jí)，用戶選擇相應(yīng)的難度進(jìn)行攻擂挑戰(zhàn)。挑戰(zhàn)關(guān)卡分為兩關(guān)：你畫我猜和詩句填填樂。完成每個(gè)關(guān)卡的比拼可以獲得相應(yīng)的積分獎(jiǎng)勵(lì)。

點(diǎn)擊“你畫我猜”圖片按鈕進(jìn)入你畫我猜功能界面，如圖11所示。App會(huì)隨機(jī)根據(jù)用戶當(dāng)天解鎖的古詩發(fā)布圖片，在規(guī)定時(shí)間內(nèi)答出與該圖片相關(guān)的詩句，答對(duì)可以獲得相應(yīng)的積分獎(jiǎng)勵(lì)。

點(diǎn)擊“愛上填填樂”圖片按鈕進(jìn)入愛上填填樂功能界面，如圖12所示。App隨機(jī)根據(jù)用戶當(dāng)天所解鎖的古詩發(fā)布題，用戶需在規(guī)定時(shí)間內(nèi)把古詩缺少的字補(bǔ)充完整，每連成一句詩可以獲得相應(yīng)的積分獎(jiǎng)勵(lì)。

擂臺(tái)賽模塊獲得的積分進(jìn)行累計(jì)，用戶可以使用積分解鎖人物，500積分兌換一次，但限制用戶每天在每個(gè)關(guān)卡只有3次挑戰(zhàn)機(jī)會(huì)。

3.4 特色功能設(shè)計(jì)

特色功能模塊分為三個(gè)：火眼金睛、朗讀者、創(chuàng)作屋。

3.4.1 基于ML的火眼金睛

火眼金睛功能讓用戶可以通過相機(jī)拍下身邊的美景，然后配合ML的圖像的識(shí)別功能識(shí)別圖片的主要元素，并為圖片的主要元素配上詩句，用戶通過手機(jī)拍照就能知曉蘊(yùn)含在身邊的詩意。

用戶點(diǎn)擊主頁的“火眼金睛”圖標(biāo)按鈕，進(jìn)入火眼金睛功能主界面，如圖13所示。然后點(diǎn)擊“點(diǎn)擊進(jìn)入”按鈕，進(jìn)入圖片選擇界面，用戶可以通過拍攝照片也可以從相冊(cè)中選取圖片進(jìn)行識(shí)別，如圖14所示。

圖片選擇以后，會(huì)通過云端的人工智能和本地的端智能進(jìn)行識(shí)別推測(cè)，界面如圖15所示。如果識(shí)別成功，App會(huì)在界面顯示與之相關(guān)的詩句，如圖16所示。

Core ML是Apple提供的機(jī)器學(xué)習(xí)框架，在App中將使用Apple已經(jīng)訓(xùn)練好的模型，搭配著用戶所拍攝下來的靜態(tài)照片，利用模型去偵測(cè)照片里的各項(xiàng)元素，有了照片元素資訊后該App將會(huì)與該App內(nèi)建的資料庫進(jìn)行比對(duì)，挑選出詩詞中含有最多相似元素的詩詞，并且呈現(xiàn)給用戶閱讀。

在模型的部分，使用YOLOv3訓(xùn)練模型，該模型可以識(shí)別照片中的物件，除了YOLOv3模型以外，還需要搭配YOLOv3-Tiny訓(xùn)練模型，該模型可以偵測(cè)到物體較小的元素，讓辨識(shí)出來的內(nèi)容更加精準(zhǔn)。該功能讓用戶可以擁有全新的方式來欣賞古詩詞，也可以啟發(fā)用戶的靈感，嘗試睹物吟詩的樂趣。

3.4.2 基于AR的朗讀者

朗讀者功能使用AR技術(shù)設(shè)計(jì)一位可以出現(xiàn)在現(xiàn)實(shí)場(chǎng)景中的人物，用戶使用該功能可以和AR人物一起互動(dòng)學(xué)習(xí)。區(qū)別于2D平面人物效果，AR人物出現(xiàn)在現(xiàn)實(shí)場(chǎng)景中，給用戶一種更加直觀的視覺體驗(yàn)同時(shí)也更能提高用戶的學(xué)習(xí)興趣。家長用戶可以把AR人物陪伴用戶吟詩的過程錄制成視頻保存到相冊(cè)中記錄孩子學(xué)習(xí)風(fēng)采，同時(shí)家長也可以將視頻分享到朋友圈讓更多人看到孩子的風(fēng)采。

用戶點(diǎn)擊主頁的“朗讀者”圖標(biāo)按鈕，進(jìn)入朗讀者功能主界面，如圖17所示。該功能使用AR技術(shù)讓AR人物出現(xiàn)在現(xiàn)實(shí)場(chǎng)景中，陪伴用戶吟詩。選擇“點(diǎn)擊進(jìn)入” 按鈕，長按屏幕可以召喚AR人物，如圖18所示。用戶可以使用攝像頭將與AR人物互動(dòng)的過程錄制成視頻，該功能的主要操作說明如圖19、圖20、圖21所示。

該功能首先需要將建立好的3D模型透過Converter轉(zhuǎn)成USDZ格式，讓模型能夠在ARKit的視圖中順利呈現(xiàn)，在3D 模型在畫面呈現(xiàn)的同時(shí)，利用媒體播放器將已經(jīng)錄制好的古詩語音信息與模型的動(dòng)作同步出現(xiàn)在畫面中，以虛實(shí)結(jié)合的方式引領(lǐng)用戶激發(fā)學(xué)習(xí)興趣，使古詩之美能永遠(yuǎn)流傳。

該功能使用iPad最新搭配LiDAR激光雷達(dá)掃描儀來實(shí)現(xiàn)，LiDAR激光雷達(dá)掃描儀能夠獲取物件的深度感測(cè)信息，有了距離的感測(cè)，可以在ARKit的場(chǎng)景內(nèi)準(zhǔn)確地顯示朗讀者的3D模型，模型距離鏡頭的距離會(huì)與使用者距離鏡頭的距離相等，映照出真實(shí)人物與虛擬人物對(duì)談的效果。

3.4.3 基于PencilKit的創(chuàng)作屋

創(chuàng)作屋功能是讓用戶利用Apple Pencil在創(chuàng)作屋中發(fā)揮想象力完成自己對(duì)古詩所蘊(yùn)含的詩意或詩境的繪畫。繪畫作品會(huì)保存到用戶的“個(gè)人作品展”中方便用戶觀看，同時(shí)用戶也可以把作品分享到微信朋友和QQ好友。創(chuàng)作屋分為三個(gè)模塊：新手教程、文思泉涌和別有天地。用戶可以根據(jù)自己對(duì)古詩的理解，在創(chuàng)作屋功能點(diǎn)中，使用該App提供的素材或者自己繪畫的素材，繪畫出古詩的意境。該功能不僅讓用戶更好地使用 Apple Pencil來培養(yǎng)用戶的創(chuàng)造力和想象力，還可以讓家長有更好的陪伴經(jīng)驗(yàn)與用戶一同學(xué)習(xí)。

點(diǎn)擊主頁的“創(chuàng)作屋”圖標(biāo)按鈕，進(jìn)入創(chuàng)作主界面，如圖22所示。點(diǎn)擊“開始使用”按鈕后，在界面跳出的創(chuàng)作選項(xiàng)中選擇其中一個(gè)選項(xiàng)完成古詩詩意創(chuàng)作，如圖23所示。創(chuàng)作完成的作品可以分享給QQ或微信好友，圖24所示為“創(chuàng)作屋”文思泉涌模塊界面。該界面的下方提供各種畫筆和色彩的選擇，用戶可以搭配PencilKit進(jìn)行創(chuàng)作，將創(chuàng)意的畫作通過筆觸完美地呈現(xiàn)出來。當(dāng)用戶完成古詩的創(chuàng)作后，App會(huì)將用戶的圖畫轉(zhuǎn)換成圖片，用戶可以選擇將自己的創(chuàng)作分享到第三方平臺(tái)，與朋友共同欣賞創(chuàng)作的詩情畫意。

4 總結(jié)

文化是一個(gè)國家、一個(gè)民族的靈魂。文化興，國運(yùn)興;文化強(qiáng)，民族強(qiáng)。中華民族的偉大復(fù)興需要高度的文化自信和文化繁榮。詩文是中國傳統(tǒng)文化的精華，該App從傳統(tǒng)文化中的古詩出發(fā)，利用了ARKit、Core ML、PencilKit等技術(shù)讓古詩不再難以理解、學(xué)習(xí)不再枯燥無味。隨著移動(dòng)設(shè)備的普及和人工智能技術(shù)的發(fā)展，中華傳統(tǒng)文化可以與其相結(jié)合，利用科技成果來更好地弘揚(yáng)和傳承傳統(tǒng)文化。

參考文獻(xiàn)：

[1] Apple.Human Interface Guidelines[EB/OL].[2021-03-04].https：//developer.apple.com/design/human-interface-guidelines/ios.

[2] 朱淼良， 姚遠(yuǎn)， 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J].中國圖象圖形學(xué)報(bào)，2004（7）：3-10.

[3] 王玨，石純一.機(jī)器學(xué)習(xí)研究[J].廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2003（2）：1-15.

[4] Apple.Augmented Reality[EB/OL].[2021-03-04].https：//developer.apple.com/augmented-reality.

[5] Apple.Machine Learning[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning.

[6] Apple.Create ML[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning/create-ml.

[7] Apple.PencilKit[EB/OL].[2021-03-04].https：//developer.apple.com/documentation/pencilkit.

收稿日期：2021-07-23

基金項(xiàng)目：安徽省教育廳自然科學(xué)重點(diǎn)研究項(xiàng)目《AR 及 Core ML 技術(shù)在古詩 App“繪傳承”中的應(yīng)用研究》（KJ2020A1082） ;安徽省教育廳教學(xué)團(tuán)隊(duì)項(xiàng)目《移動(dòng)應(yīng)用開發(fā)教學(xué)團(tuán)隊(duì)》（2020jxtd093） ;安徽商貿(mào)職業(yè)技術(shù)學(xué)院科研項(xiàng)目《基于“建模+交互”技術(shù)路徑的虛擬現(xiàn)實(shí)漫游系統(tǒng)開發(fā)》（2020KYZ03）

作者簡(jiǎn)介：楊帆（1989—），男，安徽懷寧人，講師，碩士，主要研究方向?yàn)橐苿?dòng)應(yīng)用開發(fā);朱麗進(jìn)（1986—），女，安徽廬江人，講師，碩士，主要研究方向?yàn)榻换ナ経I設(shè)計(jì)。