基于AR技術的“視覺本草”草藥識別軟件設計與開發(fā)

楊昕彤　朱丹丹　張晶　倪心宇　關云興

摘要：增強現(xiàn)實是虛擬現(xiàn)實技術的拓展?；谠鰪姮F(xiàn)實的交互手段可以為學習對象提供新的表達方式，并且可以通過最自然的交互方式為學習者構建一個獨立探索的空間。運用AR技術與中醫(yī)藥教學相結合，以軟件的形式將傳統(tǒng)的中醫(yī)藥教學變?yōu)榫哂腥の缎?、體驗性、交互性的增強現(xiàn)實教學。通過開發(fā)相應軟件利用手機攝像頭掃描AR卡片，還原中藥本草的三維立體形象，改變以往單一、平面的傳統(tǒng)教學方式，多維度的展現(xiàn)中藥植物的地道產(chǎn)區(qū)、本草溯源、功效主治等知識。將中藥材的教學內容更直觀地體現(xiàn)，把抽象復雜的知識變的可視化、形象化。打破空間和時間的限制，讓教學場景更加豐富生動，讓教學內容變得更生動有趣。

關鍵詞：AR;中藥教學;增強現(xiàn)實

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）02-0179-05

這幾年來，隨著不斷深入的科技發(fā)展以及教學改革，多模式多樣化的新型教學方式不斷產(chǎn)生;AR技術作為一種新興的技術，在制造業(yè)應用廣泛，對于提升制造業(yè)的信息化智能化水平有極大幫助?？萍疾亢蛧抑嗅t(yī)藥管理局聯(lián)合發(fā)布文件，將“VR/AR技術用于中藥智能制造”提升到了國家政策的高度，這也是中醫(yī)藥文化發(fā)展的一個機遇與挑戰(zhàn)。同時《“十三五”中醫(yī)藥科技創(chuàng)新專項規(guī)劃》《新一代人工智能規(guī)劃》等多項國家規(guī)劃書中都提出發(fā)展人工智能技術，將傳統(tǒng)文化與增強現(xiàn)實技術相結合，推動我國中醫(yī)藥文化的前進。AR技術在中醫(yī)藥教育中的應用，可以充分發(fā)揮AR技術的優(yōu)勢，對減輕學生的學習壓力，提高教育教學質量，促進中醫(yī)藥文化的發(fā)展具有積極的作用。本軟件開發(fā)利用VR技術，將中藥本草的真實立體形象展示給學生并給予實時交互性使教學，過程直觀真實，形象易記，對于中藥課堂教學起到了很好的輔助作用。

1 AR技術在領域的研究現(xiàn)狀

近年來，AR技術作為新型的人機接口和仿真工具，在各領域的應用日益廣泛。AR技術已應用在軍事、航空、醫(yī)學、船舶等多個領域;在針灸教學、患者康復訓練以及醫(yī)藥教輔類有所應用，且反響良好。[1]AR在智能手機上的應用也日漸增多。利用手機進行草藥識別，并將草藥的細微結構、標本飲片細節(jié)呈現(xiàn)出來，是一種挑戰(zhàn)，同時也具有一定的前景。目前全球多家公司已經(jīng)推出了各具特色的AR軟件開發(fā)平臺，為不擅長編程者提供了可操作的平臺，只需按照自己的思維邏輯來設計流程，將已經(jīng)分裝好的程序模塊嵌入，就可以通過AR工具設計開發(fā)符合自己需求的AR軟件產(chǎn)品。這為我們做中醫(yī)藥教學軟件的開發(fā)提供了便利。目前各醫(yī)學院校未設置中草藥植物園或中藥飲片陳列室， 學生沒有機會直接接觸中藥， 不能直接觀察中藥原植物或標本， 不利于了解中藥四氣五味、性狀特征等性能。沒有理論結合實踐， 學生對所學印象不深[6]。

2 設計理念

2.1 科學性

本軟件設計的科學性，主要體現(xiàn)在中草藥模型制作的規(guī)范。通過查閱大量的文獻，嚴格按照中草藥文獻中草藥的外觀特點進行建模。對于所識別草藥的植物基源、形態(tài)特征以及功效的介紹做到有據(jù)可依，保證用戶在平臺上所獲得的知識具有一定的科學性和可信性。

2.2 創(chuàng)新性

本軟件設計的創(chuàng)新性主要體現(xiàn)在運用AR增強技術，將圖片的描述立體、直觀的呈現(xiàn)在學生面前。研究表明采用語言描述與彩色照片， 兩者認知程度相差2倍之多。將抽象的學習內容形象化、可視化、直觀化的展示出來，增強現(xiàn)實的可視化效果，能夠提高學生對于抽象概念、微觀現(xiàn)象的理解，提升學習效率和效果[2]。將AR技術運用于中藥教學中，這種方式可以打破以往對于中藥學習的時空限制，能夠更好地適應學生的個別差異，同時也滿足了學生自主個性的學習需求，豐富了獲取知識的途徑，真實，具體的教學情景有利于學生對知識點的掌握。這種新型互聯(lián)網(wǎng)+技術可以提高學生的學習興趣，調動學習積極性。是現(xiàn)代信息化技術與傳統(tǒng)中藥教學的完美結合。

2.3 服務性

本軟件設計本著服務學生的思想，主要用于課堂教學，草藥模型的建立、簡介等主要用于課堂教學，服務教師、服務學生，對于優(yōu)化課堂教學模式具有良好作用。

3 軟件的特點

增強現(xiàn)實技術是真實世界和虛擬世界的信息集成，具有實時交互性，是在三維尺度空間中增添定位虛擬物體。

該項目旨在運用AR技術與中醫(yī)藥教學相結合，以軟件的形式將傳統(tǒng)的中醫(yī)藥教學變?yōu)榫哂腥の缎?、體驗性、交互性的增強現(xiàn)實教學。通過利用手機攝像頭掃描AR卡片，還原中藥本草的三維立體形象，改變以往單一、平面的傳統(tǒng)教學方式，多維度的展現(xiàn)中藥植物的產(chǎn)地溯源、功效等知識。提供更直觀的中藥材教學內容，將抽象復雜的知識可視化、形象化。打破空間和時間的限制，讓教學場景更加豐富生動，讓教學內容變得更生動有趣。

4 設計方法與開發(fā)過程

4.1 設計方法

本項目研究主要采用文獻法、基于設計的研究法和快速原型法。通過文獻檢索法，整理中草藥數(shù)據(jù)庫，通過基于設計的研究的方法對軟件的基本功能需求進行設計、改進、完善、應用，在運用中設計、設計中進行完善。在App項目開發(fā)中采用快速原型法，根據(jù)設計與基本需求建立軟件原型。在軟件設計中采用面向對象的方法進行開發(fā)。

4.2 開發(fā)流程

1） 插件的安裝

AR識別卡插件：

4.3 開發(fā)過程

增強現(xiàn)實AR軟件教學系統(tǒng)的核心功能， 該功能開發(fā)中采用了unity 3D AR場景搭建、3DMAX建模、自然場景識別等技術， 用戶可以通過虛擬現(xiàn)實系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性，還能突破空間、時間以及其他客觀限制，感受到在真實世界中無法親身經(jīng)歷的體驗。

具體開發(fā)過程如下：3DMAX建模，確定植物藥材選擇。以人參為例，搜集人參全株圖片、根莖圖、葉片細節(jié)圖等作為素材。首先用CAD繪圖軟件繪制平面圖形，將CAD軟件中的平面圖形導入到3Dmax當中，利用3Dmax軟件的輪廓和尺寸，繪制出初始平面圖形，如圖2。

將二維圖形進行處理，將其轉化為三維立體的模型。再通過貼圖使模型完整，為達到更好的效果先用Photoshop對前期收集的人參素材進行處理，對貼圖材質中的光線、顏色進行強化。用zbrush做貼圖和細節(jié)處理，針對材質貼圖的紋理設計，進行相應的調整，再導入到3dMax中檢查貼圖，建立一個更加生動的實體模型。還可以根據(jù)實際情況的要求調整添加燈光、渲染輸出，如圖3。

4.4 搭建Vuforia數(shù)據(jù)庫

通過Vuforia增強現(xiàn)實插件可以將Unity3D 生成的虛擬現(xiàn)實世界疊加到真實環(huán)境中，基于Unity3D+Vuforia增強現(xiàn)實技術可以開發(fā)具有交互功能的App。AR Camera需要Vuforia SDK的支持。點擊Get Development Key自己定義項目名如上圖創(chuàng)建你的Vuforia項目，如圖4。

復制粘貼密鑰，如圖5。

回到Unity，點擊AR Camera，然后在右邊Inspector窗口點擊Open Vuforia Configuration，將密鑰粘貼到App Licese Key，如圖6。

點擊Target Manager，添加識別卡，這樣當攝像頭拍攝到我們指定的東西上，就在上面浮現(xiàn)AR模型。點擊Add Database，選擇Device，然后點開新建的Database，如圖7。

4.3 搭建AR場景

打開Unity3D，選擇Android Build Support、iOS Build Support 界面，如圖8。

然后搭建AR相機，刪除Main Camera，搜索AR Camera，拖動到hierarchy，如圖9。

然后導入下載的Database，如圖10。

然后Assets目錄下會多出StreamingAssets文件夾，添加的識別卡也在目錄下面。添加ImageTaget，將ImageTarget拖動到左上角，如圖11。

然后將模型文件從本地電腦拖動到Assests目錄下，模型拖動到ImageTarget目錄下，使得其變成子目錄，如圖12。

然后點擊ImageTarget，將Database選為我們在Vuforia建立的database，步驟正確的話，有兩個選項，一個是Empty，另一個就是新建立的database，如圖13。

然后點擊AR Camera，在Datasets里面將下面兩個選項勾選上即可完成AR場景的搭建，如圖14。

4.5 AndroidAPK打包

安裝 JDK，運行安裝程序jdk-7u67-windows-x64，完成之后點擊確定，完成環(huán)境變量的配置。復制android-sdk-windows文件夾到C盤或者D盤或者你可以找到的任意盤任意目錄，復制完成之后，打開unity，新建一個項目，打開Edit-Preferences選項，Javajdk環(huán)境和SDK環(huán)境搭建完成。完成之后，新建場景，保存場景，添加到build里面去切換平臺為安卓Android平臺，如圖15。

然后點擊Player settings，修改Other Settings，如圖16。

修改完成后，點擊Build，如圖17所示。

添加文件名，打包保存，如圖18所示。

4.6 效果演示

5 總結與展望

雖然AR技術已廣泛被大眾接受，但在教學實施中，如何平衡虛擬與現(xiàn)實是一個待解決的問題。對基本教育理念的沖擊和對傳統(tǒng)教學方式的突破都需要一段時間的適應。同時，由于AR產(chǎn)品技術需要相關設備的條件滿足，成本較高于以往的教學設備，所以尚未全面走進各大高校。

增強現(xiàn)實技術能為包括中醫(yī)藥教學在內的各個領域的發(fā)展提供一個全新的突破口，隨著網(wǎng)絡技術不斷地飛速發(fā)展增強現(xiàn)實技術會得到更為長足的發(fā)展，與中醫(yī)藥教學的結合也會更加完美，必將更為廣泛的運用于中醫(yī)藥教學領域。

AR技術中藥本草的真實立體形象展示給用戶并給予實時交互性，使教學過程直觀真實，形象易記。許多過去難以講述的內容，如植物形態(tài)、藥用部位、飲片性狀等，通過AR教學，現(xiàn)在變得易于識別和理解，這種教學形式將會掀起改革式的熱潮。

將AR技術應用于中藥教學中，這種方式可以打破以往對于中藥學習的時空限制，能夠更好地適應學生的個別差異，同時也滿足了學生自主個性的學習需求，豐富了獲取知識的途徑，真實，具體的教學情景有利于學生對知識點的掌握。將實現(xiàn)現(xiàn)代信息化技術與傳統(tǒng)中藥教學的完美結合。

參考文獻：

[1] 萬倩茹，劉旭初，尹瑞英，等.AR技術應用在中醫(yī)藥教育中的可行性探討[J].中國中醫(yī)藥現(xiàn)代遠程教育，2018（19）：29-32.

[2] 田方，巢建國.植物圖片庫在藥用植物學教學中的應用[J].中國醫(yī)藥指南，2013（36）：590-59.

[3] 涂子琰，孫濟洲.增強現(xiàn)實技術的應用和研究[J].計算機工程與應用，2003（12）：100-102+125.

[4] 徐敏，童強.一種基于Unity3D+Vuforia的增強現(xiàn)實交互App的開發(fā)[J].現(xiàn)代計算機，2016（12）：71-75.

[5] 王丹婷，蔣友燏.古建筑三維虛擬建模與虛實交互軟件實現(xiàn)[J].計算機應用，2017（S2）：186-189.

[6] 唐建紅，黃佳伊，劉川玉.中藥學課程授課現(xiàn)狀及改革探討[J].中國中醫(yī)藥現(xiàn)代遠程教育，2018，16（19）：18-20.

[7] 吳小惠.基于AR的計算機軟件教學工具設計與研究[J].吉林省教育學院學報，2018，34（11）：76-78.

【通聯(lián)編輯：朱寶貴】