基于AR技術(shù)的財會專業(yè)在線教學(xué)系統(tǒng)設(shè)計

陳東升

（湖南信息職業(yè)技術(shù)學(xué)院，湖南 長沙 410200）

0 引言

財會專業(yè)教學(xué)具有枯燥、抽象的特點，不利于學(xué)生學(xué)習(xí)領(lǐng)會，需要引入技術(shù)手段輔助教學(xué)。增強現(xiàn)實技術(shù)（Augmented Reality，簡稱AR）是近年來新發(fā)展的一項智能化技術(shù)，通過將虛擬與現(xiàn)實綜合呈現(xiàn)在使用者面前，營造一種身臨其境的真實體驗感，對增強使用者的多感官綜合，形成立體體驗具有逼真的效果。將AR技術(shù)應(yīng)用于財會專業(yè)的教學(xué)中，不但能夠增強直觀感受，還可以形成多維度記憶，有利于專業(yè)知識的理解和牢記。依托AR技術(shù)豐富的細(xì)節(jié)表現(xiàn)能力，教師可以在教授中以簡短的語言、詳實的案例進(jìn)行原理講解，有助于教學(xué)過程的雙向互動，形成活躍、積極的課堂氣氛，提升教學(xué)效果。

AR技術(shù)是依托于強大的信息采集系統(tǒng)和行為判斷功能，將人的動作、反應(yīng)與虛擬環(huán)境相互對應(yīng)，形成活動，結(jié)合真實場景的背景投影，將課堂轉(zhuǎn)移到虛擬的工作現(xiàn)場，通過動畫演示、互動體驗和行為判斷等方式，推送視頻、音頻以及體感等信息，為學(xué)生帶來全新的學(xué)習(xí)體驗。財會專業(yè)在線教學(xué)系統(tǒng)以網(wǎng)絡(luò)在線為特色，將教學(xué)資源整合于系統(tǒng)中，以財會專業(yè)教學(xué)的特定需求為切入點，實現(xiàn)專業(yè)教學(xué)的技術(shù)支持。

1 基于AR技術(shù)財會教學(xué)系統(tǒng)的軟件功能實現(xiàn)

財會專業(yè)教學(xué)的特點是理論與實際高度融合，既有純理論的教學(xué)內(nèi)容，如基礎(chǔ)會計、經(jīng)濟法和國家稅收等，有些則是需要通過動手實踐才能掌握的專業(yè)知識，如會計電算化、國際貿(mào)易以及財務(wù)管理等?；贏R技術(shù)，則是針對需要動手實踐的部分，采用虛擬實操的模式展示財會工作的虛擬場景，提供虛擬操作工具，實現(xiàn)虛擬環(huán)境下的實操體驗。由于AR技術(shù)需要采集很多的傳感器信息并捕捉用戶動作，與背景相融合，提供多維度的感覺信息，因此在軟件功能劃分中形成3個層面，具身感知層、交互行為層和認(rèn)知體驗層。具身感知層用于建立現(xiàn)實世界和虛擬世界的信息交互關(guān)聯(lián)；交互行為層是連接用戶感知、運動及認(rèn)知與系統(tǒng)的通道；認(rèn)知體驗層實現(xiàn)會計專業(yè)知識點的立體呈現(xiàn)。AR教學(xué)系統(tǒng)的軟件框架如圖1所示。

圖1 AR教學(xué)系統(tǒng)軟件框架

其中，具身感知層是財會專業(yè)在線教學(xué)的信息獲取基礎(chǔ)，主要內(nèi)容是硬件設(shè)備的離散信息采集及信號關(guān)聯(lián)，以硬件實現(xiàn)，內(nèi)容相對簡單，不作為該文的重點；認(rèn)知體驗層是多種感覺系統(tǒng)的綜合體驗，實現(xiàn)聲光電的統(tǒng)一，設(shè)計重點是場景生成器、視頻疊加模塊；交互行為層是會計專業(yè)學(xué)生切身體驗的關(guān)鍵，也是AR效果實現(xiàn)的主要體現(xiàn)，作為該設(shè)計的核心，重點開發(fā)。

1.1 認(rèn)知體驗層設(shè)計

認(rèn)知體驗層重點解決學(xué)生的感官體驗問題，場景生成、圖像顯示是設(shè)計核心，立體聲矩陣僅需要完成聲道控制，涉及內(nèi)容較簡單，該文不再贅述。

通過需求分析，教學(xué)系統(tǒng)需要對接若干外圍傳感器，并獲取多角度的視頻圖像，控制多臺投影設(shè)備建立虛擬場景，并需要對圖像信息進(jìn)行融合，建立多維度顯示模型。場景生成器半實物仿真系統(tǒng)的核心部分包括紅外DMD芯片、高溫黑體光源和低溫黑體光源、灰度調(diào)制技術(shù)、DMD信號處理系統(tǒng)以及光路設(shè)計。該場景生成器的分辨率可以是1435～850，在2微米～6微米的波長下，它的表觀溫度是550 K，在7微米～10微米的波長下，它的表面溫度是430 K，幀頻率是190 Hz；在高真空的情況下，當(dāng)視頻信號的輸入完成之后，通過控制電壓，進(jìn)而控制電子束的能量，再用電子束轟擊所述熒光材料，使其發(fā)出光芒并形成一幅畫面，再通過不同的光譜（近紅外、中紅外和長波紅外）熒光物質(zhì)制成的熒光屏就能得到多波段的場景。因為屏風(fēng)需要冷卻，因此通常需要大型的制冷裝置，其輻射強度較低，幀頻率較低，空間分辨率較差，因此采用鍍有金屬黑膜的薄膜來吸收可見光的輻射，進(jìn)而引起薄膜的發(fā)熱，以此來生成相應(yīng)于可見光圖像的紅外圖象。在器件的初始狀態(tài)，也就是無負(fù)載電流的情況下，兩個遮光片的空隙約為通光孔的二分之一，使光線可以從VOA裝置中穿過。假定驅(qū)動器在、平面上，并且在軸上的磁場B是垂直于設(shè)備的，當(dāng)有電流穿過折疊光束時，在方向上形成洛倫茲力，其形式如公式（1）所示。

式中：為結(jié)構(gòu)沿x方向的長度，為穿過裝置內(nèi)的電流。

DMD可移動結(jié)構(gòu)可視為彈性體，其彈性系數(shù)為。在外力的作用下，產(chǎn)生位移，對應(yīng)的彈性恢復(fù)力如公式（2）所示。

在結(jié)構(gòu)的穩(wěn)定狀態(tài)下，洛倫茲力與彈性恢復(fù)力是相同的。這樣，該結(jié)構(gòu)在方向上產(chǎn)生的位移幅度如公式（3）所示。

由公式（3）可知，可以通過減小結(jié)構(gòu)剛度來實現(xiàn)大位移，與器件材料機械特性和結(jié)構(gòu)尺寸有關(guān)。它的分辨率取決于腔體的真空度，反應(yīng)速率取決于腔體的真空度和膜層的厚度，而膜片的厚度會對其力學(xué)性能產(chǎn)生一定的影響。通過玻璃防護(hù)罩，使其進(jìn)入液晶層的高電阻一側(cè)，產(chǎn)生激勵電荷，最后形成電勢分布，使液晶分子重新取向，并進(jìn)行紅外極化調(diào)制。情景發(fā)生器的目標(biāo)是把被測試單位的實物直接導(dǎo)入模擬試驗過程中，以達(dá)到評價被測試單位的效果。每個驅(qū)動器的長度是1.7毫米，寬度是0.17毫米。各驅(qū)動裝置需要0.3 mm的晶片面積，128×128的陣列需要47 cm的晶片，以及如圖2中所示的中央邊長度為7厘米的硅片。

圖2 場景生成器硅基片上的分布位置

所設(shè)計的結(jié)構(gòu)是由鋁材與二氧化硅組合而成的，而在實際生產(chǎn)中，則以硅為襯底，將2個相反的隔板置于不同的高度，以防止發(fā)生碰撞。首先，采用活性離子刻蝕技術(shù)，在硅片表面上刻蝕出一段高度不一的硅刻蝕，其次通過高溫氧化，在熱氧條件下蒸發(fā)出一層金屬鋁，再次用干法刻蝕來制作圖案，并利用深度反應(yīng)離子刻蝕技術(shù)腐蝕掉后面的硅，最后利用各向同性腐蝕技術(shù)從前部將硅刻蝕干凈。在此基礎(chǔ)上，該文設(shè)計了一種采用洛倫茲力驅(qū)動的串聯(lián)折疊式結(jié)構(gòu)，使其能夠?qū)崿F(xiàn)雙向運動，并能有效提高其傳動效率。該方法可以在6英寸的硅基板上實現(xiàn)128×128陣列，為基于AR技術(shù)的財會專業(yè)在線教學(xué)系統(tǒng)設(shè)計的場景生成提供了依據(jù)。

由于AR系統(tǒng)中分布著大量的傳感器和互動模塊設(shè)備，軟件需要針對核心功能和每路接口開展定制化開發(fā)，且視頻處理的運算量巨大，因此需要在適當(dāng)?shù)拈_發(fā)平臺上開展設(shè)計工作。根據(jù)軟件功能需求分析要求，確定基于Unity3D和c# Vuforia開發(fā)軟件。Vuforia引擎可以提供良好的AR體驗，并為各種設(shè)備提供了平臺。Vuforia Fusion現(xiàn)在包括谷歌的ARCore。Vuforia支持的設(shè)備列表將繼續(xù)擴大。更好地利用Vuforia融合與改進(jìn)的定位裝置跟蹤所有類型的目標(biāo)。在統(tǒng)一的開發(fā)平臺中，實現(xiàn)接口程序的模塊化開發(fā)，形成穩(wěn)定且可靠的專用接口軟件，保證視頻采集、場景生成等大數(shù)據(jù)量處理的帶寬要求。視頻采集后進(jìn)行處理，視頻疊加的設(shè)計過程顯得尤為重要，疊加時需要使用11 bit的視頻仿真技術(shù)來進(jìn)行處理，以5個DMD為基礎(chǔ)，每個層次的DMD設(shè)備可以輸出250個～256個像素單位，一個像素單位由22個DMD單位作為代表，最終得到的圖象清晰度為128×128的分辨率。將DMD倒相陣列分成2個組，靠左邊的理想灰度值是620上下，右側(cè)的理想灰度值是625上下，這2個部分分別占據(jù)DMD陣列的一半，右邊的DMD倒相陣列的右側(cè)由二進(jìn)制數(shù)字構(gòu)成，再用一種方法將二進(jìn)制數(shù)字?jǐn)U大到10比特，再把它量化到RGB的信道上進(jìn)行疊加和識別。在實現(xiàn)視頻灰度值均勻化的同時，需要考慮DMD陣列在視頻疊加時的能量分布，最好可以均勻分布在每個點上，并確保DMD陣列在疊加時不會發(fā)生偏移現(xiàn)象。但是當(dāng)DMD陣列在疊加過程中發(fā)生了偏差，或者由于黑體輻射能量分布不均勻時，該場景發(fā)生器仿真的紅外成像的均勻性是否仍然能夠滿足需要則需要進(jìn)一步探討和識別。當(dāng)陣列中的每層都有DMD器件時，器件偏移對DMD陣列的影響要比其偏移小很多，如果有一層的陣列發(fā)生了偏移，則會出現(xiàn)與預(yù)期的不同結(jié)果。如果有多個相位發(fā)生了偏移，并且偏移量都很小，這就相當(dāng)于單層發(fā)生了偏移，而中間的一排像素會出現(xiàn)不該出現(xiàn)的灰度值。陣列偏移越大，越會受到更多的像素疊加，具體的視頻疊加灰度值取決于DMD單元的變形程度。對視頻疊加進(jìn)行非均勻校正的目的是讓輸出的視頻盡可能接近現(xiàn)實情況下物體的信息，通過校正存在非均勻性的情況，將陣列場景生成系統(tǒng)的輸出數(shù)據(jù)集合，在理想的情況下即不存在非均勻性生成輸出的數(shù)據(jù)集合。為了讓DMD紅外生成系統(tǒng)實際輸出的數(shù)據(jù)集合或者紅外視頻通過校正更加接近理想情況下的紅外圖像信息，即映射視頻疊加成立，位移也會根據(jù)變形程度隨之變化。

1.2 交互行為層設(shè)計

根據(jù)上述需求設(shè)計的資源開發(fā)的任務(wù)路線，結(jié)合開發(fā)工具和平臺，使用三維建模軟件Solidworks和3DS MAX進(jìn)行場景模型設(shè)計。三維建模后將資源進(jìn)行整合，導(dǎo)入Unity3D，把Vuforia工具接入Unity3D，調(diào)整配置并進(jìn)行系統(tǒng)功能實現(xiàn)的開發(fā)，把用到的模型進(jìn)行繪制和優(yōu)化，并進(jìn)行功能測試驗證，最后優(yōu)化開發(fā)代碼，完成財會教學(xué)系統(tǒng)設(shè)計。

為了增強現(xiàn)實AR財會教學(xué)系統(tǒng)的核心功能，該系統(tǒng)在開發(fā)中采用了unity 3D AR場景搭建、3DS MAX建模等技術(shù)，創(chuàng)建多維度信息展示的虛擬現(xiàn)實系統(tǒng)，將空間以視頻投影的形式加以變換，突破時間和場地的限制，達(dá)到還原現(xiàn)場的效果。把系統(tǒng)所需的三維模型、文本、圖像和UI交互界面組件等資源轉(zhuǎn)換成標(biāo)準(zhǔn)的格式后，整合導(dǎo)入Unity3D開發(fā)平臺中，在開發(fā)引擎中進(jìn)行資源配置和功能開發(fā)。財會專業(yè)3DS MAX建模的過程以貨幣為例，系統(tǒng)搜集貨幣圖像將其作為素材，在CAD繪圖軟件中繪制平面圖形，將CAD軟件中的平面圖形導(dǎo)入3DS MAX中，利用3DS MAX軟件的輪廓和尺寸繪制出第一個初級的平面模型。系統(tǒng)運用AR SDK Vuforia來實現(xiàn)增強現(xiàn)實的功能，對二維圖形進(jìn)行處理，把二維圖形變?yōu)槿S立體模型，再用AR識別圖片，制作掃描識別的圖片。鑒于財會專業(yè)教學(xué)系統(tǒng)的實際場景需求，綜合考慮開發(fā)成本和使用便捷性，采用圖片掃描作為AR建模的素材庫采集手段。為了彌補模型精細(xì)度的不足，使用貼圖讓模型變得完整，將Photoshop處理收集到的貨幣圖片中的部分細(xì)微處進(jìn)行調(diào)整，進(jìn)行貼圖處理之后，將貨幣圖像導(dǎo)入3DS MAX，檢查無誤后即可得到一個實體模型。而Vuforia在系統(tǒng)中不僅可以增強現(xiàn)實插件，Unity3D構(gòu)成的虛擬場景還可以在此基礎(chǔ)上升華至真實場景。AR技術(shù)是需要在有交互功能的App上完成的，因此需要camera和Vuforia sdk的支持，所以系統(tǒng)完成的基礎(chǔ)是要在development Key的自定義項目上創(chuàng)建Vuforia，然后復(fù)制密匙回到Unity3D，再把密匙寫入App中。通過顯卡和識別卡就可以在視頻采集設(shè)備的支持下生成AR模型。由于Vuforia圖像使用的是自然特性檢測來進(jìn)行圖像匹配的，并在數(shù)據(jù)庫中實現(xiàn)了目標(biāo)管理器圖像或圖像特征點的數(shù)據(jù)收集和存儲，因此需要在程序運行中進(jìn)行實時檢測，提取特征點和圖像，與數(shù)據(jù)中心保存的圖像檢測特征點進(jìn)行匹配。然后在Unity3D中創(chuàng)建AR相機在Vuforia建立的database，即可完成AR場景的搭建。

由于財會教學(xué)在線系統(tǒng)是在Unity3D引擎開發(fā)出來的，采用C#語言編寫，因此在應(yīng)用運行之前需要對源程序進(jìn)行編譯。作為在線教學(xué)系統(tǒng)，系統(tǒng)中存在多臺聯(lián)網(wǎng)終端，且多為嵌入式專用硬件設(shè)備，不適于聯(lián)網(wǎng)升級。當(dāng)需要更新AR素材庫、進(jìn)行軟件功能升級時，采用線下升級的技術(shù)路線，即需要在開發(fā)環(huán)境下重新修改代碼，編譯之后打包供給用戶下載。

整個系統(tǒng)不只有文本展示、圖片展示以及視頻展示等功能，還有信息交互，人機交互是AR系統(tǒng)的核心特點，因此需要構(gòu)建豐富的資源庫，方便在不同課程中選用。如各種場景的實訓(xùn)應(yīng)用模塊、樣例圖片及視頻、講解課件、上課過程的演示和習(xí)題如何檢測等。系統(tǒng)以財會知識點截圖為例，該截圖可以保存在設(shè)備的相冊，方便隨時欣賞。當(dāng)模型識別成功并把細(xì)化交互內(nèi)容完成后，可以將框架中的內(nèi)容進(jìn)一步完善，例如財會學(xué)習(xí)過程中的動畫播放、文本理論中的圖表，如果測試應(yīng)用運行無誤，財會教學(xué)系統(tǒng)功能開發(fā)即算完成。

2 基于AR技術(shù)的財會專業(yè)在線教學(xué)系統(tǒng)的運行平臺設(shè)計

鑒于應(yīng)用場景不適于使用高端硬件設(shè)備，因此在硬件設(shè)備選型中將結(jié)構(gòu)簡單、反應(yīng)快速以及較高精度作為設(shè)計原則；伺服的主軸構(gòu)造簡單，調(diào)速范圍大，可無級變速，便于調(diào)試和操控；控制系統(tǒng)功能最大限度完善，提高智能化處理水平。硬件設(shè)計主要包括驅(qū)動裝置、顯示裝置、計算機數(shù)字控制裝置、可編程控制器以及輸入、輸出設(shè)備等。硬件設(shè)計分解如圖3所示。

圖3 AR在線教學(xué)系統(tǒng)硬件設(shè)計分解

在硬件設(shè)計中，根據(jù)系統(tǒng)功能分解，該文將功能模塊劃分為相應(yīng)的分機，并賦予對應(yīng)的功能。AR在線教學(xué)系統(tǒng)中每個場景存在多個虛擬物體，每個物體上有多個組件及運行腳本，因此該文設(shè)計以HYM320F28335DSP為處理核心的專用電路，配備USB3.0、RS422和RS485等多路接口，以實現(xiàn)對豐富外設(shè)資源的管控，滿足運行環(huán)境的需求。專用電路的工作頻率設(shè)定為150 MHz，通過一片30 MHz外接晶振實現(xiàn)穩(wěn)頻。每個分機的設(shè)計包括數(shù)據(jù)處理量評估、硬件資源選型、配套外圍電路、供電模塊和通信模塊。由于系統(tǒng)中存在多個離散的傳感器，因此需要在硬件設(shè)計中充分考慮硬件資源的分配和數(shù)據(jù)帶寬的冗余，保證多路數(shù)據(jù)訪問中不出現(xiàn)中斷沖突。圖像目標(biāo)將利用ARCore和ARKit，增強對模型目標(biāo)的跟蹤。采用MCU+ASIC作為教學(xué)系統(tǒng)硬件支持平臺的結(jié)構(gòu)，利用ASIC專用芯片高速處理各種傳統(tǒng)業(yè)務(wù)，滿足對交換機處理性能和教學(xué)系統(tǒng)硬件試驗的需求，使用MCU實現(xiàn)對教學(xué)系統(tǒng)的管理和與軟件層的通信等功能。該文綜合考慮教學(xué)系統(tǒng)對背板帶寬、網(wǎng)口資源及交換機的若干特性要求，選型以太網(wǎng)交換機作為網(wǎng)絡(luò)傳輸架構(gòu)，同時考慮了芯片供需條件和成本因素，最后選擇了成都鴻立芯公司的一款集MAC和PHY于一體、低功耗的HYM320F28335作為該教學(xué)系統(tǒng)的交換核心，選擇了HYM32F103ZGT作為MCU。根據(jù)HYM320F28335和HYM32F103ZGT的特點，對各個模塊間的接口進(jìn)行設(shè)計。HYM320F28335主頻高達(dá)150 MHz，滿足視頻流數(shù)據(jù)的處理需求；片內(nèi)集成256 K×16位Flash，34 K×16位SRAM，能夠勝任圖像傅里葉變換的運算需求。HYM32F103ZGT的SRAM容量最高可達(dá)96 K，最多支持21個輸入通道，完全適合AR系統(tǒng)多傳感器控制的需求。

由于AR教學(xué)系統(tǒng)設(shè)定在室內(nèi)使用，因此搭建永久固定網(wǎng)絡(luò)，選用千兆以太網(wǎng)交換機作為數(shù)據(jù)通信中樞。該設(shè)計中的以太網(wǎng)交換機教學(xué)系統(tǒng)可支持9個VLAN，還有Trunk匯聚鏈路實驗等為財務(wù)教學(xué)課程提升了仿真系統(tǒng)的流暢性。

圖4財會專業(yè)在線學(xué)習(xí)系統(tǒng)包括4個部分，這4個部分分別為認(rèn)知、演繹、演練與測驗。而這幾大部分通過排列組合成功搭建了財會專業(yè)在線學(xué)習(xí)系統(tǒng)，為學(xué)生提升學(xué)習(xí)效率，為教師授課提供了便捷渠道，其中財會專業(yè)在線學(xué)習(xí)系統(tǒng)中的認(rèn)知部分主要講述了財會專業(yè)在線學(xué)習(xí)系統(tǒng)的軟件硬件的開發(fā)，演繹部分主要講述如何創(chuàng)建AR展示模型，怎么用圖文并茂的方式講述財會相關(guān)知識，演練部分是通過掃描學(xué)生習(xí)題冊上的圖片并按照操作指引逐步進(jìn)行學(xué)習(xí)。測驗部分主要通過設(shè)置測試題目來檢驗學(xué)生學(xué)習(xí)情況，在教學(xué)系統(tǒng)中設(shè)定了財會專業(yè)定制化的實訓(xùn)場景，學(xué)生通過模擬操作，在虛擬環(huán)境中根據(jù)教師設(shè)定的考題，通過實際操作驗證知識點掌握情況。在此過程中，AR教學(xué)系統(tǒng)不但提供操作的虛擬環(huán)境，還可以記錄學(xué)生的動作與面部表情，作為分析的參考依據(jù)，形成跨越時間和空間的知識教授系統(tǒng)，輔助教師發(fā)現(xiàn)教學(xué)中的薄弱環(huán)節(jié)，以便有針對性地進(jìn)行講解和加強訓(xùn)練。

圖4 系統(tǒng)構(gòu)成

3 結(jié)語

該文通過虛擬現(xiàn)實技術(shù)，將財會專業(yè)的課堂和工作實際相結(jié)合，形成虛擬現(xiàn)實的教學(xué)場景，輔之以聲音、背景和感覺的綜合展現(xiàn)，達(dá)到身臨其境般的教學(xué)實訓(xùn)演練。在系統(tǒng)的設(shè)計過程中，重點考慮了具有專業(yè)特色的AR功能實現(xiàn)以及專用硬件環(huán)境的搭建。由于教學(xué)系統(tǒng)的定位存在低成本、高還原度的設(shè)計要求，因此在設(shè)計中重點關(guān)注了虛擬功能的實現(xiàn)，而忽視了仿真場景的畫面精細(xì)度，適當(dāng)降低了AR系統(tǒng)的應(yīng)用體驗。隨著信息技術(shù)的發(fā)展，可用于展示的維度將更豐富，例如可預(yù)見的味覺模擬、觸覺模擬，以及學(xué)生之間在虛擬環(huán)境中的交流通道等，都可以為會計專業(yè)的實訓(xùn)教學(xué)提供全新體驗的技術(shù)支持。今后還將在AR細(xì)節(jié)的還原度、課件的豐富性方面進(jìn)行研究，輔助高校的人才培養(yǎng)。