智能早教輔助系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

梁琨 趙金銘 高明輝 楊晨 鞏秀鋼

摘? 要：幼兒期是智力發(fā)展的黃金期，在這時(shí)期兒童的大部分知識(shí)能力都是從玩耍中得到的。本篇論文針對(duì)上述情況，開(kāi)發(fā)了一套激發(fā)兒童學(xué)習(xí)興趣、提高兒童認(rèn)知能力的早教系統(tǒng)。該系統(tǒng)主要由攝像頭模塊、語(yǔ)音模塊組成，利用攝像頭捕捉物體關(guān)鍵信息，由服務(wù)器對(duì)圖像進(jìn)行處理，以線(xiàn)性回歸算法對(duì)采集的數(shù)據(jù)進(jìn)行分析，預(yù)測(cè)兒童的興趣，同時(shí)，該系統(tǒng)具備與兒童進(jìn)行簡(jiǎn)單交互的功能。

關(guān)鍵詞：智能早教系統(tǒng);兒童興趣;語(yǔ)音識(shí)別;圖像信息處理

中圖分類(lèi)號(hào)：TN931.3;TP311.1? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）09-0184-03

0? 引? 言

學(xué)齡前期，幼兒的神經(jīng)纖維的發(fā)育逐步完善，對(duì)外界的各種刺激的傳導(dǎo)更為準(zhǔn)確迅速，這個(gè)時(shí)期是兒童智力發(fā)展的關(guān)鍵時(shí)期，此時(shí)的學(xué)齡前教育對(duì)于開(kāi)發(fā)兒童的智力十分重要。目前，學(xué)前教育市場(chǎng)持續(xù)穩(wěn)定增長(zhǎng)，早教系統(tǒng)所占的市場(chǎng)份額也在不斷增加。然而，內(nèi)容交互能力差、功能匱乏、自學(xué)習(xí)能力差已成為目前市場(chǎng)早教系統(tǒng)的主要瓶頸。因此，在本篇文章中設(shè)計(jì)了一套結(jié)合視頻、語(yǔ)音對(duì)話(huà)等于一體，通過(guò)機(jī)器視覺(jué)，興趣預(yù)測(cè)，提升孩子認(rèn)識(shí)世界的能力，激發(fā)孩子的學(xué)習(xí)興趣的輔助早教系統(tǒng)。同時(shí)，本系統(tǒng)能夠使家長(zhǎng)及時(shí)了解孩子的興趣愛(ài)好并能夠適時(shí)地加以引導(dǎo)，為孩子創(chuàng)造發(fā)展的空間，將兒童的興趣轉(zhuǎn)變?yōu)橄鄳?yīng)的能力。

1? 國(guó)內(nèi)外研究現(xiàn)狀

我國(guó)早教行業(yè)于1998年開(kāi)始起步，相較于歐美我國(guó)早教行業(yè)起步較晚，目前國(guó)內(nèi)早教市場(chǎng)主要被如美國(guó)的金寶貝、美吉姆等早教機(jī)構(gòu)所占領(lǐng)，而這些早教機(jī)構(gòu)的早期教育服務(wù)是以教授課程為主。這些早教機(jī)構(gòu)一般監(jiān)管不到位且收費(fèi)較高，存在一些安全隱患，如2018年紅黃藍(lán)早教機(jī)構(gòu)發(fā)生的虐童現(xiàn)象。對(duì)比這些早教機(jī)構(gòu)，目前國(guó)內(nèi)早教系統(tǒng)發(fā)展現(xiàn)狀并不樂(lè)觀，這些早教系統(tǒng)主要具備兒童故事機(jī)、遠(yuǎn)程監(jiān)控、視頻通話(huà)等功能，并不能幫助父母分析兒童的興趣愛(ài)好，為孩子創(chuàng)造更好的發(fā)展空間;而國(guó)外早教行業(yè)主要是以學(xué)前教育的方式讓孩子通過(guò)自己的探索得到知識(shí)，并不能及時(shí)發(fā)現(xiàn)兒童的興趣，減少了孩子與家長(zhǎng)之間的互動(dòng)。美國(guó)兒科學(xué)會(huì)認(rèn)為家庭的硬件設(shè)備配置、媒介素養(yǎng)教育與嬰幼兒的媒介接觸行為呈顯著相關(guān)（一半以上的孩子最初接觸媒介是受家中大人影響）[1]。可見(jiàn)，家庭對(duì)嬰幼兒的媒介接觸指導(dǎo)對(duì)嬰幼兒媒介素養(yǎng)有直接且重要的影響[1]。

2? 系統(tǒng)組成

本系統(tǒng)主要由攝像頭模塊、語(yǔ)音模塊、平臺(tái)網(wǎng)站組成。系統(tǒng)的總體構(gòu)成如圖1所示。

系統(tǒng)通過(guò)攝像頭對(duì)物體進(jìn)行捕獲，將所得的圖像信息上傳至服務(wù)器端，服務(wù)器端對(duì)圖像信息進(jìn)行處理，依據(jù)圖像模型進(jìn)行物體識(shí)別，若運(yùn)行平臺(tái)網(wǎng)頁(yè)，早教視頻播放模塊會(huì)實(shí)時(shí)切換至兒童所感興趣的物體。同時(shí)，主程序會(huì)對(duì)相關(guān)數(shù)據(jù)進(jìn)行收集，對(duì)兒童感興趣的物體利用物體分類(lèi)模型進(jìn)行聚類(lèi)，通過(guò)線(xiàn)性回歸算法預(yù)測(cè)出兒童的興趣。

3? 系統(tǒng)硬件設(shè)計(jì)

3.1? 圖像采集模塊

圖像采集模塊通過(guò)攝像頭捕捉圖像信息，用樹(shù)莓派控制模塊的運(yùn)行。當(dāng)服務(wù)器傳來(lái)拍照命令時(shí)，樹(shù)莓派操縱攝像頭捕捉圖像信息，將其保存在樹(shù)莓派的存儲(chǔ)卡中。待服務(wù)器端準(zhǔn)備好相應(yīng)的存儲(chǔ)空間后，圖片將以流的形式發(fā)送至服務(wù)器端，進(jìn)行相應(yīng)的處理，具體過(guò)程如圖2所示。

3.2? 語(yǔ)音模塊

交互機(jī)器人內(nèi)部有一塊Arduino單片機(jī)，用來(lái)連接LD3320語(yǔ)音合成模塊、YS-XFS5152語(yǔ)音識(shí)別模塊和ESP 8266 Wi-Fi模塊。

當(dāng)孩子對(duì)機(jī)器人說(shuō)話(huà)時(shí)，機(jī)器人內(nèi)部的語(yǔ)音識(shí)別模塊進(jìn)行語(yǔ)音的讀取，基于大量的語(yǔ)音模型分析，將輸入的語(yǔ)音特征向量序列轉(zhuǎn)化成詞序列并輸出。語(yǔ)音數(shù)據(jù)被Arduino處理為指定命令后，經(jīng)Wi-Fi模塊發(fā)送至服務(wù)器端，服務(wù)器根據(jù)收到的命令做出響應(yīng)。若接收到對(duì)話(huà)的指令，服務(wù)器會(huì)將指定的內(nèi)容進(jìn)行GBK編碼后發(fā)送至Arduino，通過(guò)語(yǔ)音合成模塊進(jìn)行語(yǔ)音播報(bào)，具體流程如圖3所示。

4? 系統(tǒng)軟件設(shè)計(jì)

4.1? 服務(wù)器端處理邏輯

當(dāng)服務(wù)器接收到來(lái)自Arduino的命令時(shí)，首先對(duì)其進(jìn)行解析，若為對(duì)話(huà)指令，則將相應(yīng)的文本進(jìn)行GBK編碼后發(fā)送至Arduino;若為物體識(shí)別指令，服務(wù)器端向樹(shù)莓派發(fā)送相應(yīng)的命令，等待圖像信息回傳，圖像傳輸完畢后，對(duì)其進(jìn)行物體識(shí)別。服務(wù)器端會(huì)將物體信息處理為相應(yīng)的對(duì)話(huà)文本后傳輸至Arduino。同時(shí)，相應(yīng)的信息經(jīng)處理后會(huì)保存在數(shù)據(jù)庫(kù)中，以供“興趣預(yù)測(cè)”功能調(diào)用，具體服務(wù)器端處理器邏輯流程如圖4所示。

4.3? 平臺(tái)網(wǎng)頁(yè)

4.3.1? 早教視頻播放

若用戶(hù)使用平臺(tái)網(wǎng)站，早教視頻頁(yè)面將基于物體識(shí)別進(jìn)程返回的結(jié)果播放相應(yīng)的視頻。

具體實(shí)現(xiàn)方法為：當(dāng)服務(wù)器端進(jìn)行物體識(shí)別后，會(huì)以Post形式向后臺(tái)的Servlet發(fā)送對(duì)應(yīng)的JSON字串，此時(shí)，進(jìn)程中的監(jiān)聽(tīng)器會(huì)對(duì)JSON字串進(jìn)行解析，修改Servlet中的物體ID。

與此同時(shí)，Web端通過(guò)Ajax技術(shù)不斷地向后臺(tái)Servlet請(qǐng)求物體ID，當(dāng)檢測(cè)到物體ID變化后，與此物體ID對(duì)應(yīng)的早教視頻會(huì)進(jìn)行實(shí)時(shí)切換。

4.3.2? 歷程記錄

兒童的瀏覽記錄會(huì)實(shí)時(shí)保存在數(shù)據(jù)庫(kù)中，并在網(wǎng)頁(yè)中進(jìn)行顯示，以便家長(zhǎng)參考。

具體流程為：當(dāng)主進(jìn)程中得到物體識(shí)別子進(jìn)程返回的有效物體信息后，首先對(duì)物體名稱(chēng)表進(jìn)行遍歷，若該表中存在此物體名稱(chēng)，物體接觸次數(shù)會(huì)自動(dòng)加一，同時(shí)物體對(duì)應(yīng)的名稱(chēng)與此時(shí)的時(shí)間戳?xí)４嬖跉v程表中;若物體名稱(chēng)表中不存在該物體的名稱(chēng)，物體名稱(chēng)表會(huì)新增加一列，并賦予該物體一個(gè)ID，同時(shí)物體對(duì)應(yīng)的名稱(chēng)與此時(shí)的時(shí)間戳?xí)４嬖跉v程表中。

當(dāng)家長(zhǎng)訪(fǎng)問(wèn)相應(yīng)的Web頁(yè)面時(shí)，最新的十條記錄將被顯示，若家長(zhǎng)期望獲取孩子接觸物體的全部記錄，可以點(diǎn)擊更多進(jìn)行數(shù)據(jù)的調(diào)取。

4.3.3? 興趣預(yù)測(cè)

后臺(tái)程序會(huì)提取數(shù)據(jù)庫(kù)中兒童感興趣的物品進(jìn)行聚類(lèi)，為了保證數(shù)據(jù)的可維護(hù)性，使用大量的中文文本進(jìn)行相關(guān)模型的訓(xùn)練，以保證后續(xù)增加的物體存在對(duì)應(yīng)的分類(lèi)。

隨后程序根據(jù)兒童接觸這些物體的次數(shù)與時(shí)間，基于線(xiàn)性回歸算法對(duì)兒童的興趣做出預(yù)測(cè)。具體實(shí)現(xiàn)方法為：每次運(yùn)行興趣預(yù)測(cè)頁(yè)面時(shí)，會(huì)向后臺(tái)數(shù)據(jù)庫(kù)請(qǐng)求兒童接觸物體的次數(shù)c與接觸該物體的最大時(shí)間戳t，基于c、t與興趣的正反關(guān)系進(jìn)行線(xiàn)性回歸處理，得出某個(gè)物體對(duì)應(yīng)的興趣值，對(duì)分類(lèi)相同的物體乘以相應(yīng)的權(quán)值進(jìn)行累加，計(jì)算各個(gè)分類(lèi)數(shù)值，結(jié)果最大的作為兒童的興趣輸出，同時(shí)，所有的分類(lèi)結(jié)果會(huì)以圖表的形式顯示在平臺(tái)網(wǎng)頁(yè)，如圖5所示，以便家長(zhǎng)及時(shí)了解孩子的興趣愛(ài)好，給予孩子正確的引導(dǎo)。

5? 結(jié)? 論

該系統(tǒng)打破了傳統(tǒng)玩具的局限性，結(jié)合圖像、網(wǎng)頁(yè)、語(yǔ)音對(duì)話(huà)等于一體，通過(guò)物體識(shí)別、簡(jiǎn)單對(duì)話(huà)、視頻播放等方式，拓寬兒童的視野，激發(fā)兒童的學(xué)習(xí)興趣;同時(shí)，本系統(tǒng)能夠使家長(zhǎng)及時(shí)了解孩子的興趣愛(ài)好等相關(guān)信息，為家長(zhǎng)提供相應(yīng)的教育建議，實(shí)現(xiàn)教育服務(wù)的私人定制。

當(dāng)然，該系統(tǒng)在后續(xù)時(shí)間內(nèi)需要進(jìn)行不斷的完善，圖像識(shí)別模型的物體種類(lèi)需要進(jìn)一步添加，興趣預(yù)測(cè)算法中各個(gè)物體的種類(lèi)權(quán)重、時(shí)間、次數(shù)變量的參數(shù)也需要根據(jù)后期獲取的數(shù)據(jù)不斷調(diào)整，以保證最終結(jié)果的可靠性。

參考文獻(xiàn)：

[1] 我是唯一的康總.國(guó)內(nèi)早教市場(chǎng)研究？國(guó)外早教市場(chǎng)研究？ [EB/OL].https：//www.jianshu.com/p/5b10b27a58bf？ utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation，2018-01-29.

[2] JNingWei.論文閱讀：RetinaNet [EB/OL].https：//blog.csdn.net/JNingWei/article/details/80038594，2018-04-22.

作者簡(jiǎn)介：梁琨（1998.01-），男，漢族，山東臨沂人，本科，研究方向：計(jì)算機(jī)科學(xué)與技術(shù);趙金銘（1998.03-），女，漢族，山東日照人，本科，研究方向：通信工程;高明輝（1998.05-），男，漢族，山東威海人，本科，研究方向：軟件工程;楊晨（1996.04-），女，漢族，山東濰坊人，碩士研究生，研究方向：檢測(cè)與控制技術(shù)、嵌入式系統(tǒng)及應(yīng)用;通訊作者：鞏秀鋼（1970.08-），男，漢族，山東淄博人，計(jì)算機(jī)系主任，副教授，博士，研究方向：嵌入式系統(tǒng)與物聯(lián)網(wǎng)技術(shù)。