陳勇 汪漢國 錢坤 李永 蘇州大學(xué)電子信息學(xué)院
嵌入式智能家居人機交互控制系統(tǒng)設(shè)計
陳勇 汪漢國 錢坤 李永 蘇州大學(xué)電子信息學(xué)院
嵌入式系統(tǒng)技術(shù)應(yīng)用領(lǐng)域囊括了工業(yè)控制、交通管理、醫(yī)療設(shè)備、傳媒影像等等,隨著各行各業(yè)智能化的發(fā)展,用戶追求更加安全、更加方便、更加快捷的智能化生活空間體驗,智能家居走向了嵌入式。本設(shè)計基于嵌入式技術(shù)實現(xiàn)智能家居控制系統(tǒng),即設(shè)計集鼠標模式、觸摸屏模式、語音模式、視頻模式于一體的智能終端人機交互控制系統(tǒng),在這些控制模式下可以實現(xiàn)其他應(yīng)用功能,基于Linux操作系統(tǒng)和LPC3131開發(fā)板平臺采集用戶的音頻信息,通過差分算法獲取和執(zhí)行控制命令。
智能家居 嵌入式技術(shù) 智能終端 差分算法
科技的發(fā)展推動了人們對生活環(huán)境與氛圍的要求,現(xiàn)代家居朝著智能化的方向發(fā)展,但是市場上的智能家居產(chǎn)品缺乏統(tǒng)一性標準,且價格不菲。舒適、友好、便捷的人機交互控制系統(tǒng)成為推動智能家居發(fā)展必不可少的一環(huán)。為提高可移植性、方便系統(tǒng)升級、統(tǒng)一標準提供了可行方案。同時,嵌入式系統(tǒng)主要以應(yīng)用為中心,以計算機技術(shù)為基礎(chǔ),且軟硬件可裁剪。它一般由嵌入式微處理器、外圍硬件設(shè)備、嵌入式操作系統(tǒng)以及用戶的應(yīng)用程序等四個部分組成,用于實現(xiàn)對其他設(shè)備的控制、監(jiān)視或管理等功能。嵌入式系統(tǒng)包括硬件和軟件兩部分。硬件包括處理器/微處理器、存儲器及外設(shè)器件和I/O端口、圖形控制器等。軟件包括操作系統(tǒng)軟件和應(yīng)用程序編程。而操作系統(tǒng)控制著應(yīng)用程序編程與硬件的交互作用。嵌入式系統(tǒng)具有內(nèi)核小、專用性強、高實時性和多任務(wù)的特點,嵌入式技術(shù)在智能家居的發(fā)展中發(fā)揮著不可或缺的作用。
系統(tǒng)的硬件結(jié)構(gòu)是以LPC3131芯片為核心的一套系統(tǒng)。通過鼠標、U盤、擴音器等外設(shè)實現(xiàn)命令獲取和執(zhí)行應(yīng)用功能。利用鼠標或者觸摸屏控制LCD圖形界面上光標的點擊和移動,利用U盤存儲啟動的驅(qū)動程序,利用擴音器采集語音信息并識別語音命令。系統(tǒng)總體設(shè)計框圖如下圖1所示。
圖1 嵌入式智能家居人機交互控制系統(tǒng)總體設(shè)計框圖
集多種控制模式于一體的智能終端具有很強的實用性。下面主要闡述鼠標模式、觸摸屏模式、語音模式、視頻模式設(shè)計方案:
當前嵌入式系統(tǒng)技術(shù)獲得了廣泛應(yīng)用,傳統(tǒng)嵌入式系統(tǒng)的人機接口多采用小鍵盤操作的文本菜單方式,用戶操作較為不便。利用PS/2接口鼠標,在點陣LCD上實現(xiàn)圖形化用戶界面的方案。用窗口菜單和圖形按鈕取代了傳統(tǒng)的鍵盤操作,具有單片機成本低、效果好等特點,具有很強的實用性。利用接口鼠標及采用雙向同步串行協(xié)議實現(xiàn)鼠標模式。鼠標模式技術(shù)相對成熟,本文不再贅述。
用觸摸屏來代替鼠標或鍵盤。工作時,我們必須首先用手指或其它特定物體觸摸安裝在顯示器上的觸摸屏,系統(tǒng)再根據(jù)手指觸摸的圖標區(qū)域或菜單形式位置來定位所需要選擇的信息輸入。觸摸屏由觸摸檢測部件以及觸摸屏控制器組成。觸摸檢測部件安裝在顯示器屏幕前面,主要用于檢測用戶觸摸位置區(qū)域信息,獲取信息后送觸摸屏控制器處理。而觸摸屏控制器的主要作用是獲取觸摸點檢測裝置上觸摸信息,并通過一定算法將它轉(zhuǎn)換成觸點坐標送給CPU,同時能接收CPU發(fā)來的命令并加以執(zhí)行。利用SPI同步串行接口以及采用全雙工、四線通信系統(tǒng),配合ADS7843與S3C2410的硬件電路以差分模式提高響應(yīng)速度和靈敏度,實現(xiàn)觸屏模式。觸屏模式技術(shù)相對成熟,本文也不再贅述。
語音識別系統(tǒng)成為當今熱門技術(shù),而應(yīng)用在智能家居方面突出要求安全性和可靠性。語音模式設(shè)計包括語音訓(xùn)練和語音識別兩個階段。兩個階段分別對輸入語音信息進行預(yù)處理和特征提取。語音訓(xùn)練階段,用戶通過輸入若干次語音進行訓(xùn)練,經(jīng)過后期處理獲得特征矢量參數(shù),利用特征矢量參數(shù)建立參考模型庫。語音識別階段,用戶輸入語音,通過輸入語音的特征矢量參數(shù)與參考模型庫中的參考模型進行相似度匹配,相似度最高的輸入特征矢量作為語音識別的結(jié)果輸出。其基本原理框圖如圖2所示。
圖2 語音模式基本原理
程序中通過V4L接口實現(xiàn)從攝像頭獲得圖像數(shù)據(jù)幀并緩存到FrameBuffer,再由LCD驅(qū)動將圖像在LCD觸摸屏中顯示出來。程序有定時器來控制視頻數(shù)據(jù)幀的采集頻率,實現(xiàn)清晰流暢的視頻采集效果。
采用手動方式時,通過攝像頭采集的視頻流信息并且顯示在觸摸屏上,然后進行手動標記,標記的三類點分別是前景、背景和前景范圍。ARM將標記過的圖像數(shù)據(jù)信息送給PC服務(wù)器,PC通過馬爾科夫隨機場概率算法實現(xiàn)對圖像的分割。分割之后,圖像信息被送回到ARM。在ARM端可以對圖像進行按號碼登記,理論上系統(tǒng)可以登記存儲250幅大小的圖像,考慮到程序的簡潔性,只取50幅演示程序。通過視頻識別程序,系統(tǒng)將會把采集的圖像數(shù)據(jù)與存儲對比庫中的圖像進行相似性對比,從而完成視頻模式的識別。此外通過修改閾值門限,可以控制兩幅圖對比的吻合度,根據(jù)不同環(huán)境背景一定程度上濾除干擾,提高精度。在圖像驗證時,從觸摸屏輸入驗證號碼,如果兩幅圖相似度較高,系統(tǒng)將提示驗證成功;反之,驗證失敗。采用手動方式原理框圖如下圖3所示。
采用自動方式時,自動方式與手動方式的不同之處在于分割時不需要進行手動標記,系統(tǒng)將自動確定亮度高的圖案為前景,亮度低的作為背景。圖像登記、識別和驗證原理相同。采用自動方式原理框圖如下圖4所示。
圖3 采用手動方式原理框圖
圖4 采用自動方式原理框圖
界面設(shè)計主要遵循抽屜及抽屜下按鈕的設(shè)計,其主要框圖如下圖5所示。在圖像分割方面,采用基于高階馬爾科夫隨機場的概率推理算法,對場景進行分割處理。
(1)當采用手動方式時,需要對圖像進行手工打點,確定圖像的前景、背景,通過信息來實現(xiàn)基于概率推理的計算機視覺算法,并送回計算結(jié)果,進而實現(xiàn)場景的分割。
(2)當采用自動方式,系統(tǒng)默認將亮度高的畫面作為前景,低的畫面作為背景,然后進行分割識別。
將PC上完成的系統(tǒng)移植到ARM平臺運行,如下圖6所示為應(yīng)用程序在PC上和ARM開發(fā)板上編譯運行的實現(xiàn)框圖。在PC上編譯采用QT4的編譯環(huán)境,通過的話就可以在PC上運行程序了。ARM上交叉編譯采用的是QTE4的編譯環(huán)境,通過的話就可以在ARM開發(fā)板的觸摸屏上看到程序運行結(jié)果。
圖5 界面設(shè)計框圖
圖6 系統(tǒng)移植實現(xiàn)框圖
本設(shè)計內(nèi)容針對的智能終端,他的特色就是人能對開發(fā)板進行各種形式的控制。通過鼠標可以實現(xiàn)點擊移動,同樣也可以觸摸屏直接用點擊控制,而通過語音模式、視頻模式的功能實現(xiàn)對設(shè)備的控制具有一定的實用性和安全性。
智能化對市場的沖擊,為智能家居指出了發(fā)展方向,體驗新時代美好生活的期望為舒適、友好、便捷的人機交互控制系統(tǒng)的研究提供了動力。智能家居的可移植性、系統(tǒng)可升級性、標準統(tǒng)一性迫在眉睫。本設(shè)計構(gòu)思為此提出了一種可行的方案。
[1]袁志勇,王景存.嵌入式系統(tǒng)原理與應(yīng)用技術(shù)[M].北京航空航天大學(xué)出版社.2009
[2]邢玉娟,譚萍,李明.一種新的說話人識別序列特征提取方法[J].蘭州理工大學(xué)學(xué)報.200904
[3]陳純.計算機圖像處理技術(shù)與算法[M].清華大學(xué)出版社.2003
[4]黃賢武.數(shù)字圖像處理與壓縮編碼技術(shù)[M].電子科技大學(xué)出版社.2000
[5]成潔,盧紫毅.Linux窗口程序設(shè)計:Qt4精彩實例分析[M].清華大學(xué)出版社.2008
自然科學(xué)基金項目《深部探測技術(shù)與實驗研究專項(SinoProbe-09-02-03)——地面電磁探測系統(tǒng)》;項目編號:11104313。
陳勇(1989—),男,漢族,江蘇連云港人,學(xué)生,碩士,單位:蘇州大學(xué)電子信息學(xué)院,研究方向:信息與通信工程。