基于圖像處理技術(shù)的人機交互系統(tǒng)設(shè)計與實現(xiàn)

張青 常能

關(guān)鍵詞： 圖像處理; 人機交互; 系統(tǒng)設(shè)計; 特征點坐標(biāo); 數(shù)字信號; 維納濾波算法

中圖分類號： TN911.73?34; TP393 ? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2018）24?0149?04

Design and implementation of human?machine interaction system

based on image processing technology

ZHANG Qing， CHANG Neng

（ShanDong JiaoTong University， Jinan 250357， China）

Abstract： Since the human?machine interaction system based on mixed EEG signals and visual information cannot effectively repair the defective images in complex environments， and has poor human?machine interaction performance， a human?machine interaction system based on the image processing technology is designed. The system is divided into the on?chip functional module and external circuit module. The image processing module in the on?chip functional module preprocesses images， restores images， and collects the feature point coordinates. In the system， the 8255A chip is used as the hardware interface of the human?machine interface. The A， B and C interfaces of the chip are respectively connected to the data line， control line， and alignment line， so as to realize information transmission of the human?machine interaction interface. The system converts images into digital signals by using a camera with a USB. After sending the digital signals to the computer， images are repaired by using the Wiener filtering algorithm. The experimental results show that the designed system can complete the applicator′s action instructions accurately， has a high instruction recognition accuracy rate and recognition speed， and has good human?machine interaction performance.

Keywords： image processing; human?machine interaction; system design; feature point coordinate; digital signal; Wiener filtering algorithm

0 ?引 ?言

人機交互系統(tǒng)是指通過計算機的輸入、輸出設(shè)備，運用有效的方式實現(xiàn)人和機器交流、對話、交換信息的系統(tǒng)。應(yīng)用者可以使用鍵盤、鼠標(biāo)、操作桿和位置追蹤器等設(shè)備，通過手、腳、聲音、肢體動作甚至腦電波等向人機交互系統(tǒng)中傳達信息，人機交互系統(tǒng)則依照應(yīng)用者的指示完成相應(yīng)的指令和操作。因此，人機交互系統(tǒng)在醫(yī)療、軍事、工業(yè)等領(lǐng)域具有重要的應(yīng)用價值。當(dāng)前人機交互系統(tǒng)已經(jīng)處于多通道、多媒體的智能人機交互階段。相關(guān)人員設(shè)計出的人機交互系統(tǒng)都存在一定的問題，如文獻[1]中設(shè)計的基于混合腦電信號及視覺信息的智能輪椅人機交互系統(tǒng)，基于海量電腦信號以及視覺信息進行交互分析，在復(fù)雜環(huán)境中無法對瑕疵圖像進行有效修復(fù)，人機交互性能差;文獻[2]設(shè)計了基于Leap Motion的虛擬農(nóng)作物人機交互系統(tǒng)，該系統(tǒng)采用Leap Motion仿真軟件實現(xiàn)虛擬人機交互，交互過程存在圖像呈現(xiàn)效果差，對操作人員的指令識別正確率較低的弊端。因此，設(shè)計基于圖像處理技術(shù)的人機交互系統(tǒng)，實現(xiàn)高質(zhì)量高效率的人機交互體驗。

1 ?基于圖像處理技術(shù)的人機交互系統(tǒng)設(shè)計與實現(xiàn)

1.1 ?系統(tǒng)框圖設(shè)計

本文設(shè)計的基于圖像處理技術(shù)的人機交互系統(tǒng)使用國外某公司的DE2主板[3]作為系統(tǒng)硬件平臺，其由片上功能模塊以及外部電路模塊構(gòu)成，系統(tǒng)整體框圖如圖1所示。圖中虛線內(nèi)部分是Verilog語言編輯的片上功能模塊，采用AVALON?MM總線[4?5]和NIOS接口;虛線外是不能在片內(nèi)實現(xiàn)的外部電路模塊。系統(tǒng)所有圖像特征點坐標(biāo)的獲取都是由圖像處理模塊單獨實現(xiàn)，該模塊在NIOS CPU的協(xié)助下，與PS/2模塊共同構(gòu)成一個用于選取參考點的用戶接口[6]。CPU通過圖像處理模塊讀取當(dāng)下幀的特征點坐標(biāo)，并根據(jù)連續(xù)幾幀圖像中特征點方位的變化情況通過USB通信接口以鼠標(biāo)和鍵盤的方式把指令傳送給計算機。

1.2 ?系統(tǒng)軟件設(shè)計

1.2.1 ?利用維納濾波算法對圖像進行修復(fù)

運動模糊圖像的恢復(fù)是圖像模型化的一個重要方式，即根據(jù)圖像的物理特征推算它的數(shù)學(xué)模型[7?8]。以運動模糊圖像恢復(fù)為例，當(dāng)圖像傳感器和被拍攝物體間的相對運動足夠快時，圖像傳感器所獲取的圖像就會產(chǎn)生“運動模糊”，即圖像拍攝時受到圖像和傳感器間的均勻線性運動影響而產(chǎn)生的模糊現(xiàn)象[9]。有很多算法可以從噪聲中獲取信號波形，維納濾波算法是最基礎(chǔ)的算法，該算法適用于需要從噪聲中提取出整個有效信號的處理。維納濾波算法的計算過程框圖如圖2所示。

圖2中，圖像被線性點擴展函數(shù)模糊，并且圖像在疊加噪聲中形成了退化圖像，維納濾波算法通過濾波器去除卷積，得到恢復(fù)圖像。

1.2.2 ?VC++上位機利用串口發(fā)送數(shù)據(jù)

所設(shè)計的系統(tǒng)中，人機交互界面與芯片控制器是通過無線通信進行信息交流的，芯片控制器能夠應(yīng)用標(biāo)準(zhǔn)SCI通信協(xié)議，因此在VC++上位機中采用MSComm部件進行開發(fā)。此部件允許應(yīng)用程序訪問串口，在應(yīng)用程序中嵌入MSComm部件后便能夠?qū)崿F(xiàn)計算機串口接收發(fā)送數(shù)據(jù)的操作[10]。

操作時只需將VC++上位機設(shè)定成串口通信模式，運用通信模塊將信號傳輸出去，芯片控制器便能夠準(zhǔn)確獲取信號并展開相應(yīng)的數(shù)據(jù)處理工作。串口發(fā)送數(shù)據(jù)流程圖如圖3所示。

2 ?實驗分析

2.1 ?指令識別正確率和識別速度驗證

為了驗證本文系統(tǒng)的性能，實驗在不同光照條件、不同指令數(shù)的情況下，對本文系統(tǒng)進行性能測試。實驗采用主頻為2.5 Hz，內(nèi)存為512 MB的計算機，圖像獲取設(shè)備采用帶有USB接口的CMOS彩色攝像頭，獲取圖像的大小為640×480像素，此外實驗還運用了照度計和色溫箱。

本文系統(tǒng)中手指被攝像頭捕捉的細微動作通過處理后轉(zhuǎn)換成操控計算機的指令代碼。實驗時，某位操作人員任意選取指令數(shù)1～16中的一個數(shù)值，另一位操作人員將手指在攝像頭前做出與指令相對應(yīng)的細微動作，攝像頭捕獲一系列手指細微動作的視頻流，通過人機交互系統(tǒng)的解析，通過屏幕顯示出指令識別的結(jié)果。實驗主要通過識別率、識別速度和識別指令來衡量本文系統(tǒng)的性能;選取基于混合腦電信號及視覺信息的人機交互系統(tǒng)和基于Leap Motion的人機交互系統(tǒng)作為對比對象。當(dāng)指令數(shù)為5時本文系統(tǒng)的實驗數(shù)據(jù)如表1所示，另外兩種系統(tǒng)的實驗數(shù)據(jù)分別見表2、表3。

根據(jù)表1～表3的實驗數(shù)據(jù)，可以得出以下結(jié)論：

當(dāng)環(huán)境照度在10 lux以上時，光照強度的變化對系統(tǒng)的識別速度和識別效果影響不大，當(dāng)照度低于10 lux時，三個系統(tǒng)的正確率均較低，人機交互系統(tǒng)基本無法正常工作。當(dāng)照度高于10 lux時，相同光照條件下，本文系統(tǒng)對指令識別的正確率均在99%以上，而另外兩個系統(tǒng)的正確率僅在80%～90% 之間。此外，在指令識別速度上，本文系統(tǒng)平均每次識別的時間在140 ms左右，而另外兩個系統(tǒng)平均每次識別的時間分別為160 ms左右和180 ms左右。由此可見，本文系統(tǒng)具有較高的指令識別正確率和識別速度。

2.2 ?輸出圖像精確度驗證

將本文系統(tǒng)與基于混合腦電信號及視覺信息的人機交互系統(tǒng)、基于Leap Motion的人機交互系統(tǒng)的輸出圖像的穩(wěn)定性進行對比實驗。測試人員在屏幕上輸出6個不同的點作為標(biāo)記點，同時在攝像頭獲取到的圖像點上添加了標(biāo)準(zhǔn)差為2像素的高斯噪聲。實驗對系統(tǒng)輸出的投影圖像進行100次運算，計算因修改標(biāo)記點和投影基點數(shù)量造成的圖像誤差的平均值，實驗得到3個系統(tǒng)輸出圖像的精確度結(jié)果如圖4所示，由該圖可以看出，相對于其他兩種系統(tǒng)，本文系統(tǒng)在相同標(biāo)記點和投影點的情況下，具有較低的輸出圖像誤差，說明本文系統(tǒng)輸出的圖像具有較高的精確度。

3 ?結(jié) ?論

本文基于圖像處理技術(shù)的人機交互系統(tǒng)通過識別操作者的肢體動作來實現(xiàn)對PC的控制。實驗表明，本文系統(tǒng)在光照良好、光照一般條件下進行人機交互過程中，對于指令識別正確率都高于99.4%，而在光照很暗的條件下利用本文系統(tǒng)進行識別的正確率達到62.3%，說明本文系統(tǒng)進行人機交互時精度高、穩(wěn)定性強;并且本文系統(tǒng)進行人機交互的時間保持在141～143 ms之間，低于其他兩種系統(tǒng)的識別速度，說明本文系統(tǒng)是一種高質(zhì)量的人機交互系統(tǒng)。

參考文獻

[1] 張毅，尹春林，蔡軍.混合腦電信號及視覺信息的智能輪椅人機交互系統(tǒng)[J].智能系統(tǒng)學(xué)報，2016，11（5）：648?654.

ZHANG Yi， YIN Chunlin， CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human?machine interactive system [J]. CAAI transactions on intelligent systems， 2016， 11（5）： 648?654.

[2] 吳福理，丁胤，丁維龍，等.基于Leap Motion的虛擬農(nóng)作物人機交互系統(tǒng)設(shè)計[J].農(nóng)業(yè)工程學(xué)報，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（23）： 144?151.

[3] LI J， BAI Y F， HE J L. Design and implementation of embedded video surveillance system based on human detection [J]. Applied mechanics & materials， 2014， 513： 4535?4538.

[4] 馬莉，王建國，韋勇宇，等.基于圖元的火控系統(tǒng)人機交互界面的實現(xiàn)[J].火力與指揮控制，2017，42（7）：170?174.

MA Li， WANG Jianguo， WEI Yongyu， et al. Realization of the human?computer interaction interface of fire control system based on graphic element [J]. Fire control & command control， 2017， 42（7）： 170?174.

[5] 符斌，任鴻翔，李小濤.觸控式航海模擬器人機交互系統(tǒng)優(yōu)化設(shè)計[J].艦船科學(xué)技術(shù)，2017，39（11）：110?114.

FU Bin， REN Hongxiang， LI Xiaotao. Optimal design of touch?sensitive human?computer interaction of ship maneuvering simulator [J]. Ship science and technology， 2017， 39（11）： 110?114.

[6] 夏鯤，曾彥能，葛越，等.戶用光伏并網(wǎng)逆變器人機交互系統(tǒng)開發(fā)及應(yīng)用[J].電源技術(shù)，2016，40（2）：379?381.

XIA Kun， ZENG Yanneng， GE Yue， et al. Development and applications of human machine interface system in photovoltaic grid?connected inverter for household [J]. Chinese journal of power sources， 2016， 40（2）： 379?381.

[7] 胡云普，麥宋平，謝翔.一種基于高頻率投影儀—攝像頭的人機交互系統(tǒng)[J].計算機應(yīng)用研究，2017，34（3）：907?910.

HU Yunpu， MAI Songping， XIE Xiang. High?frequency pro?cam based human?computer interaction system [J]. Application research of computers， 2017， 34（3）： 907?910.

[8] 王道檔，趙超杰，孔明，等.基于圖像處理的膠囊外形快速檢測系統(tǒng)設(shè)計[J].電視技術(shù)，2014，38（19）：216?220.

WANG Daodang， ZHAO Chaojie， KONG Ming， et al. Design of rapid detection system for capsule shapes based on image processing [J]. Video engineering， 2014， 38（19）： 216?220.

[9] 羅杰，張之明.基于圖像處理技術(shù)自動報靶系統(tǒng)綜述[J].激光雜志，2016，37（7）：1?6.

LUO Jie， ZHANG Zhiming. Survey on automatic target?scoring system based on image processing technology [J]. Laser journal， 2016， 37（7）： 1?6.

[10] 戴美松，張小斌，李秀根，等.基于圖像處理技術(shù)梨果實尺寸測定系統(tǒng)的研發(fā)與應(yīng)用[J].園藝學(xué)報，2016，43（4）：763?770.

DAI Meisong， ZHANG Xiaobin， LI Xiugen， et al. Development of a size measurement system for pear fruit based on image processing technology [J]. Acta Horticulturae Sinica， 2016， 43（4）： 763?770.