基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)建設(shè)與實(shí)踐

李厚恩　余里程　廖耀隆

摘要：本文在圖像識(shí)別基礎(chǔ)上，以期解決人機(jī)交互系統(tǒng)內(nèi)攝像頭標(biāo)定復(fù)雜問(wèn)題，提出一種全新的人機(jī)交互系統(tǒng)建設(shè)途徑。首先分析了基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)概述，同時(shí)闡述了系統(tǒng)建設(shè)原理，最后總結(jié)了系統(tǒng)建設(shè)實(shí)踐。

關(guān)鍵詞：圖像識(shí)別；人機(jī)交互；系統(tǒng)建設(shè)；系統(tǒng)實(shí)踐

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）01-0092-02

目前應(yīng)用的人機(jī)交際系統(tǒng)主要包含兩種，一是借助激光筆，實(shí)現(xiàn)遠(yuǎn)距離的交互，另一種則是實(shí)現(xiàn)人體一部分，比如：手部、眼睛等部位的遠(yuǎn)距離交互。人體部位交互不需要外部設(shè)備的協(xié)助，在實(shí)際應(yīng)用中，這類交互技術(shù)更加自然與友好。本文主要研究的是基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)建設(shè)與實(shí)踐，詳細(xì)闡述如下。

1 系統(tǒng)概述

本文研究的基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)，通過(guò)利用人眼交互，以此獲取眼球內(nèi)的轉(zhuǎn)動(dòng)信息，將攝像頭集中在用戶關(guān)注的位置，以此實(shí)現(xiàn)對(duì)計(jì)算機(jī)系統(tǒng)的控制，采集相關(guān)的視頻圖像[1]。借助人手可將眼球信息投放在大屏幕上，因而又稱之為手勢(shì)識(shí)別基礎(chǔ)上的人機(jī)交互。

本文研究的基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)，主要是將兩個(gè)廣角攝像頭分別安裝在A點(diǎn)、B點(diǎn)，安裝點(diǎn)需要與大屏幕正對(duì)，且鏡頭一致對(duì)準(zhǔn)地面。用戶只需要在攝像頭與地面之間的任意距離位置，移動(dòng)手臂，一般采取上下移動(dòng)、左右移動(dòng)兩種，通過(guò)控制大屏幕內(nèi)的鼠標(biāo)定點(diǎn)。在鼠標(biāo)移動(dòng)到指定位置后，用戶站在原地，彎曲會(huì)伸展食指就可實(shí)現(xiàn)鼠標(biāo)點(diǎn)擊。此人機(jī)交互系統(tǒng)的每個(gè)攝像頭主要負(fù)責(zé)用戶手部圖像采集，通過(guò)獲取用戶之間的二維圖像位置坐標(biāo)，在透視投影模型的支持下，以此將指尖成像點(diǎn)與地面之間的坐標(biāo)位置求解出來(lái)。將攝像頭位置、地面坐標(biāo)視作一條直線，系統(tǒng)總計(jì)2條直線，兩條直線交互，則能夠?qū)⒅讣饪臻g坐標(biāo)求解出來(lái)，以此獲取之間空間做標(biāo)與屏幕二維碼做標(biāo)。通過(guò)將物理做標(biāo)轉(zhuǎn)換為專門的邏輯坐標(biāo)，可求解出手指指向屏幕的實(shí)際坐標(biāo)，以此實(shí)現(xiàn)大屏幕的精準(zhǔn)定位。在系統(tǒng)完整定位之后，通過(guò)采集用戶指尖視頻圖像，可判斷食指狀態(tài)。

2 基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)建設(shè)原理

本系統(tǒng)的攝像頭，采取的是透視投影成像模型，如圖1所示。透視投影O型在實(shí)際應(yīng)用中，可將一個(gè)場(chǎng)景光線透過(guò)投影屏幕，聚集在中心。在投影中心位置，與成像平面垂直，以此形成投影軸/光軸，此階段，x，y，z點(diǎn)固定。

透視投影映射圖2所示，攝像頭的平面直角坐標(biāo)系，其原點(diǎn)處于投影中心，坐標(biāo)軸與投影軸相互重合，指向特定的場(chǎng)景，x軸與y軸圖像平面坐標(biāo)與、軸平行，此階段xy平面與圖像平面之間的距離用表示，也稱之為攝像頭的焦距[2]。實(shí)際攝像頭中，圖像平面集中在投影中心后面距離位置，其投影圖像屬于倒立圖像。此階段場(chǎng)景內(nèi)的y點(diǎn)、x點(diǎn)、z點(diǎn)坐標(biāo)需要在圖像平面相交點(diǎn)上獲取。

3 基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)建設(shè)實(shí)踐

以主配網(wǎng)電網(wǎng)為例，系統(tǒng)建設(shè)分析如下。

3.1 個(gè)性化專題監(jiān)控

（1）設(shè)備全維度在線監(jiān)測(cè)。通過(guò)“電網(wǎng)-變電站/輸電線路-設(shè)備”個(gè)層次遞進(jìn)展示整個(gè)深圳電網(wǎng)設(shè)備整體情況，實(shí)現(xiàn)不同層次的用戶掌握電網(wǎng)及設(shè)備運(yùn)行情況。（2）電網(wǎng)全維度監(jiān)測(cè)。電網(wǎng)全景信息用于展示整個(gè)深圳電網(wǎng)設(shè)備全維度在線監(jiān)測(cè)的情況，包括：電網(wǎng)規(guī)模、各類關(guān)鍵設(shè)備數(shù)量、關(guān)鍵設(shè)備狀態(tài)評(píng)價(jià)結(jié)果、各類設(shè)備壽命分布情況、不同等級(jí)的設(shè)備風(fēng)險(xiǎn)次數(shù)、不同等級(jí)的電網(wǎng)風(fēng)險(xiǎn)次數(shù)、電網(wǎng)污區(qū)分布情況等。（3）變電站全維度監(jiān)測(cè)。電網(wǎng)全景信息用于展示整個(gè)變電站設(shè)備全維度在線監(jiān)測(cè)的情況，包括：變電站基礎(chǔ)信息、變電站運(yùn)行信息、變電站各類狀態(tài)監(jiān)測(cè)覆蓋情況、接入情況、在線情況、變電站的設(shè)備狀態(tài)評(píng)價(jià)結(jié)果、基準(zhǔn)態(tài)評(píng)價(jià)結(jié)果、風(fēng)險(xiǎn)評(píng)估結(jié)果等。（4）輸電線路全維度監(jiān)測(cè)。輸電線路全景信息用于展示架空線路和電纜線路設(shè)備全維度在線監(jiān)測(cè)的情況，具體如包括：輸電線線路走勢(shì)、線路運(yùn)行信息、輸電線路桿塔狀態(tài)、線路負(fù)載率、輸電線路實(shí)時(shí)視頻等。（5）設(shè)備全維度監(jiān)測(cè)。設(shè)備全景信息用于展示單體設(shè)備的全景信息，包括：?jiǎn)误w設(shè)備的安裝、采購(gòu)、項(xiàng)目、運(yùn)行、維修、價(jià)值、缺陷、壽命、狀態(tài)、狀態(tài)評(píng)價(jià)結(jié)果、風(fēng)險(xiǎn)評(píng)估結(jié)果、基準(zhǔn)態(tài)分析結(jié)果和故障預(yù)測(cè)結(jié)果等信息。（6）缺陷分布統(tǒng)計(jì)。以巡維中心、廠家為維度進(jìn)行缺陷對(duì)比分析，支持鉆取具體的缺陷信息，具體展示包括：設(shè)備運(yùn)行年限平均故障率、廠家設(shè)備故障指數(shù)、某類設(shè)備非正常狀態(tài)趨勢(shì)分布、某類設(shè)備非正常狀態(tài)運(yùn)行年限分布、展示某類設(shè)備非正常狀態(tài)廠家分布、缺陷數(shù)據(jù)統(tǒng)計(jì)分析結(jié)果等。（7）客戶全方位指標(biāo)監(jiān)控。展示各服務(wù)渠道的客戶訴求、客戶服務(wù)情況，監(jiān)控客戶訴求（包括12398、12345等外部渠道）的受理、分布、處理、跟蹤并閉環(huán)以及后續(xù)處理，回訪情況，以便發(fā)現(xiàn)客戶服務(wù)薄弱環(huán)節(jié)，同時(shí)對(duì)客戶供電質(zhì)量、客戶問(wèn)題、故障停電進(jìn)行實(shí)時(shí)監(jiān)控。（8）電動(dòng)汽車充電運(yùn)營(yíng)監(jiān)控。展示深圳供電局目前拓展的電動(dòng)汽車充電競(jìng)爭(zhēng)性業(yè)務(wù)的總體運(yùn)營(yíng)情況，具體展示內(nèi)容包括：充電站樁規(guī)模、充電樁當(dāng)前運(yùn)行情況、充值金額、充電金額、充電電量、充電樁利用率等。（9）低壓集抄指標(biāo)監(jiān)控。展示深圳供電局低壓集抄建設(shè)和集抄運(yùn)行的總體情況，具體展示內(nèi)容包括：集抄覆蓋率、終端在線率、數(shù)據(jù)采集完整率、遠(yuǎn)程抄表投入率、遠(yuǎn)程抄表成功率、已驗(yàn)收臺(tái)區(qū)數(shù)、已驗(yàn)收電表數(shù)等[3]。

3.2 大屏展示

3.2.1 大屏（含控制終端）展示

（1）大屏展示手段。通過(guò)大屏動(dòng)態(tài)切換或者大屏拼接的方式演示簡(jiǎn)短視頻、展示綜合場(chǎng)景，供會(huì)議或者匯報(bào)使用，同時(shí)也可以設(shè)置若干主題供監(jiān)控人員使用。展示內(nèi)容需要能適應(yīng)多種分辨率的大屏，包括中央?yún)^(qū)域大屏、兩側(cè)區(qū)域大屏以及入口區(qū)域大屏。（2）終端控制。搭建移動(dòng)終端和大屏展示的互動(dòng)工作臺(tái)，通過(guò)移動(dòng)終端發(fā)出指令，發(fā)給可視化監(jiān)控系統(tǒng)進(jìn)行互動(dòng)展現(xiàn)，并可根據(jù)大屏配置最優(yōu)化展示效果[4]。

3.2.2 視覺(jué)效果設(shè)計(jì)與場(chǎng)景展示

將深圳供電局各部門各層級(jí)關(guān)注的關(guān)鍵指標(biāo)信息、月報(bào)指標(biāo)信息、個(gè)性專題指標(biāo)信息以及網(wǎng)公司關(guān)鍵指標(biāo)信息，運(yùn)用視覺(jué)設(shè)計(jì)手段，通過(guò)標(biāo)志的造型和特定的色彩等表現(xiàn)手法，使企業(yè)的經(jīng)營(yíng)理念、管理特色、服務(wù)標(biāo)準(zhǔn)等形成一種整體形象，展示深圳電網(wǎng)良好形象。

包括建立生產(chǎn)域視覺(jué)效果場(chǎng)景設(shè)計(jì)、投資計(jì)劃域視覺(jué)效果場(chǎng)景設(shè)計(jì)、物資域視覺(jué)效果場(chǎng)景設(shè)計(jì)、基建域視覺(jué)效果場(chǎng)景設(shè)計(jì)、營(yíng)銷域視覺(jué)效果場(chǎng)景設(shè)計(jì)、人力資源域視覺(jué)效果場(chǎng)景設(shè)計(jì)、財(cái)務(wù)域視覺(jué)效果場(chǎng)景設(shè)計(jì)、信息域視覺(jué)效果場(chǎng)景設(shè)計(jì)、電網(wǎng)發(fā)展視覺(jué)效果場(chǎng)景設(shè)計(jì)、資產(chǎn)全生命視覺(jué)效果場(chǎng)景設(shè)計(jì)、設(shè)備全維度視覺(jué)效果場(chǎng)景設(shè)計(jì)、客戶全方位視覺(jué)效果場(chǎng)景設(shè)計(jì)、電動(dòng)汽車充電運(yùn)營(yíng)視覺(jué)效果場(chǎng)景設(shè)計(jì)、低壓集抄視覺(jué)效果場(chǎng)景設(shè)計(jì)。實(shí)現(xiàn)不同主題域的視覺(jué)效果設(shè)計(jì)[5]。

通過(guò)視覺(jué)效果設(shè)計(jì)的場(chǎng)景，運(yùn)用視頻處理、三維動(dòng)畫(huà)、數(shù)字合成等技術(shù)，構(gòu)建生產(chǎn)域視覺(jué)效果視頻與動(dòng)畫(huà)組件、投資計(jì)劃域視覺(jué)效果視頻與動(dòng)畫(huà)組件、物資域視覺(jué)效果視頻與動(dòng)畫(huà)組件、基建域視覺(jué)效果視頻與動(dòng)畫(huà)組件、營(yíng)銷域視覺(jué)效果視頻與動(dòng)畫(huà)組件、人力資源域視覺(jué)效果視頻與動(dòng)畫(huà)組件、財(cái)務(wù)域視覺(jué)效果視頻與動(dòng)畫(huà)組件、信息域視覺(jué)效果視頻與動(dòng)畫(huà)組件、電網(wǎng)發(fā)展視覺(jué)效果視頻與動(dòng)畫(huà)組件、資產(chǎn)全生命視覺(jué)效果視頻與動(dòng)畫(huà)組件、設(shè)備全維度視覺(jué)效果視頻與動(dòng)畫(huà)組件、客戶全方位視覺(jué)效果視頻與動(dòng)畫(huà)組件、電動(dòng)汽車充電運(yùn)營(yíng)視覺(jué)效果視頻與動(dòng)畫(huà)組件、低壓集抄視覺(jué)效果視頻與動(dòng)畫(huà)組件。實(shí)現(xiàn)不同主題域的視頻展示，展示深圳局運(yùn)營(yíng)監(jiān)控成果。

4 結(jié)語(yǔ)

綜上所述，本文是在圖像識(shí)別原理基礎(chǔ)上，提出的一種全新的大屏幕人機(jī)交互系統(tǒng)構(gòu)建方式，通過(guò)應(yīng)用雙目立體視覺(jué)，解決了大屏幕人機(jī)交互系統(tǒng)內(nèi)的攝像標(biāo)定問(wèn)題，順應(yīng)時(shí)代發(fā)展需求，融入了各類全新的技術(shù)，提出了一種更加簡(jiǎn)單的空間定位方式。

參考文獻(xiàn)

[1] 盧思羽.基于多模態(tài)人機(jī)交互的虛擬樂(lè)器演奏系統(tǒng)研發(fā)[D].華中師范大學(xué)，2016.

[2] 郭星.大屏幕人機(jī)互動(dòng)中若干關(guān)鍵技術(shù)研究[D].安徽大學(xué)，2013.

[3] 李建新.大屏幕多媒體互動(dòng)展示系統(tǒng)實(shí)現(xiàn)技術(shù)與設(shè)計(jì)[D].安徽大學(xué)，2012.

[4] 李志.基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)研究[D].安徽大學(xué)，2010.

[5] 黃燕榮.基于視頻輸入的虛擬交互系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].大連理工大學(xué)，2004.

Abstract：On the basis of image recognition， in order to solve the complex problem of camera calibration in human-computer interaction system， this paper proposes a new way to build human-computer interaction system. Firstly this paper analyses the overview of large screen human-computer interaction system based on image recognition， expounds the principle of system construction， and finally summarizes the practice of system construction.

Key words：image recognition； human-computer interaction； system construction； system practice