基于人機交互的全景智能化視頻目標自動監(jiān)測方法

李蓉

摘 要：全景智能化視頻中存在多種近似的目標干擾項，且在動態(tài)活動條件下容易丟失監(jiān)測目標，影響監(jiān)測方法對設(shè)定目標的抓取效果，針對這一問題以人機交互為基礎(chǔ)，設(shè)計全新的全景智能化視頻目標自動監(jiān)測方法。該方法以投影變換矩陣為前提，標定與配準攝像機安裝節(jié)點;利用示性函數(shù)判斷圖像是否為背景圖像，根據(jù)方向梯度公式排除近似目標干擾項;基于人機交互設(shè)置目標模板區(qū)域，通過均值偏移過程檢測方法追蹤監(jiān)測目標所在位置，并自動恢復(fù)丟失目標，實現(xiàn)對全景智能化視頻目標的自動監(jiān)測。結(jié)果表明，對照其他3組自動監(jiān)測方法，基于人機交互的自動監(jiān)測，從第1幀圖像開始匹配目標，抓取概率一直維持在0.9以上，監(jiān)測效果遠優(yōu)于對照的3組方法。

關(guān)鍵詞：人機交互;全景視頻;攝像機標定;干擾目標;背景判別;自動監(jiān)測

中圖分類號：TP391?????? 文獻標識碼：A文章編號：1001-5922（2022）01-0111-05

Automatic monitoring method of panoramic intelligent video target based on human-computer interaction

LI Rong

（Lu′an vocational andTechnical College，Changzhi 046000，Shanxi China）

Abstract：There are many similar target interference items in panoramic intelligent video，and it is easy to lose the monitoring target under the condition of dynamic activity，which affects the grasping effect of the monitoring method on the set target.Aiming at solving this problem，a new panoramic intelligent video target automatic monitoring method was designed based on human-computer interaction.Based on the projection transformation matrix，the camera installation nodes were calibrated and registered;The indication function was used to judge whether the image is a background image，and the approximate target interference term was eliminated according to the directional gradient formula;Set the target template area based on human-computer interaction，tracked the location of the monitoring target through the mean shift process detection method，and automatically recovered the lost target，so as to realize the automatic monitoring of panoramic intelligent video target.The experimental results showed that compared with the other three groups of automatic monitoring methods，the automatic monitoring based on human-computer interaction matched the target from the first frame image，and the capture probability remained above 0.9，while the monitoring effect is much better than the three groups of methods..

Key words：human computer interaction;Panoramic video;camera calibration;jamming target;background discrimination;automatic monitoring

現(xiàn)代社會生活依靠互聯(lián)網(wǎng)和物聯(lián)網(wǎng)建立溝通，越來越多的工作在網(wǎng)絡(luò)及智能技術(shù)的支持下正常運轉(zhuǎn)，其中道路交通指揮、電力輸送等基本工作，對于網(wǎng)絡(luò)的依賴程度都很大，在網(wǎng)絡(luò)的控制下以智能化的方式，完成道路疏通、電力調(diào)度等工作，由此在這些工作中，開始出現(xiàn)具有全景功能監(jiān)測的系統(tǒng)。該系統(tǒng)通過導(dǎo)入全景信息，構(gòu)建滿足日常工作的全景信息模型，根據(jù)模型劃分不同的監(jiān)測位置和監(jiān)測方式，保證各項工作穩(wěn)定進行[1]。然而，全景智能化視頻目標受外界環(huán)境因素中大量同屬性、不同屬性，同類別、不同類別的干擾項影響，自身屬性特征不夠明顯，有時會與這些干擾項之間高度類似，導(dǎo)致系統(tǒng)監(jiān)測過程中丟失本來設(shè)定好的監(jiān)測目標。為了保證系統(tǒng)的正常工作，提出將人機交互的相關(guān)技術(shù)應(yīng)用到自動監(jiān)測方法當中?，F(xiàn)階段的人機交互技術(shù)，是通過人機交互界面與系統(tǒng)直接交流，以并行操作的方式控制系統(tǒng)運行[2]。目前該技術(shù)被廣泛應(yīng)用到各項領(lǐng)域，包括人體運動過程中的動作識別、翻轉(zhuǎn)課堂設(shè)計、機器人軌跡控制等，這些方法都充分發(fā)揮了人機交互技術(shù)的特點，為各自工作提供更加精準的控制。此次研究基于人機交互的全景智能化視頻目標自動監(jiān)測方法，利用該方法加強目標監(jiān)測工作，為今后的目標識別定位研究提供參考。

1 基于人機交互的全景智能化視頻目標自動監(jiān)測方法

1.1 標定與配準攝像機安裝位置

全景視頻監(jiān)測需要多臺攝像機，這些攝像機分布在分布式網(wǎng)絡(luò)當中，通過不同的拍攝方向與角度，將大量攝像機數(shù)據(jù)轉(zhuǎn)變?yōu)槿皵?shù)據(jù)。這一工作要求攝像機的標定與配準位置，能夠滿足全景監(jiān)測要求。設(shè)計一個運行在分布式網(wǎng)絡(luò)中的交互式遠程標定方法，要求該方法能夠預(yù)先選取待配準圖像的局部位置，通過篩選匹配特征點控制匹配誤差;還要求該方法能夠利用匹配點完成數(shù)據(jù)篩選與信息配準，通過減少節(jié)點計算量，控制計算耗時。此項工作的本質(zhì)，就是利用一個圖像映射關(guān)系，將攝像機的拍攝內(nèi)容匹配到基準視場中，通過縮放、平移、旋轉(zhuǎn)等方法融合處理圖像。設(shè)置原始圖像的隨機像素點坐標為a，b;經(jīng)過上述變換處理后的像素點坐標為a′，b′，則通過下列公式獲得原始圖像與處理后圖像的變換關(guān)系：

a′b′1〗=μ11μ12μ13μ21μ22μ23μ31μ32μ33〗ab1〗（1）

式中：μ11μ12μ13μ21μ22μ23μ31μ32μ33〗=A，表示投影變換矩陣，其中μ13μ23〗T和μ31μ32〗T分別用于不同行列數(shù)據(jù)在a、b坐標上的平移和透視變換。利用矩陣A對不在同一直線上的匹配點進行配對，完成對圖像的投影變換[3]。這一過程中，為了解決非整數(shù)像素坐標取值困難的問題，采用雙線性內(nèi)插法插值運算圖像;假設(shè)對圖像進行N倍縮放，該圖像中的隨機像素點坐標不變，推算該坐標在變換處理后的圖像中，生成的新坐標為a″，b″，則通過下列公式獲得二者之間的關(guān)系：

a″=a′·1N

b″=b′·1N（2）

設(shè)置浮點坐標為a″+Δa″，b″+Δb″，其中a″、b″表示正整數(shù)部分;Δa″和Δb″表示小數(shù)部分，則利用雙線性內(nèi)插法插值運算圖像時，根據(jù)4個相鄰點像素值在不同方向上的內(nèi)插，獲得浮點坐標的像素值，即

f（a″+λ，b″+λ）=f（a″，b″）+Δa″+Δb″+

Δa″Δb″（3）

圖像縮放后，根據(jù)公式（3）獲得新圖像的每個坐標的像素值。根據(jù)上述過程調(diào)整攝像機的安裝位置，滿足攝像機在分布式網(wǎng)絡(luò)中的全景監(jiān)測。

1.2 排除目標干擾項

利用攝像機獲得圖像后，利用人機交互平臺自動檢測全景智能化視頻目標;但大多數(shù)視頻中會頻繁出現(xiàn)汽車、行人等動態(tài)目標，這些目標之間具有極強的相似性，當目標運動時，受相似性干擾項的影響，容易丟失監(jiān)測目標，所以對單幀圖像初始化，要按照每一幀的內(nèi)容分類圖像中的各個對象，為排除干擾項提供分類數(shù)據(jù)。但排除干擾項之前需要判定圖像是否為背景圖像，設(shè)計單幀初始化策略和隨機更新策略，根據(jù)該策略判斷圖像幀數(shù)，并分析當前圖像是否為背景圖像，判定公式為

La″，b″=∑ni=1FGia″，b″-Ia″，b″>α〗

（4）

式中：F*表示示性函數(shù);Gi*表示樣本集合當中第i個樣本的像素值;I*表示輸入圖像的像素值;α表示判斷像素相似性的閾值。當所求結(jié)果L的值越大時，越能說明該點為背景的可能性就越大。根據(jù)該結(jié)果判斷全景智能化視頻中，每一幀圖像是否為背景圖像。此次研究將此項結(jié)果的標準值設(shè)置為10，當L<10時，則該幀圖像為背景圖像，否則為目標圖像。該方法根據(jù)判定結(jié)果得到目標圖像，如圖1（a）所示。

根據(jù)圖1可知，根據(jù)公式（4）的評價結(jié)果，獲得圖1（a）存在干擾項的圖像。對該干擾項進行排除，這一過程需要考慮方向梯度。已知目標物的邊緣輪廓最具有價值，因為監(jiān)測識別需要通過不同的邊緣輪廓，識別目標種類。圖像的邊緣可以利用不同像素點的梯度進行描述，該值通過下列方程組獲得：

Haa″，b″=Ra″+1，b″-Ra″-1，b″Hba″，b″=Ra″，b″+1-Ra″，b″-1Ta″，b″=Haa″，b″2+Hba″，b″2βa″，b″=arctanHba″，b″Haa″，b″（5）

式中：Haa″，b″、Hba″，b″分別表示不同方向的邊緣特征值;R*表示像素灰度值;Ta″，b″表示梯度幅值;βa″，b″表示梯度方向[4]。通過公式（5）計算每個像素的梯度，連接得到結(jié)果后生成獨立的區(qū)塊，實現(xiàn)對干擾目標的鎖定，從而在圖1（a）中排除，得到圖1（b）的結(jié)果，實現(xiàn)對監(jiān)測目標的精準定位。

1.3 基于人機交互自動恢復(fù)丟失目標

在實際監(jiān)測過程中，盡管區(qū)分了背景環(huán)境和干擾項，但依舊存在突然丟失監(jiān)測目標的情況，所以在人機交互的基礎(chǔ)上，通過人機交互界面控制Mean Shift跟蹤算法的運行，輔助對目標的自動監(jiān)測。假設(shè)目標模板區(qū)域的像素位置為a*i，其中i表示位置節(jié)點編號。已知核函數(shù)為一個單調(diào)遞減函數(shù)，利用該函數(shù)設(shè)置目標模板區(qū)域的像素權(quán)值，其中遠離模板的像素權(quán)值較小，接近模板的像素權(quán)值較大。設(shè)置a*i處的像素灰度值為ga*i，則目標模板灰度概率的計算結(jié)果為

pi=M∑ni=1h‖a*i‖2φga*i-γ〗（6）

式中：M表示歸一化常數(shù);h*表示加權(quán)函數(shù)，也就是提出的核函數(shù);φ*〗表示克羅內(nèi)克函數(shù)，當該函數(shù)的結(jié)果φ=0時，像素節(jié)點不重疊;當該函數(shù)的結(jié)果為φ=1時，像素節(jié)點重疊。由于概率pi的最大極限值為1，那么根據(jù)公式（6）可導(dǎo)出歸一化常數(shù)M，得到

M=1∑ni=1h‖a*i‖2（7）

根據(jù)公式（6）和公式（7），可得到人機交互控制數(shù)據(jù)，根據(jù)該數(shù)據(jù)比較目標模板和候選目標之間的相似性，該比較過程如下：

s′z=∑mi=1piz，pisz=1-s′z（8）

式中：s′z是描述模板與候選目標之間關(guān)系的Bhattacharyya系數(shù)。在被檢測幀中定位目標，需要從前一幀的目標模板位置開始，將模板與目標進行比較，而不是默認初始圖像為背景。因為一些目標可能運動到區(qū)域的邊緣處，所以對監(jiān)測的前10～20幀圖像不進行目標匹配，導(dǎo)致這種默認存在極大的誤差，影響最終的監(jiān)測結(jié)果。所以人機交互過程中，考慮攝像機的拍攝位置，試試調(diào)整Bhattacharyya系數(shù)，根據(jù)目標模板和候選目標之間的線性近似，衡量目標的變形程度。操作過程中當變形結(jié)果超出數(shù)據(jù)標準時，利用均值偏移過程檢測方法，計算新的目標位置，公式為

z=∑nki=1a″iuiqz′-a″L2∑nki=1uiqz′-a″L2（9）

式中：z′表示丟失前的目標位置;z表示自動恢復(fù)后獲得的目標位置;ui表示權(quán)重;L表示丟失偏移量;q*表示追蹤函數(shù)[5]。在上述過程的基礎(chǔ)上，實現(xiàn)對丟失目標的自動恢復(fù)，至此完成基于人機交互的全景智能化視頻目標自動監(jiān)測。

2 應(yīng)用測試

2.1 測試平臺

為驗證此次研究的自動監(jiān)測方法具有更好的應(yīng)用效果，利用高清全景視頻采集與處理系統(tǒng)硬件平臺進行應(yīng)用測試，如圖2所示。對圖2中的平臺進行12 V外部供電，設(shè)置全景鏡頭的環(huán)視角度為360°，在一個實驗室內(nèi)采集全景視頻圖像，并將采集結(jié)果通過VGA接口上傳到顯示屏。設(shè)置硬件平臺的采集分辨率分別為2 592×1 944、1 922×1 080以及1 280×720。經(jīng)過3組條件測試，得到的視頻目標最高幀頻分別為15、30和60帖。將該結(jié)果與OV5640手冊中的參數(shù)數(shù)據(jù)進行對比，得到的結(jié)果與手冊中的數(shù)據(jù)完全一致，表明該硬件平臺可以正常應(yīng)用。

平臺的軟件采用Visual Studio 2017+Kinect V2.0+ OpenCV3.1.0軟件，采集全景智能化視頻中的運動目標，從而實現(xiàn)智能化監(jiān)測任務(wù)。由于光照會影響圖像數(shù)據(jù)的獲取，得到的結(jié)果存在一定程度的誤差，更加接近實際監(jiān)測環(huán)境，所以在本次測試當中，需要體驗者完全暴露在設(shè)備的視場感應(yīng)范圍之內(nèi)。為了降低圖像運算過程中產(chǎn)生的內(nèi)存開銷，每次測試只提取一次目標位置的所在方位。按照如圖3所示的過程，要求體驗者按照1、2、3的順序依次抓取并放回圖3中的3組物品，利用搭建的平臺執(zhí)行自動監(jiān)測任務(wù)。

此次測試為了增強測試結(jié)果的說服性，將本文提出的自動監(jiān)測方法，與3種傳統(tǒng)自動監(jiān)測方法進行比較，3組傳統(tǒng)方法分別為基于大數(shù)據(jù)技術(shù)的監(jiān)測方法、基于全景感知技術(shù)的自動監(jiān)測方法、基于多數(shù)據(jù)融合的自動監(jiān)測方法。利用4組方法監(jiān)測體驗者在抓取A1、A2、A3目標時，手部與3個物品之間的接觸情況，根據(jù)監(jiān)測結(jié)果統(tǒng)計不同方法的目標抓取概率。

2.2 目標抓取率測試

將4組方法依次與搭建的實驗平臺之間建立有效連接，在保證同樣的測試條件下，獲得4組方法的全景智能化視頻目標抓取概率，圖4為此次測試得到的目標抓取概率統(tǒng)計結(jié)果。

根據(jù)圖4顯示的測試結(jié)果可知，圖4（a）基于大數(shù)據(jù)技術(shù)的自動監(jiān)測方法，默認前20幀圖像為背景圖像，且對于目標圖像的抓取，處于一個較小的概率。當圖像幀數(shù)超過27時，目標抓取概率才有所增加，但最大值不超過0.7。圖4（b）基于全景感知技術(shù)的自動監(jiān)測方法面臨同樣的問題，但該方法只是默認前15幀圖像為背景圖像，總體抓取概率也接近0.8，說明該方法的全景感知技術(shù)起到了一定感知作用，但對監(jiān)測結(jié)果還是有一定程度的影響。圖4（c）基于多數(shù)據(jù)融合的自動監(jiān)測方法，沒有默認初始圖像為背景圖像，但其抓取概率忽上忽下，該方法的多數(shù)據(jù)融合并不穩(wěn)定，難以信任該方法的監(jiān)測結(jié)果。圖4（d）本文方法發(fā)揮了人機交互的實時控制優(yōu)勢，并沒有默認初始圖像為背景圖像，而是從第1幀圖像開始，就進行目標匹配，同時抓取概率均超過了0.9，說明該方法在排除干擾項的前提下，有更好的監(jiān)測效果。

3 結(jié)語

此次研究將目標干擾問題、目標丟失問題作為研究重點內(nèi)容，充分發(fā)揮人機交互技術(shù)的精準控制特點，通過全新的圖像處理方法，監(jiān)測全景智能化視頻目標，為今后監(jiān)測系統(tǒng)的目標監(jiān)控與測算工作，提供了更好的技術(shù)支持。但此次研究還存在兩點不足之處，首先就是該方法的計算較為復(fù)雜，可能最終會影響監(jiān)測耗時，這一點需要驗證;其次是該方法針對目標干擾和目標丟失提出的，但固定區(qū)域中的目標可以是動態(tài)變化的，一旦目標消失在識別區(qū)域內(nèi)，關(guān)于對不完整目標的識別定位還有待研究。在今后的研究工作中，需要測試該監(jiān)測方法的使用耗時情況，并對不完整目標的識別定位方法進行詳細介紹，通過輪廓特征提取與缺失數(shù)據(jù)補充工作，進一步優(yōu)化對全景視頻目標的自動監(jiān)測。

【參考文獻】

[1]艾精文，黨曉婧，呂啟深，等.基于物聯(lián)網(wǎng)的具有全景功能的全維度設(shè)備狀態(tài)監(jiān)測系統(tǒng)研究[J].電力系統(tǒng)保護與控制，2019，47（16）：122-128.

[2] 李森，謝翔，李國林，等.一種基于顏色結(jié)構(gòu)光的投影儀攝像頭觸摸板人機交互系統(tǒng)[J].微電子學(xué)與計算機，2019，36（1）：61-65.

[3] 晏暉，胡丙華.基于空間拓撲關(guān)系的目標自動跟蹤與位姿測量技術(shù)[J].中國測試，2019，45（4）：9-15.

[4] 黃微，任衛(wèi)紅，朱琳琳，等.基于形狀上下文和方向梯度直方圖特征的異源圖像配準[J].信息與控制，2019，48（2）：149-155.

[5] 徐秋平.基于人機交互式圖割的目標快速提取[J].計算機工程與科學(xué)，2020，42（2）：299-306.