多源數(shù)據(jù)智能處理系統(tǒng)的設計與實現(xiàn)

盧亞輝， 張 梅， 和飛飛， 王 帥， 苑 博， 杜玉紅

（1 中國人民解放軍63966 部隊， 北京 100072； 2 天津工業(yè)大學機械工程學院， 天津 300387）

0 引 言

圖像識別技術在軍事領域的應用不斷拓寬，傳統(tǒng)的圖像識別技術識別率和速度已經不能滿足當前需求［1－3］。 作戰(zhàn)試驗會獲取大量的音視頻數(shù)據(jù)，若采用人工處理會出現(xiàn)處理時間長、視頻數(shù)據(jù)質量無法保證等問題［4－7］，因此新的作戰(zhàn)形勢下，要求圖像識別系統(tǒng)能夠在大量數(shù)據(jù)中快速找出有用的信息，進行識別，提取待識別目標，并將圖像識別的結果反饋到部分作戰(zhàn)指標的構建預評估中去［8－10］。 因此，本文針對部隊視頻數(shù)據(jù)來源范圍廣、處理時所存在的問題開發(fā)出一套滿足快速、準確識別要求，并且保密性較強的多源數(shù)據(jù)智能處理系統(tǒng)，以達到部隊需要的科學性和高效性［11－15］。

1 系統(tǒng)總體設計與實現(xiàn)

1.1 系統(tǒng)框架結構

多源試驗數(shù)據(jù)智能管理與特征提取系統(tǒng)能將一系列復雜的圖像處理過程直觀地顯示用戶操作界面上，該系統(tǒng)由2 個界面和5 個功能模塊組成：由登錄頁面和載入界面組成的系統(tǒng)主界面；用于視頻格式轉化及剪輯、用于圖像二值化、平滑去噪等預處理操作和數(shù)據(jù)訓練的數(shù)據(jù)智能處理模塊；用于典型場景搭建和目標圖片視頻信息智能識別及文字儀表識別的特征提取識別模塊；用于指標體系構建和測評分析的指標構建評估模塊；用于輸出實時識別圖表信息和分析報告的報告分析輸出模塊；用于進行數(shù)據(jù)存儲和調用的系統(tǒng)數(shù)據(jù)管理模塊。 該系統(tǒng)框架如圖1 所示。

圖1 軟件主要功能模塊Fig. 1 Main functional modules of the software

通過開發(fā)多源試驗數(shù)據(jù)智能管理與特征提取系統(tǒng)軟件滿足項目視頻圖像數(shù)據(jù)的處理和智能識別、試驗指標數(shù)據(jù)構建評估分析及結果的可視化圖表輸出與存儲的需求。 軟件以指標數(shù)據(jù)構建及評估分析為牽引，圖像數(shù)據(jù)的智能識別模型為核心，以對仿真系統(tǒng)、專家建議及各類相關數(shù)據(jù)的數(shù)據(jù)采集、挖掘和綜合運用為基礎，實現(xiàn)對作戰(zhàn)試驗從問題到結論解決的智能化、科學化的過程，輔助部隊相關人員進行決策，軟件同時支持多種功能和軟硬件的擴展，能夠根據(jù)用戶需求進行良好的兼容。 軟件的開發(fā)框架如圖2 所示。

圖2 軟件開發(fā)框架Fig. 2 Software development framework

軟件的內部接口中，操作通常是由指標構建模塊功能發(fā)起的，在該模塊中選定相關指標后，打開其對應的場景視頻后，利用數(shù)據(jù)智能管理模塊的視頻剪輯功能對場景視頻進行人工剪輯后再進行圖像預處理，然后轉到特征提取識別模塊對預處理后的圖像進行智能識別，一系列操作完成后報告分析模塊輸出該指標場景的可視化圖表和分析報告，以反饋指標的評估工作，這樣軟件內部功能模塊形成閉環(huán)操作。 軟件內部接口關系如圖3 所示。

圖3 軟件內部接口關系Fig. 3 Relationship between internal software interfaces

1.2 系統(tǒng)實現(xiàn)功能

多源試驗數(shù)據(jù)智能管理與特征提取系統(tǒng)主要能夠實現(xiàn)以下功能：

（1）軟件具有保密功能。 登錄賬號具有唯一性，每個賬號都有獨特的權限設置，不同人員登錄后，系統(tǒng)自動識別人員身份，不同人員進入到不同操作界面，所用軟件功能不同。 登錄時多次密碼輸入錯誤會造成系統(tǒng)鎖定，只能聯(lián)系系統(tǒng)的相關管理人員進行解鎖。

（2）可按照標準將視頻和圖片進行處理。 作戰(zhàn)試驗中會產生大量多平臺、多類型的視頻與圖片數(shù)據(jù)，在格式和內容方面各不相同，識別目標也多種多樣，因此需對視頻和圖片進行標準化，隨后按照標準進行圖像的處理工作。

（3）接收的各類數(shù)據(jù)能按用戶要求進行識別和顯示，并能進行記錄。 在對不同類型的數(shù)據(jù)進行識別后，系統(tǒng)會自動進行歷史記錄識別，供后期查看。

（4）軟件具備多種算法模型。 不同的識別算法模型適用于不同的識別情況，識別內容包括儀表、人員、車輛等，而同類型的識別目標又有不同的場景，不同場景采用對應的算法，能大大提高識別速度和準確率。

（5）具備指標數(shù)據(jù)構建體系和典型應用場景評估。 系統(tǒng)包含多個評價指標，并采用指標構建體系進行指標評定，評判系統(tǒng)的識別效果。 系統(tǒng)能對不同的場景進行評估，如近景（大目標）、遠景（小目標）、目標遮擋、光照條件和角度不同、多目標識別。

（6）具備圖形化操作界面，能以表格形式顯示測試結果。 圖形化的操作界面使操作更加直觀，大大提高系統(tǒng)操作效率，識別結果能夠以圖表的形式進行展現(xiàn)，利于觀察識別效果。

（7）軟件能對接口進行典型測試和邊界測試。軟件可對外部系統(tǒng)與系統(tǒng)之間以及內部各個子系統(tǒng)之間的交互點進行測試。 測試重點包括傳遞和控制管理過程、數(shù)據(jù)交換過程、系統(tǒng)間的相互邏輯依賴關系等。 邊界測試內容包括輸入域／輸出域的邊界、數(shù)據(jù)結構的邊界、狀態(tài)轉換的邊界和功能界限的邊界。

2 系統(tǒng)的界面設計

多源試驗數(shù)據(jù)智能管理與特征提取系統(tǒng)界面簡潔，布局清晰，圖形化的界面使系統(tǒng)具有更好的操作性、可讀性和易維護性。 整個界面的布局具有一致性，并且用戶點擊按鈕時，系統(tǒng)會提示用戶當前操作的合理性，避免引起操作失誤，而且系統(tǒng)可通過最少的操作達到目的，使軟件操作簡單。

2.1 系統(tǒng)登錄界面

系統(tǒng)啟動完成后，進入到系統(tǒng)的登錄界面，如圖4 所示。 用于系統(tǒng)用戶的身份驗證，登錄賬號具有唯一性，一般為部隊人員的士兵證編號，每一個賬號都擁有其獨特的權限設置，分為1 級和2 級。 其中，2 級使用人員為新兵及班長職務以下的士兵，1 級為班長職務以上的老兵使用，只有1 級的用戶才可以進入到系統(tǒng)后臺管理模塊，修改相應的后臺數(shù)據(jù)。系統(tǒng)在用戶登錄時將進行驗證，任何一項驗證不通過，系統(tǒng)都會有相應的提示，若用戶忘記密碼導致多次登錄錯誤，則賬戶鎖定，只能聯(lián)系系統(tǒng)的相關管理人員進行解鎖。

圖4 系統(tǒng)登錄界面Fig. 4 System login interface

2.2 系統(tǒng)主界面

系統(tǒng)登錄成功后，進入到主界面，如圖5 所示。主界面為導航式菜單界面，左側為系統(tǒng)的5 個功能模塊，分別為數(shù)據(jù)智能處理模塊、特征提取識別模塊、指標構建評估模塊、報表分析輸出模塊和系統(tǒng)數(shù)據(jù)管理模塊。 右側為操作區(qū)，點擊左側不通過選項卡，會進入到不同的操作區(qū)，選取相關功能后可直接進行操作。

圖5 系統(tǒng)操作界面Fig. 5 System operation interface

2.3 系統(tǒng)功能模塊

（1）數(shù)據(jù)智能處理模塊。 點擊主界面左側的數(shù)據(jù)智能處理選項卡，進入到對應功能。 在此界面，可將錄制好的視頻提前上傳到軟件中，并進行分類后保存在后臺管理模塊中，上傳的視頻支持MPEG2、MPEG4、H.264、RMVB、WMV、DivX／XviD 等數(shù)據(jù)編碼格式；軟件的使用人員可根據(jù)需求選擇相關視頻，可以利用該模塊中的視頻剪輯按鈕來將時間長的大視頻剪輯成需要的小視頻，去除視頻的冗余信息，提高工作效率。 模塊還有按鈕可以將視頻按照幀的劃分將視頻劃分成若干圖片等功能，視頻剪輯模塊功能實現(xiàn)的輸出界面如圖6 所示。

圖6 視頻幀輸出界面Fig. 6 Video frame output interface

上傳的視頻經過剪輯后可能會出現(xiàn)模糊、失真等情況，如果不做預處理，就會影響后面的識別準確率，軟件所設置的圖像處理模塊設有傾斜矯正處理、二值化處理平滑降噪、鈍化處理和邊緣檢測等預處理功能。 操作人員可以根據(jù)需求對圖片進行相關操作，為后面的智能識別打下基礎。 對瞄準框的預處理界面如圖7 所示。

圖7 圖像預處理界面Fig. 7 Image preprocessing interface

（2）識別模塊。 點擊主界面左側的特征提取識別選項卡，進入到特征提取界面。 預處理完成后的視頻或圖片已經便于識別，對于所輸入的圖片，首先對其進行特征提取，獲取其直方圖或者灰度矩陣，從而得到圖片的關鍵部分，再對關鍵部分利用構建的神經網絡模型來和樣本庫的數(shù)據(jù)進行對比，從而得到識別的結果，這一過程主要是模擬人工識別圖片視頻的方法和過程來實現(xiàn)對多源試驗數(shù)據(jù)的智能識別。 識別文字的界面如圖8 所示，該識別過程分為2 部分。 一部分是運行區(qū)，一部分是識別區(qū)，識別界面如圖9 所示，這樣可以實時地看到識別情況，在完全模擬人工識別邏輯的同時滿足控制可以隨時終止，模塊縮短了視頻及圖片的識別時間，提高了識別的準確率。

圖8 識別文字Fig. 8 Identification of words

圖9 識別數(shù)字Fig. 9 Identification of numbers

識別過程中后端數(shù)據(jù)庫的形態(tài)見表1，字母在數(shù)據(jù)庫中為int 類型字符，阿拉伯數(shù)字為char 型字符，瞄準框、按鈕等形狀的為varchar 型字符，如果為空就證明了識別結束，否則就是待識別。

表1 數(shù)據(jù)庫記錄識別過程Tab. 1 Database record identification process

（3）指標構建評估模塊。 點擊主界面左側的指標構建評估模塊，進入指標構建與評估功能。 指標評估模塊的功能主要分為2 部分。 一部分是指標構建功能，另一部分是指標評估功能，如圖10 所示。

圖10 指標評估功能Fig. 10 Index evaluation function

該功能模塊支持以所見即所得的方式建立指標體系；支持指標屬性和指標關系修改；可對已有指標體系庫的查詢、瀏覽、刪除與編輯操作提供支持。 建立指標評估算子庫，對所構建的指標體系進行可靠性評估分析并打分。 操作流程為通過評估項目管理模塊創(chuàng)建新項目，或打開已有項目；然后，從算法模型庫中提取已有模型；最后，啟動評估引擎，對仿真試驗數(shù)據(jù)和建立的模型進行評估運行功能，并將評估分析結果存儲到評估數(shù)據(jù)庫中。 模塊中使用的部分構建方法有：層次分析法、專家賦權法、模糊綜合評判法、自定義綜合方法。

（4）報告分析輸出模塊。 點擊主界面左側的報告輸出分析模塊，進入報表分析界面。 該功能主要進行統(tǒng)計分析報告，用來輔助新型武器裝備的檢驗和指導相關的訓練形式以提高軍事素養(yǎng)，以協(xié)同作戰(zhàn)能力里的指標聯(lián)通率為例，當前共有8 輛車在外執(zhí)行任務，總部想知道某一時刻各車的狀態(tài)，就可以通過該模塊信息，如圖11 所示，即可看到每30 s 回傳一個聯(lián)通狀態(tài)，根據(jù)聯(lián)通狀態(tài)可算出一號車的聯(lián)通率為0.07，以此類推。

圖11 報表輸出Fig. 11 The report output

該模塊輸出過程中，包括的數(shù)據(jù)表主要有：基本信息表、效能相關的指標表、指標綜合模型的結構信息表、總效能某次運行結果信息表、綜合方法描述表等。 輸出方式有：點線圖輸出、柱狀圖輸出、餅狀圖輸出等。

對于上傳的圖片，識別結果信息可以用折線圖等圖表類型的形式輸出，但是對于上傳的一段視頻，由于其包含的信息量較大，僅靠1、2 種圖表是無法將其中的指標信息完全表示出來的，所以需要對不同的指標進行不同形式的輸出，并形成一份綜合的分析報告，如圖12 所示。

圖12 綜合分析報告Fig. 12 Comprehensive analysis report

（5）系統(tǒng)數(shù)據(jù)管理模塊。 點擊主界面左側的系統(tǒng)數(shù)據(jù)管理模塊，進入到數(shù)據(jù)管理界面。 該界面主要用于存儲所上傳的視頻圖片信息以及智能識別模塊識別的結果和各個功能模塊的處理結果，存儲過程中，涉及的數(shù)據(jù)表主要有：基礎數(shù)據(jù)信息表、基礎數(shù)據(jù)檢索的基本信息表、基礎數(shù)據(jù)檢索語句表、相關聯(lián)的基礎數(shù)據(jù)表、基礎數(shù)據(jù)用戶賦值表、數(shù)據(jù)提取模型的結構信息表，存儲方式如圖13 所示。

圖13 后臺管理界面Fig. 13 Background management interface

該模塊存儲過程中，包括的數(shù)據(jù)表主要有：分析方法模型信息表、分析方法模型輸入數(shù)據(jù)信息表、分析方法模型輸入數(shù)據(jù)的某樣本數(shù)據(jù)信息表、分析方法模型輸出數(shù)據(jù)信息表、分析方法模型輸出數(shù)據(jù)某樣本數(shù)據(jù)信息表、分析方法模型結構信息表、分析方法某次運行結果信息表。 同時，還有所構建的各類訓練集，如操縱終端界面集，文字數(shù)據(jù)集。

3 結束語

本文所研發(fā)的多源數(shù)據(jù)智能處理系統(tǒng)，可實現(xiàn)視頻圖像的剪輯處理、圖像的特征提取、圖像信息包括數(shù)字和文字的識別；隨后通過設置不同的權重，對構建好的指標進行可靠性評估，以此對作戰(zhàn)試驗領域的部分指標構建進行反饋。 最后，用圖表和分析報告的形式對識別結果進行展現(xiàn)，使結果清晰明了，利于觀察。 隨著圖像識別技術在作戰(zhàn)試驗領域的不斷發(fā)展，本系統(tǒng)也需進行不斷完善，不斷適應更復雜、更快速的識別需求。