數(shù)據(jù)挖掘在裝備儲存和使用過程中的應(yīng)用研究

馬可欣，李喬揚(yáng)，李籽圻，王 煒，高成強(qiáng)

（1.解放軍61486 部隊(duì)，上海 200072；2.火箭軍工程大學(xué)，西安 710025）

0 引言

隨著信息化的深入發(fā)展，智能化、無人化時(shí)代逐步到來，作戰(zhàn)形式由傳統(tǒng)的海、陸、空三位一體，逐步轉(zhuǎn)變?yōu)楹?、陸、空、天、電（磁）等多維一體，戰(zhàn)場環(huán)境態(tài)勢更是瞬息萬變。先進(jìn)裝備作為未來作戰(zhàn)的核心支撐，對打擊敵方重要目標(biāo)和扭轉(zhuǎn)戰(zhàn)局等起著關(guān)鍵性作用。因此，必須完善裝備儲存和使用數(shù)據(jù)的管理與運(yùn)用，深入開展相關(guān)技術(shù)研究與應(yīng)用，為裝備作戰(zhàn)運(yùn)用和管理保障決策提供科學(xué)依據(jù)。

為了戰(zhàn)時(shí)急需，各類裝備必須保持足夠的儲備量、達(dá)到要求的戰(zhàn)備完好率，這就迫切需要對裝備儲存和使用過程中的管理保障進(jìn)行優(yōu)化。

裝備數(shù)據(jù)的種類繁多、體量龐大，裝備儲存和使用過程中的管理保障優(yōu)化需要充分利用各類數(shù)據(jù)。然而海量數(shù)據(jù)的價(jià)值密度較低，很多情況下，難以直接發(fā)揮價(jià)值。因此，需要通過一些先進(jìn)的技術(shù)方法，從大量、模糊、有干擾甚至矛盾的數(shù)據(jù)中，提取隱含在其中但無法直接觀測、卻又具有潛在價(jià)值的信息和知識，即數(shù)據(jù)挖掘。

在裝備儲存和使用中應(yīng)用數(shù)據(jù)挖掘技術(shù)，可以有效地解決模擬仿真、建模解析較為復(fù)雜和可信度低的問題。

1 裝備儲存和使用中數(shù)據(jù)管理與運(yùn)用存在的問題

在裝備的儲存和使用中，已經(jīng)獲取并記錄了大量的多類型數(shù)據(jù)，但是這些數(shù)據(jù)，并沒有被有效管理、充分利用。如圖1 所示，以裝備測試數(shù)據(jù)為例，就存在以下主要問題。

圖1 裝備儲存和使用中測試數(shù)據(jù)管理與運(yùn)用存在的主要問題

1.1 缺少統(tǒng)一的測試記錄數(shù)據(jù)（管理）庫

目前，大部分裝備的測試數(shù)據(jù)都記錄在紙上，或者僅僅存儲于專用的載體或數(shù)據(jù)庫，并沒有一個(gè)可以共享的數(shù)據(jù)庫來儲存和管理這些累積的測試數(shù)據(jù)，造成了人員、裝備數(shù)據(jù)等資源的浪費(fèi)。不利于分析測試數(shù)據(jù)的變化趨勢和數(shù)據(jù)信息的應(yīng)用，導(dǎo)致大量蘊(yùn)含價(jià)值的數(shù)據(jù)被浪費(fèi)，在戰(zhàn)時(shí)也會(huì)耽誤寶貴的保障時(shí)間，貽誤戰(zhàn)機(jī)。

1.2 各單元測試過程系統(tǒng)關(guān)聯(lián)性不強(qiáng)

在對儲存和使用的某些裝備進(jìn)行單元測試時(shí)，過程過于繁瑣復(fù)雜，而對整個(gè)系統(tǒng)的貢獻(xiàn)不夠明顯。同時(shí)，存在一些不同測試操作但具有相同目的和結(jié)論的多余測試問題。且在得到相關(guān)數(shù)據(jù)后，核查人員對各指標(biāo)分別進(jìn)行檢驗(yàn)分析，簡單地將所有指標(biāo)的測試值與標(biāo)準(zhǔn)值進(jìn)行對比，增加了工作量，忽視了指標(biāo)數(shù)據(jù)間的關(guān)聯(lián)性。若在戰(zhàn)時(shí)，進(jìn)行這樣的數(shù)據(jù)普查，會(huì)增加裝備準(zhǔn)備時(shí)間，難以達(dá)到隨時(shí)能戰(zhàn)的要求。

1.3 相似問題沒有進(jìn)行歸類分析管理

對儲存和使用裝備出現(xiàn)的故障和問題，都有完備的全流程解決方案，但從整體上來看，也都相對獨(dú)立。沒有對故障及問題進(jìn)行歸類分析和管理，現(xiàn)有分類方式較為簡單粗糙，不利于在實(shí)際中進(jìn)行故障排查和問題解決。為了對同類問題進(jìn)行統(tǒng)一處理、對類似故障進(jìn)行分類排除，合理分配系統(tǒng)資源，而不重復(fù)占用和浪費(fèi)保障資源，需要對裝備儲存和使用中出現(xiàn)的相近或類似的故障問題和數(shù)據(jù)進(jìn)行聚類分析、歸類管理，對故障的問題類別不斷評估和完善，再進(jìn)一步優(yōu)化分類，以持續(xù)提高裝備保障效能。

1.4 實(shí)時(shí)狀態(tài)監(jiān)測缺乏預(yù)見性

在對裝備狀態(tài)進(jìn)行監(jiān)測時(shí)，可以得到表征裝備健康狀態(tài)指標(biāo)的過去值和現(xiàn)在值。從監(jiān)測記錄中可以發(fā)現(xiàn)，裝備過去的問題和關(guān)鍵指標(biāo)的穩(wěn)定性狀況，據(jù)此對已發(fā)生的故障和問題及時(shí)修復(fù)和排除。但是，僅僅研究過去和現(xiàn)在的狀態(tài)無法保證戰(zhàn)時(shí)裝備的可用性，因此，實(shí)時(shí)監(jiān)測有必要但還不夠。為了使裝備在戰(zhàn)時(shí)能夠達(dá)成作戰(zhàn)目的，研究的重點(diǎn)應(yīng)聚焦于健康狀態(tài)指標(biāo)的將來值，即預(yù)測值。預(yù)測值越精確，戰(zhàn)時(shí)決策準(zhǔn)確性和可信性就越高，甚至可以決定一場戰(zhàn)斗的結(jié)局。

1.5 關(guān)鍵部件故障狀態(tài)判定滯后

大部分部件指標(biāo)的測試值總是在一個(gè)正常區(qū)間內(nèi)上下波動(dòng)，偶爾會(huì)出現(xiàn)不在正常區(qū)間內(nèi)的值，這都是常見的。但是對于一些關(guān)鍵部件，其異常的少量數(shù)據(jù)，即離群點(diǎn)，可能對于判斷裝備狀態(tài)也是有價(jià)值的信息。這些離群點(diǎn)，可能表示裝備設(shè)計(jì)中的缺陷，也可能是預(yù)示著裝備狀態(tài)變化或異常的一個(gè)轉(zhuǎn)折點(diǎn)。然而按照傳統(tǒng)的處理方法，就會(huì)忽略這樣的離群點(diǎn)，等到缺陷或異常狀態(tài)演變?yōu)楣收蠒r(shí)，再進(jìn)行排查和處理，就顯得相對滯后。因此，對關(guān)鍵部件測試數(shù)據(jù)的離群點(diǎn)加以關(guān)注和分析，有利于未雨綢繆，避免故障判定的滯后性，保證裝備必要的戰(zhàn)備完好性。

1.6 裝備數(shù)據(jù)應(yīng)用于作戰(zhàn)決策形式單一

現(xiàn)有的裝備數(shù)據(jù)應(yīng)用于作戰(zhàn)決策的形式較為簡單，即將測試數(shù)據(jù)與正常值對比，以判斷裝備的合格率，從而開展裝備維修、補(bǔ)給保障活動(dòng)。對于決策者而言，裝備數(shù)據(jù)分析結(jié)果表現(xiàn)形式單一，不利于指揮決策以及裝備管理優(yōu)化。

2 基于數(shù)據(jù)挖掘的裝備儲存和使用總體架構(gòu)

為了解決裝備儲存和使用中數(shù)據(jù)管理與運(yùn)用存在的問題，需要運(yùn)用現(xiàn)代信息技術(shù)，優(yōu)化裝備儲存和使用。設(shè)計(jì)基于數(shù)據(jù)挖掘的裝備儲存和使用總體架構(gòu)如下頁圖2 所示，主要包括數(shù)據(jù)收集層、數(shù)據(jù)存儲層、數(shù)據(jù)質(zhì)量分析層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)分析層和數(shù)據(jù)應(yīng)用層。

圖2 基于數(shù)據(jù)挖掘的裝備儲存和使用總體架構(gòu)

2.1 數(shù)據(jù)收集層

數(shù)據(jù)收集層采集的數(shù)據(jù)通常是多源異構(gòu)的，主要來源于平時(shí)的測試數(shù)據(jù)、使用與維修數(shù)據(jù)、日常管理與統(tǒng)計(jì)數(shù)據(jù)、監(jiān)測傳感器采集數(shù)據(jù)等，通過傳感器和數(shù)據(jù)采集系統(tǒng)，獲取裝備在儲存和使用中的有關(guān)參數(shù)指標(biāo)數(shù)據(jù)，還要收集一些局域（部分裝備或部分單位）的相關(guān)數(shù)據(jù)庫資料，形成總的裝備狀態(tài)數(shù)據(jù)庫。為了解決數(shù)據(jù)源多樣、數(shù)據(jù)體量龐大、數(shù)據(jù)值持續(xù)更新等問題，數(shù)據(jù)收集層可以在數(shù)據(jù)源和數(shù)據(jù)庫之間構(gòu)建數(shù)據(jù)收集Agent 網(wǎng)絡(luò)。為了保證數(shù)據(jù)的安全，可以采取必要的安全加密措施。數(shù)據(jù)采集過程中，對一些連續(xù)性參數(shù)，可以根據(jù)實(shí)際需要采用抽樣方法，采集離散的數(shù)據(jù)點(diǎn)。常用方法包括簡單隨機(jī)抽樣、系統(tǒng)抽樣、整群抽樣和分層抽樣等。這些方法都屬于單階段抽樣，應(yīng)用時(shí)需要根據(jù)實(shí)際情況將抽樣過程劃分階段，分別進(jìn)行抽樣，即多階段抽樣，如圖3 所示。

圖3 數(shù)據(jù)抽樣流程

2.2 數(shù)據(jù)存儲層

數(shù)據(jù)存儲層主要對收集的各類數(shù)據(jù)進(jìn)行存儲管理。數(shù)據(jù)存儲層可采用分布式管理系統(tǒng)，包括HDFS（hadoop distributed file system）和Hbase。HDFS 用來完成大數(shù)據(jù)的讀取和寫入。HDFS 采用扁平化網(wǎng)絡(luò)結(jié)構(gòu)，由主節(jié)點(diǎn)機(jī)器、備份節(jié)點(diǎn)以及若干個(gè)從節(jié)點(diǎn)組成。主節(jié)點(diǎn)機(jī)器用于存儲節(jié)點(diǎn)的元數(shù)據(jù)，以及從節(jié)點(diǎn)的信息；備份節(jié)點(diǎn)用于備份主節(jié)點(diǎn)的數(shù)據(jù)，是防止主節(jié)點(diǎn)出現(xiàn)故障后數(shù)據(jù)庫失效的措施；從節(jié)點(diǎn)用于存儲文件內(nèi)容和相關(guān)映射關(guān)系。

2.3 數(shù)據(jù)質(zhì)量分析層

較大體量的數(shù)據(jù)可能會(huì)包含值錯(cuò)誤、缺失或其他質(zhì)量問題。因此，在數(shù)據(jù)分析前通常需要對數(shù)據(jù)進(jìn)行全面質(zhì)量分析。數(shù)據(jù)質(zhì)量分析以確保數(shù)據(jù)的正確性和有效性為目標(biāo)。常用的方法包括值分析、統(tǒng)計(jì)分析、頻次與直方圖分析等。

在數(shù)據(jù)正確性分析方面，通常考慮以下4 種可能的問題。

1）缺失值。缺失的數(shù)據(jù)值可能是空白或者是無意義的值，如null。

2）數(shù)據(jù)錯(cuò)誤。通常為輸入數(shù)據(jù)錯(cuò)誤。

3）度量標(biāo)準(zhǔn)錯(cuò)誤。由于同指標(biāo)樣本數(shù)據(jù)的不同度量方法而造成的錯(cuò)誤。

4）編碼不一致。通常為非標(biāo)準(zhǔn)度量單位或者單位不一致的問題。

在數(shù)據(jù)的有效性分析方面，主要關(guān)注數(shù)據(jù)的統(tǒng)計(jì)特性，用以表示數(shù)據(jù)包含的無法直接觀測的統(tǒng)計(jì)信息。

2.4 數(shù)據(jù)預(yù)處理層

由于采集到的數(shù)據(jù)存在缺失、噪聲和不一致等問題。因此，在質(zhì)量分析之后，需要對數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)歸約和數(shù)據(jù)變換等，如圖4 所示。數(shù)據(jù)“清洗”是通過補(bǔ)充缺失的值、光滑噪聲數(shù)據(jù)、識別或刪除離群點(diǎn)和解決不一致等方式完成數(shù)據(jù)“清洗”處理。數(shù)據(jù)集成是把不同來源、性質(zhì)和格式的數(shù)據(jù)在數(shù)學(xué)或者邏輯上有機(jī)地集合，以便于數(shù)據(jù)挖掘應(yīng)用。數(shù)據(jù)歸約是通過維歸約和數(shù)值歸約將數(shù)據(jù)集進(jìn)行簡化表示。數(shù)據(jù)變換是將數(shù)據(jù)的表現(xiàn)形式進(jìn)行轉(zhuǎn)變的過程。數(shù)據(jù)預(yù)處理技術(shù)可以進(jìn)一步提高數(shù)據(jù)的質(zhì)量，從而提高數(shù)據(jù)挖掘的準(zhǔn)確率和效率。

圖4 數(shù)據(jù)預(yù)處理方法示意圖

2.5 數(shù)據(jù)分析層

數(shù)據(jù)分析層主要運(yùn)用數(shù)據(jù)挖掘的理論和方法，借助開發(fā)環(huán)境和相關(guān)框架，結(jié)合Apriori、FPGrowth、回歸、貝葉斯網(wǎng)絡(luò)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、灰色聚類、粗糙集等模型，完成關(guān)聯(lián)性分析、聚類分類、狀態(tài)預(yù)測和離群點(diǎn)分析等目標(biāo)。

2.6 數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層主要根據(jù)數(shù)據(jù)分析層得到的結(jié)果，為裝備儲存和使用提供裝備儲存和使用數(shù)據(jù)共享庫，測試指標(biāo)相關(guān)性分析，問題歸類管理，預(yù)測性狀態(tài)監(jiān)測，基于關(guān)鍵部件離群點(diǎn)數(shù)據(jù)的故障判別和智能輔助決策等應(yīng)用。裝備決策者要將數(shù)據(jù)挖掘結(jié)果與經(jīng)驗(yàn)相結(jié)合，作出正確決策。

3 基于數(shù)據(jù)挖掘的裝備儲存和使用涉及的主要關(guān)鍵技術(shù)

3.1 數(shù)據(jù)可用性分析技術(shù)

劣質(zhì)數(shù)據(jù)和噪聲數(shù)據(jù)會(huì)影響數(shù)據(jù)總體質(zhì)量。一個(gè)可用的大數(shù)據(jù)集需滿足5 個(gè)性質(zhì)：一致性、精確性、完整性、時(shí)效性和實(shí)體同一性。因此，需要開展數(shù)據(jù)的可用性研究。在數(shù)據(jù)收集、獲取階段對數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控和預(yù)判，研究高質(zhì)量數(shù)據(jù)獲取方法和評估模型。在數(shù)據(jù)預(yù)處理階段，研究對錯(cuò)誤數(shù)據(jù)和噪聲數(shù)據(jù)的檢測判別方法以及數(shù)據(jù)修復(fù)技術(shù)和完善機(jī)制。對于一些無法修復(fù)或修復(fù)效果不理想的數(shù)據(jù)，采用各類數(shù)據(jù)分布近似計(jì)算理論進(jìn)行數(shù)值模擬，以完成對數(shù)據(jù)的處理，使數(shù)據(jù)達(dá)到規(guī)定的可用性。

3.2 數(shù)據(jù)分布式儲存技術(shù)

大體量的數(shù)據(jù)存儲，單臺服務(wù)器無法保證數(shù)據(jù)存儲的有效性和效率，以及故障情況下數(shù)據(jù)庫的應(yīng)急使用能力。因此，大數(shù)據(jù)存儲采用分布式存儲策略，構(gòu)建可擴(kuò)展和具有并行操作能力的系統(tǒng)。采用分布式存儲，在大量多類型數(shù)據(jù)、操作頻繁、計(jì)算要求高的環(huán)境下，快速響應(yīng)并完成相應(yīng)操作，并保障數(shù)據(jù)儲存安全可靠。

3.3 大規(guī)模數(shù)據(jù)計(jì)算技術(shù)

為了實(shí)現(xiàn)數(shù)據(jù)的快速處理，更好地發(fā)揮數(shù)據(jù)挖掘的優(yōu)勢，必須提高大規(guī)模數(shù)據(jù)的計(jì)算能力。為了突破單計(jì)算機(jī)系統(tǒng)的計(jì)算限制，可以將云計(jì)算應(yīng)用到數(shù)據(jù)計(jì)算中，即通過網(wǎng)絡(luò)按需獲得資源或服務(wù)并進(jìn)行數(shù)據(jù)處理和共享。目前云計(jì)算在工商業(yè)領(lǐng)域取得了一定的成效，但在軍事領(lǐng)域的應(yīng)用尚在探索階段，如何將云計(jì)算應(yīng)用到裝備儲存和使用，并保證云計(jì)算的安全可靠性是研究的重點(diǎn)之一。

3.4 先進(jìn)數(shù)據(jù)分析技術(shù)與方法

目前數(shù)據(jù)挖掘有很多的算法模型。如何將現(xiàn)有的算法模型應(yīng)用到裝備儲存和使用中，并保證方法與數(shù)據(jù)的兼容性也是一個(gè)研究重點(diǎn)。針對裝備數(shù)據(jù)的特殊性，需要對相關(guān)算法模型進(jìn)行優(yōu)化和改進(jìn)。由于部分裝備數(shù)據(jù)需要依靠作戰(zhàn)試驗(yàn)來獲取，對于部分?jǐn)?shù)據(jù)較少的參數(shù)指標(biāo)和分析目標(biāo)，可以考慮采用遷移學(xué)習(xí)的思路，降低數(shù)據(jù)集的體量要求，以獲取和大數(shù)據(jù)集效果相同的分析結(jié)果。

3.5 數(shù)據(jù)及分析結(jié)果可視化技術(shù)

由于原始大數(shù)據(jù)集具有多維屬性，且數(shù)據(jù)挖掘的結(jié)果可能較為復(fù)雜，不利于操作人員和決策者直接觀察或決策運(yùn)用。因此，需要建立一個(gè)合適的多維度數(shù)據(jù)之間的映射關(guān)系，并采用必要的可視化工具進(jìn)行處理。對于數(shù)據(jù)處理過程及數(shù)據(jù)挖掘的結(jié)果，也可以通過圖表或者標(biāo)度關(guān)系圖等方法進(jìn)行轉(zhuǎn)換。在對數(shù)據(jù)挖掘的結(jié)果進(jìn)行可視化處理時(shí)，也需要研發(fā)應(yīng)用有關(guān)的技術(shù)方法和工具手段。

3.6 智能輔助決策技術(shù)

為了使裝備儲存和使用的相關(guān)決策更加科學(xué)合理，考慮到數(shù)據(jù)挖掘的部分結(jié)果不可視化和難理解性，因此，需要開展智能輔助決策技術(shù)研發(fā)與應(yīng)用。讓系統(tǒng)對處理后的結(jié)果進(jìn)行自我理解并根據(jù)裝備管理、保障和作戰(zhàn)等實(shí)際目標(biāo)，進(jìn)行智能輔助決策。決策者可以根據(jù)輔助決策系統(tǒng)給出的結(jié)論，結(jié)合作戰(zhàn)經(jīng)驗(yàn)和戰(zhàn)場實(shí)際，進(jìn)行綜合決策。實(shí)現(xiàn)裝備儲存和使用數(shù)據(jù)的一體化、全流程、全壽命周期的管理與應(yīng)用。

4 結(jié)論

為了解決裝備在儲存和使用中存在的不科學(xué)、不合理的判斷、操作和運(yùn)用決策，充分利用包含大量測試記錄在內(nèi)的裝備大數(shù)據(jù)，本文構(gòu)建了基于數(shù)據(jù)挖掘的裝備儲存和使用總體架構(gòu)，并分析討論其涉及的關(guān)鍵技術(shù)。初步建立了裝備儲存和使用數(shù)據(jù)的處理流程，但相關(guān)技術(shù)尚在不斷發(fā)展與完善階段，有待進(jìn)一步開展相關(guān)理論研究與實(shí)踐探索。