崔 潔
(91469部隊(duì) 北京 100841)
隨著未來戰(zhàn)場上電磁頻譜空間對抗斗爭越來越激烈,對電磁環(huán)境監(jiān)測、檢測、探測數(shù)據(jù)應(yīng)用水平要求越來越高,伴隨而來的電磁頻譜數(shù)據(jù)應(yīng)用和管理問題也越來越突出。一方面,在數(shù)據(jù)應(yīng)用過程中,各監(jiān)測站數(shù)據(jù)經(jīng)采集后,缺乏面向多個(gè)專業(yè)用戶的數(shù)據(jù)采集—提取—分析—應(yīng)用流程,數(shù)據(jù)不能轉(zhuǎn)化為信息,許多用戶部門無法獲取所需數(shù)據(jù),只能按用戶需求重新進(jìn)行獨(dú)立采集和分析處理;另一方面,電磁環(huán)境數(shù)據(jù)采集后沒有質(zhì)量維護(hù)管理機(jī)制,往往導(dǎo)致數(shù)據(jù)庫中數(shù)據(jù)不準(zhǔn)確、數(shù)據(jù)過時(shí)或數(shù)據(jù)不全等問題,并且系統(tǒng)擴(kuò)充能力不強(qiáng),無法滿足快速業(yè)務(wù)發(fā)展的需要。因此,研究符合未來電磁頻譜戰(zhàn)使用要求的數(shù)據(jù)架構(gòu),從頂層設(shè)計(jì)上解決數(shù)據(jù)使用存在著各種問題,既能滿足各用戶部門現(xiàn)有業(yè)務(wù)的各種需求,又能準(zhǔn)確反映未來制電磁權(quán)發(fā)展戰(zhàn)略,具有重要軍事意義。
從知識學(xué)習(xí)角度分析,電磁環(huán)境基礎(chǔ)監(jiān)測數(shù)據(jù)要轉(zhuǎn)化為各應(yīng)用部門可使用信息,需要?dú)v經(jīng)數(shù)據(jù)—信息—知識的轉(zhuǎn)化過程,即基礎(chǔ)監(jiān)測數(shù)據(jù)并不是可直接應(yīng)用的知識,只有通過數(shù)據(jù)電子化、特征提取、特征分類等數(shù)據(jù)處理,才可以將數(shù)據(jù)轉(zhuǎn)化為信息,然后對信息進(jìn)行關(guān)聯(lián)、分析、統(tǒng)計(jì),最后轉(zhuǎn)化為各部門可直接應(yīng)用的知識[1~2]。由此可見,面向未來頻譜作戰(zhàn)需求的電磁環(huán)境數(shù)據(jù)架構(gòu)核心并不在于平臺、工具、技術(shù)的先進(jìn)性,而是如何對基礎(chǔ)數(shù)據(jù)進(jìn)行分析學(xué)習(xí),并與業(yè)務(wù)進(jìn)行邏輯關(guān)聯(lián),從而為各部門提供信息導(dǎo)向支持和輔助決策支撐[3]。
電磁環(huán)境數(shù)據(jù)架構(gòu)應(yīng)滿足以下要求:一是要求電磁環(huán)境數(shù)據(jù)架構(gòu)能夠柔性地適應(yīng)業(yè)務(wù)發(fā)展模式的調(diào)整;二是能對各類數(shù)據(jù)結(jié)構(gòu)、模式、方式不同的數(shù)據(jù)進(jìn)行統(tǒng)一、高效、集中管理;三是能對數(shù)據(jù)采集-數(shù)據(jù)轉(zhuǎn)換-倉儲化存儲的過程進(jìn)行精確化控制。依據(jù)電磁環(huán)境監(jiān)測數(shù)據(jù)的功能要求,可以將其數(shù)據(jù)結(jié)構(gòu)劃分為五個(gè)層次,從上而下依次為信息展現(xiàn)層、業(yè)務(wù)應(yīng)用層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)存儲層、基礎(chǔ)保障層。如圖1所示。
圖1 電磁環(huán)境數(shù)據(jù)架構(gòu)設(shè)計(jì)
信息展現(xiàn)層:將各類電磁環(huán)境數(shù)據(jù)通過與實(shí)際業(yè)務(wù)相關(guān)聯(lián),以可視化形式展現(xiàn)出來,包括二維、三維、動態(tài)等形式。信息展現(xiàn)內(nèi)容包括用戶數(shù)據(jù)主題、數(shù)據(jù)分析結(jié)論、數(shù)據(jù)概念、數(shù)據(jù)關(guān)聯(lián)、用戶與數(shù)據(jù)交互等。該層通過多種途徑將信息展現(xiàn)給面向用戶,使用戶無須從繁瑣、復(fù)雜的數(shù)據(jù)表格、數(shù)據(jù)文字中獲取信息,而是通過視覺、聽覺等效果以最直接明了的方式獲取信息。
業(yè)務(wù)應(yīng)用層:業(yè)務(wù)應(yīng)用層針對通信、雷達(dá)、偵察、對抗等電磁環(huán)境數(shù)據(jù)使用用戶。由于各個(gè)用戶所需數(shù)據(jù)類型、特征、維度不同,所以業(yè)務(wù)應(yīng)用必須是按專業(yè)劃分的。各專業(yè)用戶所需處理數(shù)據(jù)種類、數(shù)量、特征可能相差較大,但各專業(yè)數(shù)據(jù)應(yīng)用架構(gòu)基本相同,這就要求數(shù)據(jù)應(yīng)用架構(gòu)具有專業(yè)性、可擴(kuò)展性、復(fù)用性等特點(diǎn)。
數(shù)據(jù)服務(wù)層:用戶服務(wù)層對基礎(chǔ)數(shù)據(jù)庫中原始數(shù)據(jù)進(jìn)行處理,包括數(shù)據(jù)訪問、數(shù)據(jù)集成、數(shù)據(jù)維護(hù)、分析挖掘等步驟,其目的是對需要共享的電磁環(huán)境數(shù)據(jù)集中進(jìn)行清洗和處理,并以服務(wù)方式將全局、統(tǒng)一、準(zhǔn)確、時(shí)間戳相同的數(shù)據(jù)提供給系統(tǒng)范圍內(nèi)需要使用的用戶。在數(shù)據(jù)經(jīng)過質(zhì)量管理后,通過數(shù)據(jù)聚類、關(guān)聯(lián)、特征識別等處理,為決策人員和業(yè)務(wù)人員等提供信息支撐。
數(shù)據(jù)存儲層:對電磁環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行存儲管理,存儲數(shù)據(jù)類型既包括結(jié)構(gòu)化數(shù)據(jù),也包括非結(jié)構(gòu)化數(shù)據(jù);既包括新數(shù)據(jù)、元數(shù)據(jù),也包括歷史積累數(shù)據(jù);既包括大頻段、大尺度、大范圍性電磁頻譜監(jiān)測數(shù)據(jù)庫,也包括專業(yè)性、特征性、微觀性較高的各領(lǐng)域電磁頻譜監(jiān)測數(shù)據(jù)。存儲管理關(guān)注內(nèi)容包括數(shù)據(jù)存儲環(huán)境設(shè)計(jì)、數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計(jì)、存儲管理設(shè)計(jì)、數(shù)據(jù)備份以及恢復(fù)策略。
基礎(chǔ)保障層:基礎(chǔ)保障層包括軟件、硬件、傳輸網(wǎng)絡(luò)等軟硬件設(shè)施,以及數(shù)據(jù)安全防護(hù)、數(shù)據(jù)管理運(yùn)維等,該層對數(shù)據(jù)架構(gòu)的處理能力和擴(kuò)展能力起到支撐作用。在構(gòu)建數(shù)據(jù)架構(gòu)時(shí),應(yīng)使用支持集群技術(shù)的DBMS軟件以及支持橫向擴(kuò)展的硬件架構(gòu),以確保底層架構(gòu)的擴(kuò)展能力。
本文提出的數(shù)據(jù)架構(gòu)與一般數(shù)據(jù)庫+數(shù)據(jù)操作+數(shù)據(jù)倉庫型數(shù)據(jù)架構(gòu)區(qū)別在于[4],一是統(tǒng)一了電磁環(huán)境數(shù)據(jù)視圖,保證了數(shù)據(jù)全局統(tǒng)一和準(zhǔn)確。在數(shù)據(jù)服務(wù)層中,將分散采集、類型不同、功能各異的數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)集成、維護(hù)、挖掘,避免了數(shù)據(jù)重復(fù)、矛盾、不全問題;二是提出了電磁環(huán)境基礎(chǔ)數(shù)據(jù)、服務(wù)數(shù)據(jù)、應(yīng)用數(shù)據(jù)的概念,基礎(chǔ)數(shù)據(jù)、服務(wù)數(shù)據(jù)、應(yīng)用數(shù)據(jù)在內(nèi)部處理過程中相對獨(dú)立,在外部又相互聯(lián)系、相互支撐,保證了數(shù)據(jù)流程的規(guī)范性,方便了數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)運(yùn)行監(jiān)督;三是提供了業(yè)務(wù)應(yīng)用與基礎(chǔ)數(shù)據(jù)之間的中間層,一般數(shù)據(jù)架構(gòu)只關(guān)注于業(yè)務(wù)數(shù)據(jù)庫和基礎(chǔ)數(shù)據(jù)庫,對于二者之間的中間層考慮不夠,使得數(shù)據(jù)架構(gòu)的靈活性和擴(kuò)展性不強(qiáng),本文提出的數(shù)據(jù)架構(gòu)可以根據(jù)業(yè)務(wù)用戶所需進(jìn)行數(shù)據(jù)擴(kuò)展,實(shí)時(shí)更新、監(jiān)測數(shù)據(jù)變動,從而保證了基礎(chǔ)數(shù)據(jù)到應(yīng)用數(shù)據(jù)的敏捷性、靈活性。
電磁環(huán)境數(shù)據(jù)架構(gòu)實(shí)現(xiàn)模型如圖2所示。與一般數(shù)據(jù)架構(gòu)相比,在基礎(chǔ)數(shù)據(jù)和應(yīng)用數(shù)據(jù)之間引入了服務(wù)數(shù)據(jù)。服務(wù)數(shù)據(jù)通過多種方式的數(shù)據(jù)訪問、數(shù)據(jù)統(tǒng)一集成、數(shù)據(jù)質(zhì)量維護(hù)、數(shù)據(jù)分析挖掘等,將基礎(chǔ)數(shù)據(jù)庫轉(zhuǎn)化為一系列信息型數(shù)據(jù)庫[5],包括信息特征數(shù)據(jù)庫、信息類型數(shù)據(jù)庫、信息屬性數(shù)據(jù)庫、數(shù)據(jù)關(guān)聯(lián)關(guān)系數(shù)據(jù)庫等,便于各個(gè)業(yè)務(wù)用戶根據(jù)使用需求,從集成、統(tǒng)一、完備的服務(wù)數(shù)據(jù)庫中抽取相關(guān)信息。
圖2 電磁環(huán)境數(shù)據(jù)架構(gòu)實(shí)現(xiàn)
基礎(chǔ)數(shù)據(jù)主要由一系列分布式、種類不同、功能各異的原始數(shù)據(jù)庫組成,有可能來源于人工采集,或是自動化采集,是傳感器記錄的原始數(shù)據(jù)[6],該數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量特別大、信息密度低、數(shù)據(jù)顆粒度不一致,難以被用戶直接使用。
服務(wù)數(shù)據(jù)是描述電磁環(huán)境核心實(shí)體的數(shù)據(jù),是各個(gè)業(yè)務(wù)部門都需要共同使用的數(shù)據(jù)。服務(wù)數(shù)據(jù)管理使系統(tǒng)能夠集中管理數(shù)據(jù),保證數(shù)據(jù)的一致性、準(zhǔn)確性,增強(qiáng)快速部署新應(yīng)用能力,提高系統(tǒng)業(yè)務(wù)的敏捷性[7]。服務(wù)數(shù)據(jù)任務(wù)是從基礎(chǔ)數(shù)據(jù)中整合核心的、需要共享的數(shù)據(jù),集中進(jìn)行數(shù)據(jù)清洗和整合,并且以服務(wù)的方式把統(tǒng)一的、完整的、具有權(quán)威性的數(shù)據(jù)共享給各業(yè)務(wù)部門。
業(yè)務(wù)數(shù)據(jù)是面向主題的、集成的、穩(wěn)定的、專業(yè)性強(qiáng)的一系列數(shù)據(jù)庫,可以直接應(yīng)用于用戶業(yè)務(wù)和指揮決策[8]。業(yè)務(wù)數(shù)據(jù)一般是通過事件驅(qū)動完成,用戶發(fā)出數(shù)據(jù)服務(wù)需求,業(yè)務(wù)數(shù)據(jù)應(yīng)用中間件分析服務(wù)所需信息來源,并從專業(yè)性數(shù)據(jù)倉儲中提取所需信息。為了保持專業(yè)性數(shù)據(jù)倉儲中業(yè)務(wù)數(shù)據(jù)的新鮮度、可靠度和完備度,需要不間斷地通過業(yè)務(wù)數(shù)據(jù)抽取中間件,從各個(gè)服務(wù)數(shù)據(jù)庫中查詢、抽取、更新所需業(yè)務(wù)數(shù)據(jù)。
數(shù)據(jù)訪問接口技術(shù):為了將基礎(chǔ)數(shù)據(jù)轉(zhuǎn)為可分析的服務(wù)數(shù)據(jù),需要系統(tǒng)提供各種數(shù)據(jù)訪問服務(wù)接口[9]。服務(wù)數(shù)據(jù)層通過實(shí)時(shí)的、批量的接口,可以讀取形態(tài)各異、格式不同的基礎(chǔ)數(shù)據(jù),并轉(zhuǎn)化為可操作的信息,最終形成一系列具有數(shù)據(jù)特征形態(tài)的服務(wù)數(shù)據(jù)庫。
數(shù)據(jù)分析挖掘技術(shù):數(shù)據(jù)分析挖掘是數(shù)據(jù)服務(wù)層重要的關(guān)鍵技術(shù),其主要特點(diǎn)是對基礎(chǔ)數(shù)據(jù)庫中大量監(jiān)測、業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理,從中提取輔助指揮決策的關(guān)鍵性數(shù)據(jù)[10]。數(shù)據(jù)分析挖掘的常用方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、WEB頁挖掘等,可以從不同角度對數(shù)據(jù)進(jìn)行挖掘。在電磁環(huán)境數(shù)據(jù)架構(gòu)中,需要系統(tǒng)按既定業(yè)務(wù)目標(biāo),對大量的基礎(chǔ)數(shù)據(jù)進(jìn)行探索和分析,揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性[11],并按用戶需求劃分為一系列標(biāo)準(zhǔn)統(tǒng)一、主題明確、涵蓋全面的服務(wù)數(shù)據(jù)庫。
數(shù)據(jù)質(zhì)量管理技術(shù):從各個(gè)基礎(chǔ)數(shù)據(jù)庫中獲取數(shù)據(jù)后,要對數(shù)據(jù)進(jìn)行清洗和驗(yàn)證,以確保服務(wù)數(shù)據(jù)的質(zhì)量,例如,同一區(qū)域的電磁環(huán)境數(shù)據(jù),由于監(jiān)測/檢測/探測手段不同,獲取數(shù)據(jù)內(nèi)容可能格式不同、字段缺失、數(shù)據(jù)重復(fù)甚至沖突等[12]。因此,需要進(jìn)行統(tǒng)一的數(shù)據(jù)匹配、重復(fù)識別、自動進(jìn)行基于規(guī)則的合并/去重復(fù)、交叉驗(yàn)證等,保證數(shù)據(jù)的可靠性和唯一性。
本文研究了適應(yīng)未來電磁空間對抗的電磁環(huán)境數(shù)據(jù)架構(gòu)技術(shù)及實(shí)現(xiàn),分析了電磁環(huán)境數(shù)據(jù)架構(gòu)的功能要求,并以此為基礎(chǔ),構(gòu)建了信息展現(xiàn)層、業(yè)務(wù)應(yīng)用層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)存儲層、基礎(chǔ)保障層等五層電磁環(huán)境數(shù)據(jù)架構(gòu),最后對數(shù)據(jù)架構(gòu)中涉及的數(shù)據(jù)關(guān)聯(lián)關(guān)系、關(guān)鍵技術(shù)等進(jìn)行了研究。研究成果可為電磁環(huán)境數(shù)據(jù)的規(guī)劃和建設(shè)提供基礎(chǔ)框架指導(dǎo)。