基于大數(shù)據(jù)分析的混合屬性圖像冗余 特征聚類系統(tǒng)設(shè)計

龍虎 梁麗香

摘? 要： 傳統(tǒng)的圖像聚類系統(tǒng)得到的聚類結(jié)果往往不是最優(yōu)結(jié)果。為了解決這一問題，基于大數(shù)據(jù)分析技術(shù)設(shè)計了一種新的混合屬性圖像冗余特征聚類系統(tǒng)。系統(tǒng)硬件由圖像搜索器、網(wǎng)絡(luò)端服務(wù)器、特征索引器、查詢器、預(yù)處理器、圖像數(shù)據(jù)庫、聚類器組成。圖像搜索器利用Spider處理器完成搜索，利用API接口和嵌入式管理系統(tǒng)管理圖像數(shù)據(jù)庫，建立顏色直方圖實現(xiàn)顏色特征處理。軟件由圖像搜索、圖像特征處理、冗余特征聚類三步組成，利用IGroup算法實現(xiàn)聚類。與傳統(tǒng)聚類系統(tǒng)進行實驗對比，結(jié)果表明，新的聚類系統(tǒng)能夠在短時間內(nèi)輸出最優(yōu)的聚類結(jié)果，適合圖像處理工作。

關(guān)鍵詞： 系統(tǒng)設(shè)計; 冗余特征聚類; 混合屬性圖像; 圖像搜索; 大數(shù)據(jù)分析; 圖像處理

中圖分類號： TN911.73?34; TP391? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼： A? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）13?0049?04

Design of big data analysis based redundant feature clustering system

for hybrid attribute images

LONG Hu， LIANG Lixiang

（School of Big Data Engineering， Kaili University， Kaili 556011， China）

Abstract： In most cases， the clustering results obtained by the traditional image clustering system are not optimal. For this reason， a new redundant feature clustering system for hybrid attribute images is designed based on the big data analysis technology. The system hardware consists of image searcher， network server， feature indexer， querier， preprocessor， image database and clustering device. The Spider processor is used by the image searcher to complete search. The API interface and embedded management system are used to manage the image database and establish the color histogram， so as to realize color feature processing. The software functions consist of image search， image feature processing and redundant feature clustering to achieve clustering by means of the IGroup algorithm. The experiments for contrast between the proposed system and the traditional clustering system were performed. The results show that the proposed clustering system can output optimal clustering results in a short time. Therefore， it is suitable for image processing.

Keywords： system design; redundant feature clustering; mixed attribute image; image search; big data analysis; image processing

0? 引? 言

隨著Internet的高速發(fā)展，圖像被越來越多地使用在內(nèi)容表達和信息承載上。網(wǎng)絡(luò)具有規(guī)模大、分布范圍廣、資源增長速度快的特征，互聯(lián)網(wǎng)擁有的圖像數(shù)以億計，想要通過人工的手段將混合屬性圖像冗余特征聚類到一起十分困難，因此，必須要設(shè)計有效的圖像冗余特征聚類系統(tǒng)[1]。

圖像冗余特征聚類問題與圖像信息收集和信息檢索問題相關(guān)，圖像的冗余特征表現(xiàn)形式共有如下幾種：空間冗余、時間冗余、視覺冗余、信息熵冗余和知識冗余[2]。不同類型的圖像含有的冗余特征不同[3]，由于Internet具有邊緣化的特點，所以圖像信息的格式也往往不同[4]。目前研究的圖像冗余特征聚類系統(tǒng)主要有兩種：第一種是基于圖像內(nèi)容進行聚類;第二種是基于圖像語義進行聚類?；趦?nèi)容的混合屬性圖像冗余特征聚類系統(tǒng)能夠?qū)D像的內(nèi)容本身進行分析和研究，基于語義的混合屬性圖像冗余特征聚類系統(tǒng)能夠分析相關(guān)文字信息[5]。在目前研發(fā)的混合屬性圖像冗余特征聚類系統(tǒng)中，聚類的準(zhǔn)確率和全面率都有所不足，系統(tǒng)的可擴展性也存在很大的問題[6]。

大數(shù)據(jù)分析技術(shù)是一種新的網(wǎng)絡(luò)技術(shù)，能夠在短時間內(nèi)對海量數(shù)據(jù)進行分析，并且篩選出有效數(shù)據(jù)，對于冗余特征聚類十分有效[7]。本文基于大數(shù)據(jù)分析技術(shù)，設(shè)計了一種新的混合屬性圖像冗余特征聚類系統(tǒng)，對系統(tǒng)的硬件和軟件進行了優(yōu)化設(shè)計，分析了系統(tǒng)進行聚類的工作原理，并給出了相應(yīng)的聚類算法，通過實驗對聚類系統(tǒng)有效性進行探討。

1? 混合屬性圖像冗余特征聚類系統(tǒng)硬件設(shè)計

本文研究的聚類系統(tǒng)針對混合屬性圖像設(shè)計，該系統(tǒng)能夠?qū)⑺械膱D像同一特征進行動態(tài)聚類，并且配合主題關(guān)鍵詞，方便用戶查看。

基于大數(shù)據(jù)分析的混合屬性圖像冗余特征聚類系統(tǒng)結(jié)構(gòu)如圖1所示。

觀察圖1可知，本文設(shè)計的冗余特征聚類系統(tǒng)利用互聯(lián)網(wǎng)絡(luò)將各個設(shè)備連接到一起。硬件設(shè)備主要有圖像搜索器、網(wǎng)絡(luò)端服務(wù)器、特征索引器、查詢器、預(yù)處理器、圖像數(shù)據(jù)庫、聚類器，其中，聚類器和預(yù)處理器是系統(tǒng)結(jié)構(gòu)的關(guān)鍵組成部分[8]。

1.1? 圖像搜索器設(shè)計

圖像搜索器負責(zé)聚類系統(tǒng)的引擎搜索工作，能夠在眾多混合屬性圖像中搜索冗余特征，并且提供相對滿意的搜索結(jié)果。搜索引擎中選擇的服務(wù)器為Spider服務(wù)器，該服務(wù)器一改傳統(tǒng)的超鏈接拓撲順序，利用初始的URL列表獲取對應(yīng)的網(wǎng)頁。Spider服務(wù)器不僅能夠獲得URL列表，而且還可以根據(jù)獲取到的結(jié)構(gòu)，尋找其他類型的文件，重復(fù)進行，直到搜索到指定數(shù)目的冗余特征為止。圖像搜索器的設(shè)計過程比較簡單，Spider處理器占據(jù)面積較小[9]。Spider處理器示意圖如圖2所示。

Spider處理器芯片是一個小型簡單的芯片，能夠在短時間內(nèi)完成圖像冗余特征的搜索工作。

1.2? 圖像數(shù)據(jù)庫設(shè)計

為了更好地分析混合屬性圖像冗余特征，本文在系統(tǒng)硬件結(jié)構(gòu)中加入了圖像數(shù)據(jù)庫，圖像數(shù)據(jù)庫能夠為系統(tǒng)工作提供網(wǎng)頁的原始數(shù)據(jù)，并且存儲含有冗余特征的混合屬性圖像[10]。圖像數(shù)據(jù)庫使用的管理系統(tǒng)為BERKELEY DB系統(tǒng)，該系統(tǒng)是一個含有開放源代碼的嵌入式數(shù)據(jù)庫管理系統(tǒng)，具有極高的管理能力和極強的工作性能。圖像數(shù)據(jù)庫的提供很大程度地減輕了程序員的工作負擔(dān)。圖像數(shù)據(jù)庫不需要服務(wù)器連接，應(yīng)用程序直接就能夠完成數(shù)據(jù)的保存、查詢、修改以及刪除工作。

圖像數(shù)據(jù)庫結(jié)構(gòu)如圖3所示。

觀察圖3可知，圖像數(shù)據(jù)庫中含有多個API接口能夠連接軟件程序，同時，采用C語言、C++語言、Java語言、Perl語言等編程語言進行操作，使系統(tǒng)可以在短時間內(nèi)完成多個圖像冗余特征的聚類工作。多語言操作使系統(tǒng)的多個進程可以在同一時間操控訪問數(shù)據(jù)庫。數(shù)據(jù)加鎖、事務(wù)日志和存儲管理位于數(shù)據(jù)庫的底層，與數(shù)據(jù)庫函數(shù)完美融合，配合系統(tǒng)的工作。

本文設(shè)計的圖像數(shù)據(jù)庫自身內(nèi)存僅有250 KB，能夠管理高達380 TB的數(shù)據(jù)，性能強于目前市面上的其他圖像數(shù)據(jù)庫。關(guān)鍵詞（Key）是圖像數(shù)據(jù)庫的管理基礎(chǔ)，關(guān)鍵詞（Key）和數(shù)據(jù)（Data）為對應(yīng)關(guān)系，構(gòu)成了數(shù)據(jù)庫結(jié)構(gòu)的一個基本單元，用戶可以利用這些基本單元實現(xiàn)對數(shù)據(jù)庫的訪問，不同的關(guān)鍵詞來源于不同的數(shù)據(jù)。數(shù)據(jù)庫中關(guān)鍵詞對應(yīng)的模型圖如圖4所示。

混合屬性圖像中的關(guān)鍵特征在經(jīng)過計算后得到矩陣，數(shù)據(jù)在一次計算后，會永久保留在數(shù)據(jù)庫中，隨時為用戶提供必要的服務(wù)。需要特別指出的是，最初得到的冗余特征數(shù)據(jù)不會直接儲存在數(shù)據(jù)庫中，而是要經(jīng)過預(yù)處理器統(tǒng)一分析后，才能儲存到對應(yīng)的關(guān)鍵詞模型列表中。

1.3? 圖像預(yù)處理器設(shè)計

圖像預(yù)處理器主要負責(zé)處理混合屬性圖像的冗余特征，包括視覺冗余特征和語義冗余特征。顏色冗余特征是最為廣泛的冗余特征，顏色冗余特征對圖像本身的尺寸、方向和視角有著很小的依賴性，自身具有很好的穩(wěn)健性。在處理顏色冗余特征時，系統(tǒng)會自動建立直方圖，統(tǒng)計每種顏色出現(xiàn)的次數(shù)，利用的統(tǒng)計工具為RGB色彩工具，建立的顏色直方圖如圖5所示。

圖5中，RGB代表不同的色彩分量，R代表紅色（Red），G代表綠色（Green），B代表藍色（Blue）。顏色直方圖中每個顏色都擁有256種色彩區(qū)間。三種顏色區(qū)間加起來共有768維，不需要做特別的降維處理。

在處理語義特征時，要從URL中提取相關(guān)的語義信息，分別分析標(biāo)記信息、網(wǎng)頁標(biāo)題、URL信息和meta標(biāo)記信息，對不同的信息設(shè)立不同的權(quán)重值，通過分析權(quán)重值完成冗余特征聚類處理工作。

1.4? 聚類器設(shè)計

聚類器在本文設(shè)計的系統(tǒng)中占據(jù)著核心地位，能夠通過動態(tài)的方式將特征分成若干組和若干類，并確保每一組內(nèi)的數(shù)據(jù)都有著極高的相似度，不同組的相似度很低。聚類器主要包括三個模塊：顏色特征聚類模塊、語義特征聚類模塊、顏色語義特征聚類模塊。通過K?means算法將得到的聚類結(jié)果保存在緩存區(qū)中，當(dāng)緩存區(qū)的結(jié)構(gòu)達到滿負荷時，替換掉緩存區(qū)的內(nèi)容。聚類器結(jié)構(gòu)如圖6所示。

2? 混合屬性圖像冗余特征聚類系統(tǒng)軟件設(shè)計

根據(jù)設(shè)計的混合屬性圖像冗余特征聚類系統(tǒng)硬件結(jié)構(gòu)，對聚類系統(tǒng)軟件結(jié)構(gòu)進行設(shè)計。軟件選用的開發(fā)環(huán)境為Micorsoft Windows 10，選用的CPU為Celeron，內(nèi)存高達500 MB，使用的開發(fā)工具為VS2005，得到的軟件流程如圖7所示。

本文設(shè)計的軟件在工作之前，會建立一個初始的URL列表，利用超鏈接的拓撲順序提取不同網(wǎng)頁圖像的冗余數(shù)據(jù)，通過對這些冗余特征數(shù)據(jù)進行分析，能夠得到根系結(jié)果，再將根系結(jié)果輸入數(shù)據(jù)庫中，以構(gòu)建索引庫。

軟件采用的聚類算法為IGroup聚類算法，該算法工作效率高，通用性強，能夠以列表形式將聚類結(jié)果反饋給用戶。相較于其他聚類算法，IGroup聚類算法耗時更短。通過搜索圖像和文本，找到特征數(shù)據(jù)，進行合并，最后通過精選將得到的結(jié)果反饋給用戶。該聚類算法能夠?qū)?fù)雜的圖片聚類轉(zhuǎn)換成文字聚類，工作過程簡單，工作效果好。

聚類算法流程如圖8所示。

3? 實驗研究

3.1? 實驗?zāi)康?/p>

為了檢測本文設(shè)計的基于大數(shù)據(jù)分析的混合屬性圖像冗余特征聚類系統(tǒng)的實際效果，與傳統(tǒng)聚類系統(tǒng)進行了對比，并分析實驗結(jié)果。

3.2? 實驗參數(shù)設(shè)置

實驗平臺及參數(shù)配置見表1。

3.3? 實驗結(jié)果

根據(jù)上述實驗參數(shù)，同時選取本文研究的聚類系統(tǒng)和傳統(tǒng)聚類系統(tǒng)對1 000幅混合屬性圖像冗余特征進行聚類，聚類結(jié)果比較如圖9所示。

觀察圖9可知：傳統(tǒng)的冗余特征聚類系統(tǒng)聚類數(shù)量最高值僅能達到145左右，而本文的冗余特征聚類系統(tǒng)聚類數(shù)量能夠達到200，圖像含有的信息十分豐富，用戶查找起來極其方便，得到的聚類結(jié)果更優(yōu)。

4? 結(jié)? 語

本文利用大數(shù)據(jù)提出了一種新的混合圖像冗余特征聚類系統(tǒng)，該聚類系統(tǒng)能夠在短時間內(nèi)分析出圖像不同的屬性，尋找到冗余特征，給出最優(yōu)結(jié)果。本文在關(guān)鍵參數(shù)上進行了動態(tài)設(shè)計，利用IGroup聚類算法優(yōu)化了聚類過程，使系統(tǒng)能夠?qū)崿F(xiàn)顏色冗余特征聚類、語義冗余特征聚類。本文研究的系統(tǒng)雖然具備上述優(yōu)點，但是提供的服務(wù)多是針對單一領(lǐng)域，未來該系統(tǒng)應(yīng)該隨著人工智能技術(shù)的進步不斷深入研究，努力適應(yīng)各種圖像檢索技術(shù)。

參考文獻

[1] 侯莉莎.大數(shù)據(jù)集合中冗余特征排除的聚類算法設(shè)計[J].現(xiàn)代電子技術(shù)，2018，41（14）：48?50.

[2] 魏霖靜，寧璐璐，郭斌，等.大數(shù)據(jù)中基于熵加權(quán)的稀疏分?jǐn)?shù)特征選擇聚類算法[J].計算機應(yīng)用研究，2018，35（8）：2293?2294.

[3] 劉先花.基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（23）：130?133.

[4] 李珍，刁鋼，趙慧峰.基于大數(shù)據(jù)分析的學(xué)生學(xué)業(yè)分類管理體系：河北農(nóng)業(yè)大學(xué)商學(xué)院新生入學(xué)成績的K?mean聚類分析[J].河北農(nóng)業(yè)大學(xué)學(xué)報（農(nóng)林教育版），2018，20（5）：96?99.

[5] 文政穎，李運娣.一種基于模糊層次聚類分析的大數(shù)據(jù)挖掘算法[J].河南工程學(xué)院學(xué)報（自然科學(xué)版），2018，30（3）：70?74.

[6] 徐源，程潛善，李陽，等.基于大數(shù)據(jù)聚類的電力系統(tǒng)中長期負荷預(yù)測[J].電力系統(tǒng)及其自動化學(xué)報，2017，29（8）：43?48.

[7] 王欣剛.基于大數(shù)據(jù)分析的業(yè)務(wù)安全預(yù)警系統(tǒng)設(shè)計[J].廣播與電視技術(shù)，2018，45（6）：123?126.

[8] 梁耘，王維慶，王海云.基于分裂?合并策略改進多特征聚類算法的風(fēng)電機組故障分析[J].可再生能源，2017，35（10）：1537?1543.

[9] 鄧小盾.一種基于大數(shù)據(jù)的網(wǎng)絡(luò)日志分析模型構(gòu)建研究[J].電子設(shè)計工程，2017，25（23）：97?100.

[10] 徐時芳，羅曉賓，陳陽華.基于Spark的分布式大數(shù)據(jù)分析建模系統(tǒng)的設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2018，41（20）：172?174.

[11] 商娟葉.基于PSO的云計算環(huán)境中大數(shù)據(jù)優(yōu)化聚類算法[J].電子設(shè)計工程，2018，26（19）：80?83.

[12] 趙睿，王慶嶺.基于大數(shù)據(jù)技術(shù)在線學(xué)習(xí)過程行為分析框架設(shè)計[J].蘭州石化職業(yè)技術(shù)學(xué)院學(xué)報，2017，17（4）：15?18.

[13] 樊凌，龔偉.無線網(wǎng)絡(luò)MOOCs大數(shù)據(jù)聚類方法優(yōu)化研究[J].計算機仿真，2017，33（7）：435?439.