基于LabVIEW 的海量數(shù)據(jù)處理系統(tǒng)軟件設(shè)計

趙櫸云，張敬帥

(廣東省汕頭市超聲儀器研究所有限公司，廣東 汕頭 515041)

為準確掌握某一物理量的特點屬性，需要對其進行長時間的監(jiān)測，在得到的海量測試數(shù)據(jù)中分析歸納其變化規(guī)律，隨著科技日新月異的發(fā)展，電子測試技術(shù)突飛猛進，在開展上述測試時，將會產(chǎn)生大量的測試數(shù)據(jù)，即“海量數(shù)據(jù)”［1］。在對海量數(shù)據(jù)進行后期處理時，受數(shù)據(jù)量過大、處理設(shè)備性能有限等因素的制約，不能夠準確、快速的從數(shù)據(jù)中提取關(guān)鍵信息，因此如何實現(xiàn)數(shù)據(jù)的稀化成為了海量數(shù)據(jù)處理的重要環(huán)節(jié)，針對以上問題，本文在進行理論研究的基礎(chǔ)上提出了一種基于曲率變化的海量數(shù)據(jù)稀化算法，并以LabVIEW編程語言為平臺，設(shè)計了一個具備數(shù)據(jù)稀化、信號時頻域處理、數(shù)據(jù)存儲、系統(tǒng)控制等功能的海量數(shù)據(jù)處理軟件，并利用實測信號對算法及軟件進行了驗證。

LabVIEW(Laboratory Virtual Instrument Engineering)是一種圖形化的編程語言和開發(fā)環(huán)境，除系統(tǒng)自帶多種功能函數(shù)控件用于滿足基本編程外，還可通過購置的方式獲得專用函數(shù)包以實現(xiàn)編程軟件的功能拓展，LabVIEW 圖形化的編程語言簡潔易懂，能夠?qū)崿F(xiàn)算法到軟件的快速轉(zhuǎn)變，是效率極高的“工程師語言”［2］。

1 海量數(shù)據(jù)稀化及重構(gòu)方法

數(shù)據(jù)稀化是指對信號數(shù)據(jù)進行降頻采樣，刪減冗余數(shù)據(jù)，保留信號關(guān)鍵特征，減少信號數(shù)據(jù)量;數(shù)據(jù)重構(gòu)是指對稀化后的信號數(shù)據(jù)，采取一定方法，使之恢復至未稀化前數(shù)據(jù)狀態(tài)的過程。

1.1 數(shù)據(jù)稀化算法

數(shù)據(jù)稀化是對數(shù)據(jù)進行降頻重采樣的過程，本文提出一種基于曲率變化的數(shù)據(jù)稀化方法:將海量測試數(shù)據(jù)抽象為橫軸為采樣時間、縱軸為采樣數(shù)值的一個二維平面內(nèi)的連續(xù)曲線，每個采樣點在曲線上都有對應的曲率值，曲率的大小代表曲線波動幅度，即數(shù)據(jù)變化的幅度，基于曲率變化的數(shù)據(jù)稀化算法是以采樣點曲率大小為依據(jù)進行降頻重采樣來實現(xiàn)數(shù)據(jù)的稀化。

根據(jù)曲率變化對海量數(shù)據(jù)進行稀化的步驟如下:將采樣數(shù)據(jù)看作二維數(shù)組A，從數(shù)組A 依次抽取三個相鄰采樣點Pi，j、Pi，j+1、Pi，j+2，根據(jù)公式(1)至(3)推算出點Pi，j+1處的曲率［3］。

按以上方法遍歷數(shù)組A 中所有點，計算出各點的曲率，并求出平均曲率ˉk;抽取A 中曲率大于ˉk 的點保存至數(shù)組B中，完成海量數(shù)據(jù)的初步重采樣;以數(shù)組B 中最小采樣間隔Tmin為標準，從數(shù)組A 中調(diào)取數(shù)據(jù)插入至數(shù)組B 中，并插入起始點、終止點、峰值等關(guān)鍵信息點數(shù)據(jù)，完成對重采樣數(shù)據(jù)的平滑處理，最終實現(xiàn)對海量數(shù)據(jù)的降頻重采樣。

1.2 數(shù)據(jù)重構(gòu)方法

對海量數(shù)據(jù)進行降頻重采樣，必然會丟失一部分數(shù)據(jù)細節(jié)信息，如果這部分數(shù)據(jù)恰恰是需要重點關(guān)注的關(guān)鍵信息，將會對數(shù)據(jù)結(jié)果造成重大影響，為把這種影響發(fā)生的概率降至最低，在數(shù)據(jù)后期處理時，需要對感興趣部分的數(shù)據(jù)進行重構(gòu)，即對重采樣后的數(shù)據(jù)進行局部重構(gòu)，使之恢復至稀化之前的狀態(tài)，以利于對該部分數(shù)據(jù)進行深入分析。本文所用的數(shù)據(jù)重構(gòu)主要是通過數(shù)據(jù)的定位和調(diào)取來實現(xiàn)的，數(shù)據(jù)定位是指對感興趣信號范圍的準確界定，進而確定該部分數(shù)據(jù)在原始測試數(shù)據(jù)中的起始、終止位置;調(diào)取是指根據(jù)上述定位方法確定的數(shù)據(jù)起始、終止位置，從原始數(shù)據(jù)中選擇讀取對應部分數(shù)據(jù)，并將該部分數(shù)據(jù)調(diào)入至數(shù)據(jù)處理系統(tǒng)，進行信號的深度分析處理［4］。

2 系統(tǒng)軟件設(shè)計

系統(tǒng)采取模塊化方式設(shè)計，主要由海量數(shù)據(jù)稀化模塊、信號特征分析模塊、用戶登錄模塊、數(shù)據(jù)存儲模塊、報表打印模塊等5 部分構(gòu)成［5］，其結(jié)構(gòu)關(guān)系如圖1 所示。

圖1 海量數(shù)據(jù)處理系統(tǒng)結(jié)構(gòu)框圖

2.1 用戶登錄模塊設(shè)計

為系統(tǒng)設(shè)置用戶登錄功能可對待處理數(shù)據(jù)及系統(tǒng)本身提供有效的保護，防止數(shù)據(jù)失泄密或因無關(guān)人員誤操作造成程序損壞。本模塊主要通過使用數(shù)據(jù)庫訪問工具包Lab SQL 訪問Access 數(shù)據(jù)庫的方式來實現(xiàn)“用戶名、密碼”的讀取核驗。系統(tǒng)利用事件結(jié)構(gòu)實現(xiàn)前面板操作對后臺程序的觸發(fā)，“用戶名、密碼驗證.vi”主要實現(xiàn)核驗用戶輸入的用戶名、密碼等信息，判斷是否符合登錄條件。

2.2 海量數(shù)據(jù)稀化模塊設(shè)計

根據(jù)本文第一節(jié)中的研究內(nèi)容，設(shè)計基于曲率變化的海量數(shù)據(jù)稀化算法流程圖如圖2。

圖2 稀化算法流程圖

調(diào)用數(shù)組函數(shù)面板中相關(guān)功能函數(shù)，按以上流程圖編寫程序如圖3 所示，通過起始位置、讀取點數(shù)兩個功能控件實現(xiàn)對數(shù)據(jù)的定量讀取。

圖3 稀化算法程序圖

2.3 信號特征分析模塊設(shè)計

本模塊主要包括時域分析、頻域分析、時頻域聯(lián)合分析3種信號處理方法，其中時域分析主要包括信號時域參數(shù)測量與自相關(guān)分析，頻域分析主要是分析經(jīng)過FFT 變換后信號的譜圖，時頻聯(lián)合域分析主要是對信號進行短時傅里葉變換、小波變換與魏格納-威爾分布等時頻域分析處理。其中時頻域聯(lián)合分析程序圖如圖4 所示。

圖4 時頻域聯(lián)合分析程序圖

2.4 數(shù)據(jù)存儲模塊設(shè)計

本模塊能夠?qū)崿F(xiàn)對波形數(shù)據(jù)、波形圖及譜圖的存儲，主要是通過調(diào)用文件操作專用控件實現(xiàn)。

2.5 報表打印模塊設(shè)計

該模塊通過調(diào)用報表生成相關(guān)控件實現(xiàn)，主要表頭、報表形文字輸入選擇、打印設(shè)置、打印控制等部分組成。

3 系統(tǒng)運行結(jié)果及分析

為檢驗基于曲率變化的海量數(shù)據(jù)稀化算法實際運用效果及軟件系統(tǒng)功能，將海量數(shù)據(jù)稀化系統(tǒng)軟件應用到水聲信號檢測數(shù)據(jù)處理中，水聲信號是通過專用設(shè)備監(jiān)聽采集到的水下振動信號，監(jiān)聽時間長、采樣頻率高，采集信號數(shù)據(jù)量較大，將采集到的數(shù)據(jù)讀取到軟件系統(tǒng)中，分別得到原始數(shù)據(jù)、稀化后數(shù)據(jù)波形如圖5、6 所示;在稀化后數(shù)據(jù)中選定需重構(gòu)數(shù)據(jù)范圍，軟件系統(tǒng)調(diào)取相應數(shù)據(jù)，完成數(shù)據(jù)重構(gòu)。

圖5 水聲信號波形圖

圖6 稀化后波形圖

本文使用40 962 個采樣點的水聲信號，通過稀化處理后采樣點個數(shù)為4 497 個，稀化率為10.9%，從波形對比及關(guān)鍵部位信息保留情況看，稀化后波形未發(fā)生明顯的失真;從重構(gòu)后數(shù)據(jù)信息看，重構(gòu)范圍定位較準，數(shù)據(jù)操作運行速度快，重構(gòu)數(shù)據(jù)完整，說明該基于曲率變化的數(shù)據(jù)稀化算法能夠?qū)Ａ繑?shù)據(jù)進行有效的稀化，重構(gòu)算法能快速、完整地進行數(shù)據(jù)重構(gòu)。

通過對水聲信號進行特征分析，獲取其信號內(nèi)容信息，并利用數(shù)據(jù)存儲模塊、報表打印模塊實現(xiàn)對處理結(jié)果的保存，生成信號處理報表。

4 結(jié)束語

本文為解決海量數(shù)據(jù)處理困難的問題，研究提出了基于曲率變化的海量數(shù)據(jù)處理算法以及稀化后數(shù)據(jù)重構(gòu)的方法，并以此為基礎(chǔ)，以LabVIEW 軟件為平臺，設(shè)計了海量數(shù)據(jù)處理系統(tǒng)軟件，利用水聲信號實測數(shù)據(jù)對算法及軟件功能進行了驗證分析。

［1］邱澤陽，宋曉宇.海量數(shù)據(jù)的均勻稀化［J］.蘭州交通大學學報，2006，25(4):63－67.

［2］榮鑫.基于虛擬儀器的數(shù)據(jù)采集與處理系統(tǒng)設(shè)計［D］.太原:中北大學，2011.

［3］張麗艷，周儒榮，蔡煒斌，等.海量測量數(shù)據(jù)簡化技術(shù)研究［J］.計算機輔助設(shè)計與圖形學學報，2001，13(1):1019－1023.

［4］湯勁.海量數(shù)據(jù)處理系統(tǒng)框架關(guān)鍵技術(shù)研究［D］.南京:南京航空航天大學，2006.

［5］張敬帥，張丕狀.基于虛擬儀器的多通道數(shù)據(jù)分析系統(tǒng)設(shè)計［J］.電子技術(shù)應用，2011，4:74－76.